9月17-19日,2020中關村論壇在北京舉行。為期三天的論壇上,來自全球數百位全球產學研界的大咖共聚一堂,圍繞“合作創(chuàng)新·共迎挑戰(zhàn)”這一主題,展開了全面的思想碰撞和交流分享。Imagination Technologies受邀出席本次論壇,公司高管Andrew Grant在9月18日由曠視主辦的“人工智能開源開放與生產力促進論壇”上發(fā)表主題演講。 人工智能(AI)作為當前最熱門的科技話題之一,得到了半導體、工業(yè)、醫(yī)療、消費等幾乎所有領域的關注,Imagination也不例外,一直以來都在不斷加大對AI領域的投入,并且推出了可支持多種AI應用的圖形處理器(GPU)和神經網絡加速器(NNA)知識產權(IP)產品,以及AI協(xié)同(AI Synergy)等創(chuàng)新性AI支持技術。 由于無法親自來到大會現(xiàn)場,Imagination高管Andrew Grant以視頻的方式,為參會者帶來了“在邊緣側神經網絡處理器IP中使用開源的AI框架”的主題分享。分享中,他首先介紹了邊緣側推理的發(fā)展趨勢和典型應用,然后闡釋了Imagination的NNA和GPU如何支持邊緣推理應用及各種開源AI框架。 Andrew Grant說道:“根據ABI Research的預測,隨著越來越多應用案例的實現(xiàn),AI芯片的銷售正在持續(xù)增長,尤其是在邊緣AI推理方面。邊緣側推理從根本上承擔了以前僅適用于云的工作負載,現(xiàn)在可以在嵌入式設備上運行AI計算,這為移動、工業(yè)、安全、物聯(lián)網和汽車等領域的各類應用帶來了新的機遇,例如面部識別/驗證、零售自助結賬、機場旅客出入管理、智能工廠、先進駕駛輔助系統(tǒng)(ADAS)和自動駕駛等應用?!?/p>
邊緣AI推理為各類應用帶來了新的機遇 關于Imagination的NNA和GPU如何支持邊緣側推理,Andrew Grant作了重點講解。他表示:“對于AI 邊緣推理工作負載,靈活、可編程的并行流水線式GPU或GPGPU是非常理想的,而超快速的NNA則可以提供進一步增強的性能,根據工作量的不同,NNA可以提供比CPU快10-100倍的處理速度,這是數量級上的差距?!?/p>
Imagination的NNA擁有眾多優(yōu)異特性 Imagination的NNA具有4-16位的可變位寬度,使用動態(tài)定點數據類型,可以支持用戶對精度進行優(yōu)化;它可以為Android NN提供過濾器目數選擇,也可以為Tensorflow Lite帶來兼容性和更好的量化特性??傮w來說,NNA具有很高的PPA(性能、功耗、面積)效率,可以擴展并且支持多實例。 Imagination的GPU擁有強大的多任務并行處理能力,利用Hyperlane技術,GPU可以同時運行8個獨立的工作負載,這意味著可以執(zhí)行不同的圖形處理或計算任務。此外,Hyperlane還支持Imagination創(chuàng)新性的AI協(xié)同技術,可以利用GPU的備用資源去配合NNA進行AI計算。
用戶可以通過IMG DNN API同時對GPU和NNA進行優(yōu)化 Andrew Grant還對Imagination如何支持開源AI框架進行了介紹:“Imagination非常歡迎開源社區(qū),并希望支持開發(fā)人員更輕松地將其模型轉移至邊緣側。大家知道,基于各種典型網絡的任務應用,可以在PyTorch、Tensorflow、PaddlePaddle等不同框架下實現(xiàn),再利用ONNX等交換環(huán)境導出模型,就可以在邊緣側進行部署。而Imagination提供了一個組合式的DNN API,這樣只需要通過一個API,用戶的網絡就可以同時針對GPU和NNA進行優(yōu)化。無論用戶使用哪種框架或模型,我們都可以支持其進行部署,從而提高效率,加快上市速度?!?/p>
-
imagination
+關注
關注
1文章
569瀏覽量
61256
原文標題:Imagination出席2020中關村論壇,領先AI技術助力邊緣推理應用加快發(fā)展
文章出處:【微信號:Imgtec,微信公眾號:Imagination Tech】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論