極低功耗的兩款全新的神經(jīng)網(wǎng)絡(luò)內(nèi)核AX2185和AX2145

Imagination公司日前基于其神經(jīng)網(wǎng)絡(luò)加速器(NNA)架構(gòu)PowerVR 2NX推出了兩款全新的神經(jīng)網(wǎng)絡(luò)內(nèi)核AX2185和AX2145，其設(shè)計(jì)目的是在極小芯片面積上以極低功耗實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)高性能計(jì)算。

不同于CPU/GPU架構(gòu)，PowerVR 2NX架構(gòu)是Imagination專為神經(jīng)網(wǎng)絡(luò)算法所設(shè)計(jì)的可擴(kuò)展架構(gòu)，支持16位到4位位寬。由于靈活的位寬可基于每一層去支持權(quán)重和數(shù)據(jù)，這意味著PowerVR Series2NX可以保持高推理精度，同時(shí)降低帶寬/功耗要求，能夠?yàn)橐苿?dòng)和嵌入式平臺(tái)中的高效神經(jīng)網(wǎng)絡(luò)推理提供硬件加速。

PowerVR 2NX NNA可調(diào)精度和低精度實(shí)例

神經(jīng)網(wǎng)絡(luò)加速器將成SoC標(biāo)準(zhǔn)IP模塊

根據(jù)Gartner的預(yù)估，到2020年深度神經(jīng)網(wǎng)絡(luò)(DNN)和機(jī)器學(xué)習(xí)應(yīng)用將為半導(dǎo)體企業(yè)創(chuàng)造100億美元的市場(chǎng)商機(jī)，人工智能與機(jī)器學(xué)習(xí)將逐漸滲透所有事物，成為未來5年科技廠商的主要戰(zhàn)場(chǎng)。

“人工智能處理一直以來主要發(fā)生在云端，但由于延遲、隱私問題以及日益增長的可擴(kuò)展性需求，邊緣人工智能處理已變得非常必要?！盜magination主管PowerVR視覺和人工智能業(yè)務(wù)的副總裁Russell James說，要將人工智能引入邊緣計(jì)算中，首當(dāng)其沖面臨的挑戰(zhàn)，就是學(xué)會(huì)如何在電池壽命的限制下保證電力，管理安全性并提供合理的成本。其次，在終端側(cè)進(jìn)行AI處理，實(shí)時(shí)響應(yīng)、安全性和可靠性也是必須考慮的。

Imagination中國區(qū)區(qū)域市場(chǎng)和業(yè)務(wù)拓展總監(jiān)柯川將AI產(chǎn)業(yè)分為四個(gè)階段：一是新技術(shù)來臨時(shí)有前沿院校和公司研究論證，找到產(chǎn)業(yè)化可能性；二是應(yīng)用研究階段，探討解決實(shí)際問題；三是產(chǎn)業(yè)快速發(fā)展階段；四是進(jìn)入成熟期，成為一個(gè)相對(duì)穩(wěn)定的市場(chǎng)。目前來看，AI正處于第三階段的早期。

AI市場(chǎng)演進(jìn)

Imagination方面認(rèn)為NNA的用途非常多，所以是絕對(duì)不容忽視的。例如根據(jù)正在觀看的人和他們的年齡調(diào)整電視頻道的順序和訪問權(quán)限；識(shí)別混合現(xiàn)實(shí)場(chǎng)景中的物體，以確保在現(xiàn)實(shí)世界中沒有任何重要的東西被忽視(如樓梯或火災(zāi))；實(shí)時(shí)增強(qiáng)電視、手機(jī)或視頻通話中的圖像；實(shí)現(xiàn)自主系統(tǒng)，如自動(dòng)駕駛車輛等。

在此前的采訪中，Imagination市場(chǎng)傳播副總裁David Harold就曾表示，未來NNA一定會(huì)成為SoC中的標(biāo)準(zhǔn)IP模塊，就像CPU、GPU和視頻編解碼器一樣，因?yàn)椤癙owerVR 2NX NNA的邏輯比我們最小的GPU還小，但是卻大大節(jié)省了功耗和帶寬，提高了可用性?！备鶕?jù)柯川提供的數(shù)據(jù)，與最接近的競(jìng)爭(zhēng)方案相比，PowerVR 2NX可以用25%的帶寬提供兩倍的性能。在位寬調(diào)整后，如將8位調(diào)整到4位，性能提升了60%，帶寬降至54%，功耗降至69%，但精度下降不到1%。

靈活的多精度支持優(yōu)勢(shì)

兩個(gè)新成員

AX2185擁有8個(gè)全寬度計(jì)算引擎，每個(gè)時(shí)鐘周期可處理2048個(gè)MAC(每秒4.1兆次運(yùn)算)，以高端智能手機(jī)、智能監(jiān)控和汽車市場(chǎng)中的圖像分類和駕駛輔助系統(tǒng)等應(yīng)用為目標(biāo)，據(jù)稱能夠代表市場(chǎng)上單位面積(每平方毫米)的最高性能。

AX2145針對(duì)成本敏感型設(shè)備進(jìn)行了優(yōu)化，以中檔智能手機(jī)、數(shù)字電視/機(jī)頂盒、智能相機(jī)和消費(fèi)性安全市場(chǎng)中的圖像管理與基于視覺的應(yīng)用為目標(biāo)。其精簡(jiǎn)型架構(gòu)能夠?yàn)槌蛶捪到y(tǒng)提供高性能的神經(jīng)網(wǎng)絡(luò)推理功能，從而支持原始設(shè)備制造商(OEM)和原始設(shè)計(jì)制造商(ODM)在芯片面積預(yù)算有限的情況下開展工作。

當(dāng)然，只有NNA是不夠的，還需要提供工具和軟件。兩款內(nèi)核都完全支持安卓(Android)的神經(jīng)網(wǎng)絡(luò)應(yīng)用程序編程接口(Neural Networks API, NNAPI)，開發(fā)人員使用NNAPI可以將神經(jīng)網(wǎng)絡(luò)功能帶入基于Android的移動(dòng)設(shè)備。為配合PowerVR Series2NX內(nèi)核，Imagination還提供了一整套工具來簡(jiǎn)化人工智能應(yīng)用的開發(fā)、部署、調(diào)試和分析。

在Russell James看來，目前市場(chǎng)中三種主流的AI芯片架構(gòu)(CPU/DSP/FPGA等通用型處理器、CPU/GPU+AI加速器、以及定制化ASIC)設(shè)計(jì)思路不同，各有優(yōu)缺點(diǎn)，面對(duì)的應(yīng)用也五花八門，在選擇時(shí)需加以謹(jǐn)慎。具體而言，第一類適合性能要求和精度要求不太高的應(yīng)用，如人臉識(shí)別；第二類適合高性能應(yīng)用，如智能手機(jī)、智能監(jiān)控、自動(dòng)駕駛等；第三類AISC芯片適合某些特定場(chǎng)景。例如在IoT領(lǐng)域中，很多應(yīng)用要求在有限的功耗下完成相應(yīng)的AI任務(wù)，且芯片出貨量大，此時(shí)性能功耗比高的ASIC就很值得關(guān)注。