Imagination 的神經(jīng)網(wǎng)絡(luò)加速器在邊緣計(jì)算領(lǐng)域的應(yīng)用

今天，2019 SiFive Tech workshop在深圳舉行，IC芯片領(lǐng)域的兩百多位設(shè)計(jì)人員到場(chǎng)參會(huì)交流目前最熱門的RISC-V處理器開發(fā)，作為SiFive的DesignShare生態(tài)系統(tǒng)合伙伙伴，Imagination Technologies不僅在現(xiàn)場(chǎng)演示了最新新神經(jīng)網(wǎng)絡(luò)加速演示，公司高級(jí)技術(shù)專家李安也發(fā)表《神經(jīng)網(wǎng)絡(luò)加速賦能端側(cè)智能》介紹了Imagination 的神經(jīng)網(wǎng)絡(luò)加速器在邊緣計(jì)算領(lǐng)域的應(yīng)用。

目前，由于在商業(yè)模式上的創(chuàng)新，RISC-V在嵌入式處理器領(lǐng)域廣受歡迎，大量IC設(shè)計(jì)公司擁抱RISC-V，其中不乏英特爾、高通、華為、西部數(shù)據(jù)等這樣的半導(dǎo)體巨頭，不過由于RISC-V處理器導(dǎo)入市場(chǎng)較短，其生態(tài)系統(tǒng)還在建設(shè)當(dāng)中，尤其IP是其短板，因此SiFive 啟動(dòng)了DesignShare項(xiàng)目，DesignShare提供高效的、預(yù)集成的IP解決方案，從而使各種規(guī)模的公司和團(tuán)隊(duì)都能夠更快捷地完成SoC芯片的原型設(shè)計(jì)，DesignShare初衷是降低系統(tǒng)級(jí)芯片（SoC）原型設(shè)計(jì)獲取相關(guān)IP的前期成本。

Imagination Technologie宣布加入DesignShare，讓系統(tǒng)設(shè)計(jì)人員能夠輕松地獲取其業(yè)界領(lǐng)先的PowerVR圖形處理器（GPU）和神經(jīng)網(wǎng)絡(luò)加速器（Neural Network Accelerator，NNA）硅知識(shí)產(chǎn)權(quán)（IP）內(nèi)核。PowerVR GPU也是首個(gè)通過SiFive DesignShare生態(tài)系統(tǒng)來向客戶提供的、支持Vulkan?應(yīng)用編程接口（API）的全功能GPU。

基于PowerVR GPU的手機(jī)AR演示

目前很多公司都加入了DesignShare，極大豐富了RISC-V的生態(tài)建設(shè)，目前這塊短板在彌補(bǔ)中。

DesignShare生態(tài)技術(shù)伙伴

目前，邊緣端側(cè)的人工智能應(yīng)用呈現(xiàn)從云到邊緣端的加速趨勢(shì)，在手機(jī)、平板、無人家、安防攝像頭等領(lǐng)域都急需能進(jìn)行人工智能處理的方案。

在今天的演講中，李安著重介紹了在端側(cè)領(lǐng)域Imagination的解決方案。

他指出Imagination的解決方案可以幫助用戶在邊緣端以低功耗實(shí)現(xiàn)智能應(yīng)應(yīng)用。

以攝像頭為例（如下圖所示），傳統(tǒng)攝像頭是把所有視頻都存儲(chǔ)起來，這樣不但浪費(fèi)了存儲(chǔ)空間也增加了視頻檢查的難度，而加入了運(yùn)動(dòng)檢測(cè)的涉嫌頭，只對(duì)運(yùn)動(dòng)物體有興趣，進(jìn)行記錄，而有人工智能功能的攝像頭，在邊緣端進(jìn)行識(shí)別和檢測(cè)，把龐大的視頻變成了一串特征值或者字符串，這樣的節(jié)省是非常大的。

他表示，Imagination的GPU可以滿足不同市場(chǎng)對(duì)人工知道算力的需求，小到安防攝像頭大到自動(dòng)駕駛都可以用GPU完成人工智能運(yùn)算，如果同時(shí)搭配Imagination的PowerVR Series2NX NNA神經(jīng)網(wǎng)絡(luò)加速器，則可以實(shí)現(xiàn)靈活性和性能的雙豐收。

他指出一般運(yùn)算其實(shí)都是做性能、面積和功耗的均衡，比如要提升新能就要犧牲面積和功耗以及成本，而把GPU和NNA神經(jīng)網(wǎng)絡(luò)加速器結(jié)合據(jù)可以做很好的均衡，這是因?yàn)?，NNA的加速性能非常出色。

如果以CPU為標(biāo)準(zhǔn)，如果使用NNA加速器，其16bit能效提升450倍，而4bit能效提升850倍！這是非常驚人的提升！

Imagination最新的3NX神經(jīng)網(wǎng)絡(luò)加速器算力提升到10TPOS，可以大幅度改善PPA性能。

而且神經(jīng)網(wǎng)絡(luò)加速器適應(yīng)市場(chǎng)各種神經(jīng)網(wǎng)絡(luò)框架，可以靈活應(yīng)對(duì)跟中人工智能需求。

他舉例說，如果你想設(shè)計(jì)一臺(tái)高清電視，這時(shí)如果把Power VR GPU和NNA結(jié)合起來就可以實(shí)現(xiàn)高度的靈活性和高性能，如果有新的神經(jīng)網(wǎng)絡(luò)算法，則用GPU去完成，這樣還可以適應(yīng)未來需求。

他表示，Imagination的PowerVR集成化GPU和NNA軟件?？梢詭椭蛻魧?shí)現(xiàn)最佳性能及靈活性，PowerVR軟件在設(shè)計(jì)之初就考慮到與所有處理器架構(gòu)能協(xié)同工作，當(dāng)然也包括開放的、發(fā)展迅猛的RISC-V指令集架構(gòu)，這是SiFive DesignShare生態(tài)系統(tǒng)的核心所在。

另外，PowerVR對(duì)包括Vulkan、OpenCL?、Android NNAPI和SYCL等各種API的支持可以給IC公司提供了新的機(jī)遇，可以幫助客戶研發(fā)出極具開創(chuàng)性的定制芯片。

共贏RISC-V！