普惠AI的路上,有哪些難題困擾著業(yè)界?

普惠AI意味著為萬物賦能，從云端到邊緣的大勢所趨也是AiRiA研究院作為AI芯片的后來入局者直接選擇切入的方向。由于計(jì)算位置和形式的變化，讓AI載體、設(shè)計(jì)思路都需要重新被定義。

云端的AI不受體積和功耗方面的束縛，可以在一定成本下做到極致的性能。然而在邊緣端，AI載體（芯片）必須考慮終端場景的體積、功耗和成本實(shí)情（如機(jī)器人、可穿戴設(shè)備、無人機(jī)等場景中），如何在三者受限的情況下實(shí)現(xiàn)最高的AI性能，是考驗(yàn)芯片團(tuán)隊(duì)極具挑戰(zhàn)性的難題。

AiRiA 研究院常務(wù)副院長程健博士表示，若以犧牲AI芯片的性能來滿足IoT終端對體積、功耗和成本的要求，是一種“妥協(xié)”而非創(chuàng)新，如何在尋求平衡，做到較低功耗、較小體積和較低成本的情況下，還能保證性能不受到影響，才能真正滿足諸多行業(yè)場景對邊緣智能的綜合訴求。那么，AiRiA研究院是如何應(yīng)對這些嚴(yán)苛挑戰(zhàn)，達(dá)成AI芯片領(lǐng)域重大突破的呢？這就要提到中科院自動(dòng)化研究所基于十幾年對量化處理技術(shù)的深厚積累了。

量化處理技術(shù)是如何幫助AI芯片在成本、功耗、性能等綜合方面發(fā)揮優(yōu)勢的？

量化模型壓縮處理技術(shù)可以極大簡化整個(gè)計(jì)算過程。AiRiA 研究院副院長冷聰博士進(jìn)一步介紹道，量化技術(shù)的精細(xì)化程度越高，對整個(gè)計(jì)算過程簡化和整合的效率就越高。目前業(yè)內(nèi)采用量化處理技術(shù)的標(biāo)配是支持8比特，但AiRiA 研究院能做到4比特、2比特甚至任意1比特的量化，在國際上也達(dá)到了領(lǐng)先水平。

隨著量化程度的提高，AiRiA研究院自主設(shè)計(jì)的量化神經(jīng)處理器QNPU（Quantized Neural Processing Unit）可通過大規(guī)模神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)片上計(jì)算，從而減少或無需訪問外部存儲(chǔ)，這就解決掉耗費(fèi)極大功耗、帶寬和體積成本的“內(nèi)存墻”難題。這樣一來，就滿足了多種IoT的邊緣計(jì)算場景的應(yīng)用，在小規(guī)模的、小體積、小功耗的前提下仍保證高可靠的計(jì)算性能，這是QNPU非常突出的特性和優(yōu)勢。