拼命甩開“偽需求”污名的邊緣AI

電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）作為用戶，我們已經(jīng)見證了人工智能從產(chǎn)品向功能的演化，而這股趨勢正在蔓延至邊緣端。然而邊緣端由于功耗、算力要求嚴(yán)格，部分現(xiàn)有的方案效果不佳，邊緣AI常常被冠以“偽需求”的污名，但對于無論是AI芯片廠商、IP供應(yīng)商還是軟件方案商，都在竭力證明自己的潛力。

換著法子追求低功耗

在不少人看來，AI芯片分為云端和邊緣端，云端AI芯片面向服務(wù)器和HPC，自然要求做到高性能，但與此同時(shí)功耗自然不低，且往往將推理和訓(xùn)練分隔開。而邊緣芯片的要求則恰恰與其相反，追求的首先就是低功耗。

旭日3/ 地平線

在當(dāng)前的趨勢下，由于邊緣端設(shè)備涉及的范圍太大，小到一個(gè)智能水表，大到自動駕駛汽車，所以對在對于算力和功耗的要求上各有不同，所以即便同屬邊緣AI芯片，也不好直接對比。比如有的是獨(dú)立的AI芯片，有的是起到輔助作用的協(xié)處理器。以地平線的旭日3系列就是針對智能前視和邊緣計(jì)算市場的邊緣AI芯片，其中X3M可以提供5TOPS的AI等效算力，X3E可以提供3TOPS的AI等效算力，在臺積電16nm的制程和地平線的芯片設(shè)計(jì)下，該系列的功耗已經(jīng)做到2.5W。但即便是這樣的低功耗，也不能說覆蓋所有的邊緣AI場景。

AML100 / Aspinity

今年年初，AI初創(chuàng)公司Aspinity發(fā)布了AML100 AnalogML芯片，一個(gè)主打模擬機(jī)器學(xué)習(xí)的低功耗邊緣AI芯片，最高支持4個(gè)模擬傳感器。該芯片面向那些需要實(shí)時(shí)喚醒的邊緣AI應(yīng)用，比如智能家居中的安全監(jiān)控、可穿戴設(shè)備上的智能語音控制、以及預(yù)防性和預(yù)測性維修中的異常檢測等。這些應(yīng)用都有著一個(gè)共通的特質(zhì)，那就是離不開傳感器。傳統(tǒng)的實(shí)時(shí)喚醒結(jié)構(gòu)將傳感器的模擬信號傳遞給ADC，轉(zhuǎn)換成數(shù)字信號后再發(fā)往數(shù)字處理器，如今這類方案已經(jīng)可以實(shí)現(xiàn)極低的功耗。

傳統(tǒng)架構(gòu)與AML100架構(gòu)的對比 / Aspinity

但在Aspinity看來，這種結(jié)構(gòu)需要模擬和數(shù)字系統(tǒng)均保持實(shí)時(shí)在線，ADC對傳感器輸出的數(shù)據(jù)“來者不拒”，因此數(shù)字處理器承擔(dān)了對所有數(shù)字信號的處理工作，如此一來功耗基本都在3000-5000μA的水平。而AML100的可配置模擬核心支持直接對模擬數(shù)據(jù)進(jìn)行特定的信號處理，比如頻譜分析、神經(jīng)網(wǎng)絡(luò)特征提取等，最終輸出真正有用的傳感器數(shù)據(jù)，最后再傳給數(shù)字處理器。如此一來數(shù)字處理器不需要時(shí)刻處于喚醒狀態(tài)，只需要在檢測到必要數(shù)據(jù)時(shí)喚醒即可，而AML100組成的模擬系統(tǒng)功耗可以做到100μA以下。據(jù)Aspinity的說法，AML100可見電池壽命延長20倍。

模型帶來的困擾

光靠AI芯片自然是不足以支撐起整個(gè)邊緣AI的發(fā)展，大家也都知道模型是AI中不可或缺的一環(huán)。然而邊緣側(cè)的定義已經(jīng)注定了跑不起那些大規(guī)模的AI模型，所以只能跑那些規(guī)模較小，并隨算力擴(kuò)展的機(jī)器學(xué)習(xí)模型，比如TinyML等，所以邊緣端的軟件棧同樣挑戰(zhàn)不小。此外，為不同的硬件調(diào)整AI模型也是邊緣端部署AI的一大痛點(diǎn)。如此一來，雖然不少邊緣AI芯片已經(jīng)做到了足夠的優(yōu)異的性能，在軟件生態(tài)尚未成熟之下，應(yīng)用場景依然少之又少。因此，邊緣AI的優(yōu)化往往以縮小開銷優(yōu)化模型為主，使其適應(yīng)邊緣端這一應(yīng)用場景，在低功耗也能實(shí)現(xiàn)絕對的優(yōu)勢。

最近又一家美國AI初創(chuàng)公司浮出水面，并獲得了來自高通創(chuàng)投和FoothillVenture等公司的1000萬美元種子輪融資。其初創(chuàng)團(tuán)隊(duì)包括深鑒科技（被賽靈思收購）聯(lián)合創(chuàng)始人兼Deep Compression技術(shù)開發(fā)者韓松、前FacebookAI的技術(shù)主管Di Wu等。從幾位創(chuàng)始人的履歷來看，都在AI和深度學(xué)習(xí)上有著豐富的經(jīng)驗(yàn)，而且都是清華電子工程出身的，考慮到FoothillVenture也就是改名前的清源創(chuàng)投，倒是不稀奇了。

OmniML的創(chuàng)始人 / OmniML

團(tuán)隊(duì)上就不過多展開講了，畢竟陣容再豪華的初創(chuàng)公司也得拿實(shí)力說話，OmniML的王牌又是什么呢？單看幾位創(chuàng)始人過去的成果，確實(shí)很擅長減少模型的壓縮優(yōu)化，尤其是他們也活躍于TinyML的開發(fā)社區(qū)。在OmniML官網(wǎng)的描述中指出，OmniML提供的軟件方案可優(yōu)化AI/ML模型，將它們輕易部署在邊緣設(shè)備中，又不會損失性能和精度，與此同時(shí)，OmniML提供一種硬件感知的神經(jīng)架構(gòu)搜索，只需訓(xùn)練模型一次，就可以部署在任何硬件中，無論是GPU、AI芯片還是低功耗的MCU，即便是老的硬件設(shè)備也能在OmniML的助力下獲得強(qiáng)大的AI/ML能力。

根據(jù)高通的說法，OmniML的神經(jīng)架構(gòu)搜索并不是單純的壓縮模型來做到優(yōu)化，而是從一開始就創(chuàng)建一個(gè)高效的新模型，對于邊緣硬件的客戶來說，不僅可以降低時(shí)間和資金成本，還能有效提升精度。OmniML聲稱他們這種神經(jīng)架構(gòu)搜索已經(jīng)用于亞馬遜的AutoML和Meta的PyTorch深度學(xué)習(xí)框架中。

考慮到開發(fā)團(tuán)隊(duì)有著深厚的機(jī)器視覺背景，OmniML也首先面向自動駕駛和智能攝像頭，他們展示了6車載攝像頭傳感器融合的3D檢測方案、以及基于CortexM7 MCU的人體檢測和人臉/口罩檢測。

邊緣AI的需求不算小眾

在呈現(xiàn)的無盡潛力面前，邊緣AI還是常常被人“邊緣化”，但如果我們直接看應(yīng)用市場的話，就會發(fā)現(xiàn)邊緣AI的需求巨大。無論是TWS耳機(jī)的主動降噪，服務(wù)機(jī)器人的語音識別還是汽車的自動駕駛，邊緣AI的發(fā)展必將為這些場景帶來更大的功耗優(yōu)勢，節(jié)省成本的同時(shí)加快落地速度。