每個人都喜歡談?wù)撨吘?a href="http://www.ttokpm.com/tags/ai/" target="_blank">AI,但卻不提AI與嵌入式世界之間長期存在的鴻溝。邊緣AI設(shè)計人員陷入了無休止的“優(yōu)化”循環(huán)中,他們不得不在硬件上調(diào)整神經(jīng)網(wǎng)絡(luò)模型并達到可接受的精度。他們急需工具來減負。這關(guān)系到邊緣AI部署的規(guī)模。
Eta Compute的CEO Evan Petridis最近表示:“如今,邊緣AI正處于‘這個令人不安的路口’。邊緣AI橫跨兩個領(lǐng)域,機器學(xué)習(xí)(ML)和嵌入式。這兩個截然不同的領(lǐng)域既沒有相同的語言,也沒有相同的設(shè)計理念?!?/p>
最明顯的差距在于技術(shù)和產(chǎn)品開發(fā)的速度。ML的發(fā)展速度是普通硬件設(shè)計人員從未見過的。另一方面,嵌入式領(lǐng)域的芯片會隨著時間的推移而不斷演進,其產(chǎn)品開發(fā)速度要穩(wěn)定得多、保守得多。
最令嵌入式社區(qū)感到不安的是,兩個領(lǐng)域的專家對其設(shè)計和工程嚴謹性的看法大相徑庭。
數(shù)據(jù)科學(xué)家開發(fā)的神經(jīng)網(wǎng)絡(luò)模型都是統(tǒng)計性的。Petridis說:“因此,當他們能讓一個模型正確工作時,例如92%,他們就認為自己贏了。然而,在傳統(tǒng)的嵌入式世界中,如果你犯了一個錯誤,你交付的東西在100%不能正常工作,你會遇到巨大的經(jīng)濟問題……運營問題是巨大的?!?/p>
Petridis說,結(jié)果就是“文化沖突、領(lǐng)域知識沖突和開發(fā)周期沖突”。他認為這種沖突可能會“極大地阻礙邊緣AI產(chǎn)品的部署”。
Aptos
Eta Compute剛剛推出了一款名為Aptos的云端軟件平臺,這標志著該公司業(yè)務(wù)模式的又一次轉(zhuǎn)折。Eta Compute于2015年作為一家AI芯片初創(chuàng)公司起步,然后在2020年底成為一家軟件IP供應(yīng)商?,F(xiàn)在,它是一家SaaS平臺公司。
Eta Compute的轉(zhuǎn)型反映了仍處于萌芽期的邊緣AI市場的磨合期陣痛,也反映了許多AI硬件初創(chuàng)公司在尋找最終創(chuàng)收點時的掙扎。
Eta Compute解釋說:“Aptos是一個新的基于網(wǎng)絡(luò)的平臺,它帶來了對嵌入式系統(tǒng)領(lǐng)域的理解,包括所選芯片的軟件和芯片的AI能力和局限性?!痹摴韭暦Q,其基于網(wǎng)絡(luò)的工具鏈“可以簡化邊緣ML的模型開發(fā)、部署和管理的整個流程周期”。
Petridis總結(jié)道,“我們希望打造一款處于嵌入式和ML領(lǐng)域交匯點的工具?!?/p>
不過,Eta Compute并不是第一個開發(fā)旨在連接嵌入式和AI領(lǐng)域的工具的公司。Edge Impulse成立于2019年,聲稱其工具集“讓嵌入式ML應(yīng)用的構(gòu)建、部署和擴展過程變得更簡單、更快速”。
Edge Impulse更專注于“漏斗的頂部”,讓硬件公司“輕松上手”,而Petridis則認為,Eta Compute的Aptos將滿足系統(tǒng)設(shè)計人員深入挖掘和開發(fā)“值得生產(chǎn)的edge AI模型”的需求。
邊緣AI市場的格局
這兩家公司的工具的潛在市場似乎都很大,因為邊緣AI是人人都在拼命搶奪和快速增長的細分市場。當然,AI加速器初創(chuàng)公司和AI推理SoC設(shè)計公司都寄希望于邊緣技術(shù),以便在嵌入式市場中占據(jù)有意義的份額,因為Nvidia還沒有像在數(shù)據(jù)中心那樣占據(jù)主導(dǎo)地位。
包括ST、Renesas和NXP在內(nèi)的傳統(tǒng)MCU公司也在努力將AI納入其產(chǎn)品組合。
例如,Silicon Labs周二發(fā)布了一款名為Series 3的嵌入式IoT平臺,內(nèi)置AI/ML引擎。Silicon Labs的CTO Daniel Cooley說:“有了更多的內(nèi)存和算力,我們的ML能力或矢量計算能力將比現(xiàn)在提高100倍?!?/p>
Silicon Labs在過去15年中對經(jīng)典MCU已經(jīng)進行了全面的“重新思考”,Cooley說,“這些MCU從一開始就連接在一起,它們將為ML帶來更多的算力。”他預(yù)測,ML將“在嵌入式領(lǐng)域變得更加有趣……就像在數(shù)據(jù)中心、移動和汽車領(lǐng)域一樣”。
盡管如此,邊緣AI項目的實際投產(chǎn)率卻低得令人沮喪。
Eta Compute自身在邊緣AI市場的經(jīng)驗告訴該公司,盡管進行了大量實驗、原型和PoC,但邊緣AI產(chǎn)品根本沒有得到批量部署。早在Petridis加入之前,這就是Eta Compute的大問題,盡管它擁有專為超低功耗AIoT應(yīng)用而優(yōu)化的異構(gòu)多核SoC。
部署延遲不僅困擾著Eta Compute,也困擾著所有AI芯片公司。
拓展問題的根源
IDC將擴展問題歸咎于“成本(即硬件加速器和計算資源)、缺乏熟練人員、缺乏ML操作工具和技術(shù)、缺乏足夠的數(shù)據(jù)量和數(shù)據(jù)質(zhì)量,以及信任和治理問題”等。
對于邊緣AI開發(fā)人員來說,基本的擴展問題可歸結(jié)為三個因素:需要手工制作AI模型以實現(xiàn)準確性、數(shù)據(jù)科學(xué)家和硬件設(shè)計人員之間的不斷來回循環(huán),以及邊緣AI應(yīng)用的碎片化性質(zhì)。
雖然AI芯片公司通常都配備了自己的編譯器,但在ML優(yōu)化方面卻面臨著困難。為了保留功能,編譯器通常會降低表示法,例如從C語言到匯編語言,或從行為RTL到結(jié)構(gòu)RTL。
ML推理IP公司Quadric的CMO Steve Roddy解釋說,但對于ML優(yōu)化而言,編譯器并不能完成這項工作,因為“你實際上是在刪除東西”?!肮ぞ哝湆嶋H上是在告訴數(shù)據(jù)科學(xué)家,嘿,你的行李中有很多多余的東西,你真的不需要了?!盧oddy將這種窘境比作帶著超重行李出現(xiàn)在機場,雖然預(yù)訂的是廉價航空的機票。
Roddy說:“因為所有東西都必須裝進隨身行李,所以我打開你的行李,開始把你所有的衣服都扔出來?!?/p>
這實際上就是數(shù)據(jù)科學(xué)家建立一個極其復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型時發(fā)生的情況。ML中的剪枝、稀疏性或量化任務(wù)“與標準編譯器的工作截然不同”。
但是,從我的行李中取出衣服是誰的工作呢?
Roddy解釋說,通常是嵌入式人員和數(shù)據(jù)科學(xué)家。有些公司有“數(shù)據(jù)工程師”或“ML工程師”,專門負責(zé)填補空白。
Petridis喜歡行李箱的比喻。
但他補充說,ML優(yōu)化涉及的參數(shù)超出了體積縮小的范圍,可能會重塑模型?!癕L的多維性可能會把你的包變成一個極其奇怪的形狀,甚至?xí)褚粋€星形包?!?/p>
Petridis說,考慮一下特定的神經(jīng)網(wǎng)絡(luò)操作。“你可以在Arm內(nèi)核上運行它,或者如果你有加速器和 NPU,這可能有助于將運行速度提高20倍或50倍。但這不如通用CPU靈活。”
Petridis說,鑒于硬件和軟件性能存在諸多變數(shù),優(yōu)化變得“星羅棋布”。他指出,人們通常很難跟蹤工藝優(yōu)化中的所有變量。有“一小撮人,通常是芯片公司的人,他們通過研究特定的架構(gòu)成長起來,并開發(fā)出了一套特定的啟發(fā)式方法,讓你知道如何繪制出東西”。這種優(yōu)化方式可能對某個項目有效,但如果讓AI芯片公司只追求特定的邊緣AI項目,而不去擴展,那就會釀成大禍。
有了Aptos,Eta Compute就可以省去數(shù)據(jù)科學(xué)、神經(jīng)網(wǎng)絡(luò)模型和復(fù)雜映射方面的人工雕琢。Petrides解釋說,它應(yīng)用ML來發(fā)現(xiàn)芯片性能、剖析芯片并抽象硬件。
當他在2021年加入Eta Compute時,“我們圍繞著構(gòu)建正確的軟件基礎(chǔ)設(shè)施這一主張重塑了公司”,以支持邊緣AI。Petrides解釋說,Eta Compute不再是一家芯片公司,而是加強了ML工程,將60%的專家投入ML,三分之一的專家投入嵌入式系統(tǒng)。
贏得嵌入式工程師的信任
Eta Compute設(shè)計的Aptos將來回優(yōu)化過程簡化為一個步驟。
Petridis說:“我們通過對硬件進行抽象來實現(xiàn)這一點。我們讓它足夠準確,這樣嵌入式工程師就可以相信它了。最后,Aptos提供了一個模型,例如,在一個特定的芯片上實現(xiàn)了90%的準確率,運行時間為17毫秒,耗電量為1.1毫焦?!盤etridis強調(diào)說:“這不是估計、猜測或近似值。這是測量值。因此,如果你把這個模型集成到你的軟件模型中,并在你的系統(tǒng)上運行,你將得到完全相同的結(jié)果。”
從本質(zhì)上講,Eta Compute聲稱Aptos可以從嵌入式AI系統(tǒng)目前使用的任何架構(gòu)中提取最大容量。Petridis說:“這并不神奇,因為我們的方法是使用供應(yīng)商的工具,深入到他們的編譯器內(nèi)部,因為編譯器希望以某種方式分配任務(wù)?!?/p>
據(jù)Petridis稱,剛推出的Aptos仍處于測試階段,只有少數(shù)人參加了其早期訪問計劃。
ML和嵌入式社區(qū)之間的鴻溝既廣又深。包括Eta Compute和Edge Impulse在內(nèi)的越來越多的供應(yīng)商認為,軟件基礎(chǔ)設(shè)施的不足阻礙了商業(yè)邊緣AI產(chǎn)品潛在的爆炸性增長。
審核編輯:劉清
-
加速器
+關(guān)注
關(guān)注
2文章
785瀏覽量
37147 -
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4717瀏覽量
100009 -
嵌入式芯片
+關(guān)注
關(guān)注
4文章
229瀏覽量
27595 -
機器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8306瀏覽量
131842 -
AI設(shè)計
+關(guān)注
關(guān)注
0文章
5瀏覽量
797
原文標題:邊緣AI普及的關(guān)鍵是軟件
文章出處:【微信號:Astroys,微信公眾號:Astroys】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論