什么是邊緣AI？邊緣AI技術(shù)架構(gòu)趨勢(shì)

人工智能、云計(jì)算、邊緣計(jì)算之后，一個(gè)新的時(shí)髦詞匯出現(xiàn)了——邊緣AI（Edge AI）！相比于傳統(tǒng)的云端AI，邊緣AI具有將計(jì)算和推斷能力推向離數(shù)據(jù)源更接近的位置的優(yōu)勢(shì)，可以提供了更快速、更安全、更隱私保護(hù)的數(shù)據(jù)處理和決策能力，使得人工智能能夠更好地應(yīng)用于各種邊緣設(shè)備和應(yīng)用場(chǎng)景中。這種本地化處理方式使得設(shè)備能夠在幾毫秒內(nèi)做出決策，而無需互聯(lián)網(wǎng)連接或云服務(wù)。這意味著，當(dāng)設(shè)備產(chǎn)生數(shù)據(jù)時(shí)，本地算法可以立即使用這些數(shù)據(jù)進(jìn)行計(jì)算和決策。

邊緣AI的定義可以歸結(jié)為在邊緣計(jì)算環(huán)境中實(shí)現(xiàn)人工智能。在邊緣計(jì)算中，計(jì)算任務(wù)通常在網(wǎng)絡(luò)的邊緣完成，即在生成數(shù)據(jù)的設(shè)備上，如相機(jī)或汽車等。與傳統(tǒng)的集中式云計(jì)算不同，邊緣AI不需要將數(shù)據(jù)傳輸?shù)竭h(yuǎn)程數(shù)據(jù)中心進(jìn)行處理，而是在設(shè)備本身進(jìn)行計(jì)算和決策。以智能相機(jī)為例，它能夠在相機(jī)側(cè)檢測(cè)到事件，并能否根據(jù)檢測(cè)到的事件做出相應(yīng)的決策。 總的來說，隨著人工智能技術(shù)的日益普及，邊緣人工智能正在逐漸嶄露頭角，搭載AI能力的設(shè)備涵蓋汽車，無人機(jī)，監(jiān)控?cái)z像頭等應(yīng)用場(chǎng)景，出貨量也在快速的成長(zhǎng)，如下圖所示。

按類別劃分的AI邊緣設(shè)備出貨量 如上圖所示，邊緣AI計(jì)算的需求范圍可能包括數(shù)億計(jì)的工業(yè)和消費(fèi)設(shè)備，因此任何單一的架構(gòu)都不太可能滿足所有這些需求。在微控制器和相對(duì)低端的芯片上運(yùn)行推理模型是可以的，但大多數(shù)機(jī)器學(xué)習(xí)功能需要從基于FPGA、ASIC和其他SoC配置的一長(zhǎng)串可選CPU附加項(xiàng)，以及GPU和CPU的組合，有時(shí)還需要由Google的TPU等特殊用途的ASIC來增強(qiáng)。 大部分的增強(qiáng)都是以加速器的形式出現(xiàn)的。這些FPGA、SoC、ASIC和其他專用芯片旨在幫助資源受限的基于x86的設(shè)備通過一層接一層的分析標(biāo)準(zhǔn)處理大量圖像或音頻數(shù)據(jù)，因此app可以正確地計(jì)算和加權(quán)每個(gè)數(shù)據(jù)的值。英特爾和英偉達(dá)已經(jīng)向邊緣AI市場(chǎng)發(fā)起沖擊。

英偉達(dá)的Jetson這樣的產(chǎn)品并不能令人信服。Jetson是一個(gè)GPU模塊平臺(tái)，具有7.5W的功率預(yù)算，只有英偉達(dá)更典型產(chǎn)品的70W功率的一小部分，但對(duì)于一般不超過5W的邊緣應(yīng)用來說還是太高了。有很多IP公司正在為神經(jīng)網(wǎng)絡(luò)尋求加速，因此有足夠的選擇使加速器開始成為邊緣設(shè)備推理的需求?！?但是，要想在潛在的億萬個(gè)設(shè)備上添加ML加速和支持，將需要更多的可定制性、更低的成本，以及更專門針對(duì)資源受限設(shè)備上ML應(yīng)用需求的規(guī)范——這意味著，如果要取得成功，整個(gè)市場(chǎng)將需要更好的處理器。 神經(jīng)推理需要數(shù)萬億次乘法累加運(yùn)算，因?yàn)槟Ｐ蛷钠涔骄仃嚨囊粚犹崛?shù)據(jù)，盡管每一層可能需要不同的數(shù)據(jù)大小，而且其中一些設(shè)備可能在輸入設(shè)置為8位整數(shù)而不是16位整數(shù)時(shí)運(yùn)行得更快。

Xilinx試圖利用其在FPGA和系統(tǒng)級(jí)設(shè)計(jì)方面的經(jīng)驗(yàn)，推出新的產(chǎn)品系列和路線圖，以滿足盡可能多的邊緣/設(shè)備市場(chǎng)的需求。 Xilinx在去年春天討論了這個(gè)想法，但直到10月才正式宣布，該公司描述了一個(gè)自適應(yīng)計(jì)算加速平臺(tái)，該平臺(tái)“利用CPU、GPU和FPGA的力量來加速一切應(yīng)用”。 Xilinx的演示描述了一個(gè)廣泛的產(chǎn)品線、使用案例列表和有關(guān)其AI引擎核心的詳細(xì)信息，其目標(biāo)是提供比傳統(tǒng)方法的單位芯片面積高出3~8倍的性能，并提供高性能DSP能力。

與此同時(shí)，F(xiàn)lexLogix創(chuàng)建了一個(gè)使用低DRAM帶寬的可重構(gòu)神經(jīng)加速器。芯片的面積和功率的目標(biāo)規(guī)格將在明年上半年完成，并在下半年流片。推理引擎將充當(dāng)CPU，而不僅僅是一個(gè)更大，更漂亮的加速器。它提供了模塊化、可擴(kuò)展的架構(gòu)，旨在通過減少移動(dòng)數(shù)據(jù)的需要以及通過改進(jìn)數(shù)據(jù)和矩陣計(jì)算的加載方式來減少瓶頸，從而降低移動(dòng)數(shù)據(jù)的時(shí)間和精力成本。

該芯片將DRAM專用于單個(gè)處理器塊，而不是將其作為一個(gè)大內(nèi)存池進(jìn)行管理。DRAM不能同時(shí)將數(shù)據(jù)饋送到芯片的多個(gè)部分。將DRAM作為流入一個(gè)處理器塊的大內(nèi)存池處理，這是范諾依曼架構(gòu)的典型特征，但它不會(huì)成為神經(jīng)網(wǎng)絡(luò)的成功架構(gòu)。

Xilinx，F(xiàn)lexLogix和其他公司蜂擁到了一個(gè)仍處于發(fā)展中的邊緣推理市場(chǎng)，顯示出市場(chǎng)和SoC、FPGA制造商提供良好技術(shù)以應(yīng)對(duì)它們的能力的廣泛信心，但這并不能保證他們能夠克服安全、隱私、現(xiàn)狀的慣性和其他無形的問題。同樣，F(xiàn)PGA、ASIC和SoC加速M(fèi)L的市場(chǎng)仍處于起步階段。

當(dāng)一個(gè)新市場(chǎng)發(fā)展起來時(shí)，看到許多新的參與者和新方法是正常的。FPGA和ASIC供應(yīng)商也在其中，因?yàn)檫@些技術(shù)使一家知道自己在做什么的公司能夠快速生產(chǎn)出合理的產(chǎn)品。不過，標(biāo)準(zhǔn)最終將在一兩年內(nèi)回歸，這將穩(wěn)定所涉及的參與者的數(shù)量和專長(zhǎng)，并確保與其他市場(chǎng)的互通性。

審核編輯：黃飛