邊緣AI哪家強(qiáng)？芯片競(jìng)逐，平臺(tái)為王！

邊緣計(jì)算的快速發(fā)展使得計(jì)算能力快速向邊緣遷移，AI也逐步從中心節(jié)點(diǎn)向更貼近數(shù)據(jù)源和業(yè)務(wù)現(xiàn)場(chǎng)的邊緣側(cè)拓展，邊緣與云的關(guān)系已經(jīng)呈現(xiàn)出既有分工又彼此合作的局面。在邊緣側(cè)，邊緣智能與邊緣計(jì)算和人工智能相結(jié)合，能有效地執(zhí)行實(shí)時(shí)、小數(shù)據(jù)的處理，開(kāi)展AI模型的推理，并將結(jié)果回傳至云端，這種云—邊—端協(xié)同的邊緣智能架構(gòu)，解決了目前AI應(yīng)用中存在的海量數(shù)據(jù)處理、實(shí)時(shí)響應(yīng)以及數(shù)據(jù)安全等問(wèn)題，為AI在更多行業(yè)的應(yīng)用奠定了基礎(chǔ)。

1、邊緣智能：拓展AI新邊界

IDC預(yù)測(cè)，到2025年，將有414億臺(tái)物聯(lián)網(wǎng)設(shè)備，期間將產(chǎn)生73147EB數(shù)據(jù)，其中約四分之一是實(shí)時(shí)生成的。要想完全在云端對(duì)這些數(shù)據(jù)進(jìn)行處理和AI分析，很可能超過(guò)系統(tǒng)和通信鏈路的處理極限，再加上網(wǎng)絡(luò)帶寬、數(shù)據(jù)安全等限制，要實(shí)現(xiàn)AI向多行業(yè)的滲透，還存在著諸多挑戰(zhàn)。
隨著人工智能向邊緣側(cè)的轉(zhuǎn)移，AI行業(yè)應(yīng)用得到了極大擴(kuò)展。根據(jù)德勤的分析，現(xiàn)在的AI計(jì)算已經(jīng)在制造業(yè)、政府、零售、電信、醫(yī)療等不同應(yīng)用場(chǎng)景下獲得應(yīng)用。很顯然，邊緣智能在拓展AI邊界過(guò)程中發(fā)揮了重要作用，它能顯著提升AI針對(duì)現(xiàn)場(chǎng)多樣化業(yè)務(wù)場(chǎng)景的適應(yīng)性，從而更好地支撐業(yè)務(wù)運(yùn)營(yíng)，為客戶創(chuàng)造更多的價(jià)值。

制造業(yè)是國(guó)民經(jīng)濟(jì)的基礎(chǔ)性產(chǎn)業(yè)，同時(shí)也是推動(dòng)智能化發(fā)展最迫切的行業(yè)之一。根據(jù)IDC的預(yù)測(cè)，未來(lái)幾年，邊緣智能支出在生產(chǎn)過(guò)程智能化、智能供應(yīng)鏈與物流、數(shù)據(jù)安全與合規(guī)等應(yīng)用場(chǎng)景將保持20%以上的年均復(fù)合增長(zhǎng)率。以產(chǎn)品質(zhì)檢為例，它是工業(yè)制造中不可或缺的環(huán)節(jié)。傳統(tǒng)的產(chǎn)品質(zhì)檢主要依靠人工目視檢測(cè)，或者采用傳統(tǒng)的基于模式匹配技術(shù)的機(jī)器視覺(jué)，這些做法很難滿足復(fù)雜場(chǎng)景、復(fù)雜外觀缺陷的檢測(cè)需求，漏檢、誤檢率高。采用智能邊緣AI技術(shù)后，不僅顯著提升了機(jī)器視覺(jué)檢測(cè)能力和適用性，產(chǎn)品質(zhì)量也能得到了有效控制。

在智慧城市建設(shè)中，AI應(yīng)用已經(jīng)滲透到城市管理、交通、民生等諸多方面。隨著智慧城市向精細(xì)化和社區(qū)化下沉，邊緣智能在智慧交通、應(yīng)急響應(yīng)、城市安全等場(chǎng)景下的應(yīng)用日漸增多。IDC的預(yù)測(cè)是，在未來(lái)幾年，邊緣智能支出在城市運(yùn)維管理場(chǎng)景這一市場(chǎng)將保持25%的增速。

5G支持的人工智能和創(chuàng)新應(yīng)用對(duì)網(wǎng)絡(luò)延遲有很高的要求，邊緣智能在此過(guò)程中將發(fā)揮重要作用。比如電信運(yùn)營(yíng)商通過(guò)建設(shè)具備GPU的MEC邊緣數(shù)據(jù)中心，就可以為行業(yè)用戶提供邊緣計(jì)算服務(wù)，降低企業(yè)自建邊緣計(jì)算中心的成本。

對(duì)許多應(yīng)用而言，邊緣端顯然是進(jìn)行機(jī)器學(xué)習(xí)處理的理想位置，在醫(yī)療健康與生命科學(xué)行業(yè)更是展示出良好的應(yīng)用效果。在過(guò)去的一年中，新冠肺炎疫情在全球蔓延，對(duì)現(xiàn)有的醫(yī)療保健系統(tǒng)造成巨大沖擊。如果將邊緣智能應(yīng)用到醫(yī)學(xué)影像輔助診斷中，可大幅提高輔助診斷的技術(shù)水平和工作效率。最新發(fā)布的阿里達(dá)摩院2021十大科技趨勢(shì)預(yù)測(cè)中指出，新型AI算法的迭代及算力突破將解決藥物分子靶點(diǎn)確證、藥物可成藥性等難題，例如在疫苗的研發(fā)過(guò)程中，借助AI，可快速找到疫苗的優(yōu)質(zhì)候選化合物。

根據(jù)IDC的預(yù)測(cè)，到2024年，制造業(yè)、政府、零售、電信、醫(yī)療五大行業(yè)在邊緣智能應(yīng)用上的支出將達(dá)到159億美金，占整體邊緣智能市場(chǎng)支出的49%。在上述這些重點(diǎn)領(lǐng)域，敏捷聯(lián)接、實(shí)時(shí)業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護(hù)已經(jīng)成為核心需求，邊緣智能將是實(shí)現(xiàn)行業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵。隨著邊緣智能技術(shù)和解決方案的不斷完善，在汽車、消費(fèi)電子、服裝、鋼鐵、化工等信息化基礎(chǔ)良好的行業(yè)，AI場(chǎng)景化應(yīng)用也將逐步落地。

2、邊緣AI平臺(tái)：芯片廠商的競(jìng)爭(zhēng)焦點(diǎn)

市場(chǎng)分析數(shù)據(jù)顯示，2020年將有超過(guò)500億的終端和設(shè)備聯(lián)網(wǎng)，其中超過(guò)50%的數(shù)據(jù)需要在網(wǎng)絡(luò)邊緣側(cè)分析、處理和存儲(chǔ)。IDC預(yù)計(jì)，到2024年，全球企業(yè)在邊緣應(yīng)用上的支出有望達(dá)到2500億美元，其中與AI技術(shù)相關(guān)的支出將達(dá)到326億美元，占整體邊緣市場(chǎng)支出的13%。

作為邊緣智能的靈魂，邊緣AI芯片有著重要地位，邊緣設(shè)備只有通過(guò)AI芯片獲得了自主計(jì)算的能力，才能稱之為真正的邊緣智能。

現(xiàn)在的AI芯片主要有兩種，即云端AI芯片和邊緣AI芯片。如果按照功能劃分，又可分為訓(xùn)練芯片和推斷芯片。市場(chǎng)上的邊緣AI芯片很多是邊緣推斷芯片。雖然邊緣AI芯片市場(chǎng)興起時(shí)間不長(zhǎng)，但參與者眾多，其中包括NVIDIA、Intel、NXP、Xilinx、STMicroelectronics、Maxim Integrated等跨國(guó)企業(yè)，也有以寒武紀(jì)為代表的國(guó)內(nèi)企業(yè)。

在推出芯片這一硬件產(chǎn)品的基礎(chǔ)上，各廠商也在努力將軟件開(kāi)發(fā)工具、合作生態(tài)資源與其整合在一起，著力打造完整的邊緣AI平臺(tái)，加速相關(guān)應(yīng)用的開(kāi)發(fā)落地，這也成為了置身其中的各個(gè)芯片廠商的競(jìng)爭(zhēng)焦點(diǎn)。我們不妨來(lái)看一下目前市場(chǎng)上比較有代表性的一些邊緣AI平臺(tái)。

01）NVIDIA EGX邊緣AI平臺(tái)

NVIDIA（英偉達(dá)）是全球GPU的龍頭，在AI訓(xùn)練市場(chǎng)擁有強(qiáng)大的領(lǐng)先優(yōu)勢(shì)。面向邊緣計(jì)算市場(chǎng)，英偉達(dá)有兩款性能出眾的EGX邊緣AI平臺(tái)產(chǎn)品：一款是用于較大型商業(yè)通用服務(wù)器的EGX A100聚合加速器，另一款是用于微型邊緣服務(wù)器的微型EGX Jetson Xavier NX。這兩款產(chǎn)品均擁有安全、高性能的AI處理能力。搭載了EGX A100的服務(wù)器可以管理機(jī)場(chǎng)中的數(shù)百臺(tái)攝像頭，而EGX Jetson Xavier NX則可用于管理便利店中的少量攝像頭。

EGX A100是首個(gè)基于NVIDIA Ampere架構(gòu)的邊緣AI產(chǎn)品。它結(jié)合了NVIDIA Ampere架構(gòu)所具有的突破性計(jì)算性能以及NVIDIA Mellanox ConnectX-6 Dx SmartNIC所具備的網(wǎng)絡(luò)加速和關(guān)鍵性安全功能，能將標(biāo)準(zhǔn)型和專用型的邊緣服務(wù)器轉(zhuǎn)變?yōu)闃O具安全性的云原生AI超級(jí)計(jì)算機(jī)。其中，NVIDIA Ampere架構(gòu)是NVIDIA的第8代GPU架構(gòu)，為在邊緣運(yùn)行AI推理和5G應(yīng)用等各類計(jì)算密集型工作負(fù)載提供了卓越的性能。

在開(kāi)發(fā)環(huán)境上，借助NVIDIA提供的經(jīng)過(guò)完整優(yōu)化的跨EGX邊緣AI平臺(tái)云原生軟件，EGX邊緣AI平臺(tái)的云原生架構(gòu)使其可以運(yùn)行容器化的軟件，以支持一系列GPU加速的工作負(fù)載。其應(yīng)用框架包括用于醫(yī)療領(lǐng)域的Clara、電信領(lǐng)域的Aerial、對(duì)話式AI領(lǐng)域的Jarvis、機(jī)器人技術(shù)領(lǐng)域的Isaac，以及用于零售、智慧城市、交通等領(lǐng)域的Metropolis。這些應(yīng)用既能組合使用也可以單獨(dú)使用。

在生態(tài)系統(tǒng)建設(shè)上，NVIDIA為EXG建立了龐大的合作伙伴生態(tài)系統(tǒng)，他們中有的是邊緣服務(wù)器制造商，有的是混合云平臺(tái)企業(yè)，比如Atos、Dell、富士通、GIGABYTE、HPE、IBM、浪潮、聯(lián)想、Cisco等都是NVIDA生態(tài)系統(tǒng)上的重要一員。

02）NXP EdgeVerse平臺(tái)

于NXP（恩智浦）而言，他們的邊緣處理應(yīng)用主要分三類：第一類是主要支持5G本地網(wǎng)絡(luò)及數(shù)據(jù)集成的網(wǎng)絡(luò)邊緣應(yīng)用；第二類是工業(yè)邊緣應(yīng)用，包括工廠自動(dòng)化、基礎(chǔ)設(shè)施、交通運(yùn)輸、醫(yī)療等；第三類是物聯(lián)網(wǎng)邊緣應(yīng)用，包括智能家居、消費(fèi)和可穿戴等。
NXP的EdgeVerse平臺(tái)是一個(gè)功能全面的邊緣計(jì)算和安全平臺(tái)，它通過(guò)廣泛的可擴(kuò)展嵌入式處理產(chǎn)品組合，將實(shí)現(xiàn)高性能和高能效計(jì)算的構(gòu)建模塊聚合在一起，為工業(yè)、物聯(lián)網(wǎng)和汽車等眾多邊緣應(yīng)用提供強(qiáng)勁動(dòng)力。

EdgeVerse平臺(tái)包含NXP出色的可擴(kuò)展嵌入式處理、安全、軟件、行業(yè)解決方案等，非常適合物聯(lián)網(wǎng)、工業(yè)和汽車市場(chǎng)等邊緣應(yīng)用。具體涉及的產(chǎn)品包括NXP i.MX嵌入式處理產(chǎn)品組合和Layerscape應(yīng)用處理器、K32、LPC和Kinetis微控制器、i.MX RT跨界處理器，以及車用微控制器和處理器等。

為了支持IIoT的機(jī)器學(xué)習(xí)能力，NXP在不久前推出了集成專用NPU的i.MX系列產(chǎn)品——i.MX 8M Plus應(yīng)用處理器。該處理器擁有2.3TOPS算力，內(nèi)置最高2GHz的四核Arm Cortex-A53內(nèi)核、800MHz Cortex-M7實(shí)時(shí)處理器，另有800MHz音頻DSP用于語(yǔ)音和自然語(yǔ)言處理，還有雙攝像頭圖像信號(hào)處理器（ISP）和3D GPU。i.MX 8M Plus還是一款集成了專用神經(jīng)處理單元（NPU）的i.MX系列產(chǎn)品，通過(guò)Cortex-A53內(nèi)核和NPU的結(jié)合，顯著增強(qiáng)了邊緣設(shè)備的學(xué)習(xí)和推斷能力，可在工業(yè)和IoT邊緣進(jìn)行高級(jí)機(jī)器學(xué)習(xí)推理。

EdgeVerse平臺(tái)還擁有一套嚴(yán)格的加密系統(tǒng)。EdgeLock安全產(chǎn)品組合就是EdgeVerse平臺(tái)的組成部分，它能為安全標(biāo)準(zhǔn)非常高的器件提供高水平的安全認(rèn)證和服務(wù)。

在開(kāi)發(fā)環(huán)境上，NXP推出的EdgeVerse平臺(tái)，通過(guò)提供工具和引擎，推動(dòng)機(jī)器學(xué)習(xí)和推理，輕松實(shí)現(xiàn)云連接，激發(fā)和簡(jiǎn)化邊緣人工智能。EdgeVerse平臺(tái)包含NXP的eIQ機(jī)器學(xué)習(xí)軟件開(kāi)發(fā)環(huán)境、Immersiv3D音頻體驗(yàn)套件和EdgeScale設(shè)備管理平臺(tái)，開(kāi)發(fā)者可配合現(xiàn)有模型使用，或者快速設(shè)計(jì)、培訓(xùn)學(xué)習(xí)和優(yōu)化新模型。

在生態(tài)系統(tǒng)建設(shè)上，NXP已經(jīng)與知名的云軟件和服務(wù)提供商、原始設(shè)備制造商以及ODM建立了密切的合作，比如Microsoft Azure、Accton、AWS、Scalys、Delta等均為NXP的生態(tài)合作伙伴，支持其推出的一系列工業(yè)、零售和運(yùn)營(yíng)商應(yīng)用的邊緣計(jì)算解決方案。

03）Xilinx ACAP平臺(tái)

ACAP平臺(tái)是Xilinx（賽靈思）在2018年推出的新一代計(jì)算平臺(tái)。根據(jù)Xilinx的介紹，ACAP并不是FPGA，而是整合了硬件可編程邏輯單元、軟件可編程處理器以及軟件可編程加速引擎的計(jì)算平臺(tái)產(chǎn)品。基于ACAP架構(gòu)的首款產(chǎn)品名為Versal，主要面向人工智能推理市場(chǎng)。

Versal基于TSMC（臺(tái)積電）7nm工藝，結(jié)合了軟件可編程性和針對(duì)特定領(lǐng)域的硬件加速，具有高度的適應(yīng)性。Velsal包括六款器件，采用獨(dú)特的架構(gòu)，它繼承了CPU、GPU和可用于數(shù)據(jù)中心加速的FPGA，實(shí)現(xiàn)了可滿足包括云、網(wǎng)絡(luò)、邊緣計(jì)算、無(wú)線通信和終端節(jié)點(diǎn)等各種應(yīng)用市場(chǎng)需求的AI推理性能。Xilinx甚至將Versal稱為SoC界的瑞士軍刀。

與此前在市場(chǎng)上叱詫風(fēng)云的Xilinx Zynq Ultrascale ＋ MPSoC相比，Versal縮減了中央FPGA模塊的尺寸，為額外的DSP、ARM內(nèi)核、推理組件和I/O模塊騰出了足夠的空間。按照Xilinx自己的說(shuō)法，Versal芯片的能效可以達(dá)到英偉達(dá)GPU的4倍，推理性能是英偉達(dá)的2－8倍。

在開(kāi)發(fā)環(huán)境上，Vitis是Xilinx歷時(shí)5年、投入總計(jì)1000個(gè)人工年打造的一款統(tǒng)一軟件平臺(tái)，可實(shí)現(xiàn)在Xilinx異構(gòu)平臺(tái)，包括FPGA、SoC和Versal ACAP上開(kāi)發(fā)嵌入式軟件和加速應(yīng)用，為邊緣、云和混合計(jì)算應(yīng)用加速提供統(tǒng)一編程模型。正是基于上述的這些性能優(yōu)勢(shì)，Xilinx自信地將Vitis稱作是具有里程碑式意義的產(chǎn)品。

Vitis是一款從云到端、從軟件到AI都提供了綜合全面的庫(kù)和模型的統(tǒng)一軟件平臺(tái)。其中，AI科學(xué)家可以利用Vitis AI高層次框架訓(xùn)練自己的模型。Vitis AI支持自適應(yīng)實(shí)時(shí)AI推斷加速，其底層是業(yè)界主流的框架，包括TensorFlow、Caffe、PyTorch，此外還包括37個(gè)開(kāi)源的模型，這些模型主要針對(duì)諸如智慧城市、智能駕駛、實(shí)施目標(biāo)分析跟蹤等市場(chǎng)主流應(yīng)用，開(kāi)發(fā)者可以直接取用模型進(jìn)行開(kāi)發(fā)，無(wú)需了解FPGA等底層硬件。Vitis AI的開(kāi)發(fā)套件包括：AI優(yōu)化器（AI Optimizer）、AI量化器（AI Quantizer）、AI編譯器（AI Compiler）、AI分析器（AI Profiler

在生態(tài)系統(tǒng)建設(shè)上，通過(guò)合作伙伴計(jì)劃，Xilinx建立了完善而龐大的生態(tài)系統(tǒng)。所有合作伙伴可在Xilinx.com上推廣企業(yè)以及經(jīng)過(guò)驗(yàn)證的解決方案，Xilinx則為合作伙伴提供開(kāi)發(fā)工具，以提升生產(chǎn)力和解決方案開(kāi)發(fā)能力。而這些生態(tài)系統(tǒng)合作伙伴提供的解決方案，可幫助系統(tǒng)設(shè)計(jì)者快速整合Xilinx FPGA、SoC、3DIC、IP和軟件定義解決方案。

從以上這些芯片廠商的系列舉措中我們不難看出，提供一個(gè)軟硬兼修、方案生態(tài)齊全的邊緣AI平臺(tái)，已經(jīng)是行業(yè)實(shí)力玩家的一致選擇。不夸張地講，未來(lái)的邊緣AI領(lǐng)域?qū)⑹且粋€(gè)“平臺(tái)為王”的時(shí)代。隨著這些平臺(tái)資源的不斷完善，邊緣AI的開(kāi)發(fā)之旅也會(huì)變得更加順暢和愉悅?，F(xiàn)在是時(shí)候，考慮在下一個(gè)Design-In中，引入邊緣AI了！