只有“軟硬”兼施，邊緣智能才能火力全開

隨著移動計算和物聯(lián)網(wǎng) (IoT) 應(yīng)用的爆炸性增長，數(shù)以十億計的移動和聯(lián)網(wǎng)設(shè)備正在連接到互聯(lián)網(wǎng)，并在網(wǎng)絡(luò)邊緣生成海量數(shù)據(jù)。這些數(shù)據(jù)呈現(xiàn)出分散性、碎片化的特點，云計算雖然有強大的數(shù)據(jù)處理能力，但很難實現(xiàn)全面的計算覆蓋，而邊緣計算則可以極大地緩解云計算的壓力。

根據(jù)Machina Research的預(yù)測，到2025年全球物聯(lián)網(wǎng)連接數(shù)將猛增至270億個。事實上，大多數(shù)物聯(lián)網(wǎng)設(shè)備位于遠離云計算的邊緣側(cè)，若在云數(shù)據(jù)中心收集這些設(shè)備產(chǎn)生的數(shù)據(jù)，會產(chǎn)生非常高的延遲，并占用大量的網(wǎng)絡(luò)帶寬。邊緣智能（Edge AI）可依靠設(shè)備自身的硬件來處理與機器學(xué)習(xí)和深度學(xué)習(xí)相關(guān)的數(shù)據(jù)，此時的物聯(lián)網(wǎng)設(shè)備不僅是一個數(shù)據(jù)收集器，更應(yīng)是具有一定數(shù)據(jù)處理能力的執(zhí)行器。

邊緣智能中不可忽視的“軟”技術(shù)

Edge AI是一個將邊緣計算和人工智能（AI）結(jié)合在一起的系統(tǒng)，其目標是使用機器學(xué)習(xí)算法處理本地硬件設(shè)備生成的數(shù)據(jù)。Edge AI的優(yōu)勢不僅是數(shù)據(jù)處理速度快，出色的靈活性使得智能設(shè)備足以支持眾多行業(yè)應(yīng)用。此外，通過增強的安全功能，Edge AI顯著提高了數(shù)據(jù)的安全性，受Edge AI驅(qū)動的設(shè)備有助于將安全風(fēng)險降至最低。

在實際部署中，邊緣設(shè)備是能夠在設(shè)備本身執(zhí)行計算任務(wù)的終端設(shè)備或邊緣服務(wù)器，可能需要更多的硬件和軟件來實現(xiàn)最佳的輸出和本地存儲需求。作為邊緣智能的靈魂，Edge AI芯片的作用不言而喻，進入該行業(yè)的代表性企業(yè)有NVIDIA、Intel、NXP、Xilinx、ST、TI、Maxim等國際知名企業(yè)，也有寒武紀這樣的國內(nèi)后起之秀，他們的產(chǎn)品讓Edge AI的應(yīng)用更加接近現(xiàn)實世界。

然而，再強大的硬件如果沒有軟件的加持也會失去靈魂，無法發(fā)揮其應(yīng)用的功能。以機器學(xué)習(xí)（ML）為例，如果將其添加到Edge AI軟件中，可以顯著增強物聯(lián)網(wǎng)數(shù)據(jù)分析和決策的能力。根據(jù)Astute Analytica的研究，預(yù)計全球Edge AI軟件市場在2021-2027年間將以29.8%的復(fù)合年增長率增長，到2027年將形成80.498億美元的市場。

軟件開發(fā)工具主要由編譯器、調(diào)試器、操作系統(tǒng)、庫等構(gòu)成，包含了用于開發(fā)實時嵌入式處理器系統(tǒng)的大多數(shù)標準工具庫，同時還可能添加了專門的應(yīng)用庫，以及用于軟件開發(fā)的特定供應(yīng)商的開發(fā)工具。在Edge AI應(yīng)用中，大多數(shù)供應(yīng)商使用專用的計算設(shè)備如GPU、DSP、FPGA等加速CPU，這種擴展的CPU編程模型需要定制版本的標準開發(fā)工具。他們在開發(fā)自己的優(yōu)化軟件工具鏈的同時，還可能與第三方軟件工具供應(yīng)商合作，以確保其產(chǎn)品得到廣泛支持。

01 JetPack SDK：支持NVIDIA Jetson邊緣計算平臺

NVIDIA Jetson平臺是行業(yè)領(lǐng)先的人工智能硬件平臺之一，由英偉達（NVIDIA）公司提供，該平臺包括小型高性能邊緣計算機模組（Jetson模組）、可加速軟件的JetPack SDK，以及包含傳感器、SDK、服務(wù)和產(chǎn)品的生態(tài)系統(tǒng)。其中的Jetson模組（SOM）包括CPU、GPU、高速接口、內(nèi)存、電源管理等。

靈活的模塊化產(chǎn)品組合是NVIDIA Jetson的主要優(yōu)勢。無論是小企業(yè)還是大型企業(yè)，都可以在一系列Jetson模塊中找到非常適合自身應(yīng)用的那一款。在四大系列產(chǎn)品中，Jetson Nano模組屬于經(jīng)濟高效的入門級產(chǎn)品；Jetson TX1模組是為外圍機器學(xué)習(xí)和AI應(yīng)用設(shè)計的第一代Jetson模塊，主要用在制造業(yè)。

新一代的Jetson TX2模組與Jetson TX1引腳兼容但性能提高了一倍，是Jetson Nano性能的2.5倍，但功耗僅有7.5W。該系列中的Jetson TX2i在工業(yè)機器人和醫(yī)療設(shè)備等領(lǐng)域有著廣泛的應(yīng)用；Jetson Xavier NX是一款外形小巧的量產(chǎn)產(chǎn)品，支持所有熱門AI框架，該模組將高達21 TOP的加速AI計算帶到邊緣端，能并行運行多個現(xiàn)代神經(jīng)網(wǎng)絡(luò)，處理來自多個高分辨率傳感器的數(shù)據(jù)。Jetson AGX Xavier是專為自主機器打造的邊緣計算機模組，外形緊湊、節(jié)能高效，它的性能大約是Jetson TX2i的20倍，是英偉達AI嵌入式系統(tǒng)中性能最高的模組。

對NVIDIA Jetson平臺而言，除了擁有豐富的硬件模組可供選擇，統(tǒng)一的軟件開發(fā)環(huán)境和完整的生態(tài)系統(tǒng)是其深受行業(yè)好評的另一優(yōu)勢。Jetson平臺中用于軟件加速的JetPack SDK支持所有Jetson模組和開發(fā)者套件，是構(gòu)建AI應(yīng)用的全面解決方案。經(jīng)過不斷地演進，目前，JetPack 4.4是版本最高的正式版。

JetPack SDK包含適用于Linux操作系統(tǒng)的最新Linux驅(qū)動包 (L4T) 以及用于深度學(xué)習(xí)、計算機視覺、加速計算和多媒體的CUDA-X加速庫與API。它還包含用于主機和開發(fā)者套件的示例、文檔和開發(fā)者工具，并支持更高級別的SDK，比如用于視頻分析的DeepStream SDK和用于機器人開發(fā)的Isaac SDK。JetPack SDK捆綁了所有Jetson平臺軟件，包括TensorRT、cuDNN、CUDA Toolkit、VisionWorks、GStreamer和OpenCV，所有這些都是在L4T和LTS Linux內(nèi)核之上構(gòu)建的。

此外，Jetson還與其他NVIDIA平臺上所用的相同AI軟件和云原生工作流相兼容，能為客戶提供在邊緣端構(gòu)建軟件定義的智能機器所需的性能和功耗。

02 eIQ：NXP機器學(xué)習(xí)軟件開發(fā)環(huán)境

NXP (恩智浦) 的EdgeVerse平臺是一個功能全面的邊緣計算和安全平臺，它通過廣泛的可擴展嵌入式處理產(chǎn)品組合，將實現(xiàn)高性能和高能效計算的構(gòu)建模塊聚合在一起。該平臺包含NXP業(yè)界領(lǐng)先的可擴展嵌入式處理、安全、軟件以及行業(yè)解決方案，非常適合物聯(lián)網(wǎng)、工業(yè)和汽車市場等邊緣應(yīng)用。具體涉及的產(chǎn)品有i.MX嵌入式處理產(chǎn)品組合和Layerscape應(yīng)用處理器、K32、LPC和Kinetis微控制器、i.MX RT跨界處理器，以及車用微控制器和處理器等。

eIQ機器學(xué)習(xí)（ML）軟件開發(fā)環(huán)境支持在EdgeVerse微控制器、i.MX RT跨界MCU和i.MX系列應(yīng)用處理器上使用ML算法。該軟件利用開源的專有技術(shù)，可完全集成到恩智浦MCUXpresso軟件開發(fā)套件和Yocto開發(fā)環(huán)境中。

eIQ擁有一套全面的工作流程工具、推理引擎、神經(jīng)網(wǎng)絡(luò)（NN）編譯器，以及經(jīng)過優(yōu)化的數(shù)據(jù)庫，幫助簡化并加快機器學(xué)習(xí)開發(fā)。最新擴展的eIQ軟件開發(fā)環(huán)境，添加了全新eIQ Toolkit工作流程工具、基于GUI的eIQ門戶開發(fā)環(huán)境，以及針對i.MX和i.MX RT設(shè)備進行優(yōu)化的DeepViewRT推理引擎。

eIQ Toolkit的功能是提供簡單的工作流程以及機器學(xué)習(xí)應(yīng)用示例。在eIQ門戶中，該工具套件還有一個基于GUI的開發(fā)選項，開發(fā)人員可根據(jù)自己的喜好選擇使用命令行主機工具。借助eIQ門戶，能輕松創(chuàng)建、優(yōu)化、調(diào)試、轉(zhuǎn)換并導(dǎo)出機器學(xué)習(xí)模型，也可以從TensorFlow、ONNX和PyTorch機器學(xué)習(xí)框架中導(dǎo)入數(shù)據(jù)集和模型。

推理引擎是機器學(xué)習(xí)開發(fā)項目的核心，也是機器學(xué)習(xí)應(yīng)用的運行組件。eIQ機器學(xué)習(xí)軟件開發(fā)環(huán)境支持使用針對Glow、ONNX和TensorFlow Lite等i.MX設(shè)備和MCU進行優(yōu)化的開源推理引擎進行推理。新增的DeepViewRT推理引擎是一款經(jīng)過優(yōu)化的運行時推理引擎，可在i.MX RT跨界MCU和i.MX 8M系列應(yīng)用處理器上運行機器學(xué)習(xí)模型，具有在Arm Cortex-M/A內(nèi)核、GPU和NPU上運行推理的能力，還可作為恩智浦MCU Xpresso SDK版本和Yocto BSP版本（用于基于Linux操作系統(tǒng)開發(fā)）的中間件。

03 Vitis AI：Xilinx人工智能推斷軟件開發(fā)工具

Vitis統(tǒng)一軟件平臺是被Xilinx (賽靈思) 視為具有里程碑式意義的產(chǎn)品，這是一款從云到端、從軟件到AI都提供了綜合全面的庫和模型的統(tǒng)一軟件平臺。其中，AI開發(fā)人員可以利用Vitis AI高層次框架訓(xùn)練自己的模型。在Vitis AI架構(gòu)中，AI Model Zoo開放了一系列來自流行框架Pytorch、Tensorflow、Tensorflow 2和Caffe的現(xiàn)成深度學(xué)習(xí)模型，適用于在Xilinx硬件平臺（包括邊緣器件和Alveo卡）上進行人工智能推斷。

Vitis AI的開發(fā)套件包括：AI優(yōu)化器 (AI Optimizer) 、AI量化器 (AI Quantizer) 、AI編譯器 (AI Compier) 、AI分析器 (AIProfiler) 。使用Vitis AI，能在邊緣器件上為IoT、自動駕駛及ADAS、醫(yī)療成像以及視頻分析等應(yīng)用實現(xiàn)高效AI計算。

Vitis AI開發(fā)套件中的AI優(yōu)化器采用領(lǐng)先的模型壓縮技術(shù)，在對精度影響極小的情況下，將模型的復(fù)雜性降低5至50倍，這種深度壓縮技術(shù)將AI推斷性能提升到一個新的層次；AI量化器則通過將32位浮點權(quán)值和激活量轉(zhuǎn)換為INT8這樣的定點網(wǎng)絡(luò)模型，在不影響預(yù)測精度的情況下，大幅降低計算的復(fù)雜度。

由于定點網(wǎng)絡(luò)模型需要的內(nèi)存帶寬更少，因此比浮點網(wǎng)絡(luò)模型的速度更快，電源效率也更高；AI編譯器的主要作用是將AI模型映射至高效指令集及數(shù)據(jù)流，還可執(zhí)行高級優(yōu)化任務(wù)，如層融合和指令排程等，并盡量重復(fù)使用片上內(nèi)存；借助Vitis AI中的AI配置器，程序員能夠深入分析AI推斷實現(xiàn)方案的效率和利用率；Vitis AI庫是一組高層次庫和API，通過深度學(xué)習(xí)處理器單元（DPU）進行有效的AI推斷，為Xilinx平臺上的AI模型部署提供了易于使用的接口。

結(jié)語

邊緣人工智能應(yīng)用程序能夠在現(xiàn)場處理數(shù)據(jù)、安全傳輸數(shù)據(jù)，并提高邊緣人工智能設(shè)備的隱私。因無需首先向云端發(fā)送數(shù)據(jù)，邊緣人工智能還有效縮短了生成結(jié)果的周轉(zhuǎn)時間。IoT的高度數(shù)據(jù)驅(qū)動特性進一步說明了現(xiàn)場數(shù)據(jù)處理對邊緣人工智能應(yīng)用的需求?，F(xiàn)在，許多企業(yè)已經(jīng)認識到，邊緣人工智能不僅僅是一種選擇，更是一個將以各種方式徹底改變行業(yè)的未來技術(shù)。IDC的分析數(shù)據(jù)顯示，到2023年，在新的企業(yè)IT基礎(chǔ)設(shè)施中，超過50%將部署在邊緣，而不是企業(yè)數(shù)據(jù)中心。預(yù)計到2024年，邊緣應(yīng)用的數(shù)量將增加800%。

為了在空間尺寸緊張，功耗、散熱和成本受限的環(huán)境中高效運行，邊緣人工智能解決方案需要高集成度、高速和低功耗以及高效率的軟硬件產(chǎn)品來支撐。優(yōu)化的計算架構(gòu)和芯片產(chǎn)品，讓邊緣計算獲得了可靠的硬件支撐。為了建立一個高效的邊緣人工智能系統(tǒng)，還必須有一個功能全面的軟件環(huán)境來助力，現(xiàn)有的邊緣智能芯片的潛力才能得到最大化的發(fā)揮。只有“軟”“硬”兩手同時抓，才能形成完整且高效的邊緣智能解決方案。

審核編輯：郭婷