嵌入式AI/ML的主要應(yīng)用市場及趨勢

近年來，AI 在邊緣端的應(yīng)用已成為不可阻擋的趨勢，嵌入式AI指的就是這種在邊緣端即可高效處理各種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的應(yīng)用加速模式。嵌入式AI能夠讓產(chǎn)品在設(shè)備層即可發(fā)揮智能化的檢測、識別、分類等功能，因此成為智能產(chǎn)品開發(fā)或產(chǎn)業(yè)升級換代的熱點(diǎn)。

然而，嵌入式AI不僅涉及軟件層面的算法設(shè)計(jì)，工具設(shè)計(jì)，也涉及硬件層面的芯片設(shè)計(jì)等一系列集成問題，因此也是一個門檻和復(fù)雜度極高的領(lǐng)域。

嵌入式 AI/ML 的主要應(yīng)用市場及趨勢

ADAS 和自動駕駛、智慧城市、智慧醫(yī)療和工業(yè)視覺應(yīng)用，是嵌入式 AI 應(yīng)用的典型場景，也是賽靈思 一直專注的市場領(lǐng)域。

汽車領(lǐng)域

在汽車領(lǐng)域，賽靈思主要關(guān)注前視、后視、環(huán)視、盲區(qū)檢測、自動泊車、智能座艙及、傳感器融合和域控等覆蓋從L2到L5級別的ADAS及自動駕駛。我們知道，汽車是一個特殊的場景，它對整個ADAS或自動駕駛系統(tǒng)的實(shí)時性和正確性有極高的要求，這就需要嵌入式芯片同時具備卓越的AI加速能力、靈活應(yīng)變的芯片架構(gòu)，還需要滿足行業(yè)最高的可靠性測試標(biāo)準(zhǔn)。賽靈思在今年6月份推出的7nm VersalTM AI Edge 系列，和當(dāng)前ZynqTM UltraScale+ MPSoC系列，都涵蓋了汽車等級，并提供行業(yè)領(lǐng)先的AI算力及靈活性。

值得一提的是，為了保證車輛行駛中決策和控制的快速性及正確性，多傳感器融合是一個必然的趨勢。如今，汽車搭載了越來越多的傳感器，如攝像頭、雷達(dá)、激光雷達(dá)、毫米波雷達(dá)、超聲波等，賽靈思也為這種多傳感器架構(gòu)帶來了巨大價值。賽靈思產(chǎn)品一方面能夠增強(qiáng)高級信號處理、點(diǎn)云預(yù)處理，另一方面，通過Vitis AI還可以實(shí)現(xiàn)點(diǎn)云機(jī)器學(xué)習(xí)加速、Image-Lidar融合算法加速、4D 雷達(dá)機(jī)器學(xué)習(xí)加速等；這些在汽車多傳感器方案，甚至5G結(jié)合AI的車路協(xié)同中都扮演重要的角色。

智慧城市領(lǐng)域

賽靈思產(chǎn)品在智慧城市領(lǐng)域已有廣泛的應(yīng)用，如智慧交通、智慧零售、智慧樓宇等。賽靈思產(chǎn)品除了本身具備靈活的I/O，支持MIPI、LVDS和多種傳感器接口、靈活的ISP支持策略、H264/H265視頻編解碼處理單元等能力以外，還具備強(qiáng)大的實(shí)時AI處理能力。

今年 4 月，賽靈思面向邊緣計(jì)算推出了基于Zynq UltraScale+ MPSoC的Kria K26 SOM卡和KV260視覺開發(fā)套件。同樣得益于VitisTM AI所帶來的AI性能加速，用戶能夠在這塊邊緣設(shè)備上實(shí)現(xiàn)多路、最高分辨率達(dá)4k、60幀的實(shí)時人臉檢測、ID跟蹤等功能；此外，Kria SoM也完全兼容賽靈思開放式AI模型庫，用戶可以從中選取模型任意切換或重新訓(xùn)練部署，總之，Kria SoM非常適合智能相機(jī)、嵌入式視覺及其它安全、零售分析、智慧城市和機(jī)器視覺應(yīng)用的生產(chǎn)和原型開發(fā)。

醫(yī)療及工業(yè)視覺領(lǐng)域

醫(yī)療及工業(yè)視覺領(lǐng)域也是賽靈思嵌入式AI落地的重要場景。在醫(yī)療領(lǐng)域，我們可以提供基于深度學(xué)習(xí)的醫(yī)療影像分析或超分辨率增強(qiáng)，用AI為醫(yī)護(hù)人員在內(nèi)窺鏡、超聲、核磁、X光檢測等場景提供更準(zhǔn)確的判斷。自2019年新冠病毒蔓延以來，賽靈思及業(yè)內(nèi)合作伙伴Spline.ai利用Vitis AI，將集成了深度學(xué)習(xí)處理單元DPU的MPSoC邊緣器件和AWS物聯(lián)網(wǎng)服務(wù)結(jié)合，針對肺部感染及新冠病毒預(yù)測系統(tǒng)開發(fā)了可擴(kuò)展的智能解決方案。

工業(yè)視覺領(lǐng)域

在工業(yè)視覺領(lǐng)域，賽靈思產(chǎn)品也在智慧工廠、智能工業(yè)相機(jī)、視覺控制及機(jī)器人等方面發(fā)揮重要的影響力，AI的作用主要體現(xiàn)在缺陷檢測、文字識別、實(shí)時分析等機(jī)器學(xué)習(xí)支持的預(yù)測性維護(hù)控制、遠(yuǎn)程診斷等嵌入式端上智能化。

嵌入式 AI 場景落地的挑戰(zhàn)及解決方案

在嵌入式AI產(chǎn)品落地的過程中，開發(fā)者遇到的挑戰(zhàn)主要是：

首先，該方案是否靈活可擴(kuò)展，能夠適配不同產(chǎn)品規(guī)模或自定義模塊？

其次，對于缺乏FPGA開發(fā)經(jīng)驗(yàn)的用戶，是否有簡單易用的AI開發(fā)工具以降低開發(fā)難度？

第三，如何突破瓶頸，在算力有限的邊緣端實(shí)現(xiàn)AI加速性能的最大化？

為了應(yīng)對這些挑戰(zhàn)，賽靈思在2020年初正式推出了Vitis AI解決方案，它是一套面向Xilinx Zynq SoC，Zynq MPSoC，Alveo及Versal ACAP的AI開發(fā)平臺，它能夠?yàn)橛脩魩碜顝?qiáng)大的機(jī)器學(xué)習(xí)加速性能，這主要通過方案中的神經(jīng)網(wǎng)絡(luò)加速引擎DPU、一系列自動化軟件工具（定點(diǎn)器、編譯器、優(yōu)化器）和AI運(yùn)行時及加速庫來實(shí)現(xiàn)。

與傳統(tǒng)的基于硬件RTL語言開發(fā)AI加速IP方案的最大不同在于，Vitis AI向用戶提供一個通用的且可配置的神經(jīng)網(wǎng)絡(luò)加速引擎DPU，在ZU+及Versal平臺上用戶可以根據(jù)實(shí)際的邏輯資源選擇最佳的DPU配置，最大處理效率超過80%；同時，在最新的Vitis AI方案中，用戶可以通過調(diào)用Graph Runner API實(shí)現(xiàn)在DPU和CPU上對自定義算子的流暢部署，這也保證了開發(fā)者可以在不同大小的器件、不同模型之間靈活切換。

其次，Vitis AI可以支持主流的機(jī)器學(xué)習(xí)框架，如Pytorch，Tensorflow和Caffe；在開放模型庫AI Model Zoo中涵蓋了上百個經(jīng)過充分優(yōu)化、驗(yàn)證及硬件部署的模型文件，其中不乏業(yè)界最先進(jìn)的3D目標(biāo)檢測算法、多任務(wù)學(xué)習(xí)算法、超分辨率增強(qiáng)算法，或時下流行的Yolo、Mobilenet、RefineDet、ResNet系列，用戶可以免費(fèi)下載或基于不同場景數(shù)據(jù)集的重新訓(xùn)練。

此外，針對嵌入式AI的部署環(huán)節(jié)，賽靈思也做了專門的軟件加速優(yōu)化，除了用自動化的定點(diǎn)器和編譯器將模型轉(zhuǎn)化為可部署形式外，用戶還可以直接調(diào)用相應(yīng)的軟件加速庫AI Library，無需額外開發(fā)模型的前后處理模塊，從而實(shí)現(xiàn)在FPGA和ACAP上的快速部署。

最后，為了幫助客戶實(shí)現(xiàn)邊緣端的性能突破，賽靈思在基于Vitis軟件開發(fā)環(huán)境中，集成了大量經(jīng)過底層優(yōu)化的加速庫，通過C++、OpenCL library的方式提供給用戶，所以除了DPU對AI部分的加速以外，我們對端到端的前處理、后處理的全流程都可以加速，這樣即可實(shí)現(xiàn)邊緣端上的最大化性能。審核編輯：郭婷