基于AI視覺處理的更多新應(yīng)用

在對人工智能（AI）而非提高像素的需求推動(dòng)下，特別是在由計(jì)算機(jī)視覺和數(shù)據(jù)驅(qū)動(dòng)的決策制定方面，GPU（圖形處理單元）領(lǐng)域已出現(xiàn)一場革命。神經(jīng)網(wǎng)絡(luò)的到來已使視覺處理成為現(xiàn)代世界的關(guān)鍵因素。因此，機(jī)器人處理操作、智能監(jiān)控?cái)z像頭以及汽車高級駕駛輔助系統(tǒng)（ADAS）等相關(guān)行業(yè)都發(fā)生了變化——隨著這類技術(shù)的全面涌現(xiàn)，未來還將出現(xiàn)更多新的應(yīng)用。

換句話說，專業(yè)人員需要考慮現(xiàn)在以及未來幾年的市場情況。隨著AI方面的開發(fā)繼續(xù)取得突破性進(jìn)展及其投資量超過幾乎所有其他行業(yè)，AI對我們所做一切產(chǎn)生影響只是時(shí)間問題。 想想自從第一款智能手機(jī)推出以來，移動(dòng)設(shè)備上已增加大量新的應(yīng)用，從而打開了種種基于位置的服務(wù)、社交互動(dòng)、商業(yè)以及娛樂。AI有可能開啟新的應(yīng)用，并使現(xiàn)有應(yīng)用得到發(fā)展，使之大幅改進(jìn)，而為用戶提供更好的服務(wù)。

云端作用

AI視覺處理已從數(shù)據(jù)中心迅速發(fā)展到邊緣，最新的專用集成電路（ASIC）和片上系統(tǒng)（SoC）IP正在圍繞一個(gè)主題發(fā)展，即從視覺信息的預(yù)處理，到傳統(tǒng)的計(jì)算機(jī)視覺算法，然后再用神經(jīng)網(wǎng)絡(luò)進(jìn)行邊緣推理，產(chǎn)生對象檢測、識(shí)別以及適當(dāng)?shù)膭?dòng)作。

AI這個(gè)術(shù)語是包括計(jì)算機(jī)視覺深度學(xué)習(xí)在內(nèi)的多種機(jī)器學(xué)習(xí)的總稱。這些網(wǎng)絡(luò)的設(shè)計(jì)旨在使用數(shù)字等效物和感知器來模擬人腦的神經(jīng)元和突觸，它們通常需要經(jīng)過訓(xùn)練，才能識(shí)別視覺等數(shù)據(jù)中的模式，然后當(dāng)遇到新的數(shù)據(jù)時(shí)，就可以從中推斷出數(shù)據(jù)可能的含義。盡管推理通常是在本地使用GPU或?qū)Ｓ蒙窠?jīng)網(wǎng)絡(luò)加速器（NNA）IP實(shí)現(xiàn)，但訓(xùn)練則通常是在數(shù)據(jù)中心的計(jì)算機(jī)上通過GPU來完成——這類處理器非常適合處理并行流水線任務(wù)。

在過去十年，由于可負(fù)擔(dān)計(jì)算能力的增加，以及卷積神經(jīng)網(wǎng)絡(luò)（CNN）及其所用傳感器的發(fā)展，視覺處理一直在以指數(shù)級的速率進(jìn)步。具體而言，若能根據(jù)傳感器、數(shù)據(jù)集和SLAM（同時(shí)定位與映射）算法輸入去“了解”世界并對其“開發(fā)出”表征模型，那么系統(tǒng)就可以開始掌握周圍環(huán)境及其在空間中的位置，并做出預(yù)測和采取行動(dòng)。在云端訓(xùn)練出的高級系統(tǒng)現(xiàn)在能夠顯著加快推理速度，這樣就可以以支持實(shí)時(shí)決策的速度來完成對象識(shí)別。自動(dòng)駕駛汽車中的嵌入式系統(tǒng)具有多個(gè)傳感器，這樣的系統(tǒng)可以識(shí)別其他車輛，區(qū)分道路與人行道以及行人與動(dòng)物。然后，它們就可以開始對行人是否會(huì)即將進(jìn)入公路進(jìn)行預(yù)測。

值得注意的是，這種高級推理傳統(tǒng)上是在云端執(zhí)行，而現(xiàn)在正轉(zhuǎn)向在邊緣設(shè)備上運(yùn)行，即在本地使用一個(gè)1到2mm2的嵌入式處理器芯片，而以極佳的性能對網(wǎng)絡(luò)層進(jìn)行加速。也就是說，現(xiàn)在可以將強(qiáng)大的AI計(jì)算內(nèi)置到非常小的傳感器、電子控制單元（ECU）和物聯(lián)網(wǎng)（IoT）設(shè)備當(dāng)中。

隨著AI越來越靠近邊緣并進(jìn)入到傳感器、攝像頭和移動(dòng)設(shè)備等設(shè)備中，它不僅消除了對基于云端推理架構(gòu)的需求，而且將分析轉(zhuǎn)移到設(shè)備本身，消除了處理延遲，減少了數(shù)據(jù)傳輸和帶寬，同時(shí)可以增加安全性。強(qiáng)大的CNN可以通過量化和適應(yīng)部署在小型邊緣設(shè)備中，并且當(dāng)推理可以在小到大頭針針頭大小的芯片上運(yùn)行時(shí)，這些設(shè)備就可以對大量的市場產(chǎn)生影響，例如安全、零售、工廠、家庭和汽車，無處不在。

神經(jīng)網(wǎng)絡(luò)正在成為異構(gòu)系統(tǒng)中的重要組成部分，涉及GPU和NNA的組合，它們分別可以做自己最擅長的事情并相互補(bǔ)充。

CPU、GPU還是NNA？

由于CPU或GPU可提供的現(xiàn)成計(jì)算能力大幅增加，神經(jīng)網(wǎng)絡(luò)已變得非常普遍。然而，AI運(yùn)算涉及到高度密集型的計(jì)算，這也就解釋了為何當(dāng)談到邊緣設(shè)備時(shí)，它們難以實(shí)現(xiàn)令人滿意的性能——專用硬件解決方案則更為可取。例如，如果我們對典型的移動(dòng)CPU以“1倍”來衡量其在運(yùn)行神經(jīng)網(wǎng)絡(luò)時(shí)的性能，那么GPU可將這個(gè)速度加速到大約12倍。但是，在專用的神經(jīng)網(wǎng)絡(luò)加速器上，這些運(yùn)算的運(yùn)行速度可以快100倍（對于支持的層），如果運(yùn)行在較低的位深度，例如4位，則可以快200倍。

這種方法使用定點(diǎn)量化數(shù)據(jù)類型來最小化模型的大小和所需的帶寬。無損壓縮進(jìn)一步提高了效率。此外，一些NNA硬件核心IP支持可變位深度，這樣就可以逐層調(diào)整權(quán)重，實(shí)現(xiàn)最大的部署模型精度，同時(shí)最小化模型大小，從而減少內(nèi)存帶寬和功耗?？偟膩碚f，這樣可以實(shí)現(xiàn)非常高效的性能并滿足低功耗要求。小型（約1 mm2）NNA出色的功率效率，甚至可以使設(shè)備以電池或基于太陽能或風(fēng)能收集到的能量而運(yùn)行。

用例1：圖像預(yù)處理

將GPU和NNA結(jié)合使用的高級方法，可實(shí)現(xiàn)用GPU對魚眼鏡頭圖像（例如廣角/魚眼鏡頭）進(jìn)行去扭曲處理，然后將其作為輸入送到NNA，再運(yùn)行SSD（單鏡頭檢測）算法而在輸入的去扭曲圖像上進(jìn)行對象檢測（圖1）。這種方法已經(jīng)得到實(shí)際使用，例如安防監(jiān)控，或者將它用到需要用智能攝像頭或安裝在頭頂上的攝像頭來捕獲巨大視野的場景，或者用它來減少鏡頭失真。

圖1：預(yù)處理案例。

用例2：兩級對象檢測

然而，對于需要中間處理的網(wǎng)絡(luò)，例如選擇已訓(xùn)練的感興趣區(qū)域或人群中的人臉，則可以采用諸如Faster R-CNN的兩級對象檢測網(wǎng)絡(luò)實(shí)現(xiàn)（圖2）。另一個(gè)可能的例子是將神經(jīng)網(wǎng)絡(luò)鏈接在一起，即將一個(gè)網(wǎng)絡(luò)的輸出作為另一個(gè)網(wǎng)絡(luò)的輸入，其中包含了預(yù)處理、中間處理和后處理。處理路徑中間的非神經(jīng)網(wǎng)絡(luò)運(yùn)算可以根據(jù)適用情況而在GPU或CPU上進(jìn)行處理，而可加速的層則可以在NNA上運(yùn)行。

圖2：兩級對象檢測。

智慧城市、智能工廠和自動(dòng)駕駛汽車中的AI處理

如果能將GPU和NNA組合到同一芯片上，則有機(jī)會(huì)充分利用這兩個(gè)領(lǐng)域，而將圖形視覺計(jì)算處理與神經(jīng)網(wǎng)絡(luò)相結(jié)合，這通常會(huì)使用共享內(nèi)存來減少帶寬和外部數(shù)據(jù)傳輸。

智慧城市

智慧城市與基礎(chǔ)設(shè)施有關(guān)（圖3）。在智慧城市里，傳感器將數(shù)據(jù)轉(zhuǎn)發(fā)回云端的“大腦”，通過監(jiān)控交通流量來平穩(wěn)地引導(dǎo)交通，從而提高道路效率，而車輛依靠這種智能基礎(chǔ)設(shè)施來讓駕駛員了解即將到來的交通狀況。因此，車與燈柱，交通信號燈和街道標(biāo)志進(jìn)行交互，這可能會(huì)讓人覺得不可思議；未來，我們的車會(huì)一直做這樣的事情。因此，我們將看到越來越多的車對車（V2V）和車對基礎(chǔ)設(shè)施（V2X）進(jìn)行通信，以及智能邊緣傳感器“所見”數(shù)據(jù)的交互，及其如何作為有用信息進(jìn)行傳遞。

圖3：智慧城市場景。

V2X將會(huì)成為一項(xiàng)基本要求——這個(gè)領(lǐng)域?qū)⑹褂肁IoT（在物聯(lián)網(wǎng)中結(jié)合使用人工智能）并將采用數(shù)萬億個(gè)傳感器。AIoT將會(huì)支持這種車對基礎(chǔ)設(shè)施的通信，也就是說它們之間會(huì)進(jìn)行多方面的信息交換，確保車輛能根據(jù)實(shí)時(shí)預(yù)測的信息做出明智的選擇。例如，要是人類管理員疏忽，忘了對高速公路標(biāo)志上的過時(shí)信息更新，那將多么令人沮喪？或者，要是能知道提前下高速能避免繞遠(yuǎn)路或排長隊(duì)，那豈不是更好？

目前，衛(wèi)星導(dǎo)航系統(tǒng)依靠眾包數(shù)據(jù)來實(shí)現(xiàn)這一目標(biāo)，但使用實(shí)時(shí)信息，可以使這個(gè)過程實(shí)現(xiàn)自動(dòng)化并減少獲取數(shù)據(jù)的延遲。

汽車電子：自動(dòng)駕駛汽車

自動(dòng)駕駛汽車上裝有多個(gè)攝像頭，用來實(shí)現(xiàn)計(jì)算機(jī)視覺、對象識(shí)別、車道警告和駕駛員監(jiān)控，以及其他傳感器（例如，熱成像、RADAR和LiDAR）而實(shí)現(xiàn)傳感器融合。在邊緣端處理數(shù)據(jù)，可以最大程度地降低汽車收發(fā)數(shù)據(jù)所需的帶寬，并避免分析的延遲。在有連接盲點(diǎn)或延遲非常嚴(yán)重的時(shí)候（例如以70mph以上的速度行駛），邊緣處理對能否挽救生命起到?jīng)Q定性作用。

此外，人工智能和路徑規(guī)劃可以識(shí)別和預(yù)測是否有小孩會(huì)走到公路上，從而讓車輛預(yù)測和減速，以便采取規(guī)避行動(dòng)。在更簡單的層面上，自動(dòng)代客泊車可以使駕駛員省去尋找停車位的負(fù)擔(dān)。

再者，邊緣傳感器可以跟蹤水、廢物、能源和環(huán)境污染（進(jìn)而對流量改道而減少對特定地區(qū)的污染），以及使家庭和工作場所變得更安全和智能。

在智慧城市，AIoT將使更智能的邊緣設(shè)備不僅是數(shù)據(jù)生成器（傳感器），而且是數(shù)據(jù)聚合器，數(shù)據(jù)交換和數(shù)據(jù)驅(qū)動(dòng)的決策“大腦”。對于城市中的汽車而言，這意味著可以通過街道基礎(chǔ)設(shè)施（V2X）和其他車輛（V2V）不斷對汽車更新信息來分散交通堵塞或完全消除堵塞，共享數(shù)據(jù)也可更好地對路線規(guī)劃和行車安全進(jìn)行決策，并為救護(hù)車通行清理道路。

未來工作

在工作場所，以往“不通情達(dá)理”的工業(yè)機(jī)器人和自動(dòng)駕駛車輛將變得可“了解”它們周圍的環(huán)境和人類的存在，從而使未來的工廠變得更加安全，例如，如果有人進(jìn)入到機(jī)器人的工作范圍，它就能立即了解到將發(fā)生的事情并進(jìn)入到安全模式，從而提高安全性。雖然工廠和工作場所正采用機(jī)器學(xué)習(xí)來徹底改變?nèi)蝿?wù)學(xué)習(xí)，但我們?nèi)匀恍枰Ａ粼诒匾獣r(shí)允許人類進(jìn)行介入和干預(yù)的權(quán)利。我們正在進(jìn)入可 “教授”機(jī)器人做特定任務(wù)的階段，例如讓它們做弧形運(yùn)動(dòng)或者在做某項(xiàng)事時(shí)實(shí)現(xiàn)可接受的運(yùn)動(dòng)范圍。

同樣，我們將擁有智能便利店，顧客在此可以方便地選擇零售商品，例如維生素飲料，然后當(dāng)他離開商店時(shí)，商店就會(huì)自動(dòng)將款項(xiàng)從其帳戶扣除，并更新其忠誠度積分，同時(shí)對貨架進(jìn)行補(bǔ)充。所有這一切都是依靠傳感器和攝像頭的動(dòng)作實(shí)現(xiàn)，而沒有任何的人類互動(dòng)。

本文小結(jié)

人工智能正在推動(dòng)第四次工業(yè)革命。我們所生活的時(shí)代激動(dòng)人心，我們幾乎每天都能看到有進(jìn)步發(fā)生。業(yè)界對圖形和人工智能的投資也正在以指數(shù)級的速度擴(kuò)大，并正在通過持續(xù)創(chuàng)新來開發(fā)新的用例。計(jì)算機(jī)和機(jī)器視覺的這些發(fā)展引人入勝，我們可以通過傳感器、邊緣設(shè)備和先進(jìn)的高性能IP來為我們的世界增添智能。使用專用芯片IP進(jìn)行神經(jīng)網(wǎng)絡(luò)加速正在創(chuàng)造“智能邊緣”，我們正看到新的“視覺技術(shù)”部署在此，從而改變我們的世界。