新的算法和工具加速嵌入式視覺的采用

自從2011年嵌入式視覺聯(lián)盟（EVA）成立以來，嵌入式視覺在廣泛的市場范圍內，在投資、創(chuàng)新和實用視覺技術的使用方面，都取得了前所未有的增長。為了幫助人們理解技術選擇和趨勢，EVA每年對產(chǎn)品開發(fā)人員進行一次年度調查。

最新一輪的年度調查于2018年11月完成，在此次調查中，93%的受訪者表示，他們預計其組織在未來一年內與視覺相關的業(yè)務會增加（61%的受訪者預計會大幅增加）。而如果沒有大量的新算法和開發(fā)工具來加速視覺系統(tǒng)的采用，這種增長預期是不可能實現(xiàn)的。

有三個基本因素正在推動著視覺系統(tǒng)的采用。視覺系統(tǒng)越來越

?適用于各種實際應用

?能以低成本和低功耗部署

?可供非專業(yè)人員使用

傳統(tǒng)上，計算機視覺應用依賴于為每個特定應用設計高度專業(yè)化的算法,而這是一項非常耗時耗力的辛苦工作。這意味著為計算機視覺設計算法是一件困難的事，因此這一點也顯著減緩了視覺系統(tǒng)的采用。此外，這使得新的視覺應用非常昂貴且耗時。

然而，計算機視覺已經(jīng)變得越來越普及。換句話說，開發(fā)基于計算機視覺的算法、系統(tǒng)和應用以及大規(guī)模部署這些解決方案，正變得越來越容易，從而使更多的開發(fā)人員和組織能夠將視覺融入到他們的系統(tǒng)中。

深度學習是這種趨勢的驅動因素之一。由于深度學習算法的普遍性，因此對開發(fā)專用算法的需求越來越少。相反，開發(fā)人員可以將它們的主要精力轉移到在可用的算法中選擇適合自身應用的算法，然后獲得必要數(shù)量的培訓數(shù)據(jù)。

深度神經(jīng)網(wǎng)絡（DNN）已經(jīng)改變了計算機視覺，在識別物體、在一幀內定位物體以及確定哪個像素屬于哪個物體等任務上，DNN能夠提供優(yōu)越的結果。即使之前能夠用傳統(tǒng)技術解決的問題，現(xiàn)在使用深度學習技術也能提供更好的解決方案。

因此，計算機視覺開發(fā)人員正在越來越多地采用深度學習技術。在EVA最近開展的調查中，59%的視覺系統(tǒng)開發(fā)人員表示已經(jīng)在使用DNN（比兩年前的34%大幅增加）。另外28%的開發(fā)人員表示計劃在不久的將來使用DNN實現(xiàn)視覺智能化。

簡化計算機視覺開發(fā)和部署的另一個關鍵因素是云計算和更好的開發(fā)工具的興起。例如，現(xiàn)在的工程師再也不用花費數(shù)天或數(shù)周的時間安裝和配置開發(fā)工具，他們可以即時訪問云中預先配置的開發(fā)環(huán)境。同樣，當需要大量的計算能力來訓練或驗證神經(jīng)網(wǎng)絡算法時，這種計算能力可以在云中快速、經(jīng)濟地獲得。

云計算為許多視覺系統(tǒng)的初始部署提供了一條簡單的路徑，即使最終開發(fā)人員將轉向邊緣計算以降低成本的情況下也是如此。EVA最近的調查發(fā)現(xiàn)，75%的受訪者（在產(chǎn)品中使用深度神經(jīng)網(wǎng)絡進行視覺理解）在邊緣部署這些神經(jīng)網(wǎng)絡，而42%的受訪者使用云。這些數(shù)字總計超過100%，因為一些受訪者兩種方法都使用。

處理器和傳感器驅動嵌入式視覺增長

在過去五年中，用于嵌入式計算機視覺應用的處理器和傳感器的技術格局發(fā)生了顯著變化，預計在未來五年中，這種巨大變化將會繼續(xù)發(fā)生。

在市場快速增長的推動下，用于嵌入式視覺領域的處理器和傳感器，實現(xiàn)了速度驚人的快速創(chuàng)新。例如，根據(jù)Tractica的預測，從現(xiàn)在到2025年，用于計算機視覺的硬件、軟件和服務的年收入將以每年25%的速度增長，達到260億美元。

可以說，推動視覺系統(tǒng)被廣泛部署的最重要的因素是更好的處理器。視覺算法通常對計算性能有著很高的要求。以可接受的成本和功耗獲得所需要的性能，是一個常見的挑戰(zhàn)，特別是將視覺系統(tǒng)部署到成本敏感和電池供電的設備中時。

幸運的是，在過去的幾年里，針對計算機視覺應用的處理器的開發(fā)出現(xiàn)了爆炸式增長。現(xiàn)在，這些專用的處理器正在進入市場，它們在性能、成本、能源效率和易于開發(fā)方面，都有了巨大改進。

高性能處理器的進步，得益于深度學習被越來越多地采用。首先，深度學習算法比傳統(tǒng)的計算機視覺算法需要更高的處理性能；第二，最廣泛使用的深度學習算法具有許多共同的特點，這簡化了設計專用處理器以有效地執(zhí)行這些算法的任務。相比之下，傳統(tǒng)的計算機視覺算法表現(xiàn)出極大的多樣性。

如今，計算機視覺應用通常使用通用CPU和專用并行協(xié)處理器協(xié)同工作。過去，GPU是最流行的協(xié)處理器，因為它們具有廣泛的可用性，并且具有良好的編程工具支持。

如今，協(xié)處理器的選擇范圍更廣，較新類型的協(xié)處理器通常能比GPU提供更高的效率。需要權衡的是，這些較新的協(xié)處理器的可用性較低，開發(fā)人員的熟悉度還不是很高，而且也尚未得到成熟開發(fā)工具的支持。

根據(jù)EVA在2018年11月完成的針對開發(fā)人員的最新調查，近1/3的開發(fā)視覺產(chǎn)品的開發(fā)人員，正在使用深度學習專用的協(xié)處理器。這是一個非常顯著的變化，因為就在幾年前，還不存在針對深度學習的專用處理器。

傳感器也在迅速發(fā)展。在許多視覺系統(tǒng)中使用的2D圖像傳感器，使視覺功能具有很大的寬度。但是，如果能夠增加深度信息，將會是一件非常有價值的事。例如，識別橫向運動和垂直于傳感器運動的能力，大大擴展了系統(tǒng)對各種手勢的識別能力。

在其他應用中，深度信息提高了準確性。例如，在人臉識別應用中，深度感測對于確定被感測對象是一個真實的人臉、而不是一張照片是很有價值的。深度信息在移動機器人、汽車等移動系統(tǒng)中具有明顯的應用價值。

從歷史上看，深度傳感是一種昂貴的技術，但是情況在過去幾年發(fā)生了巨大變化。在Microsoft Kinect中以及最近在移動電話中使用的光學深度傳感器，促進了創(chuàng)新的加速，從而產(chǎn)生了微型、廉價和節(jié)能的深度傳感器。

系統(tǒng)開發(fā)人員正在擁抱這種改變。34%的受訪者表示，他們已經(jīng)在使用深度感知傳感器，29%（高于一年前的21%）的受訪者表示計劃將深度傳感器融入到未來的開發(fā)項目中，而這些項目跨越各行各業(yè)。

EVA的調查顯示，在廣泛的市場范圍內，實用計算機視覺技術在投資、創(chuàng)新和部署方面，都有前所未有的增長。由于這個市場相對年輕，總有一些新的東西涌現(xiàn)，在2019嵌入式視覺峰會上，涌現(xiàn)出了許多新的處理器和傳感器。

2019嵌入式視覺峰會：跟蹤計算機視覺的發(fā)展動態(tài)

5月20-23日在美國加州圣克拉拉會議中心舉行的2019嵌入式視覺峰會上，吸引了大約1200多名人員參會，這次峰會重點探討了在機器人、汽車、消費者、工業(yè)、醫(yī)療和監(jiān)控行業(yè)的可部署的視覺技術。

此次峰會共提供了約100場演講，主要圍繞技術進展、商業(yè)機會、使能技術和基礎部分這四大環(huán)節(jié)。麻省理工學院、谷歌、英特爾等全球頂尖的研究機構和企業(yè)，都在此次峰會上做了最前沿的報告。

除了演講報告之外，約有60家參展商在此次峰會現(xiàn)場展示了他們?yōu)榍度胧揭曈X應用帶來的新產(chǎn)品和新技術。

Cadence展示了其Tensilica Vision P6 DSP IP核，并展示了幾個應用場景，包括針對無人機的基于立體相機的低功耗深度傳感系統(tǒng)；用于機器人、無人機和汽車應用的實時目標檢測系統(tǒng)；先進的毫米波3D成像雷達解決方案。

Vision Components展示了超緊湊的MIPI相機板卡、智能相機和激光輪廓儀。該超緊湊型MIPI相機板卡，專門針對自動駕駛、無人駕駛飛行器、智能城市技術、醫(yī)療技術和實驗室自動化等應用而設計。智能相機采用Xilinx Zynq片上系統(tǒng)，具備一個2×866MHz的ARM處理器和一個FPGA，提供板卡和封裝兩種型號。

Basler展示了其MIPI開發(fā)工具套件dart BCON。該套件包括一個用于MIPI相機的500萬像素dart BCON、一個開發(fā)者處理板（基于高通Snapdragon 820片上系統(tǒng)芯片，帶Linux驅動程序）、一個96Boards兼容的夾層板以及透鏡和電纜等必要的附件。

Allied Vision展示了專為工業(yè)嵌入式視覺應用而設計的Alvium相機系列。Alvium相機圍繞一個專用集成電路而設計，集成了圖像信號處理器，并具備一個圖像處理庫。圖像校正和優(yōu)化處理都是在相機內部完成的。

其中Alvium1500具有一個MIPI CSI-2接口，可以通過Video4Linux或Direct Register Access控制；Alvium 1800具有USB3 Vision接口，可通過GenICam控制。兩款產(chǎn)品都支持NXP i.MX6/8和NVIDIA Jetson平臺?？捎玫膫鞲衅鞣直媛史秶鷱腣GA到2100萬像素。

Algolux展示了Ion平臺，它是為自主視覺系統(tǒng)設計和實施而構建的軟件包，主要包括Atlas相機優(yōu)化套件和Eos感知軟件兩部分。

Atlas套件旨在加速和自動化最佳相機調整，并提供可擴展和可預測的度量驅動方法。Eos軟件為單相機或多傳感器架構提供靈活的實現(xiàn)路徑，能在低光和惡劣天氣條件下，比其他系統(tǒng)獲得了更好的效果。

Teknique公司展示了模塊化系統(tǒng)Oclea，其采用Ambarella SoC處理器，標配閃存（FLASH）和DRAM。

μS5L型號基于Ambarella S5L66 SoC，集成了SecureBoot 8GB eMMC和1GB DRAM。該系統(tǒng)與Sony、OmniVision和安森美半導體等公司的圖像傳感器兼容。CV22型號基于Ambarella CV22 SoC，集成了Tru

stZone 8GB eMMC和1GB DRAM，內置立體聲音頻編解碼器、uSD卡、雙頻Wi-Fi和藍牙4.1。通過CVFlow為CNN網(wǎng)絡提供內置硬件加速。

嵌入式視覺聯(lián)盟宣布2019年“年度視覺產(chǎn)品獎”獲得者

嵌入式視覺聯(lián)盟（EVA）在5月21日開幕的2019嵌入式視覺峰會上，宣布了2019年“年度視覺產(chǎn)品獎”（Vision Product of the Year Awards）獲得者。該獎項旨在表彰那些行業(yè)領先技術公司的創(chuàng)新和卓越表現(xiàn)，這些公司為快速增長的領域實現(xiàn)了視覺AI和計算機視覺。

“如今，技術的發(fā)展使得許多不同的和不斷增長的市場，對視覺AI有著大量需求。因此，我們在這個領域看到了創(chuàng)新的急劇加速，”EVA創(chuàng)始人Jeff Bier說，“該獎項旨在表彰那些提供具有影響力的創(chuàng)新技術的公司，使得系統(tǒng)和應用開發(fā)人員可以通過這些技術將視覺智能融入到他們的產(chǎn)品中?！?/p>

2019年“年度視覺產(chǎn)品獎”獲獎者包括：

最佳傳感器：英飛凌公司IRS2381C 3D圖像傳感器

最佳軟件或算法：Morpho公司視頻處理解決方案

最佳汽車解決方案：Horizon Robotics公司Horizon Matrix

最佳AI技術：聯(lián)發(fā)科公司Mediatek Helio P90

最佳開發(fā)工具：英特爾公司OpenVINO工具包

最佳云解決方案：賽靈思Xilinx AI平臺

最佳處理器：Synopsys公司EV6x嵌入式視覺處理器（帶SEP）

年度視覺產(chǎn)品獎面向所有EVA成員公司開放。參賽產(chǎn)品由一個獨立的專家小組根據(jù)創(chuàng)新性、對客戶和市場的影響以及競爭差異性進行評審。

獲獎公司感言：

最佳傳感器獲得者-英飛凌：“最佳傳感器獎認可了英飛凌REAL3? ToF 3D圖像傳感器IRS2381C的創(chuàng)新性和性能。該傳感器能在移動設備中提供一種嶄新水平的3D成像功能。該傳感器具有很強的陽光抵御能力，并且支持廣泛的測量范圍。因此，它能在安全人臉認證、計算攝影和無縫AR應用方面，提供獨特的用戶體驗?！庇w凌射頻與傳感器副總裁兼總經(jīng)理Philipp von Schierstaedt說。

最佳軟件或算法獲得者-Morpho：“Morpho視頻處理解決方案是一套計算攝影算法，它聚焦于為實時處理和后處理應用提供視頻質量增強。贏得該獎項對我們來說意義非凡，它將促進我們開發(fā)新的算法，并在移動、網(wǎng)絡服務和汽車等多種行業(yè)中找到廣泛的應用。希望我們的高質量視頻處理解決方案能繼續(xù)加速嵌入式視覺行業(yè)的發(fā)展。”Morpho公司副總裁Toshi Torihara說。

最佳汽車解決方案獲得者-Horizon Robotics：“Horizon Matrix是一個基于Horizon Robotics第二代BPU架構（Bernoulli架構）的高級自主驅動計算平臺。它旨在為SAE L3和L4自動驅動系統(tǒng)完成多重計算密集型任務和關鍵任務?！盚orizon Robotics汽車業(yè)務副總裁兼總經(jīng)理Yufeng Zhang說。

最佳AI技術獲得者-聯(lián)發(fā)科：“聯(lián)發(fā)科的Helio P90芯片組，堪稱一個AI處理工廠，為設備制造商和消費者提供一流的智能成像。我們將繼續(xù)向市場推出新的優(yōu)質產(chǎn)品，并使每個人都能獲得卓越的技術。我們的下一代AI連接設備將更快、更強大、更節(jié)能?！甭?lián)發(fā)科無線業(yè)務部門主管TL Lee說。

最佳開發(fā)工具獲得者-英特爾：“邊緣解決方案需要多種多樣的硬件產(chǎn)品來滿足嚴格的性能、功耗、延遲和成本要求。該獎項強化了跨不同硬件的高性能、統(tǒng)一軟件環(huán)境的價值，它使開發(fā)人員能夠快速部署AI解決方案?！庇⑻貭栠吘壨评懋a(chǎn)品副總裁Adam Burns說。

最佳云解決方案獲得者-賽靈思：“AI模型的快速創(chuàng)新，需要適應特定領域的體系結構來有效地運行最新的網(wǎng)絡。對于每一類深度學習網(wǎng)絡，都需要專門的硬件和軟件架構，以滿足真實世界中云和邊緣應用在性能、延遲和功耗方面的需求。賽靈思的芯片無需重新設計芯片，就可以從硬件到軟件進行最新架構的調整，從而創(chuàng)建理想的AI推理解決方案?！辟愳`思軟件與生態(tài)系統(tǒng)AI產(chǎn)品營銷總監(jiān)Nick Ni說。

最佳處理器獲得者-Synopsys：“隨著先進汽車系統(tǒng)在安全性和可靠性方面的提升，具備智能視覺處理能力對于將這些功能推向市場至關重要。我們的EV6x視覺處理器表明了Synopsy在開發(fā)領先的處理器IP解決方案方面的持續(xù)投資，以滿足汽車SoC設計在安全、性能和功耗等方面的需求?！盨ynopsys IP市場副總裁John Koeter說。