機(jī)器視覺發(fā)展趨勢

早在2011年嵌入式視覺聯(lián)盟（EVA）成立時(shí)，其創(chuàng)始公司就認(rèn)為，在廣泛的市場范圍內(nèi)，在實(shí)用計(jì)算機(jī)視覺技術(shù)和解決方案領(lǐng)域的投資、創(chuàng)新和部署，將很快出現(xiàn)前所未有的增長。在不到十年后，這一預(yù)測就真正實(shí)現(xiàn)了。在過去的六年中，美國和中國在計(jì)算機(jī)視覺公司領(lǐng)域的投資都在加速，過去六年的投資額增長了100倍，并且增長速度沒有任何放緩的跡象，如下圖所示。

這些投資正在刺激這些公司及其合作伙伴和客戶加速在視覺領(lǐng)域的研究、開發(fā)和部署活動。EVA會定期對視覺開發(fā)者社區(qū)就各種主題開展調(diào)查，最新調(diào)查結(jié)果表明，93%的被調(diào)查組織表示，未來一年中在視覺領(lǐng)域的投入會增加（其中61%表示會大幅增加），如下圖所示。

預(yù)計(jì)這些增加的活動將轉(zhuǎn)化為收入的增加。例如，Tractica最近發(fā)布的一份市場研究報(bào)告預(yù)測，從現(xiàn)在到2025年，計(jì)算機(jī)視覺市場（包括硬件、軟件和服務(wù)）的收入將增加25倍，到2025年將超過260億美元，如下圖所示。

其中，有四大關(guān)鍵趨勢正在驅(qū)動這些增長。
1.深度學(xué)習(xí)
傳統(tǒng)上，計(jì)算機(jī)視覺應(yīng)用依賴于專用的算法，這些算法經(jīng)過精心設(shè)計(jì)以識別特定的特征（如邊緣、角落、物體）。然而最近，卷積神經(jīng)網(wǎng)絡(luò)（CNN）和其他深度學(xué)習(xí)方法已經(jīng)在各種圖像理解任務(wù)上，表現(xiàn)得優(yōu)于傳統(tǒng)算法。與傳統(tǒng)算法相比，深度學(xué)習(xí)方法是通過實(shí)例訓(xùn)練的通用學(xué)習(xí)算法，來識別特定的特征，包括物體類型和位置。深度神經(jīng)網(wǎng)絡(luò)（DNN）已經(jīng)改變了計(jì)算機(jī)視覺領(lǐng)域，其在識別物體、在一幀圖像內(nèi)定位物體以及確定哪個(gè)像素屬于哪個(gè)物體等功能上，都提供了優(yōu)越的結(jié)果。即使是像光流和立體匹配這樣的已經(jīng)用傳統(tǒng)技術(shù)能很好地解決的問題，現(xiàn)在也可以用深度學(xué)習(xí)技術(shù)找到更好的解決方案。
此外，基于深度學(xué)習(xí)的視覺處理方法，在解決許多問題上都優(yōu)于傳統(tǒng)的計(jì)算機(jī)視覺算法。Image Net圖像識別挑戰(zhàn)賽獲獎(jiǎng)?wù)叩慕Y(jié)果表明，從幾年前開始，在相同的任務(wù)和相同的數(shù)據(jù)集中，深度學(xué)習(xí)在識別物體方面的準(zhǔn)確性開始超過典型的人類功能，如下圖所示。深度神經(jīng)網(wǎng)絡(luò)也被訓(xùn)練、以填補(bǔ)照片中缺失的補(bǔ)丁，與能夠熟練處理圖片的操作員的技能相匹配，同時(shí)能夠比人更快地提供處理結(jié)果。而且，訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)甚至開始產(chǎn)生遠(yuǎn)超越技術(shù)嫻熟的人類所能做出的成就，例如從非常差的曝光照片中產(chǎn)生可接受的圖像，如下圖所示。

因此，不出所料，計(jì)算機(jī)視覺開發(fā)人員正越來越多地將深度學(xué)習(xí)技術(shù)添加到他們的工具箱中，如下圖所示。EVA最近的調(diào)查結(jié)果顯示，59%的視覺系統(tǒng)和解決方案開發(fā)者已經(jīng)在使用DNN，比兩年前的34%大幅增加。28%的人計(jì)劃在不久的將來使用DNN用于視覺智能?？傮w來看，87%的開發(fā)者已經(jīng)使用或計(jì)劃使用神經(jīng)網(wǎng)絡(luò)來執(zhí)行計(jì)算機(jī)視覺功能。

2.3D傳感
2D圖像傳感器能夠在許多嵌入式視覺系統(tǒng)設(shè)計(jì)中，實(shí)現(xiàn)巨大的視覺能力。然而，它們無法辨別物體與傳感器之間的距離，這將導(dǎo)致某些視覺功能的實(shí)現(xiàn)非常困難或是無法實(shí)現(xiàn)。例如，手勢接口實(shí)現(xiàn)。識別運(yùn)動的能力，包括上下、左右和前后，能夠大大擴(kuò)展系統(tǒng)能夠解讀的手勢的多樣性、豐富性和精確性?；蛘呤侨四樧R別情況，如下圖所示。深度傳感在“確定被識別的物體是真實(shí)的人臉而非人臉的照片”方面，也很有價(jià)值。

ADAS（汽車高級駕駛輔助系統(tǒng)）和其他受益于3D傳感器的半自動和全自動設(shè)備應(yīng)用也非常豐富。例如，你可以很容易地想象，在公路上，你不僅能夠確定另一輛車或物體在你的前方或后方，而且還能準(zhǔn)確地辨別它與你之間的距離。準(zhǔn)確地確定車輛與限速標(biāo)志之間的距離，對于確定多久必須把車速降下來、進(jìn)而避免罰單同樣非常有用。
同樣，用于3D打印的3D物體掃描也是一個(gè)重要的應(yīng)用案例。幸運(yùn)的是，最近將3D光學(xué)傳感器引入手機(jī)和汽車等大批量生產(chǎn)應(yīng)用中，不但加速了創(chuàng)新，而且使尺寸、成本和3D傳感的復(fù)雜性都有所降低，如下圖所示。3D相機(jī)模塊通常包括某種形式的紅外照明，其同樣得益于最近顯著的成本降低趨勢，它在低光環(huán)境中以及在監(jiān)控戴太陽鏡的車輛駕駛員的注意力方面，非常有用。

在微軟Kinect游戲機(jī)外設(shè)首次亮相8年后，現(xiàn)在3D相機(jī)模塊已經(jīng)準(zhǔn)備好部署在成本和功率敏感的應(yīng)用中。計(jì)算機(jī)視覺開發(fā)者正在對3D傳感采取積極行動和積極預(yù)測。EVA最近的調(diào)查顯示，近30%的開發(fā)者已經(jīng)在使用3D傳感，26%的開發(fā)者計(jì)劃近期內(nèi)在其項(xiàng)目中采用3D傳感功能，如下圖所示。

3.處理器進(jìn)步
推動強(qiáng)大而廣泛的視覺感知可部署性的最重要因素，是更好的處理器?！案谩笔侵父叩男阅?、更低的成本、更低的功耗，以及其他關(guān)鍵因素的改進(jìn)。視覺算法對計(jì)算性能要求很高，各種嵌入式系統(tǒng)通常需要滿足低成本和低功耗的要求。在數(shù)字無線通信和以壓縮為中心的消費(fèi)視頻設(shè)備等其他應(yīng)用領(lǐng)域，芯片設(shè)計(jì)人員通過使用專用協(xié)處理器和加速器，獲得高性能、低成本和低功耗的極具挑戰(zhàn)性的組合，從而實(shí)現(xiàn)應(yīng)用中最苛刻的處理任務(wù)。然而，這些協(xié)處理器和加速器通常不能由芯片用戶編程。
在很多標(biāo)準(zhǔn)應(yīng)用中，這種權(quán)衡通常是可以接受的，因?yàn)樵谶@些應(yīng)用中，不同設(shè)計(jì)者使用的算法具有很強(qiáng)的通用性。然而，在視覺應(yīng)用中，并沒有標(biāo)準(zhǔn)來約束算法的選擇。此外，視覺算法發(fā)展迅速，并且變化頻繁。 因此，實(shí)現(xiàn)高性能、低成本、低功耗和可編程性的結(jié)合，是一項(xiàng)非常具有挑戰(zhàn)性的工作，通常需要在異構(gòu)計(jì)算體系結(jié)構(gòu)中通過組合多種類型的處理器（CPU、GPU、FPGA、DSP等）來實(shí)現(xiàn)。
基于機(jī)器學(xué)習(xí)的視覺處理，無論對于預(yù)先培訓(xùn)還是隨后的推理任務(wù)而言，從計(jì)算和存儲需求來看，都是資源密集型的工作。幸運(yùn)的是，視覺處理器正在以驚人的速度發(fā)展，一方面開發(fā)速度非?？?，另一方面來自數(shù)量龐大且仍在增長的技術(shù)供應(yīng)商方面的競爭壓力。例如，現(xiàn)在有50多家公司同時(shí)在為深度學(xué)習(xí)推理和/或訓(xùn)練開發(fā)處理器。在過去的幾年中，深度學(xué)習(xí)加速的處理能力，已經(jīng)有了兩個(gè)數(shù)量級的提升，這些性能的提升與多方技術(shù)進(jìn)步相結(jié)合，將使處理器的處理能力呈指數(shù)級增長。
EVA最近在開發(fā)者調(diào)查中收集的數(shù)據(jù)顯示，深度學(xué)習(xí)專用處理器的采用顯著增加。近1/3的受訪者表示現(xiàn)在正在使用深度學(xué)習(xí)專用處理器，而兩年前這一比例只有19%（由于調(diào)查對象要求標(biāo)記所有他們的項(xiàng)目使用的處理器，所以總數(shù)超過100%），如下圖所示。這種趨勢尤其令人震驚，因?yàn)樵趲啄昵?，深度學(xué)習(xí)專用處理器還根本不存在。同樣需要注意的是，其他處理架構(gòu)通常用于各種視覺任務(wù)。

4.軟硬件普及


“普及化”意味著開發(fā)有效的計(jì)算機(jī)視覺系統(tǒng)和應(yīng)用、以及大規(guī)模部署這些解決方案，正在快速變得越來越容易，原因如下：
1.深度學(xué)習(xí)使非專家能夠使用樣本圖像數(shù)據(jù)（與手工設(shè)計(jì)的代碼相比）更容易地創(chuàng)建功能性視覺系統(tǒng)；
2.有了更高性能、更低成本的處理器和有效的開發(fā)工具；
3.作為邊緣處理的輔助或替代，云計(jì)算越來越普遍。
前兩點(diǎn)已經(jīng)討論過，但第3點(diǎn)值得注意。云計(jì)算作為基于邊緣視覺處理方法的輔助（如果不是替代的話），正變得越來越普遍。
“云vs邊緣計(jì)算vs兩者混合”的拓?fù)錄Q策通常并不簡單，“正確”的答案因應(yīng)用和公司的不同而不同，甚至同一公司內(nèi)的不同項(xiàng)目之間也不同，如下圖所示。

云計(jì)算的有利因素包括：
1.上市時(shí)間，云計(jì)算的軟件開發(fā)通常比嵌入式平臺的軟件開發(fā)更快捷、更容易；
2.可升級性，在限制范圍內(nèi)，用戶可以輕松升級到更高性能的處理器、更大的內(nèi)存容量、更多的硬盤存儲、更新的操作系統(tǒng)和中間件版本等。當(dāng)然用戶也不能在云中升級所有東西，例如不能升級圖像傳感器；
3.準(zhǔn)確性，用戶可以在云中獲得巨大的計(jì)算能力，因此可以運(yùn)行更大的神經(jīng)網(wǎng)絡(luò)，也就是運(yùn)行更復(fù)雜的算法，包括能夠根據(jù)需要利用突發(fā)的額外處理能力；
4.分布式設(shè)備之間的協(xié)作，如果你正在跟蹤城市中行駛的車輛，那么就有必要在一個(gè)地理區(qū)域內(nèi)收集信息。雖然云并不是實(shí)現(xiàn)這一點(diǎn)的唯一途徑，但它能很方便地將來自許多分散邊緣節(jié)點(diǎn)的信息結(jié)合起來；
5.設(shè)備成本，更低的物料清單成本、更小的電池等。當(dāng)然以邊緣為中心的方法有其自身優(yōu)勢；
6.無需經(jīng)常性成本，不必為每次使用云計(jì)算處理、內(nèi)存和存儲資源支付費(fèi)用；
7.網(wǎng)絡(luò)連接性，通常根本不需要，或是不會經(jīng)常需要；
8.帶寬和延遲，當(dāng)需要網(wǎng)絡(luò)連接時(shí)，帶寬和延遲要求會降低，因?yàn)樵谶M(jìn)入云傳輸之前，很大一部分?jǐn)?shù)據(jù)處理已經(jīng)在邊緣設(shè)備上完成了；
9.隱私和安全，原始數(shù)據(jù)在邊緣設(shè)備上處理，通常會立即丟棄。唯一能進(jìn)入云端的信息是元數(shù)據(jù)，而且通常是匿名的。
EVA最新的開發(fā)者調(diào)查結(jié)果不出所料地顯示，大多數(shù)受訪者至少在邊緣設(shè)備上做了一些神經(jīng)網(wǎng)絡(luò)推理（如下圖所示，由于調(diào)查對象要求標(biāo)記所有他們的項(xiàng)目使用的處理器，所以總數(shù)超過100%）。然而，近一半的受訪者也在云中進(jìn)行部分或全部推理。

審核編輯 ：李倩