機器視覺新突破，神經(jīng)網(wǎng)絡讓圖像處理速度大幅提升

（文章來源：智東西）

據(jù)外媒報道，維也納大學的研究人員研發(fā)了一種兼顧神經(jīng)網(wǎng)絡功能的圖像傳感器，該傳感器可以使圖像分析速度相較傳統(tǒng)方式提升近2萬倍。研究人員用每個像素代表一個神經(jīng)元，用每個子像素代表一個突觸，從而構(gòu)成神經(jīng)網(wǎng)絡。目前這項技術主要應用于特定的科學應用程序中，對于像自動駕駛中的機器視覺這樣的更復雜的任務，還需要做進一步研究。

機器視覺技術通常使用人工神經(jīng)網(wǎng)絡來分析圖像。在人工神經(jīng)網(wǎng)絡中，被稱為“神經(jīng)元”的組件會接收數(shù)據(jù)并進行協(xié)作，以解決諸如識別圖像之類的問題。神經(jīng)網(wǎng)絡會反復調(diào)整其神經(jīng)元之間的連接點或突觸的強度，并查看所得的行為模式是否能更好地解決問題。經(jīng)過一段時間調(diào)整，神經(jīng)網(wǎng)絡會找到最適合的模式和解決方案。然后，它會將找到的最佳方案設置為默認值，從而模仿人腦學習的過程。

機器視覺技術經(jīng)常會遇到延遲問題，因為相機必須逐行掃描像素，然后將視頻幀轉(zhuǎn)換為數(shù)字信號，并將其傳輸?shù)接嬎銠C中進行分析。當下隨著成像速率和像素數(shù)量的增長，帶寬限制使得傳感器難以將所有信息快速傳輸?shù)接嬎銠C中，這對于無人駕駛、機器人或工業(yè)制造等延遲敏感型應用影響十分明顯。

維也納大學的電氣工程師Lukas Mennel和他的同事們試圖通過減少中間步驟來加快機器視覺，他們創(chuàng)建了一個圖像傳感器，該圖像傳感器本身就構(gòu)成了可以同時獲取和分析圖像的人工神經(jīng)網(wǎng)絡。該傳感器由一個像素陣列組成，每個像素代表一個神經(jīng)元。每個像素又由多個子像素組成，每個子像素代表一個突觸。每個光電二極管都建立在二硒化鎢層上，二硒化鎢是一種對光具有可調(diào)節(jié)響應能力的二維半導體。

這種可調(diào)節(jié)的光響應能力讓每個光電二極管以可編程的方式對光進行記憶和響應，從而可以分別調(diào)整每個二極管的靈敏度，改變光電二極管的光響應性會改變網(wǎng)絡中的連接強度（突觸重量）。然后，科學家們基于這些光電二極管之間的鏈接創(chuàng)建了一個神經(jīng)網(wǎng)絡，通過對該網(wǎng)絡進行訓練，使其能夠執(zhí)行簡單的計算任務。

研究人員將光電二極管排列成九個像素的正方形陣列，每個像素三個二極管。當圖像投影到芯片上時，芯片會生成、讀取各種二極管產(chǎn)生的電流。每個光電二極管都會產(chǎn)生與入射光強度成比例的輸出電流，并且可以根據(jù)電流的基本規(guī)則進行計算。

使用神經(jīng)網(wǎng)絡的不同算法，該團隊演示了兩種神經(jīng)形態(tài)功能。第一種是分類：它們的3×3像素陣列可以將圖像分類為與三個簡化字母相對應的三個類別之一，從而以納秒為單位識別該字母。如果按比例增加陣列的大小，該神經(jīng)網(wǎng)絡還可以識別更復雜的圖像。

Mennel說：“我們的圖像傳感器在工作時不會消耗任何電能，被檢測的光子本身就可以作為電流供能。”他著重提到，“傳統(tǒng)的機器視覺技術通常能夠每秒處理100幀圖像，而一些更快的系統(tǒng)則可以每秒處理1000幀圖像，但我們的系統(tǒng)每秒可以處理2000萬幀圖像?！盡ennel指出，系統(tǒng)運行的速度僅受電路中電子移動速度的限制。從原則上講，這種策略的工作速度可以達到皮秒級，即數(shù)萬億分之一秒，或者比目前演示的速度快三到四個數(shù)量級。

此外，科學家們指出，原則上他們可以使用計算機模擬來訓練神經(jīng)網(wǎng)絡，并借此將該神經(jīng)網(wǎng)絡傳輸?shù)接嬎銠C設備上。這樣的傳感器可以用來做什么？Mennel說：“目前，這項技術主要應用于特定的科學應用程序中。對于像自動駕駛中的機器視覺這樣的更復雜的任務，還需要做進一步研究。”

用于自動駕駛車輛和機器人技術的神經(jīng)網(wǎng)絡需要能夠捕獲具有廣闊視野的三維動態(tài)圖像和視頻。當前使用的圖像捕獲技術通常將3D現(xiàn)實世界轉(zhuǎn)換為2D信息，從而丟失運動信息和深度。Mennel團隊的研究結(jié)果不僅可以用于視覺系統(tǒng)，它還可以擴展到聽覺、觸覺、熱感或嗅覺等其他物理輸入系統(tǒng)。此類智能系統(tǒng)的開發(fā)以及5G高速無線網(wǎng)絡的到來，會讓實時（低延遲）邊緣計算成為可能。
（責任編輯：fqj）