AI相機：雙層光電混合計算機

斯坦福研究人員研究出一套小型AI成像系統(tǒng)。成像精度和速度均達到電子計算處理器水平，它采用雙層光學(xué)-電子混合計算技術(shù)，在低光照條件下具備更強的成像能力，每個立體像素上的光電子密度最高可達幾十個，同時節(jié)約了大量本該用于計算的時間和成本。

如今，自動駕駛汽車和無人駕駛飛機背后的圖像識別技術(shù)依賴于人工智能：計算機本質(zhì)上學(xué)會了自己識別物體，比如識別狗、過馬路的行人或停車的汽車。主要問題是，目前運行人工智能算法的計算機對于手持醫(yī)療設(shè)備等未來應(yīng)用來說顯得過于龐大和緩慢。

現(xiàn)在，斯坦福大學(xué)的研究人員已經(jīng)設(shè)計出一種新型的AI相機系統(tǒng)，它可以更快、更高效地對圖像進行分類，有朝一日，這種系統(tǒng)可以小到足以嵌入設(shè)備本身，這在今天是不可能實現(xiàn)的。這項研究發(fā)表在8月17日的Nature Scientific Reports上。

“自動駕駛汽車的后備箱里有一臺體積相對較大、速度相對較慢、能耗較高的電腦?！痹撗芯控撠?zé)人、斯坦福大學(xué)電氣工程助理教授Gordon Wetzstein表示，未來的應(yīng)用程序?qū)⑿枰?、更小的設(shè)備來處理圖像流。

AI相機：雙層光電混合計算機

現(xiàn)在，Wetzstein和論文第一作者、研究生Julie Chang朝著這一技術(shù)邁出了一步，他們將兩種類型的計算機結(jié)合在一起，創(chuàng)造了一種專為圖像分析設(shè)計的光電混合計算機。

原型相機的第一層是一種光學(xué)計算機，它不需要數(shù)字計算的高功耗數(shù)學(xué)運算。第二層是傳統(tǒng)的數(shù)字電子計算機。

光學(xué)計算機層通過物理預(yù)處理圖像數(shù)據(jù)進行操作，以多種方式對其進行過濾，否則電子計算機就必須用數(shù)學(xué)方法對其進行過濾。由于過濾是在光線穿過自定義光學(xué)時自然發(fā)生的，所以這一層的輸入功率為零。這為混合系統(tǒng)節(jié)省了大量的本該用于計算的時間和能量。

“我們已經(jīng)把人工智能的一些數(shù)學(xué)知識拓展到了光學(xué)領(lǐng)域?！盋hang說。

這樣做的結(jié)果是更少的計算、更少的內(nèi)存調(diào)用和更少的時間來完成這個過程。在跳過了這些預(yù)處理步驟之后，剩下的分析將以相當大的優(yōu)勢進入數(shù)字計算機層?！皵?shù)百萬次計算都是在光速下進行的。”

成像精度和速度堪比電子計算機處理器

在速度和精度方面，這款原型機與現(xiàn)有的電子計算機處理器相媲美。

雖然他們目前的原型機還處在實驗臺上，不會被歸類為小型設(shè)備，但研究人員說，他們的系統(tǒng)有一天會被小型化，以適合手持攝像機或無人機。

在模擬和真實世界的實驗中，研究小組使用該系統(tǒng)成功地識別了飛機、汽車、貓、狗等自然圖像。

Wetzstein說：“我們系統(tǒng)的某些未來版本在自動駕駛汽車等快速決策應(yīng)用中尤其有用。”

除了縮小原型尺寸之外，Wetzstein, Chang和他們在斯坦福計算機成像實驗室的同事們現(xiàn)在正在尋找方法使光學(xué)元件做更多的預(yù)處理。最終，他們要用更小、更快的技術(shù)將取代現(xiàn)在在自動駕駛汽車、無人機和其他識別周圍世界的設(shè)備上使用的計算機。

相關(guān)原理及論文

卷積神經(jīng)網(wǎng)絡(luò)（CNN）在各種計算機視覺應(yīng)用中表現(xiàn)出色，但其高性能也伴隨著高昂的計算成本。盡管人們可以通過算法和專用硬件來提高效率，但由于能源預(yù)算緊張，在嵌入式系統(tǒng)中部署卷積神經(jīng)網(wǎng)絡(luò)仍然很困難。

我們在本文中探索一種互補策略，在電子計算之前加上一層光學(xué)計算，以提高圖像分類任務(wù)的性能，同時增加最小的電子計算成本或處理時間。我們提出了一種基于優(yōu)化衍射光學(xué)元件的光學(xué)卷積層設(shè)計，并在兩個模擬測試中驗證了我們的設(shè)計：經(jīng)過訓(xùn)練的光學(xué)相關(guān)器，以及光電雙層卷積神經(jīng)網(wǎng)絡(luò)。我們在仿真模型和光學(xué)原型中證明，我們的光學(xué)系統(tǒng)的分類精度可以與類似的電子計算方案相媲美，同時大大節(jié)省了計算成本。