片上光學(xué)深度神經(jīng)網(wǎng)絡(luò)

從預(yù)測文本到醫(yī)學(xué)診斷，人工智能 (AI) 在許多系統(tǒng)中都發(fā)揮著重要作用。受人類大腦的啟發(fā)，許多人工智能系統(tǒng)都是基于人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的。

在人工神經(jīng)網(wǎng)絡(luò)中，被稱為“神經(jīng)元”的組件獲取輸入的數(shù)據(jù)并進(jìn)行處理從而解決各種問題，例如識(shí)別人臉。神經(jīng)網(wǎng)絡(luò)反復(fù)調(diào)整其神經(jīng)元之間的聯(lián)系，隨著時(shí)間的推移，網(wǎng)絡(luò)會(huì)設(shè)定最適合計(jì)算結(jié)果的參數(shù)，從而模仿人腦中的學(xué)習(xí)過程。通過添加神經(jīng)層可以擴(kuò)大網(wǎng)絡(luò)，如果一個(gè)神經(jīng)網(wǎng)絡(luò)擁有多層神經(jīng)元，它就被稱為“深度神經(jīng)網(wǎng)絡(luò)”。隨著層數(shù)的增加，該網(wǎng)絡(luò)以更高分辨率讀取更復(fù)雜圖像中數(shù)據(jù)的能力也在增強(qiáng)。

目前，經(jīng)典神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像識(shí)別是在傳統(tǒng)圖像傳感器上創(chuàng)建的，例如智能手機(jī)中的數(shù)碼相機(jī)。圖像傳感器需要將光先轉(zhuǎn)化為電脈沖，再轉(zhuǎn)換為數(shù)字化數(shù)據(jù)，從而可以使用計(jì)算機(jī)處理器進(jìn)行處理、分析、存儲(chǔ)和分類。

雖然目前在數(shù)字芯片上的消費(fèi)級圖像分類技術(shù)每秒可以執(zhí)行數(shù)十億次計(jì)算(GHz)，這使得它對于大多數(shù)場景來說足夠快。但更復(fù)雜的圖像分類，例如識(shí)別高速移動(dòng)物體、3D 物體識(shí)別，或自動(dòng)駕駛，在實(shí)現(xiàn)過程中卻面臨著許多重大挑戰(zhàn)。

首先，傳統(tǒng)的數(shù)字芯片通常是基于數(shù)字時(shí)鐘的平臺(tái)來實(shí)現(xiàn)，例如圖形處理單元(GPU)，這將它們的計(jì)算速度限制在時(shí)鐘頻率上(<3 GHz)。同時(shí)，傳統(tǒng)電子設(shè)備基于馮諾依曼架構(gòu)，將內(nèi)存和處理單元分開，而在這些組件之間來回的數(shù)據(jù)傳輸會(huì)浪費(fèi)時(shí)間和精力。

其次，原始的模擬圖像數(shù)據(jù)通常需要光電轉(zhuǎn)換為數(shù)字電子信號以及需要大內(nèi)存單元來存儲(chǔ)圖像和視頻，從而引發(fā)潛在的隱私問題。

近日，來自賓夕法尼亞大學(xué) Firooz Aflatouni 副教授團(tuán)隊(duì)已經(jīng)在光子微芯片上開發(fā)了一種光學(xué)深度神經(jīng)網(wǎng)絡(luò) PDNN（photonic deep neural network），消除了傳統(tǒng)計(jì)算機(jī)芯片中的四個(gè)主要耗時(shí)的罪魁禍?zhǔn)祝汗怆娦盘柕霓D(zhuǎn)換，模擬信號到數(shù)字信號的轉(zhuǎn)換、大內(nèi)存模塊和基于時(shí)鐘的計(jì)算。

該團(tuán)隊(duì)在 9.3 mm2的光子芯片在約 0.5 ns 內(nèi)實(shí)現(xiàn)整個(gè)圖像分類——這是最理想的數(shù)字計(jì)算機(jī)芯片只能完成一個(gè)計(jì)算步驟所需的時(shí)間。片上網(wǎng)絡(luò)對手寫字母進(jìn)行了二類和四類分類，準(zhǔn)確率分別高于 93.8% 和 89.8%。

該成果發(fā)表在Nature，題為“An on-chip photonic deep neural network for image classification”。

片上光學(xué)深度神經(jīng)網(wǎng)絡(luò)

該新設(shè)備標(biāo)志著第一個(gè)完全在集成光子設(shè)備上以可擴(kuò)展方式實(shí)現(xiàn)的深度神經(jīng)網(wǎng)絡(luò)。在 9.3 mm2的芯片中，線性計(jì)算是通過一個(gè) 5×6 的光柵耦合器陣列和光學(xué)衰減器光學(xué)執(zhí)行的。這些耦合器充當(dāng)輸入像素，輸出分為四個(gè)重疊的 3×4 像素子圖像，并使用納米光子波導(dǎo)饋入分布在三層的其他九個(gè)神經(jīng)元。線性運(yùn)算后，各個(gè)神經(jīng)元通過光電子方式的微環(huán)調(diào)制器的傳輸特性實(shí)現(xiàn)非線性激活函數(shù)。

科學(xué)家們讓他們的微芯片識(shí)別手寫字母。在一組測試中，它必須將 216 個(gè)字母分類為 p 或 d，而在另一組測試中，它必須將 432 個(gè)字母分類為 p、d、a 或 t。該芯片的精度分別高于 93.8% 和 89.8%。相比之下，使用 Keras 庫在 Python 中實(shí)現(xiàn)的 190 個(gè)神經(jīng)元的傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)在相同圖像上實(shí)現(xiàn)了 96% 的準(zhǔn)確率。

圖2：光子深度神經(jīng)網(wǎng)絡(luò)芯片執(zhí)行分類任務(wù)的四分類字母樣本

圖源：賓夕法尼亞大學(xué)

更快、更強(qiáng)

由于該芯片可以在光信號上直接進(jìn)行光速線性處理，所以該芯片可以在 0.5 ns 內(nèi)完成整個(gè)圖像分類。該芯片通過“光學(xué)傳播計(jì)算”來處理信息，這意味著與基于時(shí)鐘的系統(tǒng)不同，計(jì)算是光在芯片上傳播時(shí)發(fā)生的。要了解該芯片處理信息的速度，可以對照電影的典型幀速率，一部電影通常每秒播放24 到 120 幀，而該芯片每秒能夠處理近 20 億幀。

此工作也跳過了將光信號轉(zhuǎn)換為電信號的步驟，因?yàn)樵撔酒梢灾苯幼x取和處理光信號，不需要存儲(chǔ)信息，無需大內(nèi)存單元。

這兩項(xiàng)變化都使其成為一種更快的技術(shù)。

消除內(nèi)存模塊還可以增強(qiáng)數(shù)據(jù)隱私，使用直接讀取圖像數(shù)據(jù)的芯片，不需要照片存儲(chǔ)，因此不會(huì)發(fā)生數(shù)據(jù)泄漏。通過加速圖像分類，片上深度神經(jīng)網(wǎng)絡(luò)可以改善自動(dòng)駕駛汽車中的人臉識(shí)別和激光雷達(dá)傳感等應(yīng)用。

一個(gè)以光速讀取信息并提供更高程度網(wǎng)絡(luò)安全的芯片無疑會(huì)在許多領(lǐng)域產(chǎn)生影響；這是過去幾年對這項(xiàng)技術(shù)的研究不斷增加的原因之一。

該項(xiàng)研究的下一步將提升芯片的可擴(kuò)展性，處理三維圖像分類的工作，使用具有更多像素和神經(jīng)元的更大芯片對更高分辨率的圖像進(jìn)行處理。此外，不僅限于圖像和視頻分類，任何可以轉(zhuǎn)換為光域的信號，例如音頻和語音，都可以使用這項(xiàng)技術(shù)進(jìn)行幾乎瞬時(shí)的分類處理。

審核編輯 ：李倩