物理波動力學計算在模擬循環(huán)神經(jīng)網(wǎng)絡的應用

（文章來源：量子認知）

對人腦神經(jīng)元網(wǎng)絡系統(tǒng)進行抽象建立模型構成的人工神經(jīng)網(wǎng)絡，簡稱神經(jīng)網(wǎng)絡或類神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡的基礎是大量的稱為節(jié)點的神經(jīng)元的元素的集合，通常以緊密互連的束狀排列。簡而言之，神經(jīng)元是具有多個輸入和單個輸出的特征的細胞。單元的輸出是其輸入的直接函數(shù)，每個單元在輸出的總體貢獻中得到不同的“關注”。這種“注意力”水平稱為權重。輸出會帶有某種閾值效應，僅在神經(jīng)元超過這個閾值時才產(chǎn)生激發(fā)響應。連接到激發(fā)神經(jīng)元的相關輸入被“激發(fā)”，該過程在整個網(wǎng)絡中進行，直到最終輸出。

對神經(jīng)元行為進行建模的數(shù)學形式表示，可以是離散或脈沖形式的模型，這是現(xiàn)在人工智能中常用的數(shù)字電子技術實現(xiàn)的神經(jīng)元器件；還可以是連續(xù)形式表示的模型，這是代表人體中神經(jīng)細胞活動的最接近表示，是通過模擬電子技術實現(xiàn)的神經(jīng)元器件。

用模擬電子技術實現(xiàn)的神經(jīng)元器件，稱為模擬神經(jīng)元。用模擬神經(jīng)元組成的網(wǎng)絡稱為模擬神經(jīng)網(wǎng)絡。循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network, 簡稱RNN）是一類以序列數(shù)據(jù)為輸入，在序列的演進方向進行遞歸且所有節(jié)點，即循環(huán)單元，按鏈式連接的遞歸神經(jīng)網(wǎng)絡。模擬循環(huán)神經(jīng)網(wǎng)絡，就是通過模擬電子技術，而不是數(shù)字電子技術，實現(xiàn)的循環(huán)神經(jīng)網(wǎng)絡。

機器學習在執(zhí)行復雜的信息處理任務方面取得了顯著成功，例如計算機視覺識別和機器翻譯，這是過去傳統(tǒng)計算方法難以實現(xiàn)的。但是，這些應用程序的計算需求呈指數(shù)級增長，這促使人們努力開發(fā)新的專用硬件平臺，以快速高效地執(zhí)行機器學習模型。其中包括神經(jīng)形態(tài)硬件平臺，其架構模仿大腦的生物電路。此外，利用連續(xù)物理系統(tǒng)的自然演化來執(zhí)行計算的模擬計算平臺也正在成為實現(xiàn)機器學習的重要方向。

模擬機器學習提供了更節(jié)能、更快速、更切合人的神經(jīng)網(wǎng)絡的平臺。基于聲學和光學的波物理學是為時變信號構建模擬處理器的自然選擇。

最近，斯坦福大學應用物理與電氣工程系的研究團隊確定了循環(huán)神經(jīng)網(wǎng)絡中波物理動力學與計算之間的映射，該映射關系表明，可以使用神經(jīng)網(wǎng)絡的標準訓練技術來訓練物理波系統(tǒng)，以學習時間數(shù)據(jù)中的復雜特征。作為示例，研究人員證明了逆設計的非均勻介質可以對原始音頻信號進行元音分類，因為原始音頻信號的波形在其中分散并傳播，從而實現(xiàn)了與遞歸神經(jīng)網(wǎng)絡的標準數(shù)字實現(xiàn)相當?shù)男阅堋?/p>

為了證明波動力學和循環(huán)神經(jīng)網(wǎng)絡之間的等效性，研究人員確定了循環(huán)神經(jīng)網(wǎng)絡的功能及其與波動力學的關系。通過在逐步過程中對每個輸入序列成員應用相同的基本操作，循環(huán)神經(jīng)網(wǎng)絡可以將輸入序列轉換為輸出序列。然后，循環(huán)神經(jīng)網(wǎng)絡的隱藏狀態(tài)將對先前步驟的內(nèi)存進行編碼，以在每個步驟中進行更新。隱藏狀態(tài)可以保留對過去信息的記憶，并了解數(shù)據(jù)的時間結構和長期依賴關系。

這樣，研究團隊提出了一種基于波的模擬循環(huán)神經(jīng)網(wǎng)絡，具有許多良好的質量指標，從而創(chuàng)立了一個最具希望的處理時間編碼信息。使用物理學來執(zhí)行計算可能會激發(fā)出一個模擬機器學習設備的新平臺，以便比其數(shù)字同類產(chǎn)品更自然、更有效地執(zhí)行計算。研究團隊使用傳播介質的大小確定了模擬循環(huán)神經(jīng)網(wǎng)絡隱藏狀態(tài)的大小及其存儲容量。他們表明波動方程的動力學在概念上與循環(huán)神經(jīng)網(wǎng)絡等效。這種概念上的聯(lián)系將為新型的模擬硬件平臺鋪平道路，其中不斷發(fā)展的時間動力學將在物理和大數(shù)據(jù)處理中扮演重要角色。
? ? ? （責任編輯：fqj）