先天結(jié)構(gòu)或是人工智能發(fā)展的下一個方向

人工智能從神經(jīng)科學(xué)領(lǐng)域吸收了大量養(yǎng)分，并由此催生了深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等智能處理方法。以色列魏茨曼科學(xué)研究學(xué)院計(jì)算機(jī)科學(xué)系教授 Shimon Ullman 相信神經(jīng)科學(xué)還能為人工智能發(fā)展提供進(jìn)一步的助力，比如先天結(jié)構(gòu)的采用也許能為人工智能帶來高效且靈活的學(xué)習(xí)能力。Ullman 教授這篇觀點(diǎn)文章發(fā)表在最新一期 Science 雜志上。

數(shù)學(xué)家阿蘭·圖靈 1950 年的開創(chuàng)性論文引領(lǐng)了人類對人工智能（AI）的探索，他在這篇論文中提出了一個問題：「機(jī)器能否思考？」，那時候唯一已知的能夠進(jìn)行復(fù)雜計(jì)算的系統(tǒng)是生物神經(jīng)系統(tǒng)。因此，毫不奇怪那時候這個新興的 AI 領(lǐng)域的科學(xué)家都將大腦回路作為引導(dǎo)。

其中一條道路是通過類腦回路執(zhí)行智能計(jì)算，這個方向的早期嘗試近來已經(jīng)創(chuàng)造出了巨大的成功，并可被描述成一種用于建模皮層回路的高度還原論（reductionist）的方法。

其當(dāng)前的基本形式被稱為「深度網(wǎng)絡(luò)」架構(gòu)，這種腦啟發(fā)模型是通過類神經(jīng)元件組成的連續(xù)層構(gòu)成的；這些元件按照生物學(xué)中類似作用的組件而被稱為「突觸」，它們通過可調(diào)節(jié)的權(quán)重相連。

深度網(wǎng)絡(luò)和相關(guān)方法在 AI 系統(tǒng)中的應(yīng)用已經(jīng)帶來了變革。研究證明它們在 AI 研究的核心領(lǐng)域優(yōu)于之前已知的方法，包括計(jì)算機(jī)視覺、語音識別和生成、玩復(fù)雜的游戲。它們也已經(jīng)取得了廣泛的實(shí)際應(yīng)用，涉及很多領(lǐng)域，包括計(jì)算機(jī)視覺、語音和文本翻譯，其它還有很多領(lǐng)域也存在大規(guī)模的努力。

我將在這里討論大腦回路中的其它方面將可能如何引導(dǎo)網(wǎng)絡(luò)模型的發(fā)展，從而讓我們了解認(rèn)知和通用人工智能的更多方面。

差 異

深度網(wǎng)絡(luò)的核心問題是學(xué)習(xí)（learning），這是對突觸的調(diào)整，從而得到針對其輸入模式的期望輸出。這樣的調(diào)整是基于訓(xùn)練樣本集自動執(zhí)行的，而訓(xùn)練樣本集中包含輸入模式以及配套的期望輸出。然后，學(xué)習(xí)過程通過調(diào)整權(quán)重得到訓(xùn)練輸入模式的期望輸出。成功的學(xué)習(xí)會讓網(wǎng)絡(luò)超越記憶訓(xùn)練樣本的情況，而且使其能夠泛化，為學(xué)習(xí)過程中從沒見過的新輸入模式提供正確的輸出。

研究者將深度網(wǎng)絡(luò)模型與實(shí)際得到的生理學(xué)、功能性磁共振成像和行為數(shù)據(jù)進(jìn)行了比較，結(jié)果表明大腦與這類新模型之間存在一些有趣的相似性，但同時也存在一些不相似的地方（見圖）。對比靈長類動物的視覺系統(tǒng)，生理學(xué)響應(yīng)與模型響應(yīng)在神經(jīng)元響應(yīng)過程的早期階段比后期階段更為近似，這說明深度網(wǎng)絡(luò)模型也許能更好地體現(xiàn)早期的處理過程，而不是后期的更涉及認(rèn)知的過程。

大腦回路與學(xué)習(xí)，來自 C. BICKEL/SCIENCE

除了深度網(wǎng)絡(luò)，AI 模型近來還融合了類腦計(jì)算的另一個重要方面：強(qiáng)化學(xué)習(xí)（RL），其中使用了大腦中的獎勵信號來修改行為。

這種形式的學(xué)習(xí)中涉及的大腦機(jī)制已經(jīng)得到了廣泛的研究，而且其計(jì)算模型也已經(jīng)在 AI 領(lǐng)域得到了使用，尤其是在機(jī)器人應(yīng)用中。強(qiáng)化學(xué)習(xí)可用于在世界中運(yùn)作的智能體（人、動物或機(jī)器人）中，通過接收的獎勵信號作為回報。強(qiáng)化學(xué)習(xí)的目標(biāo)是學(xué)習(xí)一個最優(yōu)「策略」，這是從狀態(tài)到動作的一個映射，以便最大化隨時間獲得的一個整體度量的獎勵。

在近期的一些 AI 算法中，強(qiáng)化學(xué)習(xí)方法已經(jīng)與深度網(wǎng)絡(luò)方法結(jié)合到了一起，并且在游戲領(lǐng)域的應(yīng)用尤其突出，涵蓋的范圍包括流行的視頻游戲到高度復(fù)雜的游戲，比如國際象棋、圍棋和將棋。深度網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)的結(jié)合在玩游戲方面取得了驚人的成果，包括令人信服地?fù)魯×耸澜珥敿壍膰迤迨?、在大約 4 小時的訓(xùn)練之后達(dá)到了國際象棋世界冠軍的水平；這些都是僅從游戲規(guī)則開始，通過內(nèi)部自我對抗進(jìn)行學(xué)習(xí)而達(dá)成的。

從使用神經(jīng)科學(xué)引導(dǎo) AI 發(fā)展的角度看，因?yàn)橄啾扔谄踊芈罚@些網(wǎng)絡(luò)的形式是經(jīng)過高度簡化的，所以這樣的成功很讓人驚訝。一些其它的腦啟發(fā)方面（比如跨神經(jīng)元組歸一化或使用空間注意）也已經(jīng)被整合進(jìn)了深度網(wǎng)絡(luò)模型中。但一般而言，我們所知的有關(guān)神經(jīng)元的幾乎一切（它們的結(jié)構(gòu)、類型、互連性等等）都被排除在了深度網(wǎng)絡(luò)模型的當(dāng)前形式之外。

我們目前仍不清楚生物回路的哪些方面在計(jì)算上是關(guān)鍵的，并且也可用于基于網(wǎng)絡(luò)的 AI 系統(tǒng)，但結(jié)構(gòu)中的差異很顯著。比如，生物神經(jīng)元在它們的形態(tài)學(xué)、生理學(xué)和神經(jīng)化學(xué)方面都非常復(fù)雜和多樣。

典型的受到激勵的錐體神經(jīng)元的輸入分布在復(fù)雜的、高度分支的底和頂樹突樹上。抑制型皮層神經(jīng)元具有多種不同的形態(tài)，它們很可能執(zhí)行著不同的功能。典型的深度網(wǎng)絡(luò)模型都沒有包含這種異質(zhì)性和其它復(fù)雜性，而是使用了有限種類的高度簡化的同質(zhì)的人工神經(jīng)元。在網(wǎng)絡(luò)中單元之間的連接性上面，大腦中皮層回路也比當(dāng)前的深度網(wǎng)絡(luò)模型更復(fù)雜，并且在同一層的神經(jīng)元之間具有豐富的橫向連接，其中既有局部連接，也有長程連接，而且還有從皮層區(qū)域的高層區(qū)域到低層區(qū)域的從上到下的連接，而且可能會組織在典型的局部「規(guī)范回路（canonical circuits）」中。

基于深度網(wǎng)絡(luò)的學(xué)習(xí)方法主要在與現(xiàn)實(shí)世界的感知數(shù)據(jù)（比如視覺和語音）相關(guān)的問題上取得了顯著的成功，近來研究者已經(jīng)將越來越多努力投入到了自然界中更涉及認(rèn)知的問題上。比如在視覺領(lǐng)域，網(wǎng)絡(luò)模型最早是為處理目標(biāo)分類和分割等感知問題而開發(fā)的。類似的方法經(jīng)過某些擴(kuò)展后現(xiàn)在已經(jīng)被用在了圖像描述（任務(wù)目標(biāo)是生成一張圖像的簡短語言描述）和視覺問答（任務(wù)目標(biāo)是為以自然語言提出的有關(guān)圖像內(nèi)容的查詢提供恰當(dāng)?shù)拇鸢福┑雀邔用娴膯栴}上。其它還有一些非視覺任務(wù)，比如評價幽默程度、檢測諷刺、獲取直觀的物理知識或社會理解的一些方面。研究者們也為一些高難度的真實(shí)世界應(yīng)用開發(fā)出了類似的方法，包括在線翻譯、靈活的個人助理、醫(yī)療診斷、先進(jìn)機(jī)器人學(xué)、自動駕駛。

有了這些重大的研究努力以及投入到未來 AI 應(yīng)用中的大量資金，需要解決的重要問題是：當(dāng)前的方法能在何種程度上生成「真實(shí)」和類似人類的理解，或者是否還需要其它的（也許非常不同的）方向來處理認(rèn)知和通用人工智能（AGI）的眾多不同方面。我們還不知道這個問題的答案，但不管是科學(xué)上還是商業(yè)上，這都非常重要。

先天結(jié)構(gòu)

如果事實(shí)證明當(dāng)前深度網(wǎng)絡(luò)模型在產(chǎn)生類人認(rèn)知能力方面的成功是有限的，那么我們很自然又會向神經(jīng)科學(xué)尋求指引。

當(dāng)前 AI 模型忽視的大腦回路的那些方面是否會是 AGI 的關(guān)鍵？大腦的哪些方面可能是尤其重要的？

目前我們還沒有顯而易見的答案，因?yàn)槲覀儗ζ踊芈返睦斫馊匀贿€很有限，但我會簡要討論一下大腦和深度網(wǎng)絡(luò)模型看起來根本上不同的一個一般性方面，而且這個方面很可能在我們追尋類人 AGI 之路上發(fā)揮重要的功用。

這一差異的核心是一個老生常談的問題，關(guān)乎認(rèn)知中經(jīng)驗(yàn)主義（empiricism）與先天主義（nativism）之間的平衡，即先天的認(rèn)知結(jié)構(gòu)與通用的學(xué)習(xí)機(jī)制之間的相對重要程度。

當(dāng)前的 AI 建模方法嚴(yán)重傾向于經(jīng)驗(yàn)主義一方，會使用大型的訓(xùn)練數(shù)據(jù)集。相對而言，生物系統(tǒng)往往僅需少量訓(xùn)練就能完成復(fù)雜的行為任務(wù)，它們基于特定的預(yù)先存在的網(wǎng)絡(luò)結(jié)構(gòu)，而且該結(jié)構(gòu)在學(xué)習(xí)之前就已被編碼在了回路之中。

比如，針對復(fù)雜的導(dǎo)航任務(wù)，包括昆蟲、魚類和鳥類在內(nèi)的不同動物物種都能部分地依靠一套先天固有的特定用途的復(fù)雜精細(xì)的機(jī)制外加精妙的計(jì)算能力來完成。

對于人類，嬰兒會在生命的最初幾個月開始發(fā)展出復(fù)雜的感知和認(rèn)知技能，且僅需很少或無需明確的訓(xùn)練。比如，他們能夠自發(fā)地識別出人手等復(fù)雜的目標(biāo)、跟隨其他人的注視方向、通過視覺分辨動畫角色是在幫助其他角色還是妨礙其他角色，還能完成其它很多不同的任務(wù)，能表現(xiàn)出他們對物理交互和社會交互的初級理解。

大量發(fā)展中的研究都表明這種快速的無監(jiān)督學(xué)習(xí)之所以是可能的，原因是人類的認(rèn)知系統(tǒng)通過進(jìn)化而配備了先天的基礎(chǔ)結(jié)構(gòu)，這些結(jié)構(gòu)能夠促進(jìn)對意義概念和認(rèn)知技能的習(xí)得。

與已有的深度網(wǎng)絡(luò)模型相比，人類認(rèn)知學(xué)習(xí)和理解的優(yōu)越性可能很大程度上源自人類認(rèn)知系統(tǒng)具備的豐富且復(fù)雜很多的先天結(jié)構(gòu)。近來對嬰兒期視覺學(xué)習(xí)的建模研究已經(jīng)表明學(xué)習(xí)與先天機(jī)制的結(jié)合是有用的，其中有意義的復(fù)雜概念既非先天固有，也不是靠自己學(xué)習(xí)得到。

從這個居中的角度看，先天的那部分不是已經(jīng)發(fā)展好的概念，而是更簡單的「原型概念」，這能提供內(nèi)部的教學(xué)信號，引導(dǎo)學(xué)習(xí)系統(tǒng)，從而僅需少量或無需明確的訓(xùn)練就能逐漸習(xí)得和組織復(fù)雜概念。

比如，研究已經(jīng)表明一種特定的圖像運(yùn)動模式可以為人手識別提供可靠的內(nèi)部教學(xué)信號。對人手以及它們在操作物體中的參與情況的檢測可以引導(dǎo)學(xué)習(xí)系統(tǒng)學(xué)習(xí)檢測注視方向，而檢測注視目標(biāo)又在學(xué)習(xí)推理人的目標(biāo)中發(fā)揮著重要作用。這樣的先天結(jié)構(gòu)可以通過在局部皮層區(qū)域中布置特定的初始連接，再將輸入和誤差信號提供給特定的目標(biāo)來實(shí)現(xiàn)。

人工網(wǎng)絡(luò)模型也可以采用有用的預(yù)設(shè)結(jié)構(gòu)來使其學(xué)習(xí)和理解更接近人類。發(fā)現(xiàn)有用的預(yù)設(shè)結(jié)構(gòu)這一難題的解決方法可以是理解和模仿相關(guān)的大腦機(jī)制，或開發(fā)從頭開始的計(jì)算學(xué)習(xí)方法來發(fā)現(xiàn)支持智能體、人類或人工智能的結(jié)構(gòu)，使其能以高效且靈活的方式學(xué)習(xí)理解自己的環(huán)境。

這一方向上已有一些嘗試，但一般而言，「學(xué)習(xí)先天結(jié)構(gòu)」這一計(jì)算問題不同于當(dāng)前的學(xué)習(xí)過程，而且我們的了解還很少。長期來看，將經(jīng)驗(yàn)主義方法與計(jì)算方法結(jié)合起來處理這一問題很可能對神經(jīng)科學(xué)和 AGI 都有利，并最終可能會成為可應(yīng)用于這兩個領(lǐng)域的智能處理理論的一部分。