前饋網(wǎng)絡(luò)：如何讓深度學(xué)習(xí)工作更像人腦

摘要：計算神經(jīng)科學(xué)是一門超級跨學(xué)科的新興學(xué)科，幾乎綜合信息科學(xué)，物理學(xué)， 數(shù)學(xué)，生物學(xué)，認知心理學(xué)等眾多領(lǐng)域的最新成果。關(guān)注的是神經(jīng)系統(tǒng)的可塑性與記憶，抑制神經(jīng)元與興奮神經(jīng)元的平衡。

0 背景

計算神經(jīng)科學(xué)是一門超級跨學(xué)科的新興學(xué)科，幾乎綜合信息科學(xué)，物理學(xué)， 數(shù)學(xué)，生物學(xué)，認知心理學(xué)等眾多領(lǐng)域的最新成果。關(guān)注的是神經(jīng)系統(tǒng)的可塑性與記憶，抑制神經(jīng)元與興奮神經(jīng)元的平衡。計算神經(jīng)科學(xué)在做的事情是先主動設(shè)計這個一個系統(tǒng)，看看如何做到需要的功能（自上而下），然后拿著這個東西回到生物的世界里去比較（由下而上）。人工智能和計算神經(jīng)科學(xué)具有某種內(nèi)在的同質(zhì)性， 唯一的區(qū)別可能是人工智能可以不必拘泥生物的限制，或者也是為什么他最終或許會比生物網(wǎng)絡(luò)表現(xiàn)更好。

今年的計算與系統(tǒng)神經(jīng)科學(xué)大會 -Cosyne在葡萄牙結(jié)束。 這個會議和nips都是神經(jīng)網(wǎng)絡(luò)與計算方面的最重要盛會， 而方向上一個更偏深度學(xué)習(xí)， 一個更偏和生物有關(guān)的計算。而近兩年的趨勢是， 兩個會議的交叉主題越來越多。 對于會議涵蓋的幾個方面， 做一個小的總結(jié)，也算涵蓋了計算神經(jīng)科學(xué)的主要方面。

1： 前饋網(wǎng)絡(luò)：如何讓深度學(xué)習(xí)工作更像人腦

在這個session， Yann Lecun 作為邀請演講人， 總結(jié)了CNN受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)的歷史， 并提出他最近的核心方向 -learning predictive model of world（學(xué)習(xí)建立預(yù)測性的模型）。 指出深度學(xué)習(xí)的未來在于以建立預(yù)測性模型為核心的半監(jiān)督學(xué)習(xí)， 這樣可以彌補普通的監(jiān)督學(xué)習(xí)或model free reinforcement learning（無模型強化學(xué)習(xí)）的巨大缺陷-缺乏穩(wěn)定的先驗?zāi)Ｐ汀?比如你要做一個視頻有關(guān)的處理， 讓他看完youtube上的視頻并不停的預(yù)測視頻下一幀的狀態(tài)， 這樣預(yù)訓(xùn)練后再去進行任何任務(wù)都會更方便。 yann認為這是dl的未來方向。

一個目前突出的成就是大量預(yù)訓(xùn)練產(chǎn)生的NLP模型Bert在各大任務(wù)上都破了記錄。 關(guān)于如何進行半監(jiān)督學(xué)習(xí)， auto-encoder和對抗學(xué)習(xí)都是方向。 在此處無監(jiān)督，監(jiān)督， 和強化學(xué)習(xí)的界限已經(jīng)接近。 強化學(xué)習(xí)不再只是蛋糕上的櫻桃， 無監(jiān)督學(xué)習(xí)也不再是難以操作的暗物質(zhì)。 預(yù)測性學(xué)習(xí)用的是監(jiān)督學(xué)習(xí)的方法， 干的是無監(jiān)督學(xué)習(xí)的事情， 而最后被用于強化學(xué)習(xí)。 不難看出， 這個方法論和計算神經(jīng)科學(xué)領(lǐng)域的predictive coding間的聯(lián)系， 和好奇心的聯(lián)系。 整個工作都符合Karl Friston 關(guān)于自由能最小的理論框架。

有關(guān)前饋網(wǎng)絡(luò)和計算神經(jīng)科學(xué)的交叉， 另外幾個speaker 著重在于研究生物系統(tǒng)如何實現(xiàn)類似反向傳播算法的過程。 反饋的神經(jīng)信號和local的Hebbian rule等的結(jié)合， 可以實現(xiàn)類似于反向傳播的修正，也就是說大家在尋找反向傳播的生物基礎(chǔ)，而且還非常有希望。

當(dāng)然比較CNN不同層次的representation 和生物視神經(jīng)的表示已經(jīng)是老課題， 目前imagenent上預(yù)訓(xùn)練的網(wǎng)絡(luò)經(jīng)常被用來和生物神經(jīng)網(wǎng)絡(luò)的活動比較， 逐步被作為一種衡量生物神經(jīng)網(wǎng)絡(luò)表達復(fù)雜度的標尺， 也是一個有意思的方法。

2，多巴胺（Dopamine）在學(xué)習(xí)回路中的作用（Ilan Witten， Princeton）

多巴胺神經(jīng)元和回路是計算神經(jīng)科學(xué)和強化學(xué)習(xí)的熱點問題， 它與我們的一切行為有關(guān)， 影響我們的喜樂哀愁。 dopamine的經(jīng)典理論被認為傳遞對未來獎勵的預(yù)期信息和真實獎勵的差距， 這恰好對應(yīng)強化學(xué)習(xí)理論的TD誤差。 后來人們發(fā)現(xiàn)這個想法太簡單了。 一些新的結(jié)果指出dopamine神經(jīng)元作為一個數(shù)量巨大的群體，編碼的信息不僅包括獎勵信號， 還有和獎勵有關(guān)的的信號特征，比如顏色，物體的運動方向。生物系統(tǒng)為什么這樣選擇自己的強化學(xué)習(xí)算法， 非常值得探討。

另一些工作圍繞dopamine和強化學(xué)習(xí)的研究通過實驗驗證dopamine的數(shù)學(xué)理論， 模型結(jié)合實驗的方法可以很好的test這方面的idea。 人們一直在爭論dopamine對應(yīng)value function本身還是TD誤差， 你能不能設(shè)計一個研究的方法很好的區(qū)分了前者和后者？ 事實上真實情況永遠比理論模型復(fù)雜的多。

3.神經(jīng)編碼的本質(zhì)： 高維vs低維（Kenneth Harris， UCL）

大家都知道人腦有1000億個神經(jīng)元， 近似于我們說的無窮多，為什么？為什么要這么多？

神經(jīng)編碼的本質(zhì)屬性是維度， 大部分時候， 當(dāng)我們對世界的理解抽離到最后， 就只剩下維度。 首先神經(jīng)編碼必須是高維的， 這對應(yīng)我們的大千世界信息是豐富的。 同時我們又不希望神經(jīng)編碼的維度太高，我們們希望在能夠表達現(xiàn)實世界的豐富信息的時候， 這個表征流行的維度越低越好， 反過來說，就是我們希望在某種限制條件下盡可能充分的表達真實世界的信息。 其背后的合理性是什么？

這組實驗讓小鼠不停的觀測從自然環(huán)境中隨機抽取的圖像樣本（nature image）， 然后我們記錄視皮層的神經(jīng)活動， 并通過PCA等降維手段來觀測神經(jīng)表征里的維度。 首先， 我們最終得到的結(jié)果是我們的生物神經(jīng)網(wǎng)絡(luò)確實具有無窮多（和圖像的總數(shù)一樣多）的維度（所以需要無窮多神經(jīng)元表達）, 這是由于自然環(huán)境中的物體太豐富了，自然信息的維度可以是接近正無窮， 這也是為什么我們的腦內(nèi)需要這么多的神經(jīng)細胞。

然后， 我們發(fā)現(xiàn)并非每個維度都是均衡的， 每個PC維度所刻畫的信息量均勻的下降， 而且這個下降呈現(xiàn)的衰減符合一個冪律分布。 而這個冪律的數(shù)值非常關(guān)大。 我們知道這個數(shù)值越小， 衰減就越慢，冪律就越接近肥尾， 這背后對應(yīng)的是什么呢？ 如果我們用流型的思維看， 這個指數(shù)大小正對應(yīng)流行曲面的形狀（你可以想象一下極限情況， 如果我們只有兩個PC，后面的數(shù)值均是0，我們的流型是一個平面） 。 越小的指數(shù)， 代表高維的成分越顯著，流型維度大到一定程度， 就會出現(xiàn)分型結(jié)構(gòu)（連續(xù)但不可導(dǎo)）。 一個高維的分型結(jié)構(gòu)意味著，每個樣例可能都占據(jù)著一個高峰， 而稍微一離開， 就是波谷。

從低維流型到高維分型

這在機器學(xué)習(xí)里，恰恰意味著泛化能力很差， 如果你稍微移動一下這個曲面， 分類就可能變化。 如果指數(shù)比較大呢？ 指數(shù)比較大， 意味著高維成分衰減很快， 這個時候， 我們會得到更為平滑的流行曲面，從而得到更好的泛化能力。那么指數(shù)可不可以盡量高呢？ 答案是不行， 因為那樣導(dǎo)致的表征維度過低， 剛剛已經(jīng)說了很多遍，那樣我們就失去了對豐富世界的表達能力（維度越高越好做分類，可以容納更多互相正交的分類， 模型容量高）。

總結(jié)一下這個冪律的指數(shù)值有兩個關(guān)鍵點， 當(dāng)指數(shù)比較小的時候流形都是剛剛講的分型結(jié)構(gòu)， 第一個關(guān)鍵點是從分型到平滑， 而第二個關(guān)鍵點是神經(jīng)全息成像， 當(dāng)衰減速度快到一定程度（低維到一定程度）， 我們就會得到類似全息成像的現(xiàn)象，此時神經(jīng)信息處處是冗余， 你隨便找一組神經(jīng)元都可以得到整個外部世界的信息。

自然界用高維冗余的非線性系統(tǒng)表達低維的表征，來對現(xiàn)實世界降維。 這是神經(jīng)科學(xué)和深度學(xué)習(xí)恒久不變的主題。 一般情況下高維會增加分類的效率和模型的容量(正交性)， 而低維則有利于泛化（平滑性， 把相關(guān)類別的編碼放到一起）。 而在當(dāng)下的深度學(xué)習(xí)里， 我們恰恰缺乏這種能力， 用同樣的指數(shù)實驗測量CNN的信息壓縮特性， 我們發(fā)現(xiàn)， 它的指數(shù)衰減明顯的慢于小鼠，也就是依然保留了更多高維成分， 這使得它對高維信息（往往在空間上意味著高頻）極為敏感。 當(dāng)你在已經(jīng)識別很好的圖像加一點噪聲（高頻信息）它就認錯了。

這個講話解釋了很多困擾我的謎團， 比如為什么需要那么多神經(jīng)元， 深度學(xué)習(xí)的泛化問題等等， 同時把學(xué)習(xí)算法和冪律巧妙的聯(lián)系在了一起。

自然圖像與神經(jīng)活動中的冪律

4， 尋找RNN的動力學(xué)維度

（Eric Shea-Brown， Univesity of Washington）

另一個研究指出用RNN解決任務(wù)時候自身動力學(xué)維度與任務(wù)維度的匹配關(guān)系。 如何預(yù)測RNN所表征的系統(tǒng)維度？ 首先維度取決于背后的動力學(xué)， 然后網(wǎng)絡(luò)的動力學(xué)取決于結(jié)構(gòu)， 我們可以用一套啟發(fā)于物理學(xué)的方法來從結(jié)構(gòu)推出動力學(xué)維度。 這個方法通過定位神經(jīng)網(wǎng)絡(luò)里的motif來預(yù)測其維度， 可以說和費曼的場論異曲同工。

然后這個維度有什么意義？ 我們說這個維度與我們要執(zhí)行任務(wù)本身的復(fù)雜度高度相關(guān)。如果換一個在平面上的簡單分類， 我們不需要實用自身動力學(xué)維度很高的系統(tǒng)做， 而如果這個分類就是高維的， 那么具有高維動力學(xué)的系統(tǒng)往往優(yōu)于低維的。 這揭示了網(wǎng)絡(luò)動力學(xué)與真實世界動力學(xué)的內(nèi)在聯(lián)系。而事實上， 一般在混沌狀態(tài)的網(wǎng)絡(luò)動力學(xué)維度更高， 這無形中揭示了，混沌沒有看上去混亂，它可能恰恰是我們強大認知能力的基礎(chǔ)。

5， 生物導(dǎo)航Navigation

（Edward Moser， Kavli institute, grid cell諾貝爾獎得主）

導(dǎo)航與空間運動相關(guān)的問題一直是計算神經(jīng)科學(xué)的熱點主題。 grid cell實現(xiàn)所謂的物體位置編碼，可以把空間里的核心物體位置編碼成一組向量。 這種能力是如何一點點隨學(xué)習(xí)和發(fā)育產(chǎn)生的? 這是一個非常大的主題，也是無數(shù)計算神經(jīng)科學(xué)家的目標。

Navigation的一個核心主題是cognitive map 的理論。 它說的是在大腦中存在一個空間表示的神經(jīng)載體。 你我都存在在這個認知空間里， 它獨立于你我而存在。 根據(jù)Okeefe的理論， 這個空間是hippocampus的grid cells 和place cell 作為基礎(chǔ)提供的。 grid cell類似于一個巨大的坐標系統(tǒng)， 而place cell 可以在每個不同的空間里重新編碼（remapping）。 這個十分有魅力的理論至今其實很多問題依然是懸案。

在這次的會議上， grid cell 理論的創(chuàng)始人Moser給了key speech， 他主要描述了這種空間的神經(jīng)編碼應(yīng)該以對空間的物體進行向量編碼為基礎(chǔ)， 每個物體對應(yīng)一個向量編碼。 同時， 他講解了提供這種空間結(jié)構(gòu)的基礎(chǔ)網(wǎng)絡(luò)是如何從發(fā)育階段一點點形成的。 從發(fā)育階段理解一個復(fù)雜問題通?？梢园堰@個問題簡化。

圍繞這一主題的其它講話里有幾個來自以色列的研究特色鮮明。維茲曼研究所的 Alon Rubin 揭示出我們所認為的認知地圖即使對應(yīng)同一個環(huán)境也不僅有一個，在同一個房間運動的小鼠可以解碼若干地圖， 這一點讓我們不僅思考這些地圖到底是干什么的， 顯然它們與不只對應(yīng)我們所認識的絕對空間， 因為絕對空間只有一個。

另一個來自以色列的Gily嗎Ginosar 則展示了如何尋找蝙蝠頭腦里的grid cell， 并揭示出它符合一個三維空間的密堆積周期結(jié)構(gòu) 。 因為蝙蝠的生活空間是三維的， 所以顯然它的空間表征也要是這個維度。 這點讓我們不禁想象， 如果存在4維和5維的空間，這個表示是什么樣的？ 到底是我們的認知確定了我們的世界， 還是我們的世界決定了我們的認知？

另外一個核心問題是我們頭腦里的認知地圖是egocentric(自我中心) 還是allocentric（外部環(huán)境中心），所謂以自我為中心（以上下左右表達整個世界，自我就是坐標原點）， 還是以一個外界的坐標系（如不同的地標）為中心。 經(jīng)典的認知地圖模型是allocentric的外部坐標表示， 然而事實上很多研究指出， 自我為中心可以找到很多實驗證據(jù) 。因此兩個派別進行了激烈的辯論。

當(dāng)然也有些會議上的報告討論了place cell的真實性“它們可能僅僅是一些依照時間序列依次發(fā)放的神經(jīng)集團” 來自MIT的Buffalo指出。

最后， 這個方向的討論還包含了這種能力是否能夠提供空間之外的推理能力？來自馬普所的教授進行了很好的開拓性發(fā)言，它認為空間的grid cell 可以作為我們的其它推理能力的一種基礎(chǔ)形式。

蝙蝠的三維grid cell

6對不確定性的神經(jīng)編碼（Maneesh Sahani, Gatesby Unit UCL）

神經(jīng)系統(tǒng)如何通過大量的神經(jīng)元編碼周邊信號的不確定性是一個很重要的課題，一個有意思的主題是集群編碼（population coding）。這方面的研究和機器學(xué)習(xí)里variational auto-encoder （VAE）密切相關(guān)。 因為你要決策， 不僅要依靠確定性的信息， 還要靠不確定的信息， 比如distribution。 神經(jīng)網(wǎng)絡(luò)被認為具有這種編碼不確定性的能力。 同時這也是機器學(xué)習(xí)的核心主題， 貝葉斯學(xué)習(xí)基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)-深度貝葉斯學(xué)習(xí)正在占據(jù)越來越大的研究空間。

7貝葉斯學(xué)習(xí)(Weiji Ma, New york University)

貝葉斯學(xué)習(xí)和上面的不確定性密切相關(guān)。 貝葉斯相關(guān)的模型可以迅速的建立同時包含數(shù)據(jù)和假設(shè)的模型。貝葉斯概率是非常基礎(chǔ)的統(tǒng)計知識， 有的人只把它當(dāng)成統(tǒng)計， 而它在神經(jīng)科學(xué)的巨大潛力在于， 它可以非常好的解釋行為， 以及大量之前模棱兩可的現(xiàn)象。 把實驗數(shù)據(jù)和理論做一個極好的結(jié)合。 因為通過貝葉斯方法， 你可以把現(xiàn)有的實驗數(shù)據(jù)迅速的通過似然性轉(zhuǎn)化為一個預(yù)測性模型，驗證你的假設(shè)。

貝葉斯模型有別其它更基礎(chǔ)的模型，可以直接在行為上建模。你只要有先驗， 有似然性， 就可以建立一個貝葉斯模型。比如你有兩個截然不同的假設(shè)解釋一種心理現(xiàn)象， 貝葉斯方法讓你直接把先驗和似然性（可以通過數(shù)據(jù)檢測或者直接推理得到）組合在一起解決一個問題。同時， 貝葉斯方法和自編碼器有很多靈活的結(jié)合， 不少新的工作圍繞如何在高斯假設(shè)之外實現(xiàn)變分自編碼器。

8 強化學(xué)習(xí)

強化學(xué)習(xí)相關(guān)的主題（如果包含多巴胺）幾乎占據(jù)了會議的半壁江山， 這些理論可以揭示動物的行為和決策后面的大量算法基礎(chǔ)。 神經(jīng)科學(xué)方面， 大家圍繞stratum, amygdala, basal ganglia是如何配合實現(xiàn)這一算法展開了大量研究。 算法方面， 一些研究把小鼠海馬在空間導(dǎo)航學(xué)習(xí)中的預(yù)演“（preplay）和"回放“（replay）進行了對比。 預(yù)演很像有模型學(xué)習(xí)中的計劃和模擬部分， 而回放可以對應(yīng)到TD lambda算法的值函數(shù)回傳， 這些算法， 都可以很好的對應(yīng)到現(xiàn)代的深度強化學(xué)習(xí)里， 但并不是每一個AI里的強化學(xué)習(xí)算法都有很好的神經(jīng)對應(yīng)， 比如策略梯度。或許未來我們會發(fā)現(xiàn)兩者是一致， 或許不一致的部分正好可以指導(dǎo)我們改進AI。

最后， 一個有趣的研究（David Reddish）把強化學(xué)習(xí)和神經(jīng)經(jīng)濟學(xué)（neural economics）聯(lián)系起來， 讓小鼠在不同的選擇中權(quán)衡， 我們可以很輕易的控制每個獎賞的屬性（如時間， 獲取難度）， 看它怎么選擇。 有趣的是， 從小鼠中得到的現(xiàn)象居然可以直接和人類進行對比。

這讓我想到， 目前的大量心理學(xué)理論，甚至經(jīng)濟學(xué)理論，可以通過強化學(xué)習(xí)， 與計算神經(jīng)科學(xué)和AI聯(lián)系起來。

9， data inference & latent dynamics

模型分成兩種， 一種叫做機理模型， 一種叫做數(shù)據(jù)模型。 所謂機理模型的核心是用第一型原理推出現(xiàn)象， 理解現(xiàn)象，比如神經(jīng)細胞放電的Hodykin-Hukly模型，平衡神經(jīng)網(wǎng)絡(luò)模型， 這些往往是傳統(tǒng)的計算神經(jīng)科學(xué)模型。 而數(shù)據(jù)現(xiàn)象模型， 是力圖用最少的參數(shù)解決復(fù)雜的現(xiàn)象， 似乎理解了現(xiàn)象，然而實際只是擬合而已，但是這樣的模型有時候具有泛化能力， 它就是好的預(yù)測模型，幾乎所有的機器學(xué)習(xí)模型都可以進入這一類。

然而對于想理解大腦的人第二類模型是不靠譜的， 因為你又不是做股票 ， 你是想理解現(xiàn)象。而你確實希望讓第一種模型具有第二個的能力， 因為如果一個機理模型可以預(yù)測現(xiàn)象或數(shù)據(jù)， 你就更加確定它是合理的，甚至可以給出更靠譜的預(yù)測。 而現(xiàn)在，有一些方法可以把兩個模型合成成一種。其中的一大類方法基于貝葉斯推理， 因為貝葉斯可以把一個”生成模型“通過貝葉斯公式，和觀測數(shù)據(jù)結(jié)合起來， 得到一個模型參數(shù)的后驗概率， 事實上相當(dāng)于你用數(shù)據(jù)而不是其它的擬合了你的機理模型。 然后我們可以把這個機理模型帶去預(yù)測新的現(xiàn)象 ，驗證它靠不靠譜。

而貝葉斯方法經(jīng)常面臨的問題是先驗不好給出， 似然性不好求解。 一個更加fancy的方法是直接上機器學(xué)習(xí)里的神經(jīng)網(wǎng)絡(luò)來做參數(shù)估計。 首先我們用我們”不靠譜“的機理模型通過模擬， 得到大量的結(jié)果。 每個模型參數(shù)，都得到一大類模擬結(jié)果。 這些模擬結(jié)果和參數(shù)， 就稱為了神經(jīng)網(wǎng)絡(luò)的輸入和labels， 不過可能和你想的反過來， 模擬的結(jié)果是輸入， 而參數(shù)是輸出， 這個神經(jīng)網(wǎng)絡(luò)所做的正是貝葉斯里的推測后驗概率，只不過先驗和似然性被包含在了模型里。由此訓(xùn)練好的模型， 我要輸入給它最終測量到的真實數(shù)據(jù)， 它就會得到一組最后我想要的模型參數(shù)了。你也可以理解為它很像一個GAN的結(jié)構(gòu)，機理模型在這里扮演了生成器的角色， 而神經(jīng)網(wǎng)絡(luò)是一個判別器。 最終生成器生成的數(shù)據(jù)要和真實數(shù)據(jù)完全一致， 一個擬合就完成了。 由此你就得到了最具有預(yù)測力的機理模型。

另一些討論圍繞RNN，本次會議提到了一個GOLD模型 (Daniel O'shea Stanford)。用RNN可以學(xué)習(xí)執(zhí)行一個任務(wù)，比如決策，但是以往我們不知道RNN的神經(jīng)元活動和真實的關(guān)系。 現(xiàn)在， 執(zhí)行任務(wù)的同時我們用類似剛剛的方法讓它擬合真實的實驗數(shù)據(jù)（神經(jīng)元活動）， 由此我們認為，得到的RNN就是我們腦網(wǎng)絡(luò)的縮影，可以分析出大腦信息流動的基本原理。這類工作應(yīng)該對構(gòu)建大規(guī)模腦網(wǎng)絡(luò)非常有幫助。

Gold 模型實際用到的結(jié)構(gòu)類似一個自編碼器， 一個編碼RNN把和任務(wù)有關(guān)的信息， 初始條件都壓縮成神經(jīng)編碼， 而另一個解碼RNN， 則在所有這些信息基礎(chǔ)上做出最后的決策，并擬合真實數(shù)據(jù)。這一類數(shù)據(jù)反推得來的模型， 可以幫助我們尋找數(shù)據(jù)背后的神經(jīng)活動本質(zhì)，這一類認為又稱為Inference of latent dynamics.

GOLD模型

10， 尋找真實神經(jīng)網(wǎng)絡(luò)模型的神經(jīng)連接

一些好的計算模型， 可以幫助我們找到兩個真實腦網(wǎng)絡(luò)模塊之間的連接， 讓我們知道它們是怎么被連在一起的。 這也是計算和實驗非常緊密在聯(lián)系在一起的一塊。 比如這次的會議一個talk講了初級視皮層V1區(qū)和V2區(qū)之間的功能連接可以如何通過數(shù)據(jù)推理出來。

總結(jié)：

這次會議展示了計算神經(jīng)科學(xué)的巨大魅力和潛力，以及研究的挑戰(zhàn)。我們看到，火爆發(fā)展的機器學(xué)習(xí)的思想和方法， 已經(jīng)滲入了計算神經(jīng)科學(xué)的所有角度， 而對計算神經(jīng)科學(xué)的理解， 也在幫助我們制定發(fā)展通用人工智能的潛在方法。 當(dāng)然， 計算神經(jīng)科學(xué)的作用遠不止這些， 它和所有的心理學(xué)，認知科學(xué)， 生物神經(jīng)科學(xué)的關(guān)系猶如理論物理和物理的關(guān)系一樣緊密。 我經(jīng)常驚嘆某個計算理論可以如何讓我們聯(lián)想到一些心理現(xiàn)象， 這個學(xué)科的發(fā)展與神經(jīng)醫(yī)學(xué)的聯(lián)系也是不言而喻的。

然而進入這個學(xué)科的難度還是很大的， 真正要在這個領(lǐng)域做好研究， 需要精通數(shù)學(xué)里的高等代數(shù)和微積分， 機器學(xué)習(xí)和深度學(xué)習(xí)的所有理論， 物理里的非線性動力學(xué)和一部分統(tǒng)計物理知識， 要求不可謂不高。

最重要的，還要有極好的思辨能力。 因為這個學(xué)科不同于機器學(xué)習(xí)的是， 你不是光得到一個benchmark分數(shù)很高的模型預(yù)測性能就可以了， 而是要真正理解一個機理的， 本質(zhì)性的東西。 你的模型永遠來源于真實， 又遠遠抽象于真實，如何知道你的東西不是一個toy model， 而是包含了這種本質(zhì)的東西？ 這種思辨力可能才是這個學(xué)科最有門檻的東西， 也是最有魅力之處吧。