討論深度神經(jīng)網(wǎng)絡(luò)、AI研究從大腦得到的啟發(fā)

深度學(xué)習(xí)教父、圖靈獎得主Geoffrey Hinton今天在谷歌I/O大會的“爐邊聊天”上發(fā)表演講，討論了深度神經(jīng)網(wǎng)絡(luò)、AI研究從大腦得到的啟發(fā)，以及真正理解大腦將如何改變許多領(lǐng)域。

最新一屆圖靈獎得主、多倫多大學(xué)教授兼谷歌大腦高級研究員 Geoffrey Hinton 今天在谷歌 I/O 開發(fā)者大會的爐邊聊天上發(fā)表了演講。

Hinton 討論了神經(jīng)網(wǎng)絡(luò)的起源 —— 模擬生物神經(jīng)元的數(shù)學(xué)函數(shù)層，以及 AI 有朝一日能夠像人類一樣進行推理的可行性和意義。

Hinton 被稱為 “人工智能教父”。過去 30 年里，Hinton 一直致力于解決 AI 面臨的一些最大的挑戰(zhàn)。除了在機器學(xué)習(xí)方面的開創(chuàng)性工作，Hinton 還撰寫 (或與他人合作撰寫) 了 200 多篇 AI 論文，包括 1986 年發(fā)表的一篇開創(chuàng)性的機器學(xué)習(xí)技術(shù)論文 —— 反向傳播。

Hinton 推廣了深度神經(jīng)網(wǎng)絡(luò)這一概念，即以反向傳播為基礎(chǔ)的 AI 模型，其中包含相互連接的層，傳輸 “信號” 并調(diào)整連接的突觸強度 (權(quán)重)。通過這種方式，神經(jīng)網(wǎng)絡(luò)可以從輸入數(shù)據(jù)中提取特征，并學(xué)會做出預(yù)測。

你只需要注意力機制！深度神經(jīng)網(wǎng)絡(luò)優(yōu)化始于Transformers

深度神經(jīng)網(wǎng)絡(luò)得到大幅優(yōu)化是在兩年前，谷歌的研究人員發(fā)表一篇名為 “Attention Is all You Need” 的論文，提出名為 Transformers 的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

Transformers 拋棄了傳統(tǒng)的 RNN/CNN 結(jié)構(gòu)，從自然語言本身的特性出發(fā)，實現(xiàn)了完全基于注意力機制的 Transformer 機器翻譯網(wǎng)絡(luò)架構(gòu)。

得益于動態(tài)計算權(quán)重的注意力機制，Transformers 在語言翻譯任務(wù)中勝過了此前最先進的模型，同時大幅減少了訓(xùn)練所需的計算量。

Hinton 承認，創(chuàng)新的速度甚至讓他自己都感到驚訝。他說：“2012 年時，我沒有想到僅僅 5 年之后，我們就能夠使用相同的技術(shù)在多種語言之間進行翻譯?！?/p>

盡管如此，Hinton 認為目前的 AI 和機器學(xué)習(xí)方法仍然存在局限性。他指出，大多數(shù)計算機視覺模型缺少反饋機制 —— 也就是說，它們不會嘗試從更高層次的表示中重建數(shù)據(jù)。相反，它們試圖通過改變權(quán)重來區(qū)別性地學(xué)習(xí)特性。

Hinton 說:“它們并沒有在每一層的特征檢測器上檢查是否能夠重建下面的數(shù)據(jù)?！?/p>

AI系統(tǒng)主要是無監(jiān)督的，Hinton團隊轉(zhuǎn)向人類大腦啟發(fā)

Hinton 和同事們最近開始轉(zhuǎn)向人類視覺皮層尋找啟發(fā)。Hinton 說，人類的視覺采用一種重建的方法來學(xué)習(xí)，事實證明，計算機視覺系統(tǒng)中的重建技術(shù)增強了它們抵抗對抗性攻擊的能力。

“腦科學(xué)家們都同意這樣的觀點，即如果你的大腦皮層有兩個區(qū)域處于感知通路 (perceptual pathway) 中，并且一個區(qū)域與另一個區(qū)域之間存在連接，那么總會有一個反向的通路。”Hinton 說。

需要說明的是，Hinton 認為神經(jīng)科學(xué)家可以從 AI 研究人員那里學(xué)到很多東西。他認為未來的 AI 系統(tǒng)將主要是無監(jiān)督的。無監(jiān)督學(xué)習(xí)是機器學(xué)習(xí)的一個分支，可以從未標記、未分類的測試數(shù)據(jù)中提取知識 —— 在學(xué)習(xí)共性和對共性是否存在做出反應(yīng)的能力方面，無監(jiān)督學(xué)習(xí)的能力幾乎達到人類水平。

Hinton 說：“如果你采用一個擁有數(shù)十億參數(shù)的系統(tǒng)，對某個目標函數(shù)執(zhí)行隨機梯度下降，它的效果會比你想象的好得多…… 規(guī)模越大，效果越好?！?/p>

“這使得一種說法變得更加合理，即大腦計算某些目標函數(shù)的梯度，并根據(jù)梯度更新突觸的強度。我們只需要弄清楚它是如何得到梯度的，以及目標函數(shù)是什么?！?/p>

這甚至可能解開夢的奧秘?！盀槭裁次覀兏静挥浀梦覀冏鲞^的夢呢？”Hinton 反問道。

他認為這可能與 “忘卻”(unlearning) 有關(guān)，他在與人合著的一篇關(guān)于玻爾茲曼機的論文中解釋了這一理論。玻爾茲曼機是由對稱連接的、類似神經(jīng)元的單元組成的網(wǎng)絡(luò)，可以隨機決定是 “on” 還是 “off”。Hinton 說，“它們發(fā)現(xiàn)…… 觀察到的數(shù)據(jù)不那么令人驚訝”。

Hinton 說:“夢的意義可能在于，你把整個學(xué)習(xí)過程顛倒過來了?！?/p>

未來需要真正理解大腦的運作方式

Hinton 相信，這些知識可以改變許多領(lǐng)域，比如教育。例如，他預(yù)計教學(xué)課程將考慮人類生物化學(xué)，因此會更加個性化，更具針對性。

他說：“人們可能會認為，如果我們真正理解了大腦，我們應(yīng)該能夠改善教育等方面的狀況，我認為這是會實現(xiàn)的?！?/p>

“如果我們最終能夠了解大腦中正在發(fā)生什么，大腦是如何學(xué)習(xí)的，就能適應(yīng)環(huán)境，從而更好地學(xué)習(xí)?！?/p>

但他也警告說，這一切都需要時間。就近期而言，Hinton 設(shè)想了智能助理的未來 —— 比如 Google Assistant 或亞馬遜的 Alexa—— 它們可以與用戶互動，并在日常生活中為用戶提供引導(dǎo)。

Hinton 總結(jié)說：“再過幾年，我不確定我們會學(xué)到多少東西。但如果你仔細觀察，你會發(fā)現(xiàn)智能助理現(xiàn)在已經(jīng)相當(dāng)聰明了。一旦 AI 助理能夠真正理解對話，它們就能和孩子們真正地交談，并提供教育?！?/p>