機器學習、神經網絡和深度學習為何能獨領風騷?

有“計算機界諾貝爾獎”之稱的 ACM AM圖靈獎（ACM A.M. Turing Award）近日公布 2018 年獲獎者，由引起這次人工智能革命的三位深度學習之父——蒙特利爾大學教授 Yoshua Bengio、多倫多大學名譽教授 Geoffrey Hinton、紐約大學教授 Yann LeCun 獲得，他們使深度神經網絡成為計算的關鍵。

據官方公告介紹，因三位巨頭在深度神經網絡概念和工程上的突破，使得 DNN 成為計算的一個重要構成，從而成為 2018 年圖靈獎得主。

ACM這樣介紹他們三人的成就：

Hinton、LeCun和Bengio三人為深度神經網絡這一領域建立起了概念基礎，通過實驗揭示了神奇的現象，還貢獻了足以展示深度神經網絡實際進步的工程進展。

這是圖靈獎十年來第三次頒給機器學習領域的杰出貢獻者了：2011 年圖靈獎得主為 Judea Pearl，他開發(fā)的概率與因果推理微積分（calculus for probabilistic and causal reasoning）為人工智能發(fā)展做出了重大貢獻。Leslie Gabriel Valiant 獲得了 2010 年圖靈獎，他為計算理論的發(fā)展作出了變革性貢獻，包括 PAC 學習理論、并行與分布計算理論等。

https://amturing.acm.org/byyear.cfm

其實，現代神經網絡、機器學習等AI技術背后的思想，可以追溯到第二次世界大戰(zhàn)行將結束之際。彼時，學者們開始構建計算系統(tǒng)，旨在以類似于人類大腦的方式存儲和處理信息。

而深度神經網絡早在1980年代就已經提出，但很快遭受質疑。專注于這種方法的學者，是AI界的少數派，LeCun、Hinton和Bengio就在其中。

三十多年前，是他們一生的至暗時刻。

然而，這一小撮“頑固分子”始終堅持自己的信念，他們不怕被視作蠢貨，一直相信神經網絡會照亮這個世界，并改變整個人類的命運。

最終他們的信念，也改變了自己的命運。

Geoffrey Hinton

Geoffrey Hinton，1947年生，現年72歲，谷歌的副總裁和工程師，也是AI研究機構Vector Institute的首席科學顧問和多倫多大學的名譽教授。

在ACM頒獎辭博文中，主要提到了Hinton的三個貢獻，如果你做過AI項目，肯定不會陌生，它們分別是：

反向傳播（Backpropagation）：

1986年，在Learning Internal Representations by Error Propagation這篇論文里，Hinton證明了，反向傳播能讓神經網絡發(fā)現自己內部的數據表征，這樣便可以處理以往無法解決的問題。

如今，反向傳播已經是神經網絡的標準操作，Hinton也有了“反向傳播之父”的名號。

玻爾茲曼機（Boltzmann Machines）：

1983年，Hinton和同伴一起發(fā)明了玻爾茲曼機，那是最早能夠學習神經元內部表征的網絡之一：那些表征既不來自輸入，也不來自輸出。

改進卷積神經網絡：

2012年，Hinton和學生們一起，利用線性整流神經元（Rectified Linear Neurons）和dropout 正則化改進了卷積神經網絡。

在ImageNet比賽上，他們幾乎把物體識別的錯誤率降到了從前的一半，讓計算機視覺領域煥然一新。

在獲得圖靈獎之前，Hinton就已經獲得了大量的榮譽，手握加拿大最高榮譽勛章（Companion of the Order of Canada），是頂級認知科學獎魯梅哈特獎的首位獲獎者，也獲得了人工智能國際聯合會（IJCAI）杰出學者獎終生成就獎等等。

此外，他也是英國皇家學會成員、美國工程院外籍院士。

一個有趣的軼事是，Hinton的高祖父是大名鼎鼎的喬治·布爾——布爾邏輯的創(chuàng)立者，因“布爾檢索“而聞名于世。

而即將出場的人，曾經在Hinton的實驗室里做過博士后。

Yann LeCun

Yann LeCun，1960年生，58歲，現在是Facebook首席AI科學家。卷積神經網絡 (CNN) 之父，是他最為人熟知的名號。

ACM列舉的成就，也是從這里開始。

卷積神經網絡 (CNN) ：

1989年，在AT&T貝爾實驗室工作的LeCun，以反向傳播為基礎，發(fā)表了一項研究，叫做“將反向傳播用到手寫郵編的識別上”。CNN的第一次實現，就是在這里誕生。

如今，CNN已經成為深度學習的基礎技術了，不止在計算機視覺領域，在語音合成、語音識別這些應用中，也是行業(yè)標準操作。

反向傳播雛形：

1985年，Hinton還沒有成為反向傳播之父的時候，LeCun在巴黎六大讀博期間，發(fā)表過反向傳播的一個早期版本，根據變分原理給出了一個簡單的推導過程。

他用兩種加速學習的方法，讓反向傳播變得更快了。

拓展了神經網絡的視野：

LeCun不止把神經網絡用在圖像識別上，還解鎖了許多其他任務。他提出的一些概念，如今已經成了AI領域的基礎。

比如，在圖像識別上，他研究了神經網絡怎樣學習分層特征表示 (Hierarchical Feature Representation) ，這也成為了如今許多識別任務中常用的概念。

另外，他和同伴Léon Bottou一起提出，學習系統(tǒng)可以由復雜的神經網絡構成。在這樣的系統(tǒng)里，反向傳播是靠自動微分來實現。他們還提出，深度學習架構可以對結構化數據 (比如圖形) ，進行處理。

LeCun博士畢業(yè)后，只在Hinton的實驗室做了一年博士后，就進入了工業(yè)界。

不過，他在2003年成為了紐約大學的教授，還在2012年創(chuàng)辦了紐大數據科學中心。即便加入Facebook之后，也繼續(xù)在紐大兼職。

而下一位巨頭，也和LeCun一樣，橫跨學界和產業(yè)界。并且，他也在赫赫有名的貝爾實驗室工作過。

Yoshua Bengio

Yoshua Bengio，1964年生，55歲，現在是蒙特利爾大學計算機科學與運籌學系教授。

Bengio創(chuàng)建了蒙特利爾學習算法研究所（MILA），擔任研究所的科學主任，主持加拿大高等研究院（CIFAR）機器與大腦學習項目的研究。同時，Bengio也擔任著數據評估研究所（IVADO）的科學聯合主任。

同樣，ACM也總結了Bengio的三個主要貢獻。

序列的概率模型：

上世紀90年代，Bengio提出了序列的概率模型。他把神經網絡和概率模型（例如隱馬爾可夫模型）相結合，用新技術識別手寫的支票。外界認為，這是20世紀90年代神經網絡的巔峰之作，當下語音識別技術就是在它的基礎上擴展的。

高維詞匯嵌入和注意機制：

Bengio參與發(fā)表了一篇里程碑式的論文，A Neural Probabilistic Language Model（神經概率語言模型），把高維詞嵌入 (High-Dimentional Word Embeddings) 作為詞義的表征。這對NLP研究（如翻譯、問答和視覺問答等任務）產生了深遠的影響。

生成對抗網絡（GAN）：

2014年，Bengio與Ian Goodfellow一同發(fā)表的生成對抗網絡 (GAN) ，引發(fā)了計算機視覺和圖形學的革命。

據統(tǒng)計，Yoshua Bengio發(fā)表的300多篇學術文章的累計引用次數已經超過137000次。

作為教授，Bengio曾經和Ian Goodfellow、Aaron Courville等業(yè)界大神一起寫出了Deep Learning，成為人手一本的“AI圣經”，不少人將這本書親切稱之為“花書”。

除了學術界，Bengio也活躍在產業(yè)界。

曾經，Bengio聯合Jean-Fran?ois Gagné創(chuàng)立了Element AI，為那些想給自家業(yè)務尋找機器學習解決方案的公司，找到AI領域的專家。

除此之外，Bengio也有許多榮譽在身。他不僅成為了加拿大皇家學院（RSC）及加拿大高等研究院（CIFAR）的院士，還在2017年獲得了代表加拿大公民最高榮譽的“加拿大總督功勛獎”。

機器學習、神經網絡和深度學習為何能獨領風騷？在傳統(tǒng)計算中，計算機程序使用明確、逐步的指令來指導計算機，但在深度學習中，計算機并沒有明確被告知該如何解決特定任務，如對象分類。相反地，它使用學習算法來提取數據中的模式（pattern），涉及數據的輸入，例如圖像的像素、標注、到輸出。研究人員面臨的挑戰(zhàn)是開發(fā)有效的學習算法，能夠修改人工神經網絡中連接的權重，所以可抓取數據中的相關模式。

Geoffrey Hinton 從 80 年代早期就致力在 AI 領域倡導機器學習方法，研究人類大腦如何發(fā)揮作用，應將其應用在機器學習系統(tǒng)的開發(fā)。受到大腦的啟發(fā)，他和其他人提出“人工神經網絡”作為機器學習研究的基石。

在計算機科學中，“神經網絡”是指由在計算機模擬“神經元”的一層一層組成的系統(tǒng)。這些“神經元”與人類大腦中的神經元相似，通過加權連接相互影響，并通過改變連接上的權重，可以改變神經網絡執(zhí)行的計算，三位大牛提出使用多層構建深層網絡的重要性，因此也稱為“深度學習”。

三位大牛 30 年努力所奠定的概念基礎和工程進步，受惠于 GPU、計算機的普及以及對大量數據集而取得顯著進展，Yann LeCun 在 Geoffrey Hinton 的指導下進行博士后工作，Yann LeCun 和 Yoshua Bengio 在 90 年代初都任職于貝爾實驗室，盡管沒有一起工作，他們的研究也激起了相互影響。

他們三人持續(xù)探索機器學習與神經科學和認知科學的交叉，特別是他們共同參與 CIFAR 的機器和大腦學習計劃。

這一次 ACM 選擇深度學習理論，在深度學習領域又選擇了這三位先驅，其實有更深層的意義。因為，在深度學習和神經網絡領域具有突出貢獻的絕不止這三位學者，而他們并稱為三巨頭的原因，也并不只是因為他們投入研究的時間長達40年，更是因為他們始終保有對神經網絡的興趣，在他們的名字廣為世人所知的幾十年時間里，他們甘于用掉人生大部份的時間坐冷板凳做研究，才推動了神經網絡走向復興。