深度學(xué)習(xí)只是人類探索智能的歷史上的一個插曲

盡管深度學(xué)習(xí)讓人工智能進(jìn)入了公眾的視線，但它只是人類探索智能的歷史上的一個插曲。在不到 10 年的時間里，它一直處于人工智能的最前沿。但當(dāng)我們放大這個領(lǐng)域的整個歷史，我們很容易意識到，它可能很快就會從歷史舞臺上退場。

時至今日，幾乎你所有聽到的關(guān)于 AI 的重要進(jìn)展，背后都離不開深度學(xué)習(xí)。

這類算法的工作原理是使用統(tǒng)計(jì)數(shù)據(jù)來發(fā)現(xiàn)數(shù)據(jù)中的模式。事實(shí)證明，它在模仿人類技能(如我們的視覺和聽覺能力)方面非常強(qiáng)大。在一些特殊情況或者是某些有限范圍內(nèi)，它甚至可以模仿我們的推理能力。深度學(xué)習(xí)為谷歌的搜索、Facebook 的新聞 Feed 和 Netflix 的推薦引擎提供了強(qiáng)大的支持，并正在改變醫(yī)療和教育等行業(yè)。

然而，盡管深度學(xué)習(xí)讓人工智能進(jìn)入了公眾的視線，但它只是人類探索智能的歷史上的一個插曲。在不到 10 年的時間里，它一直處于人工智能的最前沿。但當(dāng)我們放大這個領(lǐng)域的整個歷史，我們很容易意識到，它可能很快就會從歷史舞臺上退場。

華盛頓大學(xué)計(jì)算機(jī)科學(xué)教授兼主算法的作者佩德羅·多明戈斯就認(rèn)為，長期以來，不同技術(shù)的突然興起和衰落一直是人工智能研究的特點(diǎn)。每十年都有不同觀點(diǎn)之間的激烈競爭。然后，每隔一段時間，一個新的技術(shù)就會興起，研究人員都會聚集起來研究這個新興的技術(shù)。

在對人工智能技術(shù)持續(xù)的報(bào)道和關(guān)注的基礎(chǔ)之上，《麻省理工科技評論》想把技術(shù)斷斷續(xù)續(xù)、起伏變化的過程形象化。當(dāng)今最大的科學(xué)論文開源數(shù)據(jù)庫之“arXiv”是一個最佳選項(xiàng)，于是，本文作者下載了截止到 2018 年 11 月 18 日“人工智能”部分的 16625 篇論文的摘要，并對這些年來提到的詞匯進(jìn)行了追蹤，以了解深度學(xué)習(xí)的發(fā)展究竟走到了哪一個階段？下一個十年最大的發(fā)展機(jī)會，又將屬于誰？

圖 截至2018年11月18日，arXiv“人工智能”板塊可獲得的所有論文（來源：麻省理工科技評論）

通過數(shù)據(jù)分析，作者發(fā)現(xiàn)了三個主要的變化趨勢：20 世紀(jì) 90 年代末到 21 世紀(jì)初，機(jī)器學(xué)習(xí)開始萌芽，從 21 世紀(jì) 10 年代初開始經(jīng)歷神經(jīng)網(wǎng)絡(luò)的加速普及，以及在過去的幾年迎來了強(qiáng)化學(xué)習(xí)的增長。

在這里，有幾點(diǎn)需要我們注意。首先，arXiv 的人工智能相關(guān)論文只能追溯到 1993 年，而“人工智能”一詞可以追溯到 20 世紀(jì) 50 年代，因此，該數(shù)據(jù)庫信息對應(yīng)的時間，剛好處在人工智能發(fā)展的最新歷史階段。其次，該數(shù)據(jù)庫每年新增的論文，只是當(dāng)時特定領(lǐng)域整體進(jìn)展的一個局部。

不過，盡管如此，如果我們希望收集到更多的研究趨勢信息、觀察業(yè)內(nèi)正在產(chǎn)生的不同想法，arXiv 仍然不失為一個很好的來源。

機(jī)器學(xué)習(xí)使知識庫黯然失色

根據(jù)這 16625 篇論文，最大的轉(zhuǎn)變發(fā)生在 21 世紀(jì)初，以知識為基礎(chǔ)的系統(tǒng)開始式微，它們基于這樣一個設(shè)定：可以依據(jù)特定規(guī)則對所有人類知識進(jìn)行編碼。取而代之的是，研究人員轉(zhuǎn)向研究包括深度學(xué)習(xí)在內(nèi)的機(jī)器學(xué)習(xí)算法。

在作者統(tǒng)計(jì)出來的詞匯出現(xiàn)概率中，與知識系統(tǒng)相關(guān)的詞匯，如“邏輯”、“約束”、“規(guī)則”等詞匯的跌幅最大。那些與機(jī)器學(xué)習(xí)相關(guān)的——如“數(shù)據(jù)”、“網(wǎng)絡(luò)”和“性能”——增長最快。

圖 每1000字詞頻（來源：麻省理工科技評論）

但這個巨大變化背后的原因卻很簡單。在 20 世紀(jì) 80 年代，人工智能的第一次浪潮專注于以人類知識為突破點(diǎn)，知識庫和專家?guī)煜到y(tǒng)的構(gòu)建成為核心任務(wù)，國際上涌現(xiàn)了大量的知識系統(tǒng)工程。但隨著這些項(xiàng)目的展開，研究人員遇到了一個重大問題：系統(tǒng)要做任何有用的事情，需要對太多的規(guī)則進(jìn)行編碼。這推高了成本，大大減緩了技術(shù)發(fā)展的預(yù)期進(jìn)程。

而機(jī)器學(xué)習(xí)成為了解決這個問題的答案。這種方法不需要人們手動編碼數(shù)十萬條規(guī)則，而是讓機(jī)器自動從一堆數(shù)據(jù)中提取這些規(guī)則。就這樣，人工智能開始拋棄了知識庫系統(tǒng)，轉(zhuǎn)而將目光投向機(jī)器學(xué)習(xí)，第二次人工智能浪潮由此掀起。

神經(jīng)網(wǎng)絡(luò)走向繁榮，強(qiáng)化學(xué)習(xí)得到推動

不過，在當(dāng)時機(jī)器學(xué)習(xí)開始受到大量關(guān)注的情況下，深度學(xué)習(xí)并沒有立刻受到熱捧。

正如作者對關(guān)鍵術(shù)語的分析所顯示的，研究人員還嘗試了除神經(jīng)網(wǎng)絡(luò)(深度學(xué)習(xí)的核心機(jī)制)之外的各種方法，其中一些技術(shù)也頗為流行，例如貝葉斯網(wǎng)絡(luò)、支持向量機(jī)和進(jìn)化算法等，它們都采用不同的方法來尋找數(shù)據(jù)中的模式。

圖 提及每種方法的論文百分比，神經(jīng)網(wǎng)絡(luò)顯然取代了其他機(jī)器學(xué)習(xí)方法（來源：麻省理工科技評論）

在 20 世紀(jì) 90 年代和 21 世紀(jì)初，所有這些方法之間都保持著穩(wěn)定的競爭態(tài)勢。然后，在 2012 年，一個關(guān)鍵的突破打破了這個平衡，將其中一種方法——深度學(xué)習(xí)——帶向前所未有的高潮發(fā)展期：在一年一度的ImageNet 圖像分類競賽中，Geoffrey Hinton 和他在多倫多大學(xué)的同事們以驚人優(yōu)勢實(shí)現(xiàn)了當(dāng)時的圖像識別最高準(zhǔn)確率，團(tuán)隊(duì)所使用的方法正是深度學(xué)習(xí)。

該標(biāo)志性事件引發(fā)了人工智能一波新的研究浪潮——首先是在視覺研究上，然后其他領(lǐng)域也開始加入到這波深度學(xué)習(xí)浪潮中。隨著越來越多令人印象深刻的結(jié)果的涌現(xiàn)，深度學(xué)習(xí)（以及神經(jīng)網(wǎng)絡(luò)）的普及程度呈爆炸式增長。

分析顯示，在深度學(xué)習(xí)興起后的幾年里，人工智能研究發(fā)生了第三次也是目前最后一次變化：監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)受到越來越多的關(guān)注。其中，監(jiān)督學(xué)習(xí)即標(biāo)注數(shù)據(jù)來訓(xùn)練算法，這種方法是最常用的，也是目前為止最實(shí)用的方法。但在過去的幾年里，強(qiáng)化學(xué)習(xí)的風(fēng)頭也很強(qiáng)勁，強(qiáng)化學(xué)習(xí)在論文摘要中被提及的次數(shù)迅速增加。這種方法旨在于 AI 學(xué)習(xí)過程是否正確執(zhí)行了指令實(shí)施正面獎勵或者負(fù)面獎勵。

這個想法并不新鮮，但幾十年來它并沒有真正奏效?！氨O(jiān)督學(xué)習(xí)的支持者會取笑強(qiáng)化學(xué)習(xí)的支持者”，佩德羅·多明戈斯說。

但，就像深度學(xué)習(xí)的發(fā)展遇到了 ImagNet 2012 年的成績一樣，強(qiáng)化學(xué)習(xí)同樣迎來了一個關(guān)鍵的歷史事件，自那以后人們對它的關(guān)注度突飛猛進(jìn)。

那就是在 2015 年 10 月，經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的 DeepMind 的 AlphaGo 在古老的圍棋比賽中擊敗了歐洲圍棋冠軍、職業(yè)二段選手樊麾。那次成功對整個研究界的影響幾乎是立竿見影的。

圖 強(qiáng)化學(xué)習(xí)正在得到推動（來源：麻省理工科技評論）

下一個十年，兩個問號

事實(shí)上，我們認(rèn)為，這一次對 arXiv 的分析只是提供了目前人工智能研究的某些趨勢的縮影，包括不同觀點(diǎn)之間競爭的最新消息。但這也在某種程度上說明了人類在追求智能的道路上是多么的“反復(fù)無?！薄?/p>

一個重要的線索是，在過去 25 年里，我們使用的許多人工智能技術(shù)大約同時起源于 20 世紀(jì) 50 年代，之后，各個技術(shù)隨著一個有一個十年的到來此起彼伏，例如，神經(jīng)網(wǎng)絡(luò)曾在 60 年代達(dá)到頂峰，80 年代也短暫地達(dá)到高潮，但在深度學(xué)習(xí)重新迎來春天之前，它幾乎走到了研究的邊緣地帶。

換句話說，每一個十年，本質(zhì)上是某種技術(shù)的統(tǒng)治時期：神經(jīng)網(wǎng)絡(luò)統(tǒng)治 50 年代和 60 年代，各種象征性的方法征服了 70 年代，知識庫系統(tǒng)在 80 年代走向巔峰，貝葉斯網(wǎng)絡(luò)引領(lǐng) 90 年代，支持向量機(jī)在 00 年代爆發(fā)，10 年代，我們再次回到神經(jīng)網(wǎng)絡(luò)。

對此，華盛頓大學(xué)計(jì)算機(jī)科學(xué)教授兼主算法作者佩德羅·多明戈斯說，“21 世紀(jì) 20 年代也不會例外”，這意味著深度學(xué)習(xí)的時代可能很快就會結(jié)束。但是，對于接下來會發(fā)生什么，已經(jīng)有兩個截然不同的走向擺在我們面前——究竟是一種舊技術(shù)會重新獲得青睞，還是 AI 領(lǐng)域?qū)⒂瓉硪粋€全新的范式？

“如果你能回答這個問題，”多明戈斯說，“我想為這個答案申請專利。”