《人工智能下一個十年》的主題報告

2020 年 3 月 25 日，智源研究院學(xué)術(shù)副院長、清華大學(xué)計算機系唐杰教授作客首屆中科院，為大家?guī)怼?a href="http://ttokpm.com/v/tag/150/" target="_blank">人工智能下一個十年》的主題報告。

唐老師從人工智能發(fā)展的歷史開始，深入分析人工智能近十年的發(fā)展，闡述了人工智能在感知方面取得的重要成果，尤其提到算法是這個感知時代最重要、最具代表性的內(nèi)容，重點講解了 BERT、ALBERT、MoCo2 等取得快速進(jìn)展的算法。最后說到下一波人工智能浪潮的興起，就是實現(xiàn)具有推理、可解釋性、認(rèn)知的人工智能。

人工智能對社會和經(jīng)濟(jì)影響的日益凸顯，各國政府也先后出臺了對人工智能發(fā)展的政策，并將其上升到國家戰(zhàn)略的高度。截至目前，包括美國、中國和歐盟在內(nèi)的多國和地區(qū)頒布了國家層面的人工智能發(fā)展政策。

時至2019年，中國政府繼續(xù)通過多種形式支持人工智能的發(fā)展。此前，中國形成了科學(xué)技術(shù)部、國家發(fā)改委、中央網(wǎng) 信辦、工信部、中國工程院等多個部門參與的人工智能聯(lián)合推進(jìn)機制。從2015年開始先后發(fā)布多則支持人工智能發(fā)展的政策，為人工智能技術(shù)發(fā)展s和落地提供大量的項目發(fā)展基金，并且對人工智能人才的引入和企業(yè)創(chuàng)新提供支持。這些政策給行業(yè)發(fā)展提供堅實的政策導(dǎo)向的同時，也向資本市場和行業(yè)利益相關(guān)者發(fā)出了積極信號。在推動市場應(yīng)用方面，中國政府身體力行，直接采購國內(nèi)人工智能技術(shù)應(yīng)用的相關(guān)產(chǎn)品，先后落地多個智慧城市、智慧政務(wù)等項目。

與其他國家不同，美國雖然在人工智能領(lǐng)域擁有最強實力，但目前尚沒有國家層面的人工智能促進(jìn)計劃。在前總統(tǒng)巴拉克·奧巴馬在任的最后幾個月里，白宮在三份獨立報告中為美國的 AI 戰(zhàn)略奠定了基礎(chǔ)。其中第一份報告《未來人工智能準(zhǔn)備》（Preparing for the Future of Artificial Intelligence）明確提出了有關(guān)制定 AI 法規(guī)、資助研發(fā)、自動化、道德、公平與安全的內(nèi)容。另一份報告《國家人工智能研發(fā)戰(zhàn)略計劃》（National Artificial Intelligence Research and Development Strategic Plan）概述了美國在政府資助 AI 研發(fā)上的戰(zhàn)略。而最后一份報告《Artificial Intelligence, Automation, and the Economy（人工智能、自動化和經(jīng)濟(jì)）》則進(jìn)一步說明了自動化對社會的影響，以及擴展 AI 有益的方面需要哪些新政策。

自特朗普上任以來，美國政府開始尋求一種截然不同的、自由市場導(dǎo)向的 AI 戰(zhàn)略。在2018年 5 月，白宮邀請了業(yè)界、學(xué)術(shù)界和部分政府代表參加了一場人工智能峰會。在會上發(fā)言中，白宮科技政策辦公室副主任 Michael Kratsios 概述了現(xiàn)總統(tǒng)對于人工智能的態(tài)度，他宣布政府目前制定了四大目標(biāo)：（1）保持美國在人工智能方面的領(lǐng)導(dǎo)地位；（2）支持美國工人；（3）推動政府資助的研發(fā)；（4）消除創(chuàng)新的障礙。為了實現(xiàn)這一目標(biāo)，Kratsios 宣布成立一個 AI 特別委員會，向白宮提供政府層面的、有關(guān)人工智能研究與發(fā)展方面的建議，同時幫助政府、私企和獨立研究者建立合作伙伴關(guān)系。他還指出，美國政府將專注于消除創(chuàng)新的監(jiān)管障礙，讓各家公司有更多創(chuàng)新和發(fā)展的靈活性。

2018 年 4 月，歐盟委員會通過了《人工智能通訊》。這是一份長達(dá) 20 頁的文件，闡述了歐盟對 AI 的態(tài)度。委員會的目標(biāo)是：（1）提高歐盟的技術(shù)和工業(yè)能力，增加公共和私營部門對 AI 的吸收；（2）讓歐洲人為 AI 帶來的社會經(jīng)濟(jì)變化做好準(zhǔn)備；（3）確保建立適當(dāng)?shù)牡赖潞头煽蚣?。主要舉措包括承諾將歐盟對 AI 的投資從 2017 年的 5 億歐元增加到 2020 年底的 15 億歐元，建立《歐洲人工智能聯(lián)盟》（人們現(xiàn)在可以加入），以及制定一套新的 AI 道德準(zhǔn)則，以解決公平、安全和透明等問題。一個新的「AI 高級別小組」將作為《歐洲人工智能聯(lián)盟》的指導(dǎo)小組，并將起草道德準(zhǔn)則供成員國審議。

▲各國AI政策 在這個時代背景下，我們需要考慮人工智能未來十年會怎樣發(fā)展。首先，我們需要從人工智能的發(fā)展歷史中找到靈感。 01AI發(fā)展歷史 隨著克勞德·香農(nóng)（Claude Shannon）在 1950 年提出計算機博弈，以及阿蘭·圖靈（Alan Turing）在 1954 年提出“圖靈測試”，人工智能這一概念開始進(jìn)入人們的視野。

到了 20 世紀(jì) 60 年代，人工智能出現(xiàn)了第一波高潮，發(fā)展出了自然語言處理和人機對話技術(shù)。其中的代表性事件是丹尼爾·博布羅（Daniel Bobrow）在 1964 年發(fā)表的Natural language input for a computer problem solving system，以及約瑟夫·維森鮑姆 (Joseph Weizenbaum) 在 1966 年發(fā)表的 ELIZA—a computer program for the study of natural language communication between man and machine。

此外，還有一個重要的發(fā)展——知識庫。1968 年，愛德華·費根鮑姆 (Edward Feigenbaum)提出首個專家系統(tǒng) DENDRAL 的時候?qū)χR庫給出了初步的定義，其中隱含了第二波人工智能浪潮興起的契機。

之后，人工智能進(jìn)入了一輪跨度將近十年的寒冬。 20 世紀(jì) 80 年代，人工智能進(jìn)入了第二波浪潮，這其中代表性的工作是 1976 年蘭德爾·戴維斯 (Randall Davis)構(gòu)建和維護(hù)的大規(guī)模的知識庫，1980 年德魯·麥狄蒙（Drew McDermott）和喬恩·多伊爾（Jon Doyle）提出的非單調(diào)邏輯，以及后期出現(xiàn)的機器人系統(tǒng)。

在 1980 年，漢斯·貝利納 (Hans Berliner)打造的計算機戰(zhàn)勝雙陸棋世界冠軍成為標(biāo)志性事件。隨后，基于行為的機器人學(xué)在羅德尼·布魯克斯 （Rodney Brooks）的推動下快速發(fā)展，成為人工智能一個重要的發(fā)展分支。這其中格瑞·特索羅（Gerry Tesauro）等人打造的自我學(xué)習(xí)雙陸棋程序為后來的增強學(xué)習(xí)的發(fā)展奠定了基礎(chǔ)。

20 世紀(jì) 90 年代，AI 出現(xiàn)了兩個很重要的發(fā)展：第一項內(nèi)容是蒂姆·伯納斯·李（Tim Berners-Lee）在 1998 年提出的語義互聯(lián)網(wǎng)路線圖，即以語義為基礎(chǔ)的知識網(wǎng)或知識表達(dá)。后來又出現(xiàn)了 OWL 語言和其他一些相關(guān)知識描述語言。第二項內(nèi)容是杰弗里·辛頓（Geoffrey Hinton）等人提出的深度學(xué)習(xí)，這標(biāo)志著第三次人工智能浪潮的興起。

在這次浪潮中，我們也看到很多企業(yè)參與其中，如塞巴斯蒂安·特龍（Sebastian Thrun）在谷歌主導(dǎo)推出的自動駕駛汽車，IBM 的沃森（Watson）于 2011 年在《危險邊緣》（Jeopardy）中獲得冠軍，蘋果在 2011 年推出的自然語言問答工具 Siri 等。

以上就是人工智能在 60 多年的發(fā)展歷史中取得的一些標(biāo)志性成果和技術(shù)。

02AI 近十年的發(fā)展

我們再深入分析 AI 近十年的發(fā)展，會看到一個重要的標(biāo)志：人工智能在感知方面取得重要成果。人工智能在語音識別、文本識別、視頻識別等方面已經(jīng)超越了人類，我們可以說 AI 在感知方面已經(jīng)逐漸接近人類的水平。從未來的趨勢來看，人工智能將會有一個從感知到認(rèn)知逐步發(fā)展的基本趨勢，如下圖所示：

首先，我們來看看 AI 在感知方面做了哪些事情。在感知方面，AlphaGo、無人駕駛、文本和圖片之間的跨媒體計算等取得了快速發(fā)展。從宏觀來看，算法是這個感知時代最重要、最具代表性的內(nèi)容。如果把最近十年的重要算法進(jìn)行歸類，以深度學(xué)習(xí)為例進(jìn)行展示的話，我們可以得到下圖所示的發(fā)展脈絡(luò)。

圖中最上面淺紫色部分的內(nèi)容是以前向網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法。第二層淡綠色部分的內(nèi)容表示一個以自學(xué)習(xí)、自編碼為代表的學(xué)習(xí)時代。第三層橘色部分的內(nèi)容代表自循環(huán)神經(jīng)網(wǎng)絡(luò)（概率圖模型的發(fā)展）的算法。最下面粉色部分是以增強學(xué)習(xí)為代表的發(fā)展脈絡(luò)。 總體來講，我們可以把深度學(xué)習(xí)算法歸類為這四個脈絡(luò)，而這四個方面都取得了快速的進(jìn)展。

如果再深入追溯最近幾年最重要的發(fā)展，會發(fā)現(xiàn) BERT 是一個典型代表。（想深入了解的讀者可以閱讀https://arxiv.org/pdf/1810.04805.pdf）以 BERT 為代表的預(yù)訓(xùn)練算法得到了快速的發(fā)展，基本上所有的算法都采用了預(yù)訓(xùn)練+微調(diào)+ Fine tune 的方法，如下圖所示：

BERT 在 2018 年年底通過預(yù)訓(xùn)練打敗了 NLP 上 11 個任務(wù)的經(jīng)典算法；XLNet 在 2019 年提出來通過雙向網(wǎng)絡(luò)的方法超過了 BERT （想深入了解的讀者可以閱讀https://arxiv.org/pdf/1906.08237.pdf），如下圖所示：

再后來，ALBERT 又超過了 XLNet 和原始的 BERT（想深入了解的讀者可以閱讀https://arxiv.org/pdf/1909.11942.pdf）。整個 BERT 的發(fā)展引發(fā)了后續(xù)一系列的工作。

在其他方面，也涌現(xiàn)了很多有代表性的工作。如在 2018 年年底，英偉達(dá)通過預(yù)訓(xùn)練模型實現(xiàn)高清視頻的自動生成。（想要了解更多詳細(xì)信息的讀者可以閱讀https://arxiv.org/abs/1808.06601） DeepMind 又把代表性的關(guān)聯(lián)關(guān)系生成到 graph_net 中，于是在網(wǎng)絡(luò)中可以實現(xiàn)一定的推理，其結(jié)構(gòu)如下圖所示。（想要了解更多信息的讀者可以閱讀https://arxiv.org/abs/1806.01261）

Facebook 的何愷明等人提出了以 contrastive learning 為基礎(chǔ)的 MoCo 及 MoCo2，在很多無監(jiān)督學(xué)習(xí)（Unsupervised learning）的結(jié)果上超過了監(jiān)督學(xué)習(xí)（Supervised learning），這是一個非常重要的進(jìn)展，這也標(biāo)志著預(yù)訓(xùn)練達(dá)到了一個新的高度。（想要了解更多信息的讀者可以閱讀

https://arxiv.org/abs/1911.05722）

杰弗里·辛頓等人利用 SimCLR，通過簡化版的 contrastive learning 超過了 MoCo，后來 MoCo2 又宣稱超過了 SimCLR。（想要了解更多信息的讀者可以閱讀https://arxiv.org/abs/2002.05709） 總體來看，在算法的時代，預(yù)訓(xùn)練算法取得了快速的進(jìn)展。那么未來十年，AI 將何去何從？ 03展望未來十年

這里，我想引用張鈸院士提出來的第三代人工智能的理論體系。 2015 年，張鈸院士提出第三代人工智能體系的雛形。 2017 年，DARPA 發(fā)起 XAI 項目，核心思想是從可解釋的機器學(xué)習(xí)系統(tǒng)、人機交互技術(shù)以及可解釋的心理學(xué)理論三個方面，全面開展可解釋性 AI 系統(tǒng)的研究。 2018 年底，正式公開提出第三代人工智能的理論框架體系，核心思想為： 建立可解釋、魯棒性的人工智能理論和方法。發(fā)展安全、可靠、可信及可擴展的人工智能技術(shù)。推動人工智能創(chuàng)新應(yīng)用。其中具體實施的路線圖如下： 與腦科學(xué)融合，發(fā)展腦啟發(fā)的人工智能理論。數(shù)據(jù)與知識融合的人工智能理論與方法。在這個思想框架下，我們做了一定的深入研究，我們稱之為認(rèn)知圖譜。其核心概念是知識圖譜+認(rèn)知推理+邏輯表達(dá)。 下面展開解釋一下。 知識圖譜大家很熟悉，是谷歌在 2012 年提出來的。這其中有兩個重磅的圖靈獎獲得者：一個是愛德華·費根鮑姆（1994 年圖靈獎得主），他在 20 世界 60 年代就提出來了知識庫的一些理論體系和框架；另一個是 1994 年蒂姆·伯納斯·李（2016 年圖靈獎得主、WWW 的創(chuàng)始人、語義網(wǎng)絡(luò)的創(chuàng)始人）。這里面除了知識工程、專家系統(tǒng)，還有一個代表性的系統(tǒng) CYC，CYC 可以說是歷史上持續(xù)時間最長的項目，從 1985 年開始，這個項目直到現(xiàn)在還一直在持續(xù)。 說完了知識圖譜，我們來說一下認(rèn)知圖譜。 相信很多人對認(rèn)知圖譜都比較陌生，這里我們舉一個例子來說明一下。假如我們要解決一個問題“找到一個 2003 年在洛杉磯的 Quality 咖啡館拍過電影的導(dǎo)演（Who is the director of the 2003 film which has scenes in it filmed at The Quality Cafe in Los Angeles）”。如果是人來解決這個問題的話，可能是先追溯相關(guān)的文檔，如 Quality 咖啡館的介紹文檔，洛杉磯的維基百科頁面等，我們可能會從中找到相關(guān)的電影，如 Old School ，在這個電影的介紹文檔里面，我們可能會進(jìn)一步找到該電影的導(dǎo)演 Todd Phillips，經(jīng)過比對電影的拍攝時間是 2003 年，最終確定答案是 Todd Phillips，具體流程如下圖所示：

當(dāng)我們用傳統(tǒng)算法（如 BIDAF, BERT, XLNet）進(jìn)行解決的時候，計算機可能只會找到局部的片段，仍然缺乏一個在知識層面上的推理能力，這是計算機很欠缺的。人在這方面具有優(yōu)勢，而計算機缺乏類似的能力。 人在解決上述問題的過程中存在推理路徑、推理節(jié)點，并且能理解整個過程，而 AI 系統(tǒng)，特別是在當(dāng)下的 AI 系統(tǒng)中，深度學(xué)習(xí)算法將大部分這類問題都看作是一個黑盒子，如下圖所示：

這個基本的思想是結(jié)合認(rèn)知科學(xué)中的雙通道理論。在人腦的認(rèn)知系統(tǒng)中存在兩個系統(tǒng)：System 1 和 System 2，如下圖所示。System 1 是一個直覺系統(tǒng)，它可以通過人對相關(guān)信息的一個直覺匹配尋找答案，它是非?？焖?、簡單的；而 System 2 是一個分析系統(tǒng)，它通過一定的推理、邏輯找到答案。

在去年的 NIPS 上，圖靈獎獲得者 Bengio 在大會主旨報告的 Keynote 也提到，System 1 到 System 2 的認(rèn)知是深度學(xué)習(xí)未來發(fā)展的重要的方向，如下圖所示：

因此，我們大概用這個思路構(gòu)建了這個新的、我們稱為認(rèn)知圖譜的這樣一個方法。在 System 1 中我們主要做知識的擴展，在 System 2 中我們做邏輯推理和決策，如下圖所示：

可以看到，我們在 System 1 中做知識的擴展，比如說針對前面的問題，我們首先找到相關(guān)的影片，然后用 System 2 來做決策。如果是標(biāo)準(zhǔn)答案，就結(jié)束整個推理的過程。如果不是標(biāo)準(zhǔn)答案，而相應(yīng)的信息又有用，我們就把它作為一個有用信息提供給 System 1，System 1 繼續(xù)做知識的擴展，System 2 再來做決策，直到最終找到答案。

現(xiàn)在，在這兩個系統(tǒng)中，System 1 是一個直覺系統(tǒng)，我們用 BERT 來實現(xiàn)，實現(xiàn)了以后，我們就可以做相關(guān)的信息的匹配；System 2 就用一個圖卷積網(wǎng)絡(luò)來實現(xiàn)，在圖卷積網(wǎng)絡(luò)中可以做一定的推理和決策。通過這個思路，我們就可以實現(xiàn)一定的推理+決策。

這是一個總體的思路，要真正實現(xiàn)知識和推理，其實還需要萬億級的常識知識庫的支持，如下圖所示。也就是說，四五十年前費根鮑姆做過的事情，也許我們現(xiàn)在要重做一遍，但是我們要做到更大規(guī)模的常識知識圖譜，并且用這樣的方法，用這樣的常識知識圖譜來支撐上面的深度學(xué)習(xí)的計算，這樣才能真正實現(xiàn)未來的 AI。

所以說，這一代人工智能浪潮也許到終點還是沒有推理能力，沒有可解釋能力。而下一波人工智能浪潮的興起，就是實現(xiàn)具有推理、具有可解釋性、具有認(rèn)知的人工智能，我們認(rèn)為這是 AI 下一個 10 年要發(fā)展、也一定會發(fā)展的一個重要方向。