深度學(xué)習(xí)在人工智能領(lǐng)域的前世今生

這兩年人工智能（Artificial Intelligence）領(lǐng)域熱鬧非凡，不僅科技巨頭紛紛發(fā)力AI取得技術(shù)與產(chǎn)品的突破，還有眾多初創(chuàng)企業(yè)獲得風(fēng)險(xiǎn)資本的青睞，幾乎每周都可以看到相關(guān)領(lǐng)域初創(chuàng)公司獲得投資的報(bào)道。AiphaGo在圍棋游戲中大勝李世石使人們對(duì)AI刮目相看的同時(shí)也引發(fā)了對(duì)AI將如何改變我們生活的思考。

其實(shí)，人工智能從上世紀(jì)40年代誕生至今，經(jīng)歷了一次又一次的繁榮與低谷，下面我們就來(lái)回顧下過(guò)去半個(gè)世紀(jì)里人工智能的發(fā)展歷程。

|人工智能發(fā)展的七個(gè)階段

1.起源階段：人工智能真正誕生于20世紀(jì)的40 - 50年代。這段時(shí)間里，大量從事數(shù)學(xué)、工程、計(jì)算機(jī)等研究領(lǐng)域的科學(xué)家們開(kāi)始探討“人工大腦”的可能性。1950年阿蘭 圖靈（Alan Turing）發(fā)表了題為“機(jī)器能思考嗎”的著名論文，提出了著名的圖靈測(cè)試來(lái)定義機(jī)器智能。他說(shuō)只要有30%的人類測(cè)試者在5分鐘內(nèi)無(wú)法分辨出被測(cè)試對(duì)象究竟是人類還是機(jī)器，就可以認(rèn)為機(jī)器通過(guò)了圖靈測(cè)試。

圖1：圖靈測(cè)試

2.第一次黃金時(shí)期：專業(yè)術(shù)語(yǔ)“人工智能”（Artificial Intelligence）誕生于1956年的達(dá)特矛斯會(huì)議，由計(jì)算機(jī)科學(xué)家John McCarthy首次正式提出。達(dá)特矛斯會(huì)議之后的十多年是人工智能的第一次黃金時(shí)代，科學(xué)家們對(duì)人工智能的前景滿懷激情，大批研究者撲向這一新領(lǐng)域，一些頂尖高校建立的人工智能項(xiàng)目獲得了ARPA等機(jī)構(gòu)的大筆經(jīng)費(fèi)，甚至有研究者認(rèn)為機(jī)器很快就能替代人類完成一切工作。

3.第一次低谷：到了70年代，由于計(jì)算機(jī)性能瓶頸、計(jì)算復(fù)雜性的增長(zhǎng)以及數(shù)據(jù)量的不足，很多人工智能科研項(xiàng)目的承諾無(wú)法兌現(xiàn)，比如計(jì)算機(jī)視覺(jué)根本找不到足夠的數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練，智能也就無(wú)從談起。因此，學(xué)界將人工智能分為兩種：難以實(shí)現(xiàn)的強(qiáng)人工智能和可以嘗試的弱人工智能。強(qiáng)人工智能就是能像人類一樣執(zhí)行通用任務(wù)；弱人工智能則只能處理單一問(wèn)題。很多項(xiàng)目的進(jìn)度停滯不前也影響了資助資金的走向，AI陷入了長(zhǎng)達(dá)數(shù)年之久的低谷。

4.專家系統(tǒng)的出現(xiàn)：70年代之后，學(xué)術(shù)界逐漸接受新的思路：人工智能不光要研究算法，還得引入知識(shí)。于是，專家系統(tǒng)誕生了。它利用數(shù)字化的知識(shí)去推理，模仿某一領(lǐng)域的專家去解決問(wèn)題?！爸R(shí)處理”開(kāi)始成為人工智能的研究重點(diǎn)。，1977年世界人工智能大會(huì)提出“知識(shí)工程”的啟發(fā)，rb的第五代計(jì)算機(jī)計(jì)劃、英國(guó)的阿爾維計(jì)劃、歐洲的尤里卡計(jì)劃和mg的星計(jì)劃相繼出臺(tái)，帶來(lái)專家系統(tǒng)的高速發(fā)展。

5.第二次經(jīng)費(fèi)危機(jī)：20世紀(jì)90年代之前的大部分人工智能項(xiàng)目都是靠zf機(jī)構(gòu)資助，經(jīng)費(fèi)走向直接影響著人工智能的發(fā)展。80年代中期，蘋果和IBM的臺(tái)式機(jī)性能已經(jīng)超過(guò)了運(yùn)用專家系統(tǒng)的通用型計(jì)算機(jī)，專家系統(tǒng)的風(fēng)光隨之褪去，人工智能研究再次遭遇經(jīng)費(fèi)危機(jī)。

6.IBM的深藍(lán)和Watson：專家系統(tǒng)之后，機(jī)器學(xué)習(xí)成為了人工智能的焦點(diǎn)，其目的是讓機(jī)器具備自動(dòng)學(xué)習(xí)的能力，通過(guò)算法使得機(jī)器能夠從大量歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律并對(duì)新的樣本作出判斷識(shí)別。。在這一階段，IBM無(wú)疑是人工智能領(lǐng)域的領(lǐng)袖，1996年IBM公司的AI系統(tǒng)“深藍(lán)”戰(zhàn)勝了國(guó)際象棋世界冠軍卡斯帕羅夫，2011年IBM公司的AI系統(tǒng)Watson在電視問(wèn)答節(jié)目中戰(zhàn)勝人類選手。后者涉及到放到現(xiàn)在仍然是難題的自然語(yǔ)言理解，成為機(jī)器理解人類語(yǔ)言的里程碑事件。

7.深度學(xué)習(xí)的強(qiáng)勢(shì)崛起：深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的第二次浪潮。2013年4月，《麻省理工學(xué)院技術(shù)評(píng)論》將深度學(xué)習(xí)列為2013年十大突破性技術(shù)之首。其實(shí)，深度學(xué)習(xí)并非新事物，它是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)（Neural Network）的發(fā)展，兩者采用了相似的分層結(jié)構(gòu)，不同之處在于深度學(xué)習(xí)采用了不同的訓(xùn)練機(jī)制，具備強(qiáng)大的表達(dá)能力。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)曾經(jīng)在機(jī)器學(xué)習(xí)領(lǐng)域火過(guò)一陣子，但后來(lái)由于參數(shù)難于調(diào)整和訓(xùn)練速度慢等問(wèn)題逐漸淡出了人們的視野。

但是有一位叫Geoffrey Hinton的多倫多大學(xué)老教授非常執(zhí)著于神經(jīng)網(wǎng)絡(luò)的研究，并和Yoshua Bengio、Yann LeCun一起提出了可行的深度學(xué)習(xí)方案。2012年Hinton的學(xué)生在圖片分類競(jìng)賽ImageNet上打敗了Google，頓時(shí)讓學(xué)術(shù)界和工業(yè)界嘩然，吸引了工業(yè)界對(duì)深度學(xué)習(xí)的大規(guī)模投入。2012年Google Brain用16000個(gè)CPU核的計(jì)算平臺(tái)訓(xùn)練10億神經(jīng)元的深度網(wǎng)絡(luò)，無(wú)外界干涉下自動(dòng)識(shí)別出了“Cat”；Hinton的DNN初創(chuàng)公司被Google收購(gòu)，Hinton個(gè)人也加入了Google；而另一位大牛LeCun加入Facebook，出任AI實(shí)驗(yàn)室主任。不僅科技巨頭們加大對(duì)AI的投入，一大批初創(chuàng)公司乘著深度學(xué)習(xí)的東風(fēng)涌現(xiàn)，使得人工智能領(lǐng)域熱鬧非凡。

|人工智能之主要引擎：深度學(xué)習(xí)

機(jī)器學(xué)習(xí)發(fā)展分為兩個(gè)階段，起源于上世紀(jì)20年代的淺層學(xué)習(xí)（ShallowLearning）和最近幾年才火起來(lái)的深度學(xué)習(xí)（Deep Learning）。淺層學(xué)習(xí)的算法中最先被發(fā)明的是神經(jīng)網(wǎng)絡(luò)的反向傳播算法（back propagation）。為什么稱之為淺層呢，因?yàn)楫?dāng)時(shí)的訓(xùn)練模型是只含有一層隱含層的淺層模型。這種模型有個(gè)很大的弱點(diǎn)，那就是有限參數(shù)和計(jì)算單元，特征表達(dá)能力弱。

上世紀(jì)90年代，學(xué)術(shù)界提出一系列的淺層機(jī)器學(xué)習(xí)模型，包括風(fēng)行一時(shí)的支撐向量機(jī)Support Vector Machine，Boosting等。這些模型相比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在效率和準(zhǔn)確率上都有所提升。但后來(lái)人們發(fā)現(xiàn)，識(shí)別精度到達(dá)一定程度后，即使訓(xùn)練再多的數(shù)據(jù)，再怎么調(diào)整參數(shù)，精度也無(wú)法繼續(xù)提高。

在此期間，Hinton教授一直執(zhí)著于多隱層神經(jīng)網(wǎng)絡(luò)的算法研究。多隱層神經(jīng)網(wǎng)絡(luò)其實(shí)就是淺層神經(jīng)網(wǎng)絡(luò)的深度版本，試圖使用更多的神經(jīng)元來(lái)表達(dá)特征，其實(shí)現(xiàn)難點(diǎn)主要在于以下三方面：

BP算法中誤差的反向傳播隨著隱層的增加而衰減；很多時(shí)候只能達(dá)到局部最優(yōu)解；

模型參數(shù)增加，對(duì)訓(xùn)練數(shù)據(jù)的量有很高要求，如果不能提供龐大的標(biāo)識(shí)數(shù)據(jù)，可能會(huì)導(dǎo)致過(guò)度復(fù)雜；

多隱層結(jié)構(gòu)的參數(shù)多，訓(xùn)練數(shù)據(jù)的規(guī)模大，需要消耗很多計(jì)算資源。

圖2：傳統(tǒng)神經(jīng)網(wǎng)絡(luò)與多隱層神經(jīng)網(wǎng)絡(luò)

2006年，Hinton和他的學(xué)生R.R. Salakhutdinov成功訓(xùn)練出多層神經(jīng)網(wǎng)絡(luò)，在《Science》上發(fā)表文章（Reducingthe dimensionality of data with neural networks），改變了整個(gè)機(jī)器學(xué)習(xí)的格局。這篇文章有兩個(gè)主要觀點(diǎn)：1）多隱層神經(jīng)網(wǎng)絡(luò)有更強(qiáng)大的學(xué)習(xí)能力，可以表達(dá)更多特征來(lái)描述對(duì)象；2）訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)，可通過(guò)降維（pre-training）來(lái)實(shí)現(xiàn)。Hinton教授設(shè)計(jì)的Autoencoder網(wǎng)絡(luò)能夠快速找到好的全局最優(yōu)點(diǎn)，采用無(wú)監(jiān)督的方法先分開(kāi)對(duì)每層網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后再進(jìn)行微調(diào)。

圖3：圖像的與訓(xùn)練，編碼→解碼→微調(diào)

從圖3我們可以看到，深度神經(jīng)網(wǎng)絡(luò)是逐層進(jìn)行預(yù)訓(xùn)練，得到每一層的輸出；同時(shí)引入編碼器和解碼器，通過(guò)原始輸入與編碼→再解碼之后的誤差來(lái)訓(xùn)練，這兩步都是無(wú)監(jiān)督訓(xùn)練過(guò)程；最后引入有標(biāo)識(shí)樣本，通過(guò)有監(jiān)督訓(xùn)練來(lái)進(jìn)行微調(diào)。逐層訓(xùn)練的好處是讓模型處于一個(gè)接近全局最優(yōu)的位置去獲得更好的訓(xùn)練效果。

以上就是Hinton在2006年提出的著名的深度學(xué)習(xí)框架，而我們實(shí)際運(yùn)用深度學(xué)習(xí)網(wǎng)絡(luò)的時(shí)候，不可避免的會(huì)碰到卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）。CNN的原理是模仿人類神經(jīng)元的興奮過(guò)程：大腦中的一些神經(jīng)細(xì)胞只有在特定方向的邊緣存在時(shí)才能做出反應(yīng)。打個(gè)比方，當(dāng)我們非常近距離地觀察一張人臉圖片時(shí)，這時(shí)候我們的大腦中只有一部分神經(jīng)元是被激活的，我們也只能看到人臉上的像素級(jí)別點(diǎn)，當(dāng)我們把距離一點(diǎn)點(diǎn)拉開(kāi)，大腦其他部分的神經(jīng)元將會(huì)被激活，我們也就可以觀察到人臉的線條→圖案→局部→整個(gè)人臉，這就是一步步獲得高層特征的過(guò)程。

圖4：基本完整的深度學(xué)習(xí)流程

深度學(xué)習(xí)的好處是顯而易見(jiàn)的 – 特征表達(dá)能力強(qiáng)，有能力表示大量的數(shù)據(jù)；預(yù)訓(xùn)練是無(wú)監(jiān)督訓(xùn)練，節(jié)省大量人力標(biāo)識(shí)工作；相比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，通過(guò)逐層訓(xùn)練的方法降低了訓(xùn)練難度，如信號(hào)衰減的問(wèn)題。深度學(xué)習(xí)在很多領(lǐng)域比淺層學(xué)習(xí)算法往往有20-30%的提高，驅(qū)使研究者發(fā)現(xiàn)新大陸一般涌向深度學(xué)習(xí)這一領(lǐng)域。

|深度學(xué)習(xí)的重要發(fā)展領(lǐng)域

深度學(xué)習(xí)首先在圖像、聲音和語(yǔ)義識(shí)別取得了長(zhǎng)足的進(jìn)步，特別是在圖像和聲音領(lǐng)域相比傳統(tǒng)算法大大提升了識(shí)別率。其實(shí)也很容易理解，深度學(xué)習(xí)是模仿人類大腦神經(jīng)感知外部世界的算法，而最常見(jiàn)的外部自然信號(hào)莫過(guò)于圖像、聲音和文字（非語(yǔ)義）。

圖像識(shí)別：圖像是深度學(xué)習(xí)最早嘗試的領(lǐng)域。YannLeCun早在1989年就開(kāi)始了卷積神經(jīng)網(wǎng)絡(luò)的研究，取得了在一些小規(guī)模（手寫字）的圖像識(shí)別的成果，但在大像素圖片識(shí)別上遲遲沒(méi)有突破，直到2012年Hinton和他學(xué)生在ImageNet上的突破，才使識(shí)別精度提高了一大截。2014年，xg中文大學(xué)教授湯曉鷗領(lǐng)導(dǎo)的計(jì)算機(jī)視覺(jué)研究組開(kāi)發(fā)了名為DeepID的深度學(xué)習(xí)模型，在人臉識(shí)別上獲得了99.15%的識(shí)別率，超過(guò)了人類肉眼的的識(shí)別率（97.52%）。

語(yǔ)音識(shí)別：語(yǔ)音識(shí)別長(zhǎng)期以來(lái)都使用混合高斯模型來(lái)建模，盡管降低了語(yǔ)音識(shí)別的錯(cuò)誤率，但在有噪音的實(shí)際自然環(huán)境中達(dá)不到可用的級(jí)別。直到深度學(xué)習(xí)的出現(xiàn)，使得識(shí)別錯(cuò)誤率在以往最好的基礎(chǔ)上相對(duì)下降30%以上，達(dá)到商業(yè)可用的水平。

自然語(yǔ)言處理（NLP）：即使到現(xiàn)在，深度學(xué)習(xí)在NLP領(lǐng)域并沒(méi)有取得像圖像識(shí)別或者語(yǔ)音識(shí)別領(lǐng)域那樣的成就，基于統(tǒng)計(jì)的模型仍然是NLP的主流，先通過(guò)語(yǔ)義分析提取關(guān)鍵詞、關(guān)鍵詞匹配、算法判定句子功能（找出距離這個(gè)句子最近的標(biāo)識(shí)好的句子），最后再利用提前準(zhǔn)備的數(shù)據(jù)庫(kù)提供用戶輸出結(jié)果。顯然，這明顯談不上智能，只能算一種搜索功能的實(shí)現(xiàn)，而缺乏真正的語(yǔ)言能力。

為什么深度學(xué)習(xí)在NLP領(lǐng)域進(jìn)展緩慢?這是因?yàn)椋瑢?duì)語(yǔ)音和圖像來(lái)說(shuō)，其構(gòu)成元素（輪廓、線條、語(yǔ)音幀）不用經(jīng)過(guò)預(yù)處理都能清晰反映出要識(shí)別的對(duì)象，可以直接放到神經(jīng)網(wǎng)絡(luò)里進(jìn)行識(shí)別。而語(yǔ)義識(shí)別大不相同：人說(shuō)的每句話并非自然信號(hào)，含有豐富多變的語(yǔ)義，對(duì)它的理解需要參考上下文語(yǔ)境的，有時(shí)候還會(huì)涉及到大量的文化背景知識(shí)。因此，仿人類大腦識(shí)別機(jī)制建立的深度學(xué)習(xí)，對(duì)經(jīng)過(guò)我們?nèi)祟惔竽X處理的文字信號(hào)的理解，效果反而差強(qiáng)人意。根本上來(lái)說(shuō)，現(xiàn)在的算法還屬于弱人工智能，可以去幫人類快速的自動(dòng)執(zhí)行（識(shí)別），卻不能理解這件事情本身。

|深度學(xué)習(xí)的挑戰(zhàn)和發(fā)展方向

受益于計(jì)算能力的提升和大數(shù)據(jù)的出現(xiàn)，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)和語(yǔ)音識(shí)別領(lǐng)域成就斐然，不過(guò)我們也看到了一些深度學(xué)習(xí)的局限性，亟待解決：

深度學(xué)習(xí)在學(xué)術(shù)領(lǐng)域取得了不錯(cuò)的成果，但在商業(yè)上對(duì)企業(yè)幫助并不明顯。因?yàn)樯疃葘W(xué)習(xí)是一個(gè)映射的過(guò)程，從輸入A映射到輸出B，而在企業(yè)活動(dòng)中如果我已經(jīng)擁有了這樣的A→B映射，為什么還需要機(jī)器學(xué)習(xí)來(lái)推斷呢？讓機(jī)器自己在數(shù)據(jù)中尋找這種映射關(guān)系或者進(jìn)行yc，目前還存在很大難度。

缺乏理論基礎(chǔ)，這是困擾著研究者的問(wèn)題。比如說(shuō)，AlphaGo這盤棋贏了，你很難弄懂它是怎么贏的?？梢哉f(shuō)，深度學(xué)習(xí)是一個(gè)黑箱子，神經(jīng)網(wǎng)絡(luò)需要多少個(gè)隱層來(lái)訓(xùn)練，到底需要多少有效的參數(shù)等，都沒(méi)有很好的理論解釋。

深度學(xué)習(xí)需要大量的訓(xùn)練樣本。由于深度學(xué)習(xí)的多層網(wǎng)絡(luò)結(jié)構(gòu)，模型的參數(shù)也會(huì)增加，如果訓(xùn)練樣本不夠大是很難實(shí)現(xiàn)的，需要海量的標(biāo)記數(shù)據(jù)，避免產(chǎn)生過(guò)擬合現(xiàn)象（overfitting）而不能很好的表示整個(gè)數(shù)據(jù)。

深度學(xué)習(xí)在NLP領(lǐng)域還面臨很大挑戰(zhàn)，目前的模型缺乏理解及推理能力。

因此，深度學(xué)習(xí)將來(lái)的發(fā)展方向也將涉及到以上問(wèn)題的解決。Hinton、LeCun和Bengio三位AI領(lǐng)袖曾在合著的一篇論文（Deep Learning）的結(jié)尾提出了深度學(xué)習(xí)的未來(lái)發(fā)展方向：

無(wú)監(jiān)督學(xué)習(xí)。雖然監(jiān)督學(xué)習(xí)在深度學(xué)習(xí)中表現(xiàn)不俗，超過(guò)了無(wú)監(jiān)督學(xué)習(xí)在預(yù)訓(xùn)練中的效果，但人類和動(dòng)物的學(xué)習(xí)都是無(wú)監(jiān)督學(xué)習(xí)方式，我們感知世界都是通過(guò)我們自己的觀察，因此若要更加接近人類大腦的學(xué)習(xí)模式，無(wú)監(jiān)督學(xué)習(xí)需要得到更好的發(fā)展。

強(qiáng)化學(xué)習(xí)。增強(qiáng)學(xué)習(xí)指的是從外部環(huán)境到行為映射的學(xué)習(xí)，通過(guò)基于回報(bào)函數(shù)的試錯(cuò)來(lái)發(fā)現(xiàn)最優(yōu)行為。由于在實(shí)際運(yùn)用中數(shù)據(jù)量是遞增的，在新數(shù)據(jù)中能否學(xué)習(xí)到有效的數(shù)據(jù)并做出修正非常重要，深度+強(qiáng)化學(xué)習(xí)可以提供獎(jiǎng)勵(lì)的反饋機(jī)制讓機(jī)器自主的學(xué)習(xí)，典型案例是AlphaGo。

理解自然語(yǔ)言。老教授們說(shuō)：趕緊讓機(jī)器讀懂人類的語(yǔ)言吧！

遷移學(xué)習(xí)。把利用大數(shù)據(jù)訓(xùn)練好的模型遷移運(yùn)用到有效數(shù)據(jù)量小的任務(wù)上，也就是把學(xué)到的知識(shí)有效的解決不同但相關(guān)領(lǐng)域的問(wèn)題。這事情看起來(lái)很美好，但難點(diǎn)在于已訓(xùn)練好的模型存在自我偏差，需要高效算法去消除這些偏差。根本上來(lái)說(shuō)，就是讓機(jī)器像人類一樣具備快速學(xué)習(xí)新知識(shí)的能力。

自深度學(xué)習(xí)被Hinton在《Science》發(fā)表以來(lái)，短短的不到10年時(shí)間里，帶來(lái)了人工智能在視覺(jué)、語(yǔ)音等領(lǐng)域的突破性進(jìn)步，再一次掀起來(lái)人工智能的熱潮。雖然目前仍然存在很多差強(qiáng)人意的地方，距離強(qiáng)人工智能還有很大差距，但深度學(xué)習(xí)是目前最接近人類大腦運(yùn)作原理的算法。相信在將來(lái)，隨著算法的完善以及數(shù)據(jù)的積累，甚至硬件層面仿人類大腦神經(jīng)元材料的出現(xiàn)，深度學(xué)習(xí)將會(huì)更進(jìn)一步推動(dòng)人工智能的發(fā)展。

審核編輯 黃昊宇