深度學(xué)習(xí)與自然語言處理的工作概述及未來發(fā)展

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)領(lǐng)域，研究復(fù)雜的人工神經(jīng)網(wǎng)絡(luò)的算法、理論、及應(yīng)用。自從2006年被Hinton等提出以來［1］，深度學(xué)習(xí)得到了巨大發(fā)展，已被成功地應(yīng)用到圖像處理、語音處理、自然語言處理等多個(gè)領(lǐng)域，取得了巨大成功，受到了廣泛的關(guān)注，成為當(dāng)今具有代表性的IT先進(jìn)技術(shù)。
　　
　　圖1 從歷史角度看深度學(xué)習(xí)與其他機(jī)器學(xué)習(xí)技術(shù)的關(guān)系
　　深度學(xué)習(xí)本質(zhì)是復(fù)雜的非線性模型的學(xué)習(xí)，從機(jī)器學(xué)習(xí)的發(fā)展史來看，深度學(xué)習(xí)的興起代表著機(jī)器學(xué)習(xí)技術(shù)的自然演進(jìn)。1957年，Rosenblatt提出了感知機(jī)模型（Perceptron），是線性模型，可以看作是兩層的神經(jīng)網(wǎng)絡(luò)；1986年，Rumelhart等開發(fā)了后向傳播算法（Back Propagation），用于三層的神經(jīng)網(wǎng)絡(luò)，代表著簡(jiǎn)單的非線性模型；1995年，Vapnik等發(fā)明了支持向量機(jī)（Support Vector Machines），RBF核支持向量機(jī)等價(jià)于三層的神經(jīng)網(wǎng)絡(luò)，也是一種簡(jiǎn)單的非線性模型。2006年以后的深度學(xué)習(xí)實(shí)際使用多于三層的神經(jīng)網(wǎng)絡(luò)，又被稱為深度神經(jīng)網(wǎng)絡(luò)，是復(fù)雜的非線性模型（見圖1）。深度神經(jīng)網(wǎng)絡(luò)還有若干個(gè)變種，如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network）。
　　本文首先回答關(guān)于深度學(xué)習(xí)的幾個(gè)常見問題，介紹深度學(xué)習(xí)研究的最新進(jìn)展，特別是一些代表性工作，同時(shí)概述我們的深度學(xué)習(xí)與自然語言處理的工作，最后總結(jié)深度學(xué)習(xí)的未來發(fā)展趨勢(shì)。
　　關(guān)于深度學(xué)習(xí)的幾個(gè)常見問題
　　這里嘗試回答三個(gè)關(guān)于深度學(xué)習(xí)的常見問題。深度學(xué)習(xí)為什么很強(qiáng)大？深度學(xué)習(xí)是否是萬能的？深度學(xué)習(xí)與人的大腦有什么關(guān)系？
　　深度學(xué)習(xí)為什么很強(qiáng)大？深度神經(jīng)網(wǎng)絡(luò)實(shí)際是復(fù)雜的非線性模型，擁有復(fù)雜的結(jié)構(gòu)和大量的參數(shù)，有非常強(qiáng)的表示能力，特別適合于復(fù)雜的模式識(shí)別問題。
　　圖2所示是一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)的例子，可以表示布爾函數(shù)XNOR，這個(gè)模型可以做簡(jiǎn)單的非線性分類。這是說明三層神經(jīng)網(wǎng)絡(luò)擁有非線性分類能力的著名例子。一般地，隨著神經(jīng)網(wǎng)絡(luò)的層數(shù)增大，神經(jīng)元數(shù)增大，其處理復(fù)雜的非線性問題的能力也隨之增大。
　　
　　圖2 XNOR神經(jīng)網(wǎng)絡(luò)
　　
　　圖3 被稱為Alex Net的神經(jīng)網(wǎng)絡(luò)
　　圖3所示的是被稱為Alex Net的神經(jīng)網(wǎng)絡(luò)［2］，是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，有11層，65萬個(gè)神經(jīng)元，6千萬個(gè)參數(shù)。這個(gè)模型在2012年的ImageNet比賽中取得了第一名的好成績(jī)，前五準(zhǔn)確率是85%，遠(yuǎn)遠(yuǎn)高出第二名。這也是證明深度學(xué)習(xí)非常有效的著名實(shí)例。該任務(wù)是將120萬張圖片分到1千個(gè)類別中，對(duì)人也有一定的挑戰(zhàn)，可以看出深度神經(jīng)網(wǎng)絡(luò)能實(shí)現(xiàn)很強(qiáng)的圖片檢測(cè)能力。
　　
　　圖4 和-積神經(jīng)網(wǎng)絡(luò)
　　深度學(xué)習(xí)的特點(diǎn)是深層的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，網(wǎng)絡(luò)層數(shù)多，有著本質(zhì)重要的意義，體現(xiàn)在有更好的統(tǒng)計(jì)效率（statistical efficiency）上。
　　圖4所示的是一個(gè)4層的和-積神經(jīng)網(wǎng)絡(luò)，神經(jīng)元表示邏輯和、或者邏輯積，整個(gè)網(wǎng)絡(luò)對(duì)應(yīng)著一個(gè)邏輯表示式?？梢园堰@個(gè)神經(jīng)網(wǎng)絡(luò)“壓扁”，成為3層的神經(jīng)網(wǎng)絡(luò)，相當(dāng)于把邏輯表達(dá)式展開。兩個(gè)神經(jīng)網(wǎng)絡(luò)的表達(dá)能力是等價(jià)的，但淺層神經(jīng)網(wǎng)絡(luò)有更多的神經(jīng)元，更多的參數(shù)。我們知道參數(shù)多的模型通常需要更多的數(shù)據(jù)訓(xùn)練。所以，深層神經(jīng)網(wǎng)絡(luò)只需要更少的數(shù)據(jù)就可以訓(xùn)練好，也就是說，有更好的統(tǒng)計(jì)效率。注意，當(dāng)把深層神經(jīng)網(wǎng)絡(luò)壓扁的時(shí)候，得到的淺層神經(jīng)網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)是指數(shù)性增加的，雖然表示能力相同，但現(xiàn)實(shí)中是不可能學(xué)到的。這個(gè)結(jié)論對(duì)一般的神經(jīng)網(wǎng)絡(luò)也適用。
　　非常有趣的是，人的大腦也擁有多層的串聯(lián)結(jié)構(gòu)（cascaded structure），也就是深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。從Hubel和Wiesel的、以及之后的神經(jīng)科學(xué)研究結(jié)果可以看出，人之所以能夠做復(fù)雜的信息處理，與這種結(jié)構(gòu)有很大關(guān)系。
　　深度學(xué)習(xí)是否是萬能的？深度學(xué)習(xí)不是萬能的。首先，深度學(xué)習(xí)不適合所有問題。如果問題簡(jiǎn)單，比如線性問題和簡(jiǎn)單的非線性問題，深度學(xué)習(xí)至多是與支持向量機(jī)等有同等的準(zhǔn)確率。如果學(xué)習(xí)陷入局部最優(yōu)，可能還不如其他方法。本質(zhì)上這相當(dāng)于殺雞用牛刀。
　　另外，如果訓(xùn)練數(shù)據(jù)量不夠大，深度神經(jīng)網(wǎng)絡(luò)不能得到充分學(xué)習(xí)，效果也不會(huì)很好。這時(shí)深度學(xué)習(xí)這匹“千里馬”，也只能是“雖有千里之能，食不飽，力不足，才美不外見”。
　　再有，理論上深度學(xué)習(xí)也不是萬能的。著名的“沒有免費(fèi)的午餐”定理說明了這一點(diǎn)。該定理指出，針對(duì)任意兩個(gè)機(jī)器學(xué)習(xí)方法：方法一和方法二，如果存在一個(gè)問題，方法一比方法二學(xué)到的模型預(yù)測(cè)精度高，那么一定存在另一個(gè)問題，方法二比方法一學(xué)到的模型預(yù)測(cè)精度高。這個(gè)定理實(shí)際在說，沒有任何一個(gè)方法可以包打天下。注意這里只保證后種情況是存在的，并沒有涉及其可能性有更大。所以，在平均意義下學(xué)習(xí)方法的優(yōu)劣還是有的，至少經(jīng)驗(yàn)性上是這樣。
　　這個(gè)定理的一個(gè)推論就是，深度學(xué)習(xí)不是萬能的，至少理論上存在一些問題，其他方法比深度學(xué)習(xí)能做得更好，盡管有時(shí)可能碰到這種情況的概率不高。
　　深度學(xué)習(xí)與人的大腦有什么關(guān)系？歷史上，人工神經(jīng)網(wǎng)絡(luò)的發(fā)明，在一定程度上受到了人腦信息處理機(jī)制的啟發(fā)。但是，人工神經(jīng)網(wǎng)絡(luò)，包括深度神經(jīng)網(wǎng)絡(luò)，本質(zhì)上還是機(jī)器學(xué)習(xí)模型。
　　首先，我們對(duì)人腦的了解還非常有限。撇開物質(zhì)層面上的不同（人腦是生物系統(tǒng)，計(jì)算機(jī)是電子系統(tǒng)），把兩者都當(dāng)作信息處理系統(tǒng)（比如，諾依曼就把計(jì)算機(jī)和人腦都看作是不同的automata——自動(dòng)機(jī)），我們?nèi)阅芸吹剿鼈冎g的許多相同點(diǎn)和不同點(diǎn)。
　　相同點(diǎn)如下。人工神經(jīng)網(wǎng)絡(luò)中的節(jié)點(diǎn)和鏈接，對(duì)應(yīng)著人腦的神經(jīng)元（neuron）和突觸（synapse），有時(shí)我們直接把它們叫作神經(jīng)元和突觸。人工神經(jīng)網(wǎng)絡(luò)的架構(gòu)，比如，卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)借鑒了人腦的信息處理機(jī)制，包括串聯(lián)結(jié)構(gòu)（cascaded structure），局部感受野（local receptive field）。人工神經(jīng)網(wǎng)絡(luò)中，模擬信號(hào)和數(shù)字信號(hào)交互出現(xiàn)（如XNOR網(wǎng)絡(luò)），這與人腦的神經(jīng)網(wǎng)絡(luò)有相似之處。
　　不同點(diǎn)也很明顯。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法通常是后向轉(zhuǎn)播算法，是一個(gè)減少訓(xùn)練誤差驅(qū)動(dòng)的，需要多次迭代的，網(wǎng)絡(luò)參數(shù)學(xué)習(xí)的優(yōu)化算法，這與人腦的學(xué)習(xí)機(jī)制可能有本質(zhì)的不同。深度神經(jīng)網(wǎng)絡(luò)本質(zhì)是數(shù)學(xué)模型，比如，卷積神經(jīng)網(wǎng)絡(luò)采用卷積（convolution）與最大池化（max pooling）操作，以達(dá)到進(jìn)行圖像識(shí)別時(shí)不受圖片的平移與旋轉(zhuǎn)的影響的效果，這些操作本質(zhì)是數(shù)學(xué)函數(shù)，與人腦的處理有什么關(guān)系并不清楚。最重要的是，深度學(xué)習(xí)的目的是在具體任務(wù)上提升預(yù)測(cè)準(zhǔn)確率，不是模擬人腦的功能。
　　深度學(xué)習(xí)的最新進(jìn)展
　　深度學(xué)習(xí)是2006年誕生的，但是其真正的興起，或者說重大影響工作的出現(xiàn)，是在2012年之后，比如，Krizhevsky等用深度學(xué)習(xí)大幅度提高了圖片分類的準(zhǔn)確率，也就是Alex Net的工作［2］；Dahl等大幅度提升了語音識(shí)別的準(zhǔn)確率［3］。
　　以上的深度學(xué)習(xí)工作代表著強(qiáng)大的分類和回歸模型的學(xué)習(xí)和使用，可以認(rèn)為是傳統(tǒng)的支持向量機(jī)的發(fā)展和提升。下面介紹四個(gè)深度學(xué)習(xí)的工作，從概念上有了重要的創(chuàng)新。
　　通常的深度學(xué)習(xí)方法都是監(jiān)督學(xué)習(xí)，Le等提出了一個(gè)非監(jiān)督的深度學(xué)習(xí)方法［4］，可以從大量未標(biāo)注圖片數(shù)據(jù)中，學(xué)習(xí)到識(shí)別圖片中概念的神經(jīng)元，比如，能檢測(cè)到貓的概念的神經(jīng)元。整個(gè)神經(jīng)網(wǎng)絡(luò)有9層，重復(fù)三次同樣的處理，每次處理包含過濾、池化、規(guī)一化操作，由3層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。學(xué)習(xí)是通過自動(dòng)編碼與解碼實(shí)現(xiàn)，通過這個(gè)過程，自動(dòng)學(xué)習(xí)到數(shù)據(jù)中存在的模型（概念）。這個(gè)工作的另一個(gè)特點(diǎn)是大規(guī)模并行化。神經(jīng)網(wǎng)絡(luò)模型有100億個(gè)參數(shù)，用1000萬張圖片在1000臺(tái)機(jī)器上訓(xùn)練三天得到。監(jiān)督學(xué)習(xí)需要使用標(biāo)注數(shù)據(jù)，往往成本很高，有時(shí)很難得到大量訓(xùn)練數(shù)據(jù)；另一方面人的學(xué)習(xí)有很多是非監(jiān)督的。所以，這個(gè)工作讓人們看到了深度學(xué)習(xí)未來發(fā)展的一個(gè)新方向。
　　Mnih等將深度學(xué)習(xí)技術(shù)用到了強(qiáng)化學(xué)習(xí)［5］。強(qiáng)化學(xué)習(xí)適合于主體在與環(huán)境進(jìn)行交互的過程中自動(dòng)學(xué)習(xí)選擇最佳策略、采取最佳行動(dòng)的問題。Mnih等利用強(qiáng)化學(xué)習(xí)構(gòu)建了一個(gè)系統(tǒng)，可以自動(dòng)學(xué)習(xí)打電腦游戲，而強(qiáng)化學(xué)習(xí)的核心由深度學(xué)習(xí)實(shí)現(xiàn)。在Atari游戲機(jī)上，這個(gè)系統(tǒng)可以比人類的玩家學(xué)得更快，打得更好。具體地、強(qiáng)化學(xué)習(xí)是Q-learning，其中Q函數(shù)由一個(gè)卷積神經(jīng)網(wǎng)絡(luò)表示，狀態(tài)表示電腦游戲的畫面等環(huán)境，動(dòng)作是游戲的操作，獎(jiǎng)勵(lì)是游戲的分?jǐn)?shù)。這里的核心思想是用參數(shù)化的神經(jīng)網(wǎng)絡(luò)來表示Q函數(shù)，比起傳統(tǒng)的用線性模型的方法，準(zhǔn)確率由大幅度提高。這個(gè)工作將深度學(xué)習(xí)的應(yīng)用擴(kuò)展出一個(gè)新的領(lǐng)域。
　　另一個(gè)工作是Graves等提出的神經(jīng)圖靈機(jī)（Neural Turing Machine，NTM）［6］，一種新的基于深度學(xué)習(xí)的計(jì)算機(jī)架構(gòu)。深度學(xué)習(xí)通常用在預(yù)測(cè)、分析問題上，這里作者提出將它用到計(jì)算機(jī)的控制上。計(jì)算機(jī)的一個(gè)重要功能是在外部記憶（external memory）上進(jìn)行讀寫操作，從而擁有極大的信息處理能力。NTM這種計(jì)算機(jī)，也使用外部記憶，其特點(diǎn)是假設(shè)外部記憶的控制器是基于多層神經(jīng)網(wǎng)絡(luò)的，這樣在外部記憶上的讀寫，就不是確定性的，而是依賴輸入輸出，非確定性的。Graves等證明NTM可以從數(shù)據(jù)中學(xué)習(xí)到外部記憶控制，執(zhí)行“復(fù)制”、“排序”等操作。將深度學(xué)習(xí)用于計(jì)算機(jī)的存儲(chǔ)控制，確有讓人耳目一新的感覺。
　　Weston等人提出了記憶網(wǎng)絡(luò)（Memory Network，MemNN）模型，可以做簡(jiǎn)單的問答，如圖5所示［7］。雖然在回答需要相對(duì)復(fù)雜推理的問題時(shí)MemNN的精度還不理想，但是這個(gè)工作讓深度學(xué)習(xí)技術(shù)延伸到問答、推理等傳統(tǒng)人工智能的問題上，受到廣泛關(guān)注。MemNN模型的特點(diǎn)如下，有一個(gè)長(zhǎng)期記憶（Long Term Memory），可以存儲(chǔ)一系列中間語義表示，給定輸入的一句話，系統(tǒng)將其轉(zhuǎn)換為中間表示，更新長(zhǎng)期記憶的狀態(tài)（如加入新的中間表示），產(chǎn)生一個(gè)新的表示，最后產(chǎn)生輸出的一個(gè)回答。