一文帶你了解（神經(jīng)網(wǎng)絡）DNN、CNN、和RNN

導語：

記得前些年在買火車票時，還得玩?zhèn)€“大家來找茬”的驗證碼游戲，比如讓你找出孫楠、楊臣剛、王大冶中的某一位，這對于那些臉盲患者而言，無疑是崩潰的。

當然了，撞臉這事可不是娛樂圈獨有的，在AI界也有很多“長相相似”的專有名詞，比如我們今天要說的“三胞胎”DNN（深度神經(jīng)網(wǎng)絡）、CNN（卷積神經(jīng)網(wǎng)絡）、RNN（遞歸神經(jīng)網(wǎng)絡），就讓許許多多的AI初學者們傻傻分不清楚。

而今天，就讓我們一起擦亮眼睛，好好的把它們給區(qū)分出來！

什么是神經(jīng)網(wǎng)絡？

DNN（深度神經(jīng)網(wǎng)絡）、CNN（卷積神經(jīng)網(wǎng)絡）、RNN（遞歸神經(jīng)網(wǎng)絡）都屬于第三代神經(jīng)網(wǎng)絡，在認識它們之前，讓我們簡單了解下，第一代和第二代神經(jīng)網(wǎng)絡是什么樣子的。

第一代神經(jīng)網(wǎng)絡又稱為感知機，在上世紀五、六十年代被提出來，感知機屬于二分類的線性分類模型，其輸入為實例的特征向量，輸出為實例的類別（取+1和-1），即只能做到線性的區(qū)分工作（一分為二），不能解決重疊不可分的問題，對稍微復雜一些的函數(shù)就無能為力。

為了解決第一代神經(jīng)網(wǎng)絡的缺陷，在1980年左右Rumelhart、Williams、Hinton、LeCun等人提出第二代神經(jīng)網(wǎng)絡多層感知器（MLP）。MLP可以看成一個輸入層由學習到的非線性轉(zhuǎn)化phi進行轉(zhuǎn)化的邏輯回歸分類器。這種轉(zhuǎn)化將輸入數(shù)據(jù)投影到線性可分空間，這個中間層被稱為隱藏層。

第二代神經(jīng)網(wǎng)絡讓科學家們發(fā)現(xiàn)神經(jīng)網(wǎng)絡的層數(shù)直接決定了它對現(xiàn)實的表達能力，但是隨著層數(shù)的增加，優(yōu)化函數(shù)愈發(fā)容易出現(xiàn)局部最優(yōu)解的現(xiàn)象，由于存在梯度消失的問題（在神經(jīng)網(wǎng)絡中，隨著隱藏層數(shù)目的增加，分類準確率反而會降低的現(xiàn)象，被稱為消失的梯度問題），深層網(wǎng)絡往往難以訓練，效果還不如淺層網(wǎng)絡。

2006年，Hinton利用預訓練方法緩解了梯度消失的問題，使得深度神經(jīng)網(wǎng)絡變得可訓練，將隱含層發(fā)展到7層，神經(jīng)網(wǎng)絡真正意義上有了“深度”，由此揭開了深度學習的浪潮，第三代神經(jīng)網(wǎng)絡開始正式興起。

第三代深度神經(jīng)網(wǎng)絡最常用的三大算法

DNN：深度神經(jīng)網(wǎng)絡

從結(jié)構上來說，DNN和傳統(tǒng)意義上的NN（神經(jīng)網(wǎng)絡）并無太大區(qū)別，最大的不同是層數(shù)增多了，并解決了模型可訓練的問題。

簡言之，DNN比NN多了一些隱層，但這些隱層的作用是巨大的，帶來的效果是非常顯著和神奇的。

DNN中的“deep”意為深度，但深度學習中深度沒有固定的定義或者衡量標準，不同問題的解決所需要的隱含層數(shù)自然也是不相同的，就大家比較熟識的語音識別來說，解決問題可能4層就夠了，但一般圖像識別需要達到20多層才能夠解決問題。

DNN最大的問題是只能看到預先設定長度的數(shù)據(jù)，對于語音和語言等前后相關的時序信號的表達能力還是有限的。

CNN：卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡主要是模擬人的視覺神經(jīng)系統(tǒng)提出來的。

以CNN做人臉識別任務為例，先得到一些像素信息，再往上層得到一些邊界信息，然后再往上提取就是一些人臉的部件信息，包括眼睛、耳朵、眉毛嘴巴等，最后是人臉識別，這整個過程和人的視覺神經(jīng)系統(tǒng)是非常相似的。

對于CNN來說，并不是所有上下層神經(jīng)單元都直接相連，而是通過“卷積核”作為中介。同一個卷積核在所有圖像內(nèi)是共享的，圖像通過卷積操作后仍然保留原有的位置關系。

每次卷積操作就會產(chǎn)生多個通道的“圖像”，每幅“圖像”都是對原始圖像不同特征的響應，并按照這樣的結(jié)構繼續(xù)傳遞下去。

RNN：遞歸神經(jīng)網(wǎng)絡

在普通的全連接神經(jīng)網(wǎng)絡或卷積神經(jīng)網(wǎng)絡中，每層神經(jīng)元的信號只能向上一層傳播，樣本的處理在各個時刻獨立，無法對時間序列上的變化進行建模。然而，樣本出現(xiàn)的時間順序?qū)τ谧匀徽Z言處理、語音識別、手寫體識別等應用非常重要，為了應對這種需求，業(yè)內(nèi)提出了遞歸神經(jīng)網(wǎng)絡RNN。

在RNN中，神經(jīng)元的輸出可以在下一時間段直接作用到本身。換句話說，就是遞歸神經(jīng)網(wǎng)絡的隱層不但可以接收到上一層的輸入，也可以得到上一時刻當前隱層的輸入。

這一個變化的重要意義就在于使得神經(jīng)網(wǎng)絡具備了歷史記憶的功能，原則上它可以看到無窮長的歷史信息，這非常適合于像語音語言這種具有長時相關性的任務。

結(jié)語：

相信看到這里大家應該對DNN、CNN、RNN有了一個大致的了解。雖然他們各有特點，各有不同，但他們在實際應用中常常都是混合使用的。值得期待的是，隨著人工智能的不斷發(fā)展，更多的神經(jīng)網(wǎng)絡結(jié)構將被發(fā)展應用起來！