生物神經(jīng)元和M-P神經(jīng)元模型簡介

近年來，作為人工智能領(lǐng)域最重要的進展--深度學(xué)習(Deep Learning)，在諸多領(lǐng)域都有很多驚人的表現(xiàn)。早在2013年，深度學(xué)習就被麻省理工學(xué)院的《MIT科技評論》(MIT Technology Review)評為世界10大突破性技術(shù)之一。

另一個更具有劃時代意義的案例是，2016年3月，圍棋世界頂級棋手李世石九段，以1∶4不敵谷歌公司研發(fā)的阿爾法圍棋（AlphaGo，亦稱阿爾法狗），這標志著人工智能在圍棋領(lǐng)域已經(jīng)開始“碾壓”人類。在2016年年末至2017年年初，AlphaGo的升級版Master（大師）又在圍棋快棋對決中，以60場連勝橫掃中日韓頂尖職業(yè)高手，一時震驚四野。

深度學(xué)習不僅是一種算法的升級，還是一種全新的思維方式。我們完全可以利用深度學(xué)習，通過對海量數(shù)據(jù)的快速處理，消除信息的不確定性，從而幫助我們認知世界。它帶來的顛覆性在于，將人類過去癡迷的算法問題，演變成數(shù)據(jù)和計算問題。在以前，“算法為核心競爭力”正在轉(zhuǎn)變?yōu)椤皵?shù)據(jù)為核心競爭力”。

我們知道，深度學(xué)習的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，所以說到深度學(xué)習，就不能不提神經(jīng)網(wǎng)絡(luò)。自20世紀80年代起，人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeural Network，ANN)開始興起，而且在很長一段時間內(nèi)都是人工智能領(lǐng)域的研究熱點。

有關(guān)神經(jīng)網(wǎng)絡(luò)的定義有很多。這里我們給出芬蘭計算機科學(xué)家托伊沃·科霍寧(Teuvo Kohonen)的定義（他以提出“自組織神經(jīng)網(wǎng)絡(luò)”而名揚人工智能領(lǐng)域）：“神經(jīng)網(wǎng)絡(luò)是一種由具有自適應(yīng)性的簡單單元構(gòu)成的廣泛并行互聯(lián)的網(wǎng)絡(luò)，它的組織結(jié)構(gòu)能夠模擬生物神經(jīng)系統(tǒng)對真實世界所做出的交互反應(yīng)。

人工神經(jīng)網(wǎng)絡(luò)是受到生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)而來，在生物神經(jīng)網(wǎng)絡(luò)中，人類大腦通過增強或者弱化突觸進行學(xué)習的方式，最終會形成一個復(fù)雜的網(wǎng)絡(luò)，形成一個分布式特征表示(Distributed Representation)。

1. 生物神經(jīng)元簡介

生物神經(jīng)網(wǎng)絡(luò)中的最基本元素就是神經(jīng)元(Neuron)。神經(jīng)元，一般包括神經(jīng)細胞體(Soma)、樹突(Dendrites)、軸突(Axon)和突觸(Synapse)4部分.神經(jīng)元是大腦的基本計算單元。人類的神經(jīng)系統(tǒng)有大約86億個神經(jīng)元，由神經(jīng)突觸連接在一起。在生物神經(jīng)網(wǎng)絡(luò)中，每個神經(jīng)元與其他神經(jīng)元通過突觸進行連接。神經(jīng)元之間的信息傳遞，屬于化學(xué)物質(zhì)的傳遞。當它“興奮”時，就會向與它相連的神經(jīng)元發(fā)送化學(xué)物質(zhì)（神經(jīng)遞質(zhì)，Neurotransmitter），從而改變這些神經(jīng)元的電位。如果某些神經(jīng)元的電位超過了一個閾值，那么，它就會被“激活”，也就是“興奮”起來，接著向其他神經(jīng)元發(fā)送化學(xué)物質(zhì)，猶如漣漪，就這樣一層接著一層傳播。

1）神經(jīng)元的信息傳遞機理

在神經(jīng)元中，突觸承載神經(jīng)沖動信息傳導(dǎo)功能，樹突和細胞體為輸入接口，接受突觸點的輸入信號；細胞體類似于一個微處理器，對各樹突和細胞體各部位獲取的來自其他神經(jīng)元的輸入信息進行組合，并在一定條件下觸發(fā)，形成神經(jīng)沖動輸出信號；輸出信號沿軸突傳至軸突末梢，軸突末梢作為輸出端，通過突觸將這一輸出信號傳向其他神經(jīng)元的樹突和細胞體。下面對神經(jīng)元之間信息的產(chǎn)生、傳遞和整合進行闡述。研究表明，神經(jīng)元之間信息的產(chǎn)生、傳遞和整合是一種電化學(xué)活動。由于細胞膜本身對不同離子具有不同的通透性，所以使膜內(nèi)外細胞液中的離子存在濃度差。神經(jīng)元在無神經(jīng)信號輸入時，其細胞膜內(nèi)外由離子濃度差造成的電位差在-70mV（內(nèi)負外正）左右，稱為靜息電位，此時，細胞膜的狀態(tài)為極化狀態(tài)(Polarization)，神經(jīng)元的狀態(tài)為靜息狀態(tài)。當神經(jīng)元受到外界刺激時，如果膜電位從靜息電位向正方向偏移，則稱為去極化(Depolarization)，此時神經(jīng)元的狀態(tài)為興奮狀態(tài)；如果膜電位從靜息電位向負方向偏移，則稱為超極化(Hyperpolarization)，此時神經(jīng)元的狀態(tài)為抑制狀態(tài)。神經(jīng)元細胞膜的去極化和超極化程度反映了神經(jīng)元的興奮和抑制的強烈程度。在某一時刻，神經(jīng)元總是處于靜息、興奮和抑制3種狀態(tài)之一。神經(jīng)元之間信息的產(chǎn)生與興奮程度相關(guān)，在外界刺激下，當神經(jīng)元的興奮程度超過了某個限度，即細胞膜去極化程度超過了某個閾值電位時，神經(jīng)元被激發(fā)而輸出神經(jīng)脈沖。每個神經(jīng)脈沖產(chǎn)生的經(jīng)過如下：當膜電位以靜息電位為基準高出15mV，即超過閾值電位(-55mV)時，該神經(jīng)細胞變成活性細胞，其膜電位自發(fā)地急速升高，在1ms內(nèi)，相比于靜息電位上升100mV左右，此后膜電位又急速下降，回到靜止時的值。這一過程稱為細胞的興奮過程，興奮的結(jié)果是產(chǎn)生一個寬度為1ms、振幅為100mV的電脈沖，又稱神經(jīng)沖動，如圖所示。

圖膜電位變化

值得注意的是，當細胞體產(chǎn)生一個電脈沖后，即使受到很強的刺激，也不會立刻產(chǎn)生興奮性電脈沖，這是因為神經(jīng)元在發(fā)放電脈沖時，閾值電位急速升高，持續(xù)1ms后慢慢下降到-55mV這一正常狀態(tài)，這段時間約為數(shù)毫秒，稱為不應(yīng)期。不應(yīng)期結(jié)束后，若細胞受到很強的刺激，則會再次產(chǎn)生興奮性電脈沖。由此可見，神經(jīng)元產(chǎn)生的信息是具有電脈沖形式的神經(jīng)沖動，各電脈沖的寬度和幅度相同，而其間隔是隨機變化的。神經(jīng)元的輸入電脈沖密度越大，其興奮程度越高，單位時間內(nèi)產(chǎn)生的電脈沖串的平均頻率也越高。

2）神經(jīng)元之間信息的傳遞

神經(jīng)沖動信號沿軸突傳向其末端的各個分支，在軸突的末端觸及突觸前時，突觸前的突觸小泡能釋放一種化學(xué)物質(zhì)（神經(jīng)遞質(zhì)）。在前一個神經(jīng)元發(fā)放電脈沖并傳到其軸突末梢后，這種神經(jīng)遞質(zhì)從突觸前膜釋放出，經(jīng)突觸間隙的液體擴散，在突觸后膜與特殊受體相結(jié)合。受體的性質(zhì)決定了神經(jīng)遞質(zhì)的作用是興奮還是抑制，并據(jù)此改變突觸后膜的離子通透性，從而使突觸后膜電位發(fā)生變化。根據(jù)突觸后膜電位的變化，可將突觸分為兩種：興奮性突觸和抑制性突觸。興奮性突觸的后膜電位隨神經(jīng)遞質(zhì)與受體結(jié)合數(shù)量的增加而向正電位方向變化，抑制性突觸的后膜電位隨遞質(zhì)與受體結(jié)合數(shù)量的增加而向負電位方向變化。從化學(xué)角度看，當興奮性神經(jīng)遞質(zhì)傳到突觸后膜時，后膜對離子通透性的改變使流入細胞膜內(nèi)的正離子增加，從而使突觸后膜成分去極化，產(chǎn)生興奮性突觸后電位；當抑制性神經(jīng)遞質(zhì)傳送到突觸后膜時，突觸后膜對離子通透性的改變使流出細胞膜外的正離子增加，從而使突觸后膜成分超極化，產(chǎn)生抑制性突觸后電位。

當突觸前膜釋放的興奮性神經(jīng)遞質(zhì)使突觸后膜的去極化電位超過了某個閾值電位時，后一個神經(jīng)元就有神經(jīng)沖動輸出，從而把前一個神經(jīng)元的信息傳遞給后一個神經(jīng)元，如圖所示。

圖突觸信息傳遞過程

從電脈沖（神經(jīng)沖動）信號到達突觸前膜，到突觸后膜電位發(fā)生變化，有0.2～1ms的時間延遲，稱為突觸延擱(SynapticDelay)。這段延遲是神經(jīng)遞質(zhì)分泌、向突觸間隙擴散、到達突觸后膜并發(fā)生作用的時間總和。由此可見，突觸對神經(jīng)沖動的傳遞具有延時作用。在人腦中，神經(jīng)元間的突觸聯(lián)系大部分是在出生后由于給予刺激而成長起來的。外界刺激的性質(zhì)不同，能夠改變神經(jīng)元之間的突觸聯(lián)系，即突觸后膜電位變化的方向與大小，從突觸信息傳遞的角度看，表現(xiàn)為放大倍數(shù)和極性的變化。正是由于各神經(jīng)元之間的突觸連接強度和極性有所不同并可進行調(diào)整，人腦才具有學(xué)習和存儲信息的功能。

3）神經(jīng)元之間信息的整合

神經(jīng)元對信息的接受和傳遞都是通過突觸來進行的。單個神經(jīng)元可以與多達上千個其他神經(jīng)元的軸突末梢形成突觸連接，接受從各個軸突傳來的脈沖輸入。這些輸入可到達神經(jīng)元的不同部位，輸入部位不同，對神經(jīng)元影響的權(quán)重也不同。在同一時刻產(chǎn)生的刺激引起的膜電位變化大致等于各單獨刺激引起的膜電位變化的代數(shù)和，這種累加求和稱為空間整合。另外，各輸入脈沖抵達神經(jīng)元的先后時間也不一樣。由一個脈沖引起的突觸后膜電位很低，但在其持續(xù)時間內(nèi)有另一個脈沖相繼到達時，總的突觸后膜電位升高，這種現(xiàn)象稱為時間整合。輸入一個神經(jīng)元的信息在時間和空間上常呈現(xiàn)一種復(fù)雜多變的形式，神經(jīng)元需要對它們進行積累和整合加工，從而決定其輸出的時機和強弱。正是由于神經(jīng)元的這種時空整合作用，才使得神經(jīng)元在神經(jīng)系統(tǒng)中可以有條不紊、夜以繼日地處理著各種復(fù)雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。

2.M-P神經(jīng)元模型

現(xiàn)在我們所講的神經(jīng)網(wǎng)絡(luò)包括深度學(xué)習，追根溯源，它們在模擬大腦神經(jīng)元的工作機理，模仿大腦神經(jīng)元的最早示例，就是20世紀40年代提出但一直沿用至今的“M-P神經(jīng)元模型”。

M-P神經(jīng)元模型，最早源于發(fā)表于1943年的一篇開創(chuàng)性論文。論文的兩位作者分別是神經(jīng)生理學(xué)家沃倫·麥克洛克（WarrenMcCulloch）和數(shù)學(xué)家沃爾特·皮茨（Walter Pitts），論文首次實現(xiàn)了用一個簡單電路（即感知機）來模擬大腦神經(jīng)元的行為。

M-P神經(jīng)元模型，如圖所示，神經(jīng)元接收來自n個其他神經(jīng)元傳遞過來的輸入信號。這些信號的表達，通常通過神經(jīng)元之間連接的權(quán)重(Weight)大小來表示，神經(jīng)元將接收到的輸入值按照某種權(quán)重疊加起來，與當前神經(jīng)元的閾值進行比較，然后通過激活函數(shù)(Activation Function)向外表達輸出，在概念上這就叫感知機(Perceptron)。

這里的關(guān)鍵是，信息是通過一個激活函數(shù)來處理的。激活函數(shù)模擬大腦神經(jīng)元，輸入信號的強度的大小決定了它們被觸發(fā)或者不被觸發(fā)。然后處理結(jié)果被加權(quán)并分配到下一層神經(jīng)元。從本質(zhì)上來講，神經(jīng)元通過加權(quán)和相互激活。這保證了兩個神經(jīng)元之間連接強度的大小由處理信息的權(quán)重來確定。

人工神經(jīng)元 數(shù)學(xué)節(jié)點、單元或者神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的核心。它是基本的處理單位。輸入層神經(jīng)元接收通過數(shù)學(xué)函數(shù)處理的輸入信息，然后把它們分發(fā)到隱藏層神經(jīng)元。信息經(jīng)隱藏層神經(jīng)元處理后傳送到輸出層神經(jīng)元。

圖 M-P神經(jīng)元模型

圖 M-P神經(jīng)元模型與生物神經(jīng)元對比

審核編輯：湯梓紅