人工神經(jīng)網(wǎng)絡(luò)是怎么學(xué)習(xí)的呢？

摘要：從算法的角度看，機(jī)器學(xué)習(xí)有很多種算法，例如回歸算法、基于實(shí)例的算法、正則化算法、決策樹算法、貝葉斯算法、聚合算法、關(guān)聯(lián)規(guī)則學(xué)習(xí)算法和人工神經(jīng)網(wǎng)絡(luò)算法。

從算法的角度看，機(jī)器學(xué)習(xí)有很多種算法，例如回歸算法、基于實(shí)例的算法、正則化算法、決策樹算法、貝葉斯算法、聚合算法、關(guān)聯(lián)規(guī)則學(xué)習(xí)算法和人工神經(jīng)網(wǎng)絡(luò)算法。很多算法可以應(yīng)用于不同的具體問題；很多具體的問題也需要同時(shí)應(yīng)用好幾種不同的算法。由于篇幅有限，我們僅介紹其中（可能是公眾心目中名氣最大的）一種：人工神經(jīng)網(wǎng)絡(luò)。

人工神經(jīng)網(wǎng)絡(luò)：

既然人工智能要模擬人類的思考過程，一些人工智能科學(xué)家想，不如我們先看看人類是怎樣思考的吧？

人類的大腦是一個(gè)復(fù)雜的神經(jīng)網(wǎng)絡(luò)。它的組成單元是神經(jīng)元。每一個(gè)神經(jīng)元看起來很簡單，它們先接收上一個(gè)神經(jīng)細(xì)胞的電信號(hào)刺激，再向下一個(gè)神經(jīng)細(xì)胞發(fā)出電信號(hào)刺激。

別看神經(jīng)元細(xì)胞很簡單，但如果神經(jīng)元的數(shù)量很多，它們彼此之間的連接恰到好處，變成神經(jīng)網(wǎng)絡(luò)，就可以從簡單中演生出復(fù)雜的智能來。例如，人類的大腦中含有1千億個(gè)神經(jīng)元，平均每個(gè)神經(jīng)元跟其他的神經(jīng)元存在7000個(gè)突觸連接。一個(gè)三歲小孩大腦中，大約會(huì)形成1千萬億個(gè)突觸。隨著年齡的增長，人類大腦的突觸數(shù)量會(huì)逐漸減少。成年人的大腦中，大約會(huì)有1百萬億到5百萬億個(gè)突觸。

雖然科學(xué)家還沒有完全搞清楚人類大腦的神經(jīng)網(wǎng)絡(luò)的運(yùn)作方式，但人工智能科學(xué)家想，不理解沒關(guān)系，先在計(jì)算機(jī)中模擬一組虛擬的神經(jīng)網(wǎng)絡(luò)試試看，這就是人工神經(jīng)網(wǎng)絡(luò)。

在人工神經(jīng)網(wǎng)絡(luò)中，每一個(gè)小圓圈都是在模擬一個(gè)“神經(jīng)元”。它能夠接收從上一層神經(jīng)元傳來的輸入信號(hào)（也就是一堆數(shù)字）；根據(jù)不同神經(jīng)元在它眼中的重要性，分配不同的權(quán)重，然后將輸入信號(hào)按照各自的權(quán)重加起來（一堆數(shù)字乘以權(quán)重的大小，再求和）；接著，它將加起來結(jié)果代入某個(gè)函數(shù)（通常是非線性函數(shù)），進(jìn)行運(yùn)算，得到最終結(jié)果；最后，它再將這個(gè)結(jié)果輸出給神經(jīng)網(wǎng)絡(luò)中的下一層神經(jīng)元。

人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元看起來很簡單，只知道傻傻地將上一層神經(jīng)元的輸入數(shù)據(jù)進(jìn)行簡單的運(yùn)算，然后再傻傻地輸出。沒想到這一套還真的很管用，運(yùn)用一系列精巧的算法，再給它投喂大量的數(shù)據(jù)之后，人工神經(jīng)網(wǎng)絡(luò)居然能夠像人腦的神經(jīng)網(wǎng)絡(luò)一樣，從復(fù)雜的數(shù)據(jù)中發(fā)現(xiàn)一系列“特征”，產(chǎn)生“聰明的思考結(jié)果”。

那么人工神經(jīng)網(wǎng)絡(luò)是怎么學(xué)習(xí)的呢？所謂的學(xué)習(xí)，本質(zhì)上是讓人工神經(jīng)網(wǎng)絡(luò)嘗試調(diào)節(jié)每一個(gè)神經(jīng)元上的權(quán)重大小，使得整個(gè)人工神經(jīng)網(wǎng)絡(luò)在某一個(gè)任務(wù)的測試中的表現(xiàn)達(dá)到某個(gè)要求（例如，識(shí)別汽車的正確率達(dá)到90%以上）。

請(qǐng)回憶一下前面講過的“梯度下降法”。人工神經(jīng)網(wǎng)絡(luò)嘗試不同的權(quán)重大小，相當(dāng)于在一個(gè)參數(shù)空間的地圖上四處游走。每一種權(quán)重的組合對(duì)應(yīng)的人工神經(jīng)網(wǎng)絡(luò)執(zhí)行任務(wù)時(shí)的錯(cuò)誤率，相當(dāng)于這個(gè)地圖上的每一點(diǎn)都有一個(gè)海拔高度。尋找一組權(quán)重，使得人工神經(jīng)網(wǎng)絡(luò)的表現(xiàn)最好，錯(cuò)誤率最低，就相當(dāng)于在地圖上尋找海拔最低的地方。所以，人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，常常要用到某種“梯度下降法”，這就是為什么如果將來你要學(xué)習(xí)人工智能，第一個(gè)要掌握的就是“梯度下降法”。

機(jī)器學(xué)習(xí)的分類：

從學(xué)習(xí)風(fēng)格的角度看，機(jī)器學(xué)習(xí)有很很多種學(xué)習(xí)方法，我們簡要地列舉其中幾種方法：監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)和遷移學(xué)習(xí)。

監(jiān)督學(xué)習(xí)：

比方說，你想教計(jì)算機(jī)如何識(shí)別一張照片上的動(dòng)物是不是貓。你先拿出幾十萬張動(dòng)物的照片，凡是有貓的，你就告訴計(jì)算機(jī)有貓；凡是沒有貓的，你就告訴計(jì)算機(jī)沒有貓。也就是說，你預(yù)先給計(jì)算機(jī)要學(xué)習(xí)的數(shù)據(jù)進(jìn)行了分類。這相當(dāng)于你監(jiān)督了計(jì)算機(jī)的學(xué)習(xí)過程。

經(jīng)過一段監(jiān)督學(xué)習(xí)的過程之后，如果你再給計(jì)算機(jī)看照片，它就能認(rèn)出照片中有沒有貓。

非監(jiān)督學(xué)習(xí)：

比方說，你想教計(jì)算機(jī)區(qū)分貓和狗的照片。你拿出幾十萬張貓和狗的照片（沒有其他動(dòng)物）。你并不告訴計(jì)算機(jī)哪些是貓，哪些是狗。也就是說，你沒有預(yù)先給計(jì)算機(jī)要學(xué)習(xí)的數(shù)據(jù)進(jìn)行分類，所以你并沒有監(jiān)督計(jì)算機(jī)的學(xué)習(xí)過程。

經(jīng)過一段監(jiān)督學(xué)習(xí)的過程之后，計(jì)算機(jī)就能把你輸入的照片按照相似性分成兩個(gè)大類（也就是區(qū)分了貓和狗）。只不過計(jì)算機(jī)只是從數(shù)字照片的數(shù)學(xué)特征的角度進(jìn)行了分類，而不是從動(dòng)物學(xué)的角度進(jìn)行了分類。

強(qiáng)化學(xué)習(xí)：

比方說，你想教計(jì)算機(jī)控制一只機(jī)械臂打乒乓球。一開始，計(jì)算機(jī)控制機(jī)械臂像傻瓜一樣，拿著球拍做很多隨機(jī)的動(dòng)作，完全不得要領(lǐng)。

但是，一旦機(jī)械臂湊巧接到一個(gè)球，并把球擊打到對(duì)手的球桌上，我們就讓計(jì)算機(jī)得一分，這叫做獎(jiǎng)勵(lì)。一旦機(jī)械臂沒有正確地接到球、或沒有把球擊打到正確的位置上，我們就給計(jì)算機(jī)扣一分，這叫做懲罰。經(jīng)過大量的訓(xùn)練之后，機(jī)械臂漸漸地從獎(jiǎng)勵(lì)和懲罰中，學(xué)會(huì)了接球、擊打球的基本動(dòng)作。

遷移學(xué)習(xí)：

比方說，你讓計(jì)算機(jī)學(xué)會(huì)了控制機(jī)械臂打乒乓球之后，又叫它學(xué)習(xí)打網(wǎng)球。這個(gè)時(shí)候，你不需要讓計(jì)算機(jī)從零開始重新學(xué)，因?yàn)槠古仪蚝途W(wǎng)球的規(guī)則是相似的。例如，這兩種球都要把球擊打到對(duì)方的球場/球桌上。所以，計(jì)算機(jī)可以將之前學(xué)到的動(dòng)作遷移過來。這樣一種學(xué)習(xí)，就叫做遷移學(xué)習(xí)。