卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值反向傳播機(jī)制和MATLAB的實(shí)現(xiàn)方法

　　深度學(xué)習(xí)是多層神經(jīng)網(wǎng)絡(luò)運(yùn)用各種學(xué)習(xí)算法解決圖像、文本等相關(guān)問題的算法合集。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的重要算法，尤其擅長(zhǎng)圖像處理領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)通過卷積核來提取圖像的各種特征，通過權(quán)值共享和池化極大降低了網(wǎng)絡(luò)需要訓(xùn)練的數(shù)量級(jí)。本文以MINST手寫體數(shù)據(jù)庫(kù)為訓(xùn)練樣本，討論卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值反向傳播機(jī)制和MATLAB的實(shí)現(xiàn)方法；對(duì)激活函數(shù)tanh和relu梯度消失問題進(jìn)行分析和優(yōu)化，對(duì)改進(jìn)后的激活函數(shù)進(jìn)行訓(xùn)練，得出最優(yōu)的修正參數(shù)和學(xué)習(xí)速率。

　　卷積神經(jīng)網(wǎng)絡(luò)最早是由Yann Lecun 提出用于手寫數(shù)字識(shí)別，近年來在語音識(shí)別，自然語言處理等方面，均取得重大突破。卷積神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，最重要的改進(jìn)是局部感知、權(quán)值共享，卷積神經(jīng)網(wǎng)絡(luò)中的卷積層有若干個(gè)特征地圖（Feature Map）構(gòu)成［2］。每個(gè)feature map由若干神經(jīng)元組成，代表著提取出的圖像特征，這些神經(jīng)元通過同一個(gè)卷積核（權(quán)值）去卷積圖像而獲得，即這些同一個(gè)feature map共享同一組權(quán)值，權(quán)值共享機(jī)制大大減少了神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)量級(jí)，例如識(shí)別一個(gè)1000 × 1000的圖像，假設(shè)隱藏層有1 M即106個(gè)神經(jīng)元，那么傳統(tǒng)神經(jīng)網(wǎng)絡(luò)采用全連接方式需要訓(xùn)練的參數(shù)個(gè)數(shù)為106 × 1000 × 1000，即1012 （2 G）個(gè)參數(shù)，顯然這個(gè)計(jì)算數(shù)量級(jí)非常龐大。而采用卷積神經(jīng)網(wǎng)絡(luò)，假設(shè)同樣設(shè)置隱藏層有1 M個(gè)神經(jīng)元，每個(gè)神經(jīng)元采用10 × 10大小卷積核去感知圖像的固定區(qū)域，那么這種方式需要訓(xùn)練的參數(shù)為106 × 10 × 10，即108 （100 M）個(gè)參數(shù)，卷積神經(jīng)網(wǎng)絡(luò)局部連接的算法，一方面降低了需要訓(xùn)練的參數(shù)量級(jí)，另一方更符合人類神經(jīng)對(duì)于圖像的認(rèn)知，即先感知局部，再到全局