卷積網(wǎng)絡(luò)和全連接網(wǎng)絡(luò)的比較

**1 **問題

我們?cè)?a href="http://ttokpm.com/v/tag/448/" target="_blank">深度學(xué)習(xí)的過程中，開始對(duì)模型進(jìn)行在測(cè)試集的精度進(jìn)行預(yù)測(cè)時(shí)，最開始是全連接網(wǎng)絡(luò)進(jìn)行模型的精度預(yù)測(cè)，最后發(fā)現(xiàn)測(cè)試集的精度預(yù)測(cè)值不是很理想，就在想能不能換一種網(wǎng)絡(luò)層提高測(cè)試集的精度？

**2 **方法

在后續(xù)的學(xué)習(xí)中，我們學(xué)習(xí)和了解了卷積網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)也是通過一層一層的節(jié)點(diǎn)組織起來的。和全連接神經(jīng)網(wǎng)絡(luò)一樣，卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)節(jié)點(diǎn)就是一個(gè)神經(jīng)元。在全連接神經(jīng)網(wǎng)絡(luò)中，每相鄰兩層之間的節(jié)點(diǎn)都有邊相連，于是會(huì)將每一層的全連接層中的節(jié)點(diǎn)組織成一列，這樣方便顯示連接結(jié)構(gòu)。而對(duì)于卷積神經(jīng)網(wǎng)絡(luò)，相鄰兩層之間只有部分節(jié)點(diǎn)相連，為了展示每一層神經(jīng)元的維度，一般會(huì)將每一層卷積層的節(jié)點(diǎn)組織成一個(gè)三維矩陣。

全連接層的參數(shù)太多，對(duì)于MNIST數(shù)據(jù)，每一張圖片的大小是28281，其中28*28代表的是圖片的大小，*1表示圖像是黑白的，有一個(gè)色彩通道。有的圖片會(huì)更大或者是彩色的圖片，這時(shí)候參數(shù)將會(huì)更多。參數(shù)增多除了導(dǎo)致計(jì)算速度減慢，還很容易導(dǎo)致過擬合的問題。所以需要一個(gè)合理的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來有效的減少神經(jīng)網(wǎng)絡(luò)中參數(shù)的個(gè)數(shù)。卷積神經(jīng)網(wǎng)絡(luò)就可以更好的達(dá)到這個(gè)目的。于是我們就用卷積神經(jīng)網(wǎng)絡(luò)替代了全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行測(cè)試，發(fā)現(xiàn)確實(shí)提高了測(cè)試集的精度。

這是全連接網(wǎng)絡(luò)的網(wǎng)絡(luò)層

這是卷積網(wǎng)絡(luò)的網(wǎng)絡(luò)層：

最后我們訓(xùn)練了五十個(gè)周期，得出對(duì)比：

這是卷積網(wǎng)絡(luò)測(cè)試集的精度

這是全連接網(wǎng)絡(luò)測(cè)試集的精度

**3 **結(jié)語

我們通過訓(xùn)練發(fā)現(xiàn)卷積網(wǎng)絡(luò)確實(shí)提高了網(wǎng)絡(luò)測(cè)試集的精度，而從中也發(fā)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)的輸入輸出以及訓(xùn)練的流程和全連接神經(jīng)網(wǎng)絡(luò)基本一致，而他們兩種網(wǎng)絡(luò)唯一區(qū)別就是神經(jīng)網(wǎng)絡(luò)相鄰兩層的連接方式。