概述
深度學(xué)習(xí)中CNN網(wǎng)絡(luò)是核心,對(duì)CNN網(wǎng)絡(luò)來說卷積層與池化層的計(jì)算至關(guān)重要,不同的步長、填充方式、卷積核大小、池化層策略等都會(huì)對(duì)最終輸出模型與參數(shù)、計(jì)算復(fù)雜度產(chǎn)生重要影響,本文將從卷積層與池化層計(jì)算這些相關(guān)參數(shù)出發(fā),演示一下不同步長、填充方式、卷積核大小計(jì)算結(jié)果差異。
一:卷積層
卷積神經(jīng)網(wǎng)絡(luò)(CNN)第一次提出是在1997年,楊樂春(LeNet)大神的一篇關(guān)于數(shù)字OCR識(shí)別的論文,在2012年的ImageNet競賽中CNN網(wǎng)絡(luò)成功擊敗其它非DNN模型算法,從此獲得學(xué)術(shù)界的關(guān)注與工業(yè)界的興趣。毫無疑問學(xué)習(xí)深度學(xué)習(xí)必須要學(xué)習(xí)CNN網(wǎng)絡(luò),學(xué)習(xí)CNN就必須明白卷積層,池化層等這些基礎(chǔ)各層,以及它們的參數(shù)意義,從本質(zhì)上來說,圖像卷積都是離散卷積,圖像數(shù)據(jù)一般都是多維度數(shù)據(jù)(至少兩維),離散卷積本質(zhì)上是線性變換、具有稀疏與參數(shù)重用特征即相同參數(shù)可以應(yīng)用輸入圖像的不同小分塊,假設(shè)有3x3離散卷積核如下:
假設(shè)有
5x5的圖像輸入塊
步長為1(strides=1)
填充方式為VALID(Padding=VALID)
卷積核大小filter size=3x3
則它們的計(jì)算過程與輸出如下
假設(shè)這個(gè)時(shí)候我們修改步長為2、填充方式為SAME,卷積核大小不變(strides=2 Padding=SAME filter size=3x3),則計(jì)算過程與輸出變?yōu)槿缦拢?/p>
最終輸出得到的結(jié)果我們可以稱為featuremap,CNN的深度多數(shù)時(shí)候是指featuremap的個(gè)數(shù),對(duì)多維度的輸入圖像計(jì)算多個(gè)卷積核,得到多個(gè)featuremap輸出疊加,顯示如下:
上述輸入為5x5x2,使用卷積核3x3,輸出3x3x3,填充方式為VALID,計(jì)算如果填充方式改為SAME則輸出為5x5x3。可以看出填充方式對(duì)輸出結(jié)果的影響。
二:小卷積核VS大卷積核
在AlexNet中有有11x11的卷積核與5x5的卷積核,但是在VGG網(wǎng)絡(luò)中因?yàn)閷訑?shù)增加,卷積核都變成3x3與1x1的大小啦,這樣的好處是可以減少訓(xùn)練時(shí)候的計(jì)算量,有利于降低總的參數(shù)數(shù)目。關(guān)于如何把大卷積核替換為小卷積核,本質(zhì)上有兩種方法。
1. 將二維卷積差分為兩個(gè)連續(xù)一維卷積
二維卷積都可以拆分為兩個(gè)一維的卷積,這個(gè)是有數(shù)學(xué)依據(jù)的,所以11x11的卷積可以轉(zhuǎn)換為1x11與11x1兩個(gè)連續(xù)的卷積核計(jì)算,總的運(yùn)算次數(shù):
11x11 = 121次
1x11+ 11x1 = 22次
2.將大二維卷積用多個(gè)連續(xù)小二維卷積替代
可見把大的二維卷積核在計(jì)算環(huán)節(jié)改成兩個(gè)連續(xù)的小卷積核可以極大降低計(jì)算次數(shù)、減少計(jì)算復(fù)雜度。同樣大的二維卷積核還可以通過幾個(gè)小的二維卷積核替代得到。比如:5x5的卷積,我們可以通過兩個(gè)連續(xù)的3x3的卷積替代,比較計(jì)算次數(shù)
5x5= 25次
3x3+ 3x3=18次
三:池化層
在CNN網(wǎng)絡(luò)中卷積池之后會(huì)跟上一個(gè)池化層,池化層的作用是提取局部均值與最大值,根據(jù)計(jì)算出來的值不一樣就分為均值池化層與最大值池化層,一般常見的多為最大值池化層。池化的時(shí)候同樣需要提供filter的大小、步長、下面就是3x3步長為1的filter在5x5的輸入圖像上均值池化計(jì)算過程與輸出結(jié)果
改用最大值做池化的過程與結(jié)果如下:
編輯:jq
-
卷積
+關(guān)注
關(guān)注
0文章
94瀏覽量
18466 -
cnn
+關(guān)注
關(guān)注
3文章
349瀏覽量
21961 -
vgg
+關(guān)注
關(guān)注
1文章
11瀏覽量
5169 -
池化
+關(guān)注
關(guān)注
0文章
4瀏覽量
1097
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論