CNN從2012年的AlexNet發(fā)展至今,科學(xué)家們發(fā)明出各種各樣的CNN模型,一個(gè)比一個(gè)深,一個(gè)比一個(gè)準(zhǔn)確,一個(gè)比一個(gè)輕量。我下面會(huì)對(duì)近幾年一些具有變革性的工作進(jìn)行簡(jiǎn)單盤點(diǎn),從這些充滿革新性的工作中探討日后的CNN變革方向。
注:水平所限,下面的見解或許有偏差,望大牛指正。另外只介紹其中具有代表性的模型,一些著名的模型由于原理相同將不作介紹,若有遺漏也歡迎指出。
一、卷積只能在同一組進(jìn)行嗎?-- Group convolution
Group convolution 分組卷積,最早在AlexNet中出現(xiàn),由于當(dāng)時(shí)的硬件資源有限,訓(xùn)練AlexNet時(shí)卷積操作不能全部放在同一個(gè)GPU處理,因此作者把feature maps分給多個(gè)GPU分別進(jìn)行處理,最后把多個(gè)GPU的結(jié)果進(jìn)行融合。
分組卷積的思想影響比較深遠(yuǎn),當(dāng)前一些輕量級(jí)的SOTA(State Of The Art)網(wǎng)絡(luò),都用到了分組卷積的操作,以節(jié)省計(jì)算量。但題主有個(gè)疑問是,如果分組卷積是分在不同GPU上的話,每個(gè)GPU的計(jì)算量就降低到 1/groups,但如果依然在同一個(gè)GPU上計(jì)算,最終整體的計(jì)算量是否不變?找了pytorch上有關(guān)組卷積操作的介紹,望讀者解答我的疑問。
pytroch github
關(guān)于這個(gè)問題,知乎用戶朋友?@蔡冠羽?提出了他的見解:
我感覺group conv本身應(yīng)該就大大減少了參數(shù),比如當(dāng)input channel為256,output channel也為256,kernel size為3*3,不做group conv參數(shù)為256*3*3*256,若group為8,每個(gè)group的input channel和output channel均為32,參數(shù)為8*32*3*3*32,是原來的八分之一。這是我的理解。
我的理解是分組卷積最后每一組輸出的feature maps應(yīng)該是以concatenate的方式組合,而不是element-wise add,所以每組輸出的channel是 input channels / #groups,這樣參數(shù)量就大大減少了。
二、卷積核一定越大越好?-- 3×3卷積核
AlexNet中用到了一些非常大的卷積核,比如11×11、5×5卷積核,之前人們的觀念是,卷積核越大,receptive field(感受野)越大,看到的圖片信息越多,因此獲得的特征越好。雖說如此,但是大的卷積核會(huì)導(dǎo)致計(jì)算量的暴增,不利于模型深度的增加,計(jì)算性能也會(huì)降低。于是在VGG(最早使用)、Inception網(wǎng)絡(luò)中,利用2個(gè)3×3卷積核的組合比1個(gè)5×5卷積核的效果更佳,同時(shí)參數(shù)量(3×3×2+1 VS 5×5×1+1)被降低,因此后來3×3卷積核被廣泛應(yīng)用在各種模型中。
三、每層卷積只能用一種尺寸的卷積核?-- Inception結(jié)構(gòu)
傳統(tǒng)的層疊式網(wǎng)絡(luò),基本上都是一個(gè)個(gè)卷積層的堆疊,每層只用一個(gè)尺寸的卷積核,例如VGG結(jié)構(gòu)中使用了大量的3×3卷積層。事實(shí)上,同一層feature map可以分別使用多個(gè)不同尺寸的卷積核,以獲得不同尺度的特征,再把這些特征結(jié)合起來,得到的特征往往比使用單一卷積核的要好,谷歌的GoogleNet,或者說Inception系列的網(wǎng)絡(luò),就使用了多個(gè)卷積核的結(jié)構(gòu):
? ? ? ?一個(gè)輸入的feature map分別同時(shí)經(jīng)過1×1、3×3、5×5的卷積核的處理,得出的特征再組合起來,獲得更佳的特征。但這個(gè)結(jié)構(gòu)會(huì)存在一個(gè)嚴(yán)重的問題:參數(shù)量比單個(gè)卷積核要多很多,如此龐大的計(jì)算量會(huì)使得模型效率低下。這就引出了一個(gè)新的結(jié)構(gòu):
四、怎樣才能減少卷積層參數(shù)量?-- Bottleneck
發(fā)明GoogleNet的團(tuán)隊(duì)發(fā)現(xiàn),如果僅僅引入多個(gè)尺寸的卷積核,會(huì)帶來大量的額外的參數(shù),受到Network In Network中1×1卷積核的啟發(fā),為了解決這個(gè)問題,他們往Inception結(jié)構(gòu)中加入了一些1×1的卷積核
根據(jù)上圖,我們來做個(gè)對(duì)比計(jì)算,假設(shè)輸入feature map的維度為256維,要求輸出維度也是256維。有以下兩種操作:
256維的輸入直接經(jīng)過一個(gè)3×3×256的卷積層,輸出一個(gè)256維的feature map,那么參數(shù)量為:256×3×3×256 = 589,824
256維的輸入先經(jīng)過一個(gè)1×1×64的卷積層,再經(jīng)過一個(gè)3×3×64的卷積層,最后經(jīng)過一個(gè)1×1×256的卷積層,輸出256維,參數(shù)量為:256×1×1×64 + 64×3×3×64 + 64×1×1×256 = 69,632。足足把第一種操作的參數(shù)量降低到九分之一!
1×1卷積核也被認(rèn)為是影響深遠(yuǎn)的操作,往后大型的網(wǎng)絡(luò)為了降低參數(shù)量都會(huì)應(yīng)用上1×1卷積核。
五、越深的網(wǎng)絡(luò)就越難訓(xùn)練嗎?-- Resnet殘差網(wǎng)絡(luò)
ResNet skip connection
傳統(tǒng)的卷積層層疊網(wǎng)絡(luò)會(huì)遇到一個(gè)問題,當(dāng)層數(shù)加深時(shí),網(wǎng)絡(luò)的表現(xiàn)越來越差,很大程度上的原因是因?yàn)楫?dāng)層數(shù)加深時(shí),梯度消散得越來越嚴(yán)重,以至于反向傳播很難訓(xùn)練到淺層的網(wǎng)絡(luò)。為了解決這個(gè)問題,何凱明大神想出了一個(gè)“殘差網(wǎng)絡(luò)”,使得梯度更容易地流動(dòng)到淺層的網(wǎng)絡(luò)當(dāng)中去,而且這種“skip connection”能帶來更多的好處,這里可以參考一個(gè)PPT:極深網(wǎng)絡(luò)(ResNet/DenseNet): Skip Connection為何有效及其它()?,以及我的一篇文章:為什么ResNet和DenseNet可以這么深?一文詳解殘差塊為何能解決梯度彌散問題(https://zhuanlan.zhihu.com/p/28124810?group_id=883267168542789632),大家可以結(jié)合下面的評(píng)論進(jìn)行思考。
六、卷積操作時(shí)必須同時(shí)考慮通道和區(qū)域嗎?-- DepthWise操作
標(biāo)準(zhǔn)的卷積過程可以看上圖,一個(gè)2×2的卷積核在卷積時(shí),對(duì)應(yīng)圖像區(qū)域中的所有通道均被同時(shí)考慮,問題在于,為什么一定要同時(shí)考慮圖像區(qū)域和通道?我們?yōu)槭裁床荒馨淹ǖ篮涂臻g區(qū)域分開考慮?
Xception網(wǎng)絡(luò)就是基于以上的問題發(fā)明而來。我們首先對(duì)每一個(gè)通道進(jìn)行各自的卷積操作,有多少個(gè)通道就有多少個(gè)過濾器。得到新的通道feature maps之后,這時(shí)再對(duì)這批新的通道feature maps進(jìn)行標(biāo)準(zhǔn)的1×1跨通道卷積操作。這種操作被稱為?“DepthWise convolution”?,縮寫“DW”。
這種操作是相當(dāng)有效的,在imagenet 1000類分類任務(wù)中已經(jīng)超過了InceptionV3的表現(xiàn),而且也同時(shí)減少了大量的參數(shù),我們來算一算,假設(shè)輸入通道數(shù)為3,要求輸出通道數(shù)為256,兩種做法:
直接接一個(gè)3×3×256的卷積核,參數(shù)量為:3×3×3×256 = 6,912
DW操作,分兩步完成,參數(shù)量為:3×3×3 + 3×1×1×256 = 795,又把參數(shù)量降低到九分之一!
因此,一個(gè)depthwise操作比標(biāo)準(zhǔn)的卷積操作降低不少的參數(shù)量,同時(shí)論文中指出這個(gè)模型得到了更好的分類效果。
本文在發(fā)出12小時(shí)后,一位知乎用戶私信了我,向我介紹了Depthwise和Pointwise的歷史工作,而Xception和Mobilenet也引用了他們16年的工作,就是Min Wang et al 的Factorized Convolutional Neural Networks(https://arxiv.org/pdf/1608.04337v1.pdf),這篇論文的Depthwise中,每一通道輸出的feature map(稱為“基層”)可以不止一個(gè),而Xception中的Depthwise separable Convolution, 正是這篇工作中“單一基層”的情況。推薦有興趣的讀者關(guān)注下他們的工作,這里有篇介紹博文:【深度學(xué)習(xí)】卷積層提速Factorized Convolutional Neural Networks()而最早關(guān)于separable convolution的介紹,Xception作者提到,應(yīng)該追溯到Lau- rent Sifre 2014年的工作?Rigid-Motion Scattering For Image Classification?6.2章節(jié)()。
七、分組卷積能否對(duì)通道進(jìn)行隨機(jī)分組?-- ShuffleNet
在AlexNet的Group Convolution當(dāng)中,特征的通道被平均分到不同組里面,最后再通過兩個(gè)全連接層來融合特征,這樣一來,就只能在最后時(shí)刻才融合不同組之間的特征,對(duì)模型的泛化性是相當(dāng)不利的。為了解決這個(gè)問題,ShuffleNet在每一次層疊這種Group conv層前,都進(jìn)行一次channel shuffle,shuffle過的通道被分配到不同組當(dāng)中。進(jìn)行完一次group conv之后,再一次channel shuffle,然后分到下一層組卷積當(dāng)中,以此循環(huán)。
來自ShuffleNet論文
經(jīng)過channel shuffle之后,Group conv輸出的特征能考慮到更多通道,輸出的特征自然代表性就更高。另外,AlexNet的分組卷積,實(shí)際上是標(biāo)準(zhǔn)卷積操作,而在ShuffleNet里面的分組卷積操作是depthwise卷積,因此結(jié)合了通道洗牌和分組depthwise卷積的ShuffleNet,能得到超少量的參數(shù)以及超越mobilenet、媲美AlexNet的準(zhǔn)確率!
另外值得一提的是,微軟亞洲研究院MSRA最近也有類似的工作,他們提出了一個(gè)IGC單元(Interleaved Group Convolution),即通用卷積神經(jīng)網(wǎng)絡(luò)交錯(cuò)組卷積,形式上類似進(jìn)行了兩次組卷積,Xception 模塊可以看作交錯(cuò)組卷積的一個(gè)特例,特別推薦看看這篇文章:王井東詳解ICCV 2017入選論文:通用卷積神經(jīng)網(wǎng)絡(luò)交錯(cuò)組卷積。
要注意的是,Group conv是一種channel分組的方式,Depthwise +Pointwise是卷積的方式,只是ShuffleNet里面把兩者應(yīng)用起來了。因此Group conv和Depthwise +Pointwise并不能劃等號(hào)。
八、通道間的特征都是平等的嗎? -- SEnet
無論是在Inception、DenseNet或者ShuffleNet里面,我們對(duì)所有通道產(chǎn)生的特征都是不分權(quán)重直接結(jié)合的,那為什么要認(rèn)為所有通道的特征對(duì)模型的作用就是相等的呢??這是一個(gè)好問題,于是,ImageNet2017 冠軍SEnet就出來了。
一組特征在上一層被輸出,這時(shí)候分兩條路線,第一條直接通過,第二條首先進(jìn)行Squeeze操作(Global Average Pooling),把每個(gè)通道2維的特征壓縮成一個(gè)1維,從而得到一個(gè)特征通道向量(每個(gè)數(shù)字代表對(duì)應(yīng)通道的特征)。然后進(jìn)行Excitation操作,把這一列特征通道向量輸入兩個(gè)全連接層和sigmoid,建模出特征通道間的相關(guān)性,得到的輸出其實(shí)就是每個(gè)通道對(duì)應(yīng)的權(quán)重,把這些權(quán)重通過Scale乘法通道加權(quán)到原來的特征上(第一條路),這樣就完成了特征通道的權(quán)重分配。作者詳細(xì)解釋可以看這篇文章:專欄 | Momenta詳解ImageNet 2017奪冠架構(gòu)SENet。
九、能否讓固定大小的卷積核看到更大范圍的區(qū)域?-- Dilated convolution
標(biāo)準(zhǔn)的3×3卷積核只能看到對(duì)應(yīng)區(qū)域3×3的大小,但是為了能讓卷積核看到更大的范圍,dilated conv使其成為了可能。dilated conv原論文中的結(jié)構(gòu)如圖所示:
上圖b可以理解為卷積核大小依然是3×3,但是每個(gè)卷積點(diǎn)之間有1個(gè)空洞,也就是在綠色7×7區(qū)域里面,只有9個(gè)紅色點(diǎn)位置作了卷積處理,其余點(diǎn)權(quán)重為0。這樣即使卷積核大小不變,但它看到的區(qū)域變得更大了。詳細(xì)解釋可以看知乎回答:如何理解空洞卷積(dilated convolution)?
十、卷積核形狀一定是矩形嗎?-- Deformable convolution 可變形卷積核
傳統(tǒng)的卷積核一般都是長(zhǎng)方形或正方形,但MSRA提出了一個(gè)相當(dāng)反直覺的見解,認(rèn)為卷積核的形狀可以是變化的,變形的卷積核能讓它只看感興趣的圖像區(qū)域?,這樣識(shí)別出來的特征更佳。
圖來自微軟亞洲研究院公眾號(hào)要做到這個(gè)操作,可以直接在原來的過濾器前面再加一層過濾器,這層過濾器學(xué)習(xí)的是下一層卷積核的位置偏移量(offset),這樣只是增加了一層過濾器,或者直接把原網(wǎng)絡(luò)中的某一層過濾器當(dāng)成學(xué)習(xí)offset的過濾器,這樣實(shí)際增加的計(jì)算量是相當(dāng)少的,但能實(shí)現(xiàn)可變形卷積核,識(shí)別特征的效果更好。詳細(xì)MSRA的解讀可以看這個(gè)鏈接:可變形卷積網(wǎng)絡(luò):計(jì)算機(jī)新“視”界(https://weibo.com/ttarticle/p/show?id=2309404116774126794221)。
啟發(fā)與思考
現(xiàn)在越來越多的CNN模型從巨型網(wǎng)絡(luò)到輕量化網(wǎng)絡(luò)一步步演變,模型準(zhǔn)確率也越來越高。現(xiàn)在工業(yè)界追求的重點(diǎn)已經(jīng)不是準(zhǔn)確率的提升(因?yàn)槎家呀?jīng)很高了),都聚焦于速度與準(zhǔn)確率的trade off,都希望模型又快又準(zhǔn)。因此從原來AlexNet、VGGnet,到體積小一點(diǎn)的Inception、Resnet系列,到目前能移植到移動(dòng)端的mobilenet、ShuffleNet(體積能降低到0.5mb?。?,我們可以看到這樣一些趨勢(shì):
卷積核方面:
大卷積核用多個(gè)小卷積核代替;
單一尺寸卷積核用多尺寸卷積核代替;
固定形狀卷積核趨于使用可變形卷積核;
使用1×1卷積核(bottleneck結(jié)構(gòu))。
卷積層通道方面:
標(biāo)準(zhǔn)卷積用depthwise卷積代替;
使用分組卷積;
分組卷積前使用channel shuffle;
通道加權(quán)計(jì)算。
卷積層連接方面:
使用skip connection,讓模型更深;
densely connection,使每一層都融合上其它層的特征輸出(DenseNet)
啟發(fā)
類比到通道加權(quán)操作,卷積層跨層連接能否也進(jìn)行加權(quán)處理?bottleneck + Group conv + channel shuffle + depthwise的結(jié)合會(huì)不會(huì)成為以后降低參數(shù)量的標(biāo)準(zhǔn)配置?
評(píng)論
查看更多