1*1卷積核是什么？如何理解1*1卷積的原理？

我們都知道，卷積核的作用在于特征的抽取，越是大的卷積核尺寸就意味著更大的感受野，當(dāng)然隨之而來(lái)的是更多的參數(shù)。早在1998年，LeCun大神發(fā)布的LetNet-5模型中就會(huì)出，圖像空域內(nèi)具有局部相關(guān)性，卷積的過(guò)程是對(duì)局部相關(guān)性的一種抽取。但是在學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的過(guò)程中，我們常常會(huì)看到一股清流般的存在—1*1的卷積！

比如在殘差網(wǎng)絡(luò)的直連里：

殘差網(wǎng)絡(luò)的Bootleneck殘差模塊里：

在GoogleNet的Inception模塊里：

都有1*1卷積核的出現(xiàn)，那么它到底是做什么的？我們應(yīng)該如何理解1*1卷積的原理？

當(dāng)1*1卷積出現(xiàn)時(shí)，在大多數(shù)情況下它作用是升/降特征的維度，這里的維度指的是通道數(shù)（厚度），而不改變圖片的寬和高。

舉個(gè)例子，比如某次卷積之后的結(jié)果是W*H*6的特征，現(xiàn)在需要用1*1的卷積核將其降維成W*H*5，即6個(gè)通道變成5個(gè)通道：如下圖就是一個(gè)W*H*6的特征，而1*1的卷積核在圖上標(biāo)出，卷積核自身的厚度也是6(圖畫(huà)的好難看！！)

通過(guò)一次卷積操作，W*H*6將變?yōu)閃*H*1，這樣的話，使用5個(gè)1*1的卷積核，顯然可以卷積出5個(gè)W*H*1，再做通道的串接操作，就實(shí)現(xiàn)了W*H*5。在這里先計(jì)算一下參數(shù)數(shù)量，一遍后面說(shuō)明，5個(gè)卷積核，每個(gè)卷積核的尺寸是1*1*6，也就是一種有30個(gè)參數(shù)。

我們還可以用另一種角度去理解1*1卷積，可以把它看成是一種全連接，如下圖：

第一層有6個(gè)神經(jīng)元，分別是a1—a6，通過(guò)全連接之后變成5個(gè)，分別是b1—b5，第一層的六個(gè)神經(jīng)元要和后面五個(gè)實(shí)現(xiàn)全連接，本圖中只畫(huà)了a1—a6連接到b1的示意，可以看到，在全連接層b1其實(shí)是前面6個(gè)神經(jīng)元的加權(quán)和，權(quán)對(duì)應(yīng)的就是w1—w6，到這里就很清晰了：第一層的6個(gè)神經(jīng)元其實(shí)就相當(dāng)于輸入特征里面那個(gè)通道數(shù)：6，而第二層的5個(gè)神經(jīng)元相當(dāng)于1*1卷積之后的新的特征通道數(shù)：5。w1—w6是一個(gè)卷積核的權(quán)系數(shù)，如何要計(jì)算b2—b5，顯然還需要4個(gè)同樣尺寸的核。

最后一個(gè)問(wèn)題，圖像的一層相比于神經(jīng)元還是有區(qū)別的，這在于是一個(gè)2D矩陣還是一個(gè)數(shù)字，但是即便是一個(gè)2D矩陣的話也還是只需要一個(gè)參數(shù)（1*1的核），這就是因?yàn)閰?shù)的權(quán)值共享。