網(wǎng)絡(luò)構(gòu)架 - CNN模型思路、加速算法設(shè)計及其實驗樣例

基于以上三個策略，作者提出了一個類似inception的網(wǎng)絡(luò)單元結(jié)構(gòu)，取名為fire module。一個fire module 包含一個squeeze 卷積層（只包含1x1卷積核）和一個expand卷積層（包含1x1和3x3卷積核）。其中，squeeze層借鑒了inception的思想，利用1x1卷積核來降低輸入到expand層中3x3卷積核的輸入通道數(shù)。如圖1所示。

圖1 Fire module結(jié)構(gòu)示意圖

其中，定義squeeze層中1x1卷積核的數(shù)量是s1x1，類似的，expand層中1x1卷積核的數(shù)量是e1x1， 3x3卷積核的數(shù)量是e3x3。令s1x1 < e1x1+ e3x3從而保證輸入到3x3的輸入通道數(shù)減小。SqueezeNet的網(wǎng)絡(luò)結(jié)構(gòu)由若干個 fire module 組成，另外文章還給出了一些架構(gòu)設(shè)計上的細節(jié)：

為了保證1x1卷積核和3x3卷積核具有相同大小的輸出，3x3卷積核采用1像素的zero-padding和步長
squeeze層和expand層均采用RELU作為激活函數(shù)
在fire9后采用50%的dropout
由于全連接層的參數(shù)數(shù)量巨大，因此借鑒NIN[11]的思想，去除了全連接層而改用global average pooling。

1.3 實驗結(jié)果

表3 不同壓縮方法在ImageNet上的對比實驗結(jié)果[5]

上表顯示，相比傳統(tǒng)的壓縮方法，SqueezeNet能在保證精度不損（甚至略有提升）的情況下，達到最大的壓縮率，將原始AlexNet從240MB壓縮至4.8MB，而結(jié)合Deep Compression后更能達到0.47MB，完全滿足了移動端的部署和低帶寬網(wǎng)絡(luò)的傳輸。

此外，作者還借鑒ResNet思想，對原始網(wǎng)絡(luò)結(jié)構(gòu)做了修改，增加了旁路分支，將分類精度提升了約3%。

1.4 速度考量

盡管文章主要以壓縮模型尺寸為目標，但毋庸置疑的一點是，SqueezeNet在網(wǎng)絡(luò)結(jié)構(gòu)中大量采用1x1和3x3卷積核是有利于速度的提升的，對于類似caffe這樣的深度學習框架，在卷積層的前向計算中，采用1x1卷積核可避免額外的im2col操作，而直接利用gemm進行矩陣加速運算，因此對速度的優(yōu)化是有一定的作用的。然而，這種提速的作用仍然是有限的，另外，SqueezeNet采用了9個fire module和兩個卷積層，因此仍需要進行大量常規(guī)卷積操作，這也是影響速度進一步提升的瓶頸。

二、Deep Compression

Deep Compression出自S.Han 2016 ICLR的一篇論文《Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding》。該文章獲得了ICLR 2016的最佳論文獎，同時也具有里程碑式的意義，引領(lǐng)了CNN模型小型化與加速研究方向的新狂潮，使得這一領(lǐng)域近兩年來涌現(xiàn)出了大量的優(yōu)秀工作與文章。

2.1 算法流程

與前面的“架構(gòu)壓縮派”的SqueezeNet不同，Deep Compression是屬于“權(quán)值壓縮派”的。而兩篇文章均出自S.Han團隊，因此兩種方法結(jié)合，雙劍合璧，更是能達到登峰造極的壓縮效果。這一實驗結(jié)果也在上表中得到驗證。

Deep Compression的算法流程包含三步，如圖2所示：

圖2 Deep Compression Pipeline

1、Pruning(權(quán)值剪枝)

剪枝的思想其實早已在早期論文中可以窺見，LeCun等人曾經(jīng)就利用剪枝來稀疏網(wǎng)絡(luò)，減小過擬合的風險，提升網(wǎng)絡(luò)泛化性。

圖3是MNIST上訓練得到的LeNet conv1卷積層中的參數(shù)分布，可以看出，大部分權(quán)值集中在0處附近，對網(wǎng)絡(luò)的貢獻較小，在剪值中，將0值附近的較小的權(quán)值置0，使這些權(quán)值不被激活，從而著重訓練剩下的非零權(quán)值，最終在保證網(wǎng)絡(luò)精度不變的情況下達到壓縮尺寸的目的。

實驗發(fā)現(xiàn)模型對剪枝更敏感，因此在剪值時建議逐層迭代修剪，另外每層的剪枝比例如何自動選取仍然是一個值得深入研究的課題。

圖3 LeNet conv1層權(quán)值分布圖

2、Quantization (權(quán)值量化)

此處的權(quán)值量化基于權(quán)值聚類，將連續(xù)分布的權(quán)值離散化，從而減小需要存儲的權(quán)值數(shù)量。

初始化聚類中心，實驗證明線性初始化效果最好；

利用k-means算法進行聚類，將權(quán)值劃分到不同的cluster中；

在前向計算時，每個權(quán)值由其聚類中心表示；

在后向計算時，統(tǒng)計每個cluster中的梯度和將其反傳。