基于剪枝與量化的卷積神經(jīng)網(wǎng)絡壓縮算法

　　隨著深度學習的發(fā)展，卷積神經(jīng)網(wǎng)絡作為其重要算法被廣泛應用到計算機視覺、自然語言處理及語音處理等各個領域，并取得了比傳統(tǒng)算法更為優(yōu)秀的成績。但是，卷積神經(jīng)網(wǎng)絡結構復雜，參數(shù)量和計算量巨大，使得很多算法必須在GPU上實現(xiàn)，導致卷積神經(jīng)網(wǎng)絡難以應用在資源不足且實時性要求很高的移動端。為了解決上述問題，文中提出通過同時優(yōu)化卷積神經(jīng)網(wǎng)絡的結構和參數(shù)來對卷積神經(jīng)網(wǎng)絡進行壓縮，以使網(wǎng)絡模型尺寸變小。首先，根據(jù)權重對網(wǎng)絡模型結果的影響程度來對權重進行剪枝，保證在去除網(wǎng)絡結構冗余信息的冋時保留模型的重要連接;然后通過量化感知（ quantiκaτion- awareτraining）對卷積神經(jīng)網(wǎng)絡的浮點型權重和激活值進行完全量化，將浮點運算轉(zhuǎn)換成定點運算，在降低網(wǎng)絡模型計算量的冋時減少網(wǎng)絡模型的尺寸。文中選用 tensorflow深度學習框架，在 Ubuntu16.04操作系統(tǒng)中使用 Spyder編譯器對所提算法進行驗證實驗結果表眀，該算法使結枃簡單的 Lenet模型從l.64M壓縮至θ.36M，壓縮比達到η8%，準確率只下降了了0.016;使輕量級網(wǎng)絡 Mobilenet模型從16.9M壓縮至3.1M，壓縮比達到81%，準確率下降0.03。實驗數(shù)據(jù)說明，在對卷積神經(jīng)網(wǎng)絡權重剪枝與參數(shù)量化辶后，該算法可以做到在準確率損失較小的情況下，對模型進行冇α壓縮，解決了卷積神經(jīng)網(wǎng)絡模型難以部署到移動端的問題。