深度學(xué)習(xí)在模型及其數(shù)據(jù)集方面正在以驚人的速度增長。在應(yīng)用方面,深度學(xué)習(xí)市場以圖像識別為主,其次是光學(xué)字符識別,以及面部和物體識別。根據(jù) Allied 的市場調(diào)查,2020 年全球深度學(xué)習(xí)市場規(guī)模為 68.5 億美元,預(yù)計到 2030 年將達(dá)到 1799.6 億美元,從 2021 年到 2030 年的復(fù)合年增長率為 39.2%。
在某個時間點,人們認(rèn)為大型和復(fù)雜的模型表現(xiàn)更好,但現(xiàn)在它幾乎是一個神話。隨著邊緣AI的發(fā)展,越來越多的技術(shù)將大型復(fù)雜模型轉(zhuǎn)換為可以在邊緣上運(yùn)行的簡單模型,所有這些技術(shù)結(jié)合在一起執(zhí)行模型壓縮。
什么是模型壓縮?
模型壓縮是在具有低計算能力和內(nèi)存的邊緣設(shè)備上部署SOTA(最先進(jìn)的)深度學(xué)習(xí)模型的過程,而不會影響模型在準(zhǔn)確性,精度,召回性等方面的性能。模型壓縮廣泛地減少了模型中的兩件事,即大小和延遲。大小減小側(cè)重于通過減少模型參數(shù)使模型更簡單,從而減少執(zhí)行中的 RAM 要求和內(nèi)存中的存儲要求。減少延遲是指減少模型進(jìn)行預(yù)測或推斷結(jié)果所花費(fèi)的時間。模型大小和延遲通常是一起的,大多數(shù)技術(shù)都會減少兩者。
流行的模型壓縮技術(shù)
修剪:
修剪是模型壓縮的最流行的技術(shù),它通過刪除冗余和無關(guān)緊要的參數(shù)來工作。神經(jīng)網(wǎng)絡(luò)中的這些參數(shù)可以是連接器、神經(jīng)元、通道,甚至是層。它很受歡迎,因為它同時減小了模型的大小并改善了延遲。
修剪
修剪可以在訓(xùn)練模型時或在訓(xùn)練后完成。有不同類型的修剪技術(shù),包括重量/連接修剪,神經(jīng)元修剪,過濾器修剪和層修剪。
量化:
當(dāng)我們在修剪中移除神經(jīng)元,連接,過濾器,層等以減少加權(quán)參數(shù)的數(shù)量時,權(quán)重的大小在量化過程中減小。在此過程中,較大集中的值將映射到較小集中的值。與輸入網(wǎng)絡(luò)相比,輸出網(wǎng)絡(luò)的值范圍較窄,但保留了大部分信息。
知識提煉:
在知識提煉過程中,一個復(fù)雜而大型的模型在一個非常大的數(shù)據(jù)集上被訓(xùn)練。微調(diào)大型模型后,它可以很好地處理看不見的數(shù)據(jù)。一旦實現(xiàn),這些知識就會轉(zhuǎn)移到較小的神經(jīng)網(wǎng)絡(luò)或模型中。同時使用教師網(wǎng)絡(luò)(較大模型)和學(xué)生網(wǎng)絡(luò)(較小模型)。這里存在兩個方面,知識提煉,其中我們不調(diào)整教師模型,而在遷移學(xué)習(xí)中,我們使用確切的模型和權(quán)重,在一定程度上改變模型,并針對相關(guān)任務(wù)進(jìn)行調(diào)整。
知識蒸餾系統(tǒng)
知識、蒸餾算法和師生架構(gòu)模型是典型知識蒸餾系統(tǒng)的三個主要部分,如上圖所示。
低矩陣分解:
矩陣構(gòu)成了大多數(shù)深度神經(jīng)架構(gòu)的大部分。該技術(shù)旨在通過應(yīng)用矩陣或張量分解并將它們變成更小的矩陣來識別冗余參數(shù)。當(dāng)應(yīng)用于密集 DNN(深度神經(jīng)網(wǎng)絡(luò))時,此技術(shù)可降低 CNN(卷積神經(jīng)網(wǎng)絡(luò))層的存儲要求和因式分解,并縮短推理時間。具有二維且具有秩 r 的權(quán)重矩陣 A 可以分解為更小的矩陣,如下所示。
低矩陣因式分解
模型準(zhǔn)確性和性能在很大程度上取決于正確的因式分解和秩選擇。低秩因式分解過程中的主要挑戰(zhàn)是更難實現(xiàn),并且計算密集型??傮w而言,與全秩矩陣表示相比,密集層矩陣的因式分解可導(dǎo)致更小的模型和更快的性能。
由于邊緣AI,模型壓縮策略變得非常重要。這些方法相互補(bǔ)充,可以在整個AI管道的各個階段使用。像張量流和Pytorch這樣的流行框架現(xiàn)在包括修剪和量化等技術(shù)。最終,該領(lǐng)域使用的技術(shù)數(shù)量將會增加。
審核編輯:郭婷
-
連接器
+關(guān)注
關(guān)注
98文章
13862瀏覽量
135124 -
RAM
+關(guān)注
關(guān)注
8文章
1344瀏覽量
114223 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5422瀏覽量
120598
發(fā)布評論請先 登錄
相關(guān)推薦
評論