邊緣AI的模型壓縮技術(shù)

深度學(xué)習(xí)在模型及其數(shù)據(jù)集方面正以驚人的速度增長(zhǎng)。在應(yīng)用方面，深度學(xué)習(xí)市場(chǎng)以圖像識(shí)別為主，其次是光學(xué)字符識(shí)別，以及面部和物體識(shí)別。根據(jù) Allied 市場(chǎng)研究，6 年全球深度學(xué)習(xí)市場(chǎng)價(jià)值為 85.2020 億美元，預(yù)計(jì)到 179 年將達(dá)到 96.2030 億美元，39 年至 2 年的復(fù)合年增長(zhǎng)率為 2021.2030%。

在某個(gè)時(shí)間點(diǎn)，人們認(rèn)為大型和復(fù)雜的模型表現(xiàn)更好，但現(xiàn)在它幾乎是一個(gè)神話。隨著邊緣AI的發(fā)展，越來(lái)越多的技術(shù)將大型復(fù)雜模型轉(zhuǎn)換為可以在邊緣上運(yùn)行的簡(jiǎn)單模型，所有這些技術(shù)結(jié)合起來(lái)執(zhí)行模型壓縮。

什么是模型壓縮？

模型壓縮是在計(jì)算能力和內(nèi)存較低的邊緣設(shè)備上部署SOTA（最先進(jìn)的）深度學(xué)習(xí)模型的過(guò)程，而不會(huì)影響模型在準(zhǔn)確性、精度、召回率等方面的性能。模型壓縮大致減少了模型中的兩件事，即大小和延遲。減小大小的重點(diǎn)是通過(guò)減少模型參數(shù)來(lái)簡(jiǎn)化模型，從而降低執(zhí)行中的 RAM 要求和內(nèi)存中的存儲(chǔ)要求。延遲減少是指減少模型進(jìn)行預(yù)測(cè)或推斷結(jié)果所花費(fèi)的時(shí)間。模型大小和延遲通常同時(shí)存在，大多數(shù)技術(shù)都會(huì)減少兩者。

流行的模型壓縮技術(shù)

修剪：

修剪是最流行的模型壓縮技術(shù)，它通過(guò)刪除冗余和無(wú)關(guān)緊要的參數(shù)來(lái)工作。神經(jīng)網(wǎng)絡(luò)中的這些參數(shù)可以是連接器、神經(jīng)元、通道，甚至是層。它很受歡迎，因?yàn)樗瑫r(shí)減小了模型的大小并改善了延遲。

修剪

修剪可以在訓(xùn)練模型時(shí)或訓(xùn)練后完成。有不同類型的修剪技術(shù)，即權(quán)重/連接修剪、神經(jīng)元修剪、過(guò)濾器修剪和層修剪。

量化：

當(dāng)我們刪除神經(jīng)元、連接、過(guò)濾器、層等時(shí)。在修剪以減少加權(quán)參數(shù)的數(shù)量時(shí)，權(quán)重的大小在量化期間減小。在此過(guò)程中，大型集中的值將映射到較小集中的值。與輸入網(wǎng)絡(luò)相比，輸出網(wǎng)絡(luò)的值范圍較窄，但保留了大部分信息。有關(guān)此方法的更多詳細(xì)信息，您可以在此處閱讀我們關(guān)于模型量化的深入文章。

知識(shí)蒸餾：

在知識(shí)蒸餾過(guò)程中，在一個(gè)非常大的數(shù)據(jù)集上訓(xùn)練一個(gè)復(fù)雜而龐大的模型。微調(diào)大型模型后，它可以很好地處理看不見(jiàn)的數(shù)據(jù)。一旦獲得，這些知識(shí)就會(huì)轉(zhuǎn)移到較小的神經(jīng)網(wǎng)絡(luò)或模型中。同時(shí)使用教師網(wǎng)絡(luò)（較大的模型）和學(xué)生網(wǎng)絡(luò)（較小的模型）。這里存在兩個(gè)方面，知識(shí)蒸餾，我們不調(diào)整教師模型，而在遷移學(xué)習(xí)中，我們使用精確的模型和權(quán)重，在一定程度上改變模型，并根據(jù)相關(guān)任務(wù)進(jìn)行調(diào)整。

知識(shí)蒸餾系統(tǒng)

知識(shí)、蒸餾算法和師生架構(gòu)模型是典型知識(shí)蒸餾系統(tǒng)的三個(gè)主要部分，如上圖所示。

低矩陣分解：

矩陣構(gòu)成了大多數(shù)深度神經(jīng)結(jié)構(gòu)的大部分。該技術(shù)旨在通過(guò)應(yīng)用矩陣或張量分解并將它們制成更小的矩陣來(lái)識(shí)別冗余參數(shù)。這種技術(shù)應(yīng)用于密集的DNN（深度神經(jīng)網(wǎng)絡(luò)）時(shí)，降低了CNN（卷積神經(jīng)網(wǎng)絡(luò)）層的存儲(chǔ)要求和分解，并縮短了推理時(shí)間。具有二維且秩為 r 的權(quán)重矩陣 A 可以分解為更小的矩陣，如下所示。

低矩陣分解

模型的準(zhǔn)確性和性能在很大程度上取決于適當(dāng)?shù)姆纸夂椭冗x擇。低秩分解過(guò)程中的主要挑戰(zhàn)是更難實(shí)現(xiàn)，并且是計(jì)算密集型的?？傮w而言，與全秩矩陣表示相比，密集層矩陣的因式分解可產(chǎn)生更小的模型和更快的性能。

由于邊緣人工智能，模型壓縮策略變得非常重要。這些方法是相互補(bǔ)充的，可以在整個(gè) AI 管道的各個(gè)階段使用。像TensorFlow和Pytorch這樣的流行框架現(xiàn)在包括修剪和量化等技術(shù)。最終，該領(lǐng)域使用的技術(shù)數(shù)量將會(huì)增加。

審核編輯：郭婷