高效打包邊緣人工智能神經(jīng)網(wǎng)絡(luò)模型

在嵌入式設(shè)計(jì)中常常需要將應(yīng)用程序打包到有限的片上內(nèi)存中，現(xiàn)在，將人工智能神經(jīng)網(wǎng)絡(luò)模型壓縮到有限的存儲(chǔ)器中也是如此。對(duì)于傳統(tǒng)軟件，就某些方面而言，做到這一點(diǎn)可謂更具挑戰(zhàn)，因?yàn)榛谏窠?jīng)網(wǎng)絡(luò)的系統(tǒng)中的工作內(nèi)存都是“內(nèi)部循環(huán)”的，要求換出到DDR內(nèi)存，可能會(huì)降低性能。另外，在推理過(guò)程中重復(fù)訪問(wèn)DDR也會(huì)增加邊緣設(shè)備的典型低功耗預(yù)算，這一點(diǎn)也同樣很難令人滿意。更大的片上存儲(chǔ)器是解決問(wèn)題方法之一，但是會(huì)增加產(chǎn)品成本。綜上所述，最佳解決方案是盡可能高效地將模型打包到可用內(nèi)存中。

眾所周知，在編譯人工智能神經(jīng)網(wǎng)絡(luò)模型以便在邊緣設(shè)備上運(yùn)行時(shí)，有一些量化技術(shù)可以縮小此模型的大小，如將浮點(diǎn)數(shù)據(jù)和權(quán)重值轉(zhuǎn)換為定點(diǎn)，然后進(jìn)一步縮小為INT8或更小的值。想象一下，如果還能更進(jìn)一步會(huì)怎樣。在本文中，我將介紹幾種圖優(yōu)化技術(shù)，助您在2MB的二級(jí)緩存中安裝更多量化模型，但僅僅量化是無(wú)法完成安裝的。

優(yōu)化人工智能神經(jīng)網(wǎng)絡(luò)圖中的緩沖區(qū)分配

▲圖1.一個(gè)簡(jiǎn)單的人工智能圖

（Op代表運(yùn)算符；E代表外部輸入；

C代表常數(shù)（權(quán)重）；V代表變量；T代表張量）

人工智能神經(jīng)網(wǎng)絡(luò)模型表示為圖形并作為圖形來(lái)管理，其中的運(yùn)算是通過(guò)緩沖區(qū)相互連接的節(jié)點(diǎn)進(jìn)行的。這些緩沖區(qū)固定分配在內(nèi)存中，大小在編譯圖時(shí)確定，用于保存圖中的中間計(jì)算結(jié)果或輸入和輸出。在所有圖中，流水關(guān)系圖是最基本的一種，但更典型的簡(jiǎn)單圖如圖1所示。

我們的目標(biāo)是讓編譯器優(yōu)化緩沖區(qū)內(nèi)存總需求。想想簡(jiǎn)單的人工智能神經(jīng)網(wǎng)絡(luò)圖中可能的分配序列（圖2中的左圖）。首先要明白，圖中的不同運(yùn)算需要不同大小的緩沖區(qū)，并且在進(jìn)行下一波處理之前，將不再需要已完成運(yùn)算的輸入緩沖區(qū)。讀取緩沖區(qū)A（此處分配有800K字節(jié)），就可以在后續(xù)運(yùn)算中重復(fù)使用了，緩沖區(qū)B也是如此，依此類推。在左圖出現(xiàn)分支時(shí)，先將緩沖區(qū)A和B分配給了右側(cè)分支，之后則必須為左側(cè)分支分配一個(gè)新的緩沖區(qū)C。

▲圖2.說(shuō)明緩沖區(qū)分配的簡(jiǎn)單圖

（右圖在左圖的基礎(chǔ)上，將緩沖區(qū)B和C互換

并增加了緩沖區(qū)B的大小，得到了改善）

從這個(gè)例子中不難看出，一開始就將緩沖區(qū)B的大小增加到1000K，稍后再在左側(cè)分支中重復(fù)使用B的全部大小，右側(cè)分支中緩沖區(qū)C就只需要額外10K內(nèi)存，如右圖所示。左/右內(nèi)存需求差異明顯。左圖需要2.5MB (800K+700K+1000K)，而修改順序后的右圖只需要 1.81MB(800K+1000K+10K)。

在一般人工智能神經(jīng)網(wǎng)絡(luò)圖中找出最優(yōu)排序就是眾所周知的0-1背包問(wèn)題。我們展開了初步測(cè)試，研究這種優(yōu)化如何改善打包到固定大小L2緩存的效果。即使是當(dāng)下初步階段，結(jié)果也相當(dāng)不錯(cuò)。我們測(cè)試了幾種常見網(wǎng)絡(luò)在2MB和4MB L2緩存中的安裝效果。優(yōu)化前，只有13%的模型可以安裝在2MB內(nèi)存中，38%的模型可以安裝在4MB內(nèi)存中。優(yōu)化后，66%的模型可以安裝在2MB內(nèi)存中，83%的模型可以安裝在4MB內(nèi)存中。僅這一項(xiàng)優(yōu)化就值得我們努力，我們的目標(biāo)是確保更多模型可以完全在片上內(nèi)存中運(yùn)行。

通過(guò)合并緩沖區(qū)優(yōu)化人工智能神經(jīng)網(wǎng)絡(luò)模型

在卷積人工智能神經(jīng)網(wǎng)絡(luò)模型中，經(jīng)過(guò)前幾層處理后，緩沖區(qū)大小通常會(huì)縮小。這種結(jié)果表明，一開始分配的大緩沖區(qū)可以通過(guò)與稍后需要的較小緩沖區(qū)共享空間得到更高效的利用。圖3說(shuō)明了這種可能性。

▲圖3.不同的簡(jiǎn)單圖

（最初為緩沖區(qū)A分配的大小可以稍后由左右分支共享，

此處的C緩沖區(qū)源自最初的A緩沖區(qū)）

我們?cè)囍M(jìn)行優(yōu)化，看看這種合并對(duì)內(nèi)存總需求有何影響。在一系列無(wú)比熟悉的網(wǎng)絡(luò)中，我們發(fā)現(xiàn)緩沖區(qū)總大小減小了15%到35%。再次重申一遍，這些改進(jìn)非常具有吸引力。

?

要點(diǎn)

?

我們通過(guò)這些優(yōu)化，運(yùn)行各種主流卷積人工智能神經(jīng)網(wǎng)絡(luò)模型，從檢測(cè)到分類到細(xì)分，再到RNN模型不一而足。大多數(shù)情況下，模型完全遷移至了4MB二級(jí)緩存，某些情況下，模型遷移至了二級(jí)緩存中，只有一部分還留在DDR內(nèi)存中。幾乎所有模型都在打包方面呈現(xiàn)出巨大改進(jìn)。

即使你的人工智能神經(jīng)網(wǎng)絡(luò)模型無(wú)法安裝在片上內(nèi)存，也并非無(wú)法優(yōu)化。在人工智能編譯器階段可以對(duì)緩沖區(qū)進(jìn)行優(yōu)化，大幅壓縮模型總大小。在CEVA，我們很樂(lè)意與你討論以上問(wèn)題和其他想法，以便進(jìn)一步優(yōu)化人工智能神經(jīng)網(wǎng)絡(luò)模型的內(nèi)存使用。

識(shí)別右側(cè)二維碼

立即了解CEVA

更多信息

?

本文作者：Rami Drucker, Machine Learning SW Architect, CEVA