基于AdderNet的深度學(xué)習(xí)推理加速器

描述

該項目介紹了我們對基于稱為 AdderNet 的新型深度學(xué)習(xí)模型的硬件推理加速器設(shè)計和優(yōu)化的研究。通過用絕對和 (SAD) 內(nèi)核替換計算密集型卷積 (CONV) 操作，可以通過具有成本效益的加法器/減法器電路消除大量乘法器，這可以提高計算吞吐量，因為硬件限制。我們在 FPGA 設(shè)備上展示了基線 ResNet-20 實現(xiàn) (CNN-ResNet-20) 和兩個 AdderNet 設(shè)計變體 (ADD-ResNet-20) 之間的比較研究。我們利用自動 HLS（高級綜合）和手動轉(zhuǎn)換將 SAD 操作映射到 Xilinx Zynq MPSoC 的 FPGA DSP 塊 (DSP48E2)。尤其是，當(dāng) DSP48 模塊配置為 SIMD（單指令多數(shù)據(jù)）模式時，我們可以用一個 DSP 模塊和最少的 LUT 邏輯資源支持至少兩個 SAD 操作。在這個研究階段，我們選擇使用一個 DSP 來支持 2 個 SAD 操作，以增加 10% 的 LUT 和 5% 的推理時間開銷為代價，總共可以減少 45.43% 的 DSP 利用率。這些結(jié)果鼓勵我們探索新的深度學(xué)習(xí)加速器設(shè)計策略，以利用新興的基于 SAD 內(nèi)核的 AdderNet 模型以及每個 DSP ≥4 SAD 的積極 SIMD 配置來提高推理吞吐量。我們選擇使用 1 個 DSP 支持 2 個 SAD 操作，以增加 10% 的 LUT 和 5% 的推理時間開銷為代價，總共可以減少 45.43% 的 DSP 利用率。這些結(jié)果鼓勵我們探索新的深度學(xué)習(xí)加速器設(shè)計策略，以利用新興的基于 SAD 內(nèi)核的 AdderNet 模型以及每個 DSP ≥4 SAD 的積極 SIMD 配置來提高推理吞吐量。我們選擇使用 1 個 DSP 支持 2 個 SAD 操作，以增加 10% 的 LUT 和 5% 的推理時間開銷為代價，總共可以減少 45.43% 的 DSP 利用率。這些結(jié)果鼓勵我們探索新的深度學(xué)習(xí)加速器設(shè)計策略，以利用新興的基于 SAD 內(nèi)核的 AdderNet 模型以及每個 DSP ≥4 SAD 的積極 SIMD 配置來提高推理吞吐量。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）已廣泛應(yīng)用于計算機(jī)視覺任務(wù)領(lǐng)域。例如工業(yè)檢測、自主視覺和機(jī)器人檢測。然而，由于其大量的乘法運(yùn)算和參數(shù)，很難將這些標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)部署到具有效率吞吐量和功耗的嵌入式設(shè)備中。作為一種解決方案，AdderNet 在深度神經(jīng)網(wǎng)絡(luò)，尤其是卷積神經(jīng)網(wǎng)絡(luò) (CNN) 中使用這些大規(guī)模乘法，以獲得更便宜的加法以降低計算成本。

?

?

?

Function.1 CNN

?

Function.2 人工神經(jīng)網(wǎng)絡(luò)

?

?

?

作為案例研究，我們選擇 ResNet-20-CIFAR10 作為基線設(shè)計。ResNet-20-CIFAR10的處理引擎如圖1所示。據(jù)我們所知，CNN 加速器有兩種通用方法：單個 PE 和多個 PE。在這項工作中，我們在應(yīng)用程序中使用了多個 PE 以獲得更好的吞吐量。

?

?

自動 HLS 和手動轉(zhuǎn)換

Xilinx Vitis HLS 上的自動綜合：

Xilinx Vitis HLS 可以從 C++ 代碼自動生成 FPGA 項目。

對于 CNN-ResNet-20，綜合報告顯示該項目的硬件符合我們的目的。

對于 ADD-ResNet-20，合成報告并沒有遵循我們之前的目的，因為 Vitis HLS 中的 C 合成不支持將 DSP48 配置為 SIMD 模式。

我們的解決方案：

將 SAD 操作設(shè)計為 C++ 中的獨立函數(shù)。

替換 Xilinx Vitis HLS 生成的 Verilog 源文件中的 SAD 代碼。

在 Xilinx Vivado 中重新綜合該項目。

此外，通過編輯 SAD 代碼，我們可以為 DSP48E2 配置更多選項。

?

?

Batch Normalization 融合可以減少計算量，并為模型量化提供更簡潔的結(jié)構(gòu)。

如 Function.3 和 4 所示，將細(xì)化權(quán)重應(yīng)用于卷積層作為原始推理。但是考慮左邊顯示的加法器層的功能，作為卷積添加到函數(shù)中的細(xì)化權(quán)重不能用作卷積層。

由于乘法和加法的開銷，這個函數(shù)不能提供 AdderNet 的硬件優(yōu)勢。

為了避免這種開銷，我們使用額外的 for 循環(huán)來處理乘法和加法的開銷，這將花費(fèi)更多的時鐘周期和硬件。

?

?

?

DSP配置方法

在本節(jié)中，將介紹兩種 DSP48E2 配置方法：

方法 a：利用與 CONV 相同數(shù)量的 DSP，但與方法 b 相比，LUT 更少。

方法 b：利用一半的 DSP 作為 CONV，但與方法 a 相比，LUT 更多。

?

?

?

該報告顯示，通過比較解決方案 a、解決方案 b 和 ResNet-20 基線的結(jié)果，我們的方法可以以增加 10% 的 LUT 和 5% 的推理時間開銷為代價，減少大約 45% 的 DSP 利用率。

?

?

?