從FPGA說起的深度學(xué)習(xí)

這是新的系列教程，在本教程中，我們將介紹使用 FPGA 實現(xiàn)深度學(xué)習(xí)的技術(shù)，深度學(xué)習(xí)是近年來人工智能領(lǐng)域的熱門話題。

在本教程中，旨在加深對深度學(xué)習(xí)和 FPGA 的理解。

用 C/C++ 編寫深度學(xué)習(xí)推理代碼

高級綜合 (HLS) 將 C/C++ 代碼轉(zhuǎn)換為硬件描述語言

FPGA 運行驗證

在上一篇文章中，我們用C語言實現(xiàn)了一個卷積層，并查看了結(jié)果。在本文中，我們將實現(xiàn)其余未實現(xiàn)的層：全連接層、池化層和激活函數(shù) ReLU。

每一層的實現(xiàn)

全連接層

全連接層是將輸入向量X乘以權(quán)重矩陣W，然后加上偏置B的過程。下面轉(zhuǎn)載第二篇的圖，能按照這個圖計算就可以了。

全連接層的實現(xiàn)如下。

voidlinear(constfloat*x,constfloat*weight,constfloat*bias,
int64_tin_features,int64_tout_features,float*y){
for(int64_ti=0;i

	

	該函數(shù)的接口和各個數(shù)據(jù)的內(nèi)存布局如下。

	考慮稍后設(shè)置 PyTorch 參數(shù)，內(nèi)存布局與 PyTorch 對齊。

	輸入

	x: 輸入圖像。shape=(in_features)

	weight: 權(quán)重因子。shape=(out_features, in_features)

	bias: 偏置值。shape=(out_features)

	輸出

	y: 輸出圖像。shape=(out_features)

	參數(shù)

	in_features: 輸入順序

	out_features: 輸出順序

	在全連接層中，內(nèi)部操作數(shù)最多為out_channels * in_channels一個，對于典型參數(shù)，操作數(shù)遠低于卷積層。

	另一方面，關(guān)注權(quán)重因子，卷積層為shape=(out_channels, in_channels, ksize, ksize)，而全連接層為shape=(out_features, in_features)。例如，如果層從卷積層變?yōu)槿B接層，in_features = channels * width * height則以下關(guān)系成立。width, height >> ksize考慮到這一點，在很多情況下，全連接層參數(shù)的內(nèi)存需求大大超過了卷積層。

	由于FPGA內(nèi)部有豐富的SRAM緩沖區(qū)，因此擅長處理內(nèi)存訪問量大和內(nèi)存數(shù)據(jù)相對于計算總量的大量復(fù)用。單個全連接層不會復(fù)用權(quán)重數(shù)據(jù)，但是在視頻處理等連續(xù)處理中，這是一個優(yōu)勢，因為要進行多次全連接。

	另一方面，本文標題中也提到的邊緣環(huán)境使用小型FPGA，因此可能會出現(xiàn)SRAM容量不足而需要訪問外部DRAM的情況。如果你有足夠的內(nèi)存帶寬，你可以按原樣訪問它，但如果你沒有足夠的內(nèi)存帶寬，你可以在參數(shù)調(diào)整和訓(xùn)練后對模型應(yīng)用稱為剪枝和量化的操作。

	池化層

	池化層是對輸入圖像進行縮小的過程，這次使用的方法叫做2×2 MaxPooling。在這個過程中，取輸入圖像2x2區(qū)域的最大值作為輸出圖像一個像素的值。這個看第二張圖也很容易理解，所以我再貼一遍。

	

	即使在池化層，輸入圖像有多個通道，但池化過程本身是針對每個通道獨立執(zhí)行的。因此，輸入圖像中的通道數(shù)和輸出圖像中的通道數(shù)在池化層中始終相等。

	池化層的實現(xiàn)如下所示：

	
voidmaxpool2d(constfloat*x,int32_twidth,int32_theight,int32_tchannels,int32_tstride,float*y){
for(intch=0;ch

	

	這個函數(shù)的接口是：

	此實現(xiàn)省略了邊緣處理，因此圖像的寬度和高度都必須能被stride整除。

	輸入

	x: 輸入圖像。shape=(channels, height, width)

	輸出

	y: 輸出圖像。shape=(channels, height/stride, width/stride)

	參數(shù)

	width: 圖像寬度

	height: 圖像高度

	stride：減速比

	ReLU

	ReLU 非常簡單，因為它只是將負值設(shè)置為 0。

	
voidrelu(constfloat*x,int64_tsize,float*y){
for(int64_ti=0;i

	

	由于每個元素的處理是完全獨立的，x, y因此未指定內(nèi)存布局。

	硬件生成

	到這里為止的內(nèi)容，各層的功能都已經(jīng)完成了。按照上一篇文章中的步驟，可以確認這次創(chuàng)建的函數(shù)也產(chǎn)生了與 libtorch 相同的輸出。此外，Vivado HLS 生成了一個通過 RTL 仿真的電路。從這里開始，我將簡要說明實際生成了什么樣的電路。

	如果將上述linear函數(shù)原樣輸入到 Vivado HLS，則會發(fā)生錯誤。這里，將輸入輸出設(shè)為指針->數(shù)組是為了決定在電路制作時用于訪問數(shù)組的地址的位寬。另外，in_features的值為778=392，out_將features的值固定為32。這是為了避免Vivado HLS 在循環(huán)次數(shù)可變時輸出性能不佳。

	
staticconststd::size_tkMaxSize=65536;

voidlinear_hls(constfloatx[kMaxSize],constfloatweight[kMaxSize],
constfloatbias[kMaxSize],floaty[kMaxSize]){
dnnk::linear(x,weight,bias,7*7*8,32,y);
}


	

	linear_hls函數(shù)的綜合報告中的“性能估計”如下所示：

	

	在Timing -> Summary中寫入了綜合時指定的工作頻率，此時的工作頻率為5.00 ns = 200MHz。重要的是 Latency -> Summary 部分，它描述了執(zhí)行此函數(shù)時的周期延遲（Latency（cycles））和實時延遲（Latency（absolute））?？纯催@個，我們可以看到這個全連接層在 0.566 ms內(nèi)完成。

	在 Latency -> Detail -> Loop 列中，描述了每個循環(huán)的一次迭代所需的循環(huán)次數(shù)（Iteration Latency）和該循環(huán)的迭代次數(shù)（Trip Count）。延遲（周期）包含Iteration Latency * Trip Count +循環(huán)初始化成本的值。Loop 1 是out_features循環(huán)到loop 1.1 in_features。在Loop1.1中進行sum += x[j] * weight[i * in_features + j]; 簡單計算會發(fā)現(xiàn)需要 9 個周期才能完成 Loop 1.1 所做的工作。

	使用HLS中的“Schedule Viewer”功能，可以更詳細地了解哪些操作需要花費更多長時間。下圖橫軸的2~10表示Loop1.1的處理內(nèi)容，大致分為x，weights等的加載2個循環(huán)，乘法（fmul）3個循環(huán)，加法（fadd）4個循環(huán)共計9個循環(huán)。

	

	在使用 HLS 進行開發(fā)期間通過添加#pragma HLS pipeline指令，向此代碼添加優(yōu)化指令以指示它創(chuàng)建高效的硬件。與普通的 FPGA 開發(fā)類似，運算單元的流水線化和并行化經(jīng)常用于優(yōu)化。通過這些優(yōu)化，HLS 報告證實了加速：

	流水線：減少迭代延遲（min=1）

	并行化：減少行程次數(shù)，刪除循環(huán)

	正如之前也說過幾次的那樣，這次的課程首先是以FPGA推理為目的，所以不會進行上述的優(yōu)化。有興趣進行什么樣的優(yōu)化的人，可以參考以下教程和文檔。

	教程

	https://github.com/Xilinx/HLS-Tiny-Tutorials

	文檔

	https://www.xilinx.com/support/documentation/sw_manuals/xilinx2019_2/ug902-vivado-high-level-synthesis.pdf

	最后，該函數(shù)的接口如下所示。

	

	由于本次沒有指定接口，所以數(shù)組接口如x_ 等ap_memory對應(yīng)FPGA上可以1個周期讀寫的存儲器（BRAM/Distributed RAM）。在下一篇文章中，我們將連接每一層的輸入和輸出，但在這種情況下，我們計劃連接 FPGA 內(nèi)部的存儲器作為每一層之間的接口，如本例所示。

	總結(jié)

	在本文中，我們實現(xiàn)了全連接層、池化層和 ReLU?，F(xiàn)在我們已經(jīng)實現(xiàn)了所有層，我們將在下一篇文章中組合它們。之后我們會實際給MNIST數(shù)據(jù)，確認我們可以做出正確的推論。

	

	審核編輯：湯梓紅