使用Tensil和PYNQ在PYNQ Z1 FPGA板上運(yùn)行機(jī)器學(xué)習(xí)

?

第二個(gè)是時(shí)序，它告訴我們信號(hào)在我們的可編程邏輯 (PL) 中傳播需要多長(zhǎng)時(shí)間。“Worst Negative Slack”是一個(gè)正數(shù)是個(gè)好消息——我們的設(shè)計(jì)在指定時(shí)鐘速度下滿足所有網(wǎng)絡(luò)的傳播約束！

?

5. 為 TCU 編譯 ML 模型

Tensil 工具鏈流程的第二個(gè)分支是將 ML 模型編譯為由 TCU 指令組成的 Tensil 二進(jìn)制文件，這些指令由 TCU 硬件直接執(zhí)行。在本教程中，我們將使用在 CIFAR 數(shù)據(jù)集上訓(xùn)練的 ResNet20。該模型包含在 Tensil 泊塢窗圖像中，位于/demo/models/resnet20v2_cifar.onnx. 在 Tensil docker 容器中，運(yùn)行以下命令。

tensil compile -a /demo/arch/pynqz1.tarch -m /demo/models/resnet20v2_cifar.onnx -o "Identity:0" -s true

我們使用的是模型的 ONNX 版本，但 Tensil 編譯器也支持 TensorFlow，您可以通過在 TensorFlow 凍結(jié)圖形式編譯相同的模型來嘗試/demo/models/resnet20v2_cifar.pb。

tensil compile -a /demo/arch/pynqz1.tarch -m /demo/models/resnet20v2_cifar.pb -o "Identity" -s true

生成的編譯文件列在ARTIFACTS表中。清單 ( tmodel) 是已編譯模型的純文本 JSON 描述。Tensil 程序 ( tprog) 和權(quán)重?cái)?shù)據(jù) ( tdata) 都是 TCU 在執(zhí)行期間使用的二進(jìn)制文件。Tensil 編譯器還會(huì)打印一個(gè)COMPILER SUMMARY表格，其中包含 TCU 架構(gòu)和模型的有趣統(tǒng)計(jì)數(shù)據(jù)。

------------------------------------------------------------------------------------------
COMPILER SUMMARY
------------------------------------------------------------------------------------------
Model:                                           resnet20v2_cifar_onnx_pynqz1 
Data type:                                       FP16BP8                      
Array size:                                      8                            
Consts memory size (vectors/scalars/bits):       1,048,576                    8,388,608 20
Vars memory size (vectors/scalars/bits):         1,048,576                    8,388,608 20
Local memory size (vectors/scalars/bits):        8,192                        65,536    13
Accumulator memory size (vectors/scalars/bits):  2,048                        16,384    11
Stride #0 size (bits):                           3                            
Stride #1 size (bits):                           3                            
Operand #0 size (bits):                          16                           
Operand #1 size (bits):                          24                           
Operand #2 size (bits):                          16                           
Instruction size (bytes):                        8                            
Consts memory maximum usage (vectors/scalars):   71,341                       570,728   
Vars memory maximum usage (vectors/scalars):     26,624                       212,992   
Consts memory aggregate usage (vectors/scalars): 71,341                       570,728   
Vars memory aggregate usage (vectors/scalars):   91,170                       729,360   
Number of layers:                                23                           
Total number of instructions:                    258,037                      
Compilation time (seconds):                      25.487                       
True consts scalar size:                         568,466                      
Consts utilization (%):                          97.545                       
True MACs (M):                                   61.476                       
MAC efficiency (%):                              0.000                        
------------------------------------------------------------------------------------------

6.使用PYNQ執(zhí)行

現(xiàn)在是時(shí)候?qū)⑺袞|西放在我們的開發(fā)板上了。為此，我們首先需要設(shè)置 PYNQ 環(huán)境。這個(gè)過程從為我們的開發(fā)板下載 SD 卡映像開始。PYNQ 文檔網(wǎng)站上有設(shè)置板連接的詳細(xì)說明。您應(yīng)該能夠打開 Jupyter 筆記本并運(yùn)行一些示例。

現(xiàn)在 PYNQ 已經(jīng)啟動(dòng)并運(yùn)行了，下一步是scpPYNQ 的 Tensil 驅(qū)動(dòng)程序。首先將Tensil GitHub 存儲(chǔ)庫(kù)克隆到您的工作站，然后復(fù)制drivers/tcu_pynq到/home/xilinx/tcu_pynq您的板上。

git clone git@github.com:tensil-ai/tensil.git
scp -r tensil/drivers/tcu_pynq xilinx@192.168.2.99:

我們還需要scp比特流和編譯器工件。

接下來，我們將復(fù)制比特流，其中包含由 Vivado 綜合和實(shí)現(xiàn)產(chǎn)生的 FPGA 配置。PYNQ 還需要一個(gè)硬件切換文件，該文件描述主機(jī)可訪問的 FPGA 組件，例如 DMA。將兩個(gè)文件都/home/xilinx放在開發(fā)板上。假設(shè)您位于 Vivado 項(xiàng)目目錄中，請(qǐng)運(yùn)行以下命令復(fù)制文件。

scp tensil-pynqz1.runs/impl_1/tensil_pynqz1_wrapper.bit xilinx@192.168.2.99:tensil_pynqz1.bit
scp tensil-pynqz1.gen/sources_1/bd/tensil_pynqz1/hw_handoff/tensil_pynqz1.hwh xilinx@192.168.2.99:

請(qǐng)注意，我們重命名了比特流以匹配硬件切換文件名。

.tmodel現(xiàn)在，將編譯器生成的、.tprog和.tdata工件復(fù)制到/home/xilinx板上。

scp resnet20v2_cifar_onnx_pynqz1.t* xilinx@192.168.2.99:

運(yùn)行我們的 ResNet 模型的最后一件事是 CIFAR 數(shù)據(jù)集。您可以從Kaggle獲取它或運(yùn)行以下命令（由于我們只需要測(cè)試批次，因此我們刪除了訓(xùn)練批次以減小文件大?。?。把這些文件/home/xilinx/cifar-10-batches-py/放在你的開發(fā)板上。

wget http://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz
tar xfvz cifar-10-python.tar.gz
rm cifar-10-batches-py/data_batch_*
scp -r cifar-10-batches-py xilinx@192.168.2.99:

我們終于準(zhǔn)備好啟動(dòng) PYNQ Jupyter notebook 并在 TCU 上運(yùn)行 ResNet 模型。

Jupyter 筆記本

首先，我們導(dǎo)入 Tensil PYNQ 驅(qū)動(dòng)程序和其他必需的實(shí)用程序。

import sys
sys.path.append('/home/xilinx')

# Needed to run inference on TCU
import time
import numpy as np
import pynq
from pynq import Overlay
from tcu_pynq.driver import Driver
from tcu_pynq.architecture import pynqz1

# Needed for unpacking and displaying image data
%matplotlib inline
import matplotlib.pyplot as plt
import pickle

現(xiàn)在，從比特流初始化 PYNQ 覆蓋并使用 TCU 架構(gòu)和覆蓋的 DMA 配置實(shí)例化 Tensil 驅(qū)動(dòng)程序。請(qǐng)注意，我們axi_dma_0從疊加層傳遞對(duì)象——名稱與 Vivado 設(shè)計(jì)中的 DMA 模塊匹配。

overlay = Overlay('/home/xilinx/tensil_pynqz1.bit')
tcu = Driver(pynqz1, overlay.axi_dma_0)

Tensil PYNQ 驅(qū)動(dòng)程序包括 PYNQ Z1 架構(gòu)定義。這里是摘錄自architecture.py：您可以看到它與我們之前使用的架構(gòu)相匹配。

pynqz1 = Architecture(
    data_type=DataType.FP16BP8,
    array_size=8,
    dram0_depth=1048576,
    dram1_depth=1048576,
    local_depth=8192,
    accumulator_depth=2048,
    simd_registers_depth=1,
    stride0_depth=8,
    stride1_depth=8,
)

接下來，讓我們從test_batch.

def unpickle(file):
    with open(file, 'rb') as fo:
        d = pickle.load(fo, encoding='bytes')
    return d

cifar = unpickle('/home/xilinx/cifar-10-batches-py/test_batch')
data = cifar[b'data']
labels = cifar[b'labels']

data = data[10:20]
labels = labels[10:20]

data_norm = data.astype('float32') / 255
data_mean = np.mean(data_norm, axis=0)
data_norm -= data_mean

cifar_meta = unpickle('/home/xilinx/cifar-10-batches-py/batches.meta')
label_names = [b.decode() for b in cifar_meta[b'label_names']]

def show_img(data, n):
    plt.imshow(np.transpose(data[n].reshape((3, 32, 32)), axes=[1, 2, 0]))

def get_img(data, n):
    img = np.transpose(data_norm[n].reshape((3, 32, 32)), axes=[1, 2, 0])
    img = np.pad(img, [(0, 0), (0, 0), (0, tcu.arch.array_size - 3)], 'constant', constant_values=0)
    return img.reshape((-1, tcu.arch.array_size))

def get_label(labels, label_names, n):
    label_idx = labels[n]
    name = label_names[label_idx]
    return (label_idx, name)

要進(jìn)行測(cè)試，請(qǐng)?zhí)崛∑渲幸粡垐D像。

n = 7
img = get_img(data, n)
label_idx, label = get_label(labels, label_names, n)
show_img(data, n)

你應(yīng)該看到圖像。

?

接下來，tmodel將模型的清單加載到驅(qū)動(dòng)程序中。清單告訴驅(qū)動(dòng)程序在哪里可以找到其他兩個(gè)二進(jìn)制文件（程序和權(quán)重?cái)?shù)據(jù)）。

tcu.load_model('/home/xilinx/resnet20v2_cifar_onnx_pynqz1.tmodel')

最后，運(yùn)行模型并打印結(jié)果！調(diào)用tcu.run(inputs)是魔法發(fā)生的地方。我們將 ResNet 分類結(jié)果向量轉(zhuǎn)換為 CIFAR 標(biāo)簽。請(qǐng)注意，如果您使用的是 ONNX 模型，則輸入和輸出分別命名為x:0和Identity:0。對(duì)于 TensorFlow 模型，它們被命名為x和Identity。

inputs = {'x:0': img}

start = time.time()
outputs = tcu.run(inputs)
end = time.time()
print("Ran inference in {:.4}s".format(end - start))
print()

classes = outputs['Identity:0'][:10]
result_idx = np.argmax(classes)
result = label_names[result_idx]
print("Output activations:")
print(classes)
print()
print("Result: {} (idx = {})".format(result, result_idx))
print("Actual: {} (idx = {})".format(label, label_idx))

這是預(yù)期的結(jié)果：

Ran inference in 0.1513s

Output activations:
[-19.49609375 -12.37890625  -8.01953125  -6.01953125  -6.609375
  -4.921875    -7.71875      2.0859375   -9.640625    -7.85546875]

Result: horse (idx = 7)
Actual: horse (idx = 7)

恭喜！您運(yùn)行了一個(gè)機(jī)器學(xué)習(xí)模型，一個(gè)您在自己的工作站上構(gòu)建的自定義 ML 加速器！想象一下你可以用它做的事情......

包起來

在本教程中，我們使用 Tensil 展示了如何在 FPGA 上運(yùn)行機(jī)器學(xué)習(xí) (ML) 模型。我們經(jīng)歷了許多步驟，包括安裝 Tensil、選擇架構(gòu)、生成 RTL 設(shè)計(jì)、綜合設(shè)計(jì)、編譯 ML 模型，最后使用 PYNQ 執(zhí)行模型。

如果你一路走來，那么恭喜你！通過嘗試自己的模型和架??構(gòu)，您已準(zhǔn)備好將事情提升到一個(gè)新的水平。加入我們的Discord打個(gè)招呼并提出問題，或發(fā)送電子郵件至support@tensil.ai。