使用Tensil、TF-Lite和PYNQ在Ultra96板上運行YOLO v4 Tiny

描述

介紹

本教程將使用Avnet Ultra96 V2開發(fā)板和Tensil 開源推理加速器來展示如何在 FPGA 上運行YOLO v4 Tiny——最先進的目標檢測機器學(xué)習(xí)模型。本教程參考之前的Ultra96教程有關(guān)生成 Tensil RTL 和讓Xilinx Vivado合成比特流的分步說明。

如果您遇到問題或發(fā)現(xiàn)錯誤，您可以在我們的Discord上提問或發(fā)送電子郵件至support@tensil.ai。

概述

在開始之前，讓我們鳥瞰一下我們想要完成的任務(wù)。我們將按照以下步驟操作：

• 生成和合成 Tensil RTL
• 為 Tensil 編譯 YOLO v4 Tiny 模型
• 準備 PYNQ 和 TF-Lite
• 使用 PYNQ 執(zhí)行

1.生成和合成Tensil RTL

第一步，我們將使用 Tensil 工具生成 RTL 代碼，然后使用 Xilinx Vivado 為 Ultra96 板合成比特流。由于此過程與其他 Ultra96 教程相同，因此我們建議您參考 ResNet20 教程中的第 1 至第 4 節(jié)。

或者，您可以跳過此步驟并下載現(xiàn)成的比特流。為此，我們在后續(xù)部分中包含說明。

2. 為 Tensil 編譯 YOLO v4 Tiny 模型

現(xiàn)在，我們需要將 ML 模型編譯為由 TCU 硬件直接執(zhí)行的 TCU 指令組成的 Tensil 二進制文件。YOLO v4 Tiny 模型包含在 192 和 416 兩種分辨率中，位于 和 的 Tensil 泊塢窗圖像/demo/models/yolov4_tiny_192.onnx中/demo/models/yolov4_tiny_416.onnx。更高的分辨率將使用更多的計算來檢測更小的對象，因此每秒的幀數(shù)更少。請注意，下面我們將使用 192 分辨率，但只需將其替換為 416 也可以。

正如我們在介紹中提到的，我們將使用 TF-Lite 框架來運行 YOLO v4 Tiny 的后處理。具體來說，此后處理包括 Tensil 硬件不支持的操作Sigmoid。Exp（我們計劃使用基于泰勒展開的表查找來實現(xiàn)它們。）這意味著對于 Tensil，我們需要編譯以最后一個卷積層結(jié)尾的模型。在這些層之下，我們需要編譯 TF-Lite 模型。要識別 Tensil 編譯器的輸出節(jié)點，請查看Netron 中的模型。

?

最后兩個卷積操作的輸出名為model/conv2d_17/BiasAdd:0和model/conv2d_20/BiasAdd:0。

如果你一路走來，那么恭喜你！通過嘗試自己的模型和架??構(gòu)，您已準備好將事情提升到一個新的水平。加入我們的Discord打個招呼并提出問題，或發(fā)送電子郵件至support@tensil.ai。