創(chuàng)建自定義Kria KV260加速M(fèi)L應(yīng)用程序

描述

介紹

Xilinx 推出 Kria SOM 令人興奮！KV260 Vision AI 入門套件是用于開發(fā)和原型設(shè)計(jì)加速算法的絕佳平臺(tái)，包括但不限于機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺和信號(hào)處理。Kria App Store中有幾個(gè)預(yù)建的加速應(yīng)用程序，可以下載并在 KV260 上運(yùn)行。Xilinx 的智能相機(jī)和 NLP-SmartVision 應(yīng)用程序使用 AR1335 圖像傳感器和 AP1302 ISP（AR1335 傳感器包含在KV260 配件包中，并且是圖像處理應(yīng)用程序的一個(gè)很好的補(bǔ)充）。在測(cè)試了一些預(yù)構(gòu)建的應(yīng)用程序之后，您可能會(huì)問，“我如何創(chuàng)建自己的應(yīng)用程序”。該項(xiàng)目將描述可用于創(chuàng)建用于加速 ML 推理任務(wù)的基本設(shè)計(jì)的步驟。

在我們開始之前，回顧一些 KV260 術(shù)語會(huì)很有幫助

• 平臺(tái)：用作基礎(chǔ)設(shè)計(jì)的 Vitis 平臺(tái)。定義與片外組件（如圖像傳感器）的物理接口。還定義了加速器時(shí)鐘和內(nèi)存接口。
• Overlay：加速應(yīng)用程序的秘方。這是我們添加 ML 加速器（即 DPU）以及我們需要的任何其他加速器的地方。使用術(shù)語“覆蓋”是因?yàn)槲覀儗⑦@些加速器覆蓋在平臺(tái)上。

該項(xiàng)目將為支持 AR1335 傳感器的平臺(tái)創(chuàng)建自定義疊加層。

要求

• KV260 入門套件，帶電源和基本附件包
• Linux構(gòu)建機(jī)器
• 葡萄2020.2.2
• PetaLinux 2020.2.2

項(xiàng)目成立

對(duì)于這個(gè)項(xiàng)目，我們將從 KV260 BSP 和一些參考設(shè)計(jì)開始。從那里我們將修改 BSP 和參考設(shè)計(jì)以創(chuàng)建我們的自定義加速 ML 推理應(yīng)用程序。

• 從這里下載KV260 2020.2.2 BSP ，保存到~/Downloads 目錄
• 在 Linux 構(gòu)建機(jī)器上創(chuàng)建一個(gè)項(xiàng)目目錄。以下命令將創(chuàng)建一個(gè)名為kv260_ml_accel

mkdir ~/kv260_ml_accel
export PROJ_DIR=~/kv260_ml_accel

• 使用以下命令從 GitHub克隆示例項(xiàng)目KV260-Vitis

cd $PROJ_DIR
git clone https://github.com/xilinx/kv260-vitis
cd kv260-vitis
git checkout release-2020.2.2_k26

• Vitis-AI從 GitHub克隆存儲(chǔ)庫。該Vitis-AI 存儲(chǔ)庫將用于將深度學(xué)習(xí)處理單元 (DPU) 添加到設(shè)計(jì)中。

cd $PROJ_DIR
git clone https://github.com/xilinx/Vitis-AI
cd Vitis-AI
git checkout v1.3

注意：DPU 是位于 KV260 SOM 上的 Xilinx Zynq UltraScale+ MPSoC 芯片中 ARM A53 處理器復(fù)合體的軟 CNN 協(xié)處理器。

• 從 GitHub 克隆 Vitis_??Libraries 存儲(chǔ)庫。Vitis Vision 庫將用于添加 ML 預(yù)處理加速器（圖像大小調(diào)整）

cd $PROJ_DIR
git clone https://github.com/Xilinx/Vitis_Libraries
cd Vitis_Libraries
git checkout 2020.2

• 獲取 Vitis 和 PetaLinux 環(huán)境設(shè)置腳本。如果關(guān)閉這些腳本的源終端，則需要在新終端中重復(fù)此步驟

source /2020.2/settings64.sh
source /2020.2.2/settings.sh

注意：前面命令中顯示的設(shè)置腳本位于工具安裝目錄中，例如 Vitis 可能安裝在/tools/Xilinx/Vitis/2020.2您機(jī)器上的目錄中。

• 下載 KV260 板文件（如果尚未完成）。以下命令中顯示的腳本將在$XILINX_VIVADO/data/boards/board_files目錄中安裝板文件。

cd $PROJ_DIR
wget https://www.hackster.io/code_files/543211/download -O get_kv260_boards.sh
dos2unix get_kv260_boards.sh
sh ./get_kv260_boards.sh

創(chuàng)建平臺(tái)

NLP-SmartVision 平臺(tái)提供基本時(shí)鐘（100、300、600 MHz）和內(nèi)存連接，用于向 PL 添加加速器。該平臺(tái)還提供與 AR1335 和 AP1302 接口所需的捕獲管道。這將是該項(xiàng)目的基礎(chǔ)平臺(tái)。

修改平臺(tái)以刪除捕獲管道中的標(biāo)量 IP。如果需要執(zhí)行傳感器數(shù)據(jù)縮放，可以使用 AP1302 ISP 完成。此修改對(duì)于適合 KV260 設(shè)備 URAM 資源是必要的。

cd $PROJ_DIR/kv260-vitis/platforms/vivado/kv260_ispMipiRx_DP/scripts
cp config_bd.tcl config_bd.tcl.orig
sed -i 's/C_TOPOLOGY {0}/C_TOPOLOGY {3}/g' config_bd.tcl
sed -i '132i\ \ \ CONFIG.C_CSC_ENABLE_WINDOW {false} \\' config_bd.tcl
sed -i 's/v_proc_ss_0\/aclk_axis/v_proc_ss_0\/aclk/g' config_bd.tcl
sed -i 's/\[get_bd_pins v_proc_ss_0\/aclk_ctrl\]//g' config_bd.tcl
sed -i 's/v_proc_ss_0\/aresetn_ctrl/v_proc_ss_0\/aresetn/g' config_bd.tcl

以下命令將構(gòu)建平臺(tái)：

cd $PROJ_DIR/kv260-vitis
make platform PFM=kv260_ispMipiRx_DP

平臺(tái)構(gòu)建完成后，輸出將位于$PROJ_DIR/kv260-vitis/platforms/xilinx_kv260_ispMipiRx_DP_202022_1

編譯 ML 預(yù)處理加速器

在大多數(shù)情況下，傳感器數(shù)據(jù)需要先降低分辨率，然后才能執(zhí)行 ML 推理。輸入捕獲管道設(shè)置為捕獲最大 4K 的圖像大小，但大多數(shù) ML 網(wǎng)絡(luò)不支持這么大的輸入大小。為了在 ML 推理之前縮放圖像，我們將使用 Vitis Vision 庫將圖像縮放器 IP 添加到 PL 作為加速器。

• 修改默認(rèn)調(diào)整大小加速器配置以支持彩色 (RGB) 圖像

cd $PROJ_DIR/Vitis_Libraries/vision/L2/examples/resize
sed -i 's/RGB 0/RGB 1/g' build/xf_config_params.h
sed -i 's/GRAY 1/GRAY 0/g' build/xf_config_params.h

• 使用 Vitis v++ 命令編譯 Vitis Vision 庫調(diào)整大小功能

v++ -c -t hw xf_resize_accel.cpp \
--platform $PROJ_DIR/kv260-vitis/platforms/xilinx_kv260_ispMipiRx_DP_202022_1/kv260_ispMipiRx_DP.xpfm \
--kernel_frequency 300 \
-I../../../L1/include \
-I./build \
--save-temps \
-k resize_accel \
-o resize_accel.xo

• 編譯過程的輸出是 Xilinx 目標(biāo)文件 ( resize_accel.xo)，這是我們將加速器添加到我們的 PL 覆蓋層所需要的。

創(chuàng)建 ML 推理加速疊加層

我們將使用 Vitis-AI DPU-TRD 將 DPU IP 添加到設(shè)計(jì)中。DPU 是用于加速 CNN 推理任務(wù)的 IP。對(duì)于這個(gè)項(xiàng)目，我們將使用最大的 DPU——B4096 DPU。

• 導(dǎo)航到 DPU-TRD 目錄

cd $PROJ_DIR/Vitis-AI/dsa/DPU-TRD/prj/Vitis

• 更新dpu_conf.vh文件以使用 UltraRAM。以下sed命令將更新dpu_conf.vh文件以啟用 UltraRAM

sed -i 's/^`define URAM_DISABLE/`define URAM_ENABLE/' dpu_conf.vh

• 使用配置文件定義 DPU 時(shí)鐘和內(nèi)存連接。這個(gè)項(xiàng)目提供了一個(gè)配置文件。以下命令將下載配置文件并將其放置在 DPU-TRD 項(xiàng)目中。

cd config_file
mv prj_config prj_config.orig
wget https://www.hackster.io/code_files/542906/download -O prj_config
cd ..

• 修改 DPU-TRD 項(xiàng)目 Makefile 以包含預(yù)處理加速器 ( resize_accel.xo)

sed -i '53i kernel_xo += ${PROJ_DIR}/Vitis_Libraries/vision/L2/examples/resize/resize_accel.xo' Makefile

• 使用以下命令構(gòu)建 DPU-TRD 以將 DPU 和調(diào)整大小加速器添加到平臺(tái)

export SDX_PLATFORM=$PROJ_DIR/kv260-vitis/platforms/xilinx_kv260_ispMipiRx_DP_202022_1/kv260_ispMipiRx_DP.xpfm
make binary_container_1/dpu.xclbin KERNEL=DPU DEVICE=kv260

構(gòu)建完成后，您將看到位于目錄中的dpu.xclbin文件$PROJ_DIR/Vitis-AI/dsa/DPU-TRD/prj/Vitis/binary_container_1和位于$PROJ_DIR/Vitis-AI/dsa/DPU-TRD/prj/Vitis/binary_container_1/link/vivado/vpl/prj/prj.runs/impl_1目錄中的位文件。

• 將構(gòu)建文件復(fù)制到工作目錄

mkdir -p $PROJ_DIR/overlay_files
cd binary_container_1
cp dpu.xclbin $PROJ_DIR/overlay_files
cp link/vivado/vpl/prj/prj.runs/impl_1/*.bit $PROJ_DIR/overlay_files/kv260-ml-accel.bit

從 BSP 創(chuàng)建 PetaLinux 項(xiàng)目

在項(xiàng)目設(shè)置部分，我們從 Xilinx 下載站點(diǎn)下載了 BSP。我們將使用下載的 BSP 創(chuàng)建 PetaLinux 項(xiàng)目。以下命令將從 BSP 創(chuàng)建項(xiàng)目。

cd $PROJ_DIR
petalinux-create -t project -s ~/Downloads/xilinx-k26-starterkit-v2020.2.2-final.bsp 
cd xilinx-k26-starterkit-2020.2.2
echo 'BOARD_VARIANT = "kv"' >>  project-spec/meta-user/conf/petalinuxbsp.conf
petalinux-config --silentconfig

將包含 DPU 的自定義 PL 覆蓋添加到 PetaLinux 項(xiàng)目

自定義 PL 覆蓋將被打包為 PetaLinux 項(xiàng)目中的應(yīng)用程序，并添加到目標(biāo)根文件系統(tǒng)。這允許 xmutil 實(shí)用程序在 Linux 在 KV260 上啟動(dòng)后將自定義覆蓋加載為“加速應(yīng)用程序”。

• 從 GitHub 下載 kv260_ispMipiRx_DP 平臺(tái)的平臺(tái)設(shè)備樹定義

wget https://raw.githubusercontent.com/Xilinx/kv260-firmware/release-2020.2.2_k26/nlp-smartvision/kv260-nlp-smartvision.dtsi -O $PROJ_DIR/overlay_files/kv260-ml-accel.dtsi

• 修改設(shè)備樹以更改顏色空間轉(zhuǎn)換塊的驅(qū)動(dòng)程序（需要，因?yàn)槲覀冃薷牧似脚_(tái)以刪除縮放功能）

cd $PROJ_DIR/overlay_files
sed -i 's/scaler-2.2/csc/g' kv260-ml-accel.dtsi
sed -i 's/clock-names = "aclk_axis", "aclk_ctrl"/clock-names = "aclk"/g' kv260-ml-accel.dtsi

• 從設(shè)備樹中刪除標(biāo)量特定屬性，因?yàn)槲覀儚牟东@管道中刪除了縮放功能（注意：如果需要，AP1302 ISP 仍然能夠執(zhí)行縮放）。

sed -i 's/clocks = <\&misc_clk_2>, <\&misc_clk_2>/clocks = <\&misc_clk_2>/g' kv260-ml-accel.dtsi
sed -i '/xlnx,num-hori-taps = <6>;/d' kv260-ml-accel.dtsi
sed -i '/xlnx,num-vert-taps = <6>;/d' kv260-ml-accel.dtsi

• 創(chuàng)建 PetaLinux 應(yīng)用配方。這將創(chuàng)建將我們的自定義覆蓋添加到 PetaLinux 項(xiàng)目所需的文件/目錄。

cd $PROJ_DIR/xilinx-k26-starterkit-2020.2.2
petalinux-create -t apps --template fpgamanager --name kv260-ml-accel --enable --srcuri "$PROJ_DIR/overlay_files/kv260-ml-accel.bit $PROJ_DIR/overlay_files/kv260-ml-accel.dtsi $PROJ_DIR/overlay_files/dpu.xclbin"

該應(yīng)用程序?qū)⒃谥袆?chuàng)建$PROJ_DIR/xilinx-k26-starterkit-2020.2.2/project-spec/meta-user/recipes-apps/kv260-ml-accel.如果您需要更新比特流、設(shè)備樹或 xclbin，則只需替換位于該目錄中的文件即可。但是，請(qǐng)確保保留相同的名稱，因?yàn)?.bb 文件正在尋找特定的名稱。

創(chuàng)建配方添加配套軟件包

向項(xiàng)目添加額外的軟件包將創(chuàng)建一個(gè)目標(biāo)根文件系統(tǒng)，其中包含用于 ML 推理的必要庫。這些庫包括 Vitis-AI 和 OpenCV 以及其他各種實(shí)用程序。此外，還有用于編程 AP1302 ISP 的固件文件也需要添加到項(xiàng)目中。

以下命令會(huì)將包添加到項(xiàng)目中：

mkdir -p project-spec/meta-user/recipes-core/packagegroups

echo '
DESCRIPTION = "KV260 ML inference app related packages"

inherit packagegroup

KV260_ML_ACCEL_PACKAGES = " \
      ap1302-ar1335-single-firmware \
      dnf \
      e2fsprogs-resize2fs \
      parted \
      resize-part \
      packagegroup-petalinux-vitisai \
      packagegroup-petalinux-vitisai-dev \
      packagegroup-petalinux-gstreamer \      
      cmake \
      libgcc \
      gcc-symlinks \
      g++-symlinks \
      binutils \
      xrt \
      xrt-dev \
      zocl \
      opencl-clhpp-dev \
      opencl-headers-dev \
      packagegroup-petalinux-opencv \
      packagegroup-petalinux-opencv-dev \
      packagegroup-petalinux-v4lutils  \
      "

RDEPENDS_${PN} = "${KV260_ML_ACCEL_PACKAGES}"

COMPATIBLE_MACHINE = "^$"
COMPATIBLE_MACHINE_k26-kv = "${MACHINE}"
PACKAGE_ARCH = "${BOARDVARIANT_ARCH}"

' > project-spec/meta-user/recipes-core/packagegroups/packagegroup-kv260-ml-accel.bb

• 將自定義包組添加到根文件系統(tǒng)配置

echo "CONFIG_packagegroup-kv260-ml-accel" >> project-spec/meta-user/conf/user-rootfsconfig
echo "CONFIG_packagegroup-kv260-ml-accel=y" >> project-spec/configs/rootfs_config

構(gòu)建 PetaLinux 項(xiàng)目并創(chuàng)建 SD 卡 wic 映像

以下命令將構(gòu)建 PetaLinux 項(xiàng)目，然后將輸出文件打包為 wic 映像，可以將其寫入 SD 卡。

• 構(gòu)建項(xiàng)目

petalinux-build

• 生成wic鏡像文件

petalinux-package --wic --bootfiles "ramdisk.cpio.gz.u-boot boot.scr Image system.dtb"

將 wic 映像寫入 SD 卡

可以使用 BalenaEtcher 等映像實(shí)用程序或在 Linux 上使用命令將 wic 映像文件寫入 SD 卡dd。可以在 Linux 機(jī)器上使用以下命令將 wic 映像寫入 SD 卡。在繼續(xù)之前，請(qǐng)務(wù)必閱讀以下免責(zé)聲明：

• 將 SD 卡映像寫入空白 SD 卡。以下命令可用于使用 Linux 寫入 SD 卡映像：

sudo dd if=images/linux/petalinux-sdimage.wic of=/dev/sdstatus=progress

注意：上面提到的 SD 卡/dev/sd對(duì)于您的系統(tǒng)將是唯一的。您需要將 替換為sd適合您系統(tǒng)的驅(qū)動(dòng)器映射。例如，sd可能等于sda、sdb、sdc等，具體取決于您的系統(tǒng)如何枚舉 SD 卡設(shè)備。確保在of=上面的參數(shù)中指定的名稱是設(shè)備名稱，而不僅僅是一個(gè)分區(qū)（即of=/dev/sd正確，但of=dev/sd1不正確）。

• 當(dāng) SD 卡寫入過程完成后，您可以使用以下命令彈出設(shè)備

sudo eject /dev/sd

注意：上一步中關(guān)于 SD 卡設(shè)備枚舉的說明也適用于此步驟。

設(shè)置 KV260

KV260 應(yīng)按照位于https://www.xilinx.com/products/som/kria/kv260-vision-starter-kit/kv260-getting-started/connecting-everything.html的入門指南中的描述進(jìn)行連接

啟動(dòng) KV260

將上一節(jié)鏡像中的micro-SD卡插入KV260 micro-SD卡槽，給板子上電。該板應(yīng)該開始啟動(dòng)，完成后您將看到登錄提示。使用用戶名“petalinux”登錄，然后根據(jù)提示更改密碼。有關(guān)串行端口控制臺(tái)示例，請(qǐng)參見下圖。

從 Xilinx Vitis-AI Model Zoo 下載預(yù)編譯的 DenseBox 人臉檢測(cè)模型

Xilinx Vitis-AI Model Zoo 具有針對(duì) B4096 DPU 架構(gòu)的預(yù)編譯模型。我們正在創(chuàng)建的示例應(yīng)用程序使用 DenseBox 人臉檢測(cè)模型。以下命令將下載預(yù)訓(xùn)練和預(yù)編譯的模型，然后將其安裝在 KV260 根文件系統(tǒng)中。請(qǐng)?jiān)?KV260 上執(zhí)行以下命令。

cd /home/petalinux
wget https://www.xilinx.com/bin/public/openDownload?filename=densebox_640_360-zcu102_zcu104-r1.3.0.tar.gz -O densebox_640_360-zcu102_zcu104-r1.3.0.tar.gz
sudo mkdir -p /usr/share/vitis_ai_library/models

提取模型：

sudo tar -xvzf densebox_640_360-zcu102_zcu104-r1.3.0.tar.gz -C /usr/share/vitis_ai_library/models

下載示例應(yīng)用程序代碼

以下命令將下載并提取示例應(yīng)用程序代碼

wget https://hacksterio.s3.amazonaws.com/uploads/attachments/1393631/face_detect_px1rBmdftj.zip -O face_detect.zip
unzip face_detect.zip

示例應(yīng)用程序代碼使用編譯 ML 預(yù)處理加速器部分中創(chuàng)建的硬件加速器執(zhí)行圖像縮放。DenseBox 人臉檢測(cè)模型的輸入層大小為 640x360，但捕獲分辨率為 1920x1080。調(diào)用硬件加速器以使用 OpenCL API 調(diào)整圖像大小。硬件加速器管理由頭文件中定義的類處理。resize_accel.hpp

編譯應(yīng)用程序

在我們編譯應(yīng)用程序之前，我們必須加載 kv260-ml-accel Kria 應(yīng)用程序。在 KV260 上執(zhí)行以下命令將卸載默認(rèn)應(yīng)用程序，然后加載 kv260-ml-accel 應(yīng)用程序。

sudo xmutil unloadapp
sudo xmutil loadapp kv260-ml-accel

加載 kv260-ml-accel 后，您應(yīng)該在終端中看到以下內(nèi)容

加載應(yīng)用程序后，您可能需要按鍵盤上的“返回或輸入”以返回提示。執(zhí)行以下命令來設(shè)置 MIPI 捕獲管道。

cd /home/petalinux/face_detect
./setup_media_pipe.sh

運(yùn)行腳本后，如果您將 MIPI 攝像頭連接到連接器 J7，您應(yīng)該會(huì)看到類似于以下內(nèi)容的輸出。

。該值將需要作為參數(shù)傳遞給示例應(yīng)用程序。

執(zhí)行以下命令來運(yùn)行應(yīng)用程序。您應(yīng)該會(huì)看到 1920x1080 的捕獲圖像以及覆蓋在 HDMI 監(jiān)視器上的人臉檢測(cè)。

cd /home/petalinux/face_detect
./facedetect.exe /dev/video2

請(qǐng)注意，這是一個(gè)非常簡單的示例應(yīng)用程序，并未針對(duì)性能進(jìn)行優(yōu)化（即它是單線程的）。

概括

該項(xiàng)目為 Kria KV260 Vision AI 入門套件創(chuàng)建了自定義機(jī)器學(xué)習(xí)加速應(yīng)用程序。加速應(yīng)用程序包括與 B4096 DPU CNN 和圖像縮放加速器的疊加。

我希望你喜歡這個(gè)項(xiàng)目。 請(qǐng)關(guān)注我，以便及時(shí)了解我的最新項(xiàng)目。我正在開展一個(gè)項(xiàng)目，該項(xiàng)目描述了如何將此加速應(yīng)用程序添加到Xilinx Kria KV260 Vision AI 入門套件的認(rèn)證 Ubuntu 映像中。

更新2/9/2022 - 請(qǐng)查看我的其他項(xiàng)目，該項(xiàng)目使用 KV260 的官方 Canonical Ubuntu 映像 -使用 Xilinx Kria KV260 在 Ubuntu 上輕松進(jìn)行機(jī)器學(xué)習(xí)