在AI愛克斯開發(fā)板上用OpenVINO?加速YOLOv8目標(biāo)檢測模型

文章作者：

英特爾物聯(lián)網(wǎng)行業(yè)創(chuàng)新大使 楊雪鋒博士

01簡介

《在 AI 愛克斯開發(fā)板上用 OpenVINO 加速 YOLOv8 分類模型》介紹了在 AI 愛克斯開發(fā)板上使用 OpenVINO開發(fā)套件部署并測評 YOLOv8 的分類模型，本文將介紹在 AI 愛克斯開發(fā)板上使用 OpenVINO 加速 YOLOv8 目標(biāo)檢測模型。

請先下載本文的范例代碼倉，并搭建好 YOLOv8 的 OpenVINO 推理程序開發(fā)環(huán)境：

git clone

https://gitee.com/ppov-nuc/yolov8_openvino.git

02導(dǎo)出 YOLOv8 目標(biāo)檢測 OpenVINO IR 模型

YOLOv8 的目標(biāo)檢測模型有5種，在 COCO 數(shù)據(jù)集完成訓(xùn)練，如下表所示。

首先使用命令：

yoloexport model=yolov8n.pt format=onnx

完成 yolov8n.onnx 模型導(dǎo)出，如下圖所示：

然后使用命令：

mo -m yolov8n.onnx --compress_to_fp16

優(yōu)化并導(dǎo)出 FP16 精度的 OpenVINO IR 格式模型，如下圖所示：

03用 benchmark_app 測試

yolov8 目標(biāo)檢測模型的推理計算性能

benchmark_app 是 OpenVINO 工具套件自帶的 AI 模型推理計算性能測試工具，可以指定在不同的計算設(shè)備上，在同步或異步模式下，測試出不帶前后處理的純 AI 模型推理計算性能。

使用命令：

benchmark_app -m yolov8n.xml -d GPU

獲得 yolov8n.xml 模型在 AI 愛克斯開發(fā)板的集成顯卡上的異步推理計算性能，如下圖所示：

04使用 OpenVINO Python API 編寫

YOLOv8 目標(biāo)檢測模型推理程序

用 Netron 打開 yolov8n.onnx ，如下圖所示，可以看到模型的輸入是形狀為[1,3,640,640]的張量，輸出是形狀為[1,84,8400]的張量，其中“84”的定義為：cx,cy,h,w和80種類別的分數(shù)?！?400”是指 YOLOv8 的3個檢測頭在圖像尺寸為640時，有640/8=80, 640/16=40, 640/32=20, 80x80+40x40+20x20=8400個輸出單元格。

基于 OpenVINO Python API 的 YOLOv8 目標(biāo)檢測模型的范例程序：

yolov8_od_ov_sync_infer_demo.py

其核心源代碼如下所示：

# 實例化Core對象
core = Core() 
# 載入并編譯模型
net = core.compile_model(f'{MODEL_NAME}.xml', device_name="AUTO")
# 獲得模型輸出節(jié)點
output_node = net.outputs[0] # yolov8n只有一個輸出節(jié)點
ir = net.create_infer_request()
cap = cv2.VideoCapture("store-aisle-detection.mp4")


while True:
  start = time.time()
  ret, frame = cap.read()
  if not ret:
    break
  # 圖像數(shù)據(jù)前處理
  [height, width, _] = frame.shape
  length = max((height, width))
  image = np.zeros((length, length, 3), np.uint8)
  image[0:height, 0:width] = frame
  scale = length / 640
  blob = cv2.dnn.blobFromImage(image, scalefactor=1 / 255, size=(640, 640), swapRB=True)
  # 執(zhí)行推理計算
  outputs = ir.infer(blob)[output_node]
  # 推理結(jié)果后處理并顯示處理結(jié)果
  outputs = np.array([cv2.transpose(outputs[0])])
  ... ...
cv2.imshow('YOLOv8 OpenVINO Infer Demo on AIxBoard', frame)

向右滑動查看完整代碼

yolov8_od_ov_sync_infer_demo.py 運行結(jié)果，如下圖所示：

05結(jié)論

AI 愛克斯開發(fā)板借助 N5105 處理器的集成顯卡(24個執(zhí)行單元)和 OpenVINO ，可以在 YOLOv8 的目標(biāo)檢測模型上獲得相當(dāng)不錯的性能。通過異步處理和 AsyncInferQueue ，還能進一步提升計算設(shè)備的利用率，提高 AI 推理程序的吞吐量。

下一篇將繼續(xù)介紹在《在 AI 愛克斯開發(fā)板上用 OpenVINO 加速 YOLOv8-Seg 實例分割模型》。

審核編輯：湯梓紅