OpenVINO工具包部署YOLO9模型實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè)

YOLOv9引入了可編程梯度信息 (PGI) 和廣義高效層聚合網(wǎng)絡(luò) (GELAN) 等開(kāi)創(chuàng)性技術(shù)，不僅增強(qiáng)了模型的學(xué)習(xí)能力，還確保了在整個(gè)檢測(cè)過(guò)程中保留關(guān)鍵信息，從而實(shí)現(xiàn)了卓越的準(zhǔn)確性和性能。該模型在效率、準(zhǔn)確性和適應(yīng)性方面都有顯著提高，大大超過(guò)了現(xiàn)有的實(shí)時(shí)目標(biāo)檢測(cè)器，在MS COCO數(shù)據(jù)集上樹(shù)立了新的標(biāo)桿。官方代碼目前已經(jīng)開(kāi)源。本文我們將結(jié)合之前開(kāi)發(fā)的LabVIEW AI工具包for OpenVINO 工具包部署YOLO9模型實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè)。

項(xiàng)目源碼：

https://pan.baidu.com/s/1DXX4ZhoRgu9h6roJXxAfzA?pwd=yiku

前言

01

LabVIEW AI工具包for OpenVINO

OpenVINO 是一個(gè)由英特爾開(kāi)發(fā)的開(kāi)源框架，可以加速計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)推理在邊緣設(shè)備上的應(yīng)用。它提供了一套全面的工具和預(yù)訓(xùn)練模型，支持快速開(kāi)發(fā)和部署，優(yōu)化了多種英特爾硬件的性能，包括CPU、GPU、FPGA和VPU。OpenVINO 支持跨平臺(tái)部署，使得開(kāi)發(fā)者能夠無(wú)縫集成最先進(jìn)的人工智能能力到其應(yīng)用中，從而實(shí)現(xiàn)高效、低延遲的推理性能。

OpenVINO 2023.3版本是最新長(zhǎng)期支持版本，引入了額外的框架更改，優(yōu)化了生成式AI模型的特性，并增強(qiáng)了對(duì)現(xiàn)有平臺(tái)的支持。在大型語(yǔ)言模型推理、KV緩存處理和低精度運(yùn)行時(shí)間方面做了新的優(yōu)化。此外，該版本新增了對(duì)新平臺(tái)的全面支持，包括在CPU上對(duì)int4和int8權(quán)重壓縮的支持，并優(yōu)化了首個(gè)令牌生成的延遲。用戶(hù)可以很方便地在英特爾CPU、GPU(intel)、FPGA、VPU等硬件上跑AI應(yīng)用。

LabVIEW AI工具包 for OpenVINO 是我們（VIRobotics團(tuán)隊(duì)）基于OpenVINO 2023.3LTS開(kāi)發(fā)的一款A(yù)I推理加速工具包，整個(gè)工具包作為L(zhǎng)abVIEW的插件，可以顯著提升在LabVIEW環(huán)境中開(kāi)發(fā)和部署計(jì)算機(jī)視覺(jué)及深度學(xué)習(xí)應(yīng)用的效率和性能。利用OpenVINO 在加速邊緣設(shè)備上的深度學(xué)習(xí)推理的能力，使得用戶(hù)能夠在LabVIEW的圖形編程環(huán)境中直接訪(fǎng)問(wèn)高效的AI模型推理。這不僅簡(jiǎn)化了開(kāi)發(fā)流程，降低了對(duì)專(zhuān)業(yè)深度學(xué)習(xí)知識(shí)的需求，還能充分發(fā)揮英特爾硬件（CPU、GPU(intel)、FPGA、VPU）在A(yíng)I推理方面的優(yōu)勢(shì)，從而實(shí)現(xiàn)更快的處理速度、更低的延遲以及更高的準(zhǔn)確度。

02

YOLOv9模型

YOLOv9 在COCO 數(shù)據(jù)集上的表現(xiàn)體現(xiàn)了其在實(shí)時(shí)物體檢測(cè)方面的顯著進(jìn)步，為各種模型大小設(shè)定了新的基準(zhǔn)。具體如下圖所示。

COCO 數(shù)據(jù)集：

https://docs.ultralytics.com/zh/datasets/detect/coco/

如下圖所示，在MS COCO數(shù)據(jù)集上實(shí)時(shí)目標(biāo)檢測(cè)器的比較中，基于GELAN和PGI的目標(biāo)檢測(cè)方法在目標(biāo)檢測(cè)性能方面超越了所有先前的從頭開(kāi)始訓(xùn)練的方法。在準(zhǔn)確性方面，新方法優(yōu)于使用大型數(shù)據(jù)集預(yù)訓(xùn)練的RT DETR，同時(shí)也優(yōu)于基于深度卷積設(shè)計(jì)的YOLO MS在參數(shù)利用方面的表現(xiàn)。

YOLOv9環(huán)境搭建

1. 部署本項(xiàng)目時(shí)所用環(huán)境

操作系統(tǒng)：Windows 64

LabVIEW：2018及以上 64位版本

AI視覺(jué)工具包：

techforce_lib_opencv_cpu-1.0.0.26.vip

LabVIEW AI工具包for OpenVINO：

virobotics_lib_openvino-1.0.0.36.vip

LabVIEW Object_Detection工具包

2. 軟件下載及安裝

在Windows上搭建OpenVINO LabVIEW開(kāi)發(fā)環(huán)境

https://github.com/VIRobotics/openvino_handbook/blob/main/doc/Install_OpenVINO_LabVIEW_Windows.md

3. LabVIEW Object_Detection工具包下載與安裝

在下載鏈接：

https://pan.baidu.com/s/1bBQuc6gA8SQ5HPfBp1p83A?pwd=yiku

中下載并安裝Object_Detection工具包

項(xiàng)目實(shí)踐

01

項(xiàng)目簡(jiǎn)介

本文我們將結(jié)合之前開(kāi)發(fā)的 LabVIEW OpenVINO 工具包和LabVIEW Object_Detection工具包部署YOLOv9模型實(shí)現(xiàn)視頻流及實(shí)時(shí)目標(biāo)檢測(cè)。

整個(gè)項(xiàng)目工程如下，項(xiàng)目模型以YOLOv9-C為例

model：yolov9 IR模型文件及coco.names文件

video：測(cè)試視頻

yolov9_openvino_video.vi：yolov9檢測(cè)視頻流

yolov9_openvino_video.vi：yolov9實(shí)時(shí)目標(biāo)檢測(cè)

02

加載YOLOv9模型實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè)

1. 模型及其他初始化：

加載yolov9模型及coco.name文件并實(shí)現(xiàn)必要參數(shù)的初始化；

2. 攝像頭圖像采集：

啟動(dòng)攝像頭，設(shè)置相機(jī)分辨率并采集圖像

3. 實(shí)時(shí)推理并繪制檢測(cè)結(jié)果：

進(jìn)行圖像預(yù)處理，推理，并獲取推理結(jié)果，將結(jié)果繪制出來(lái)，以圖片控件的形式顯示在前面板上；

4. 釋放資源：

釋放相機(jī)資源及模型所占內(nèi)存等資源

5. 完整源碼；

03

運(yùn)行效果

請(qǐng)讀者先下載本文的源代碼到本地

項(xiàng)目源碼鏈接：

https://pan.baidu.com/s/1DXX4ZhoRgu9h6roJXxAfzA?pwd=yiku

按照前文YOLOv9環(huán)境搭建安裝相關(guān)工具包，然后運(yùn)行 yolov9_openvino_video.vi（運(yùn)行之前請(qǐng)確保電腦已聯(lián)網(wǎng)），運(yùn)行結(jié)果如下圖所示：

審核編輯：劉清