用OpenVINO C# API在intel平臺(tái)部署YOLOv10目標(biāo)檢測模型

作者：顏國進(jìn)

英特爾邊緣計(jì)算創(chuàng)新大使

最近YOLO家族又添新成員：YOLOv10，YOLOv10提出了一種一致的雙任務(wù)方法，用于無nms訓(xùn)練的YOLOs，它同時(shí)帶來了具有競爭力的性能和較低的推理延遲。此外，還介紹了整體效率-精度驅(qū)動(dòng)的模型設(shè)計(jì)策略,從效率和精度兩個(gè)角度對YOLOs的各個(gè)組成部分進(jìn)行了全面優(yōu)化，大大降低了計(jì)算開銷，增強(qiáng)了性能。在本文中，我們將結(jié)合OpenVINO C# API使用最新發(fā)布的OpenVINO 2024.1部署YOLOv10目標(biāo)檢測模型。

1前言

1OpenVINO C# API

英特爾發(fā)行版OpenVINO工具套件基于oneAPI而開發(fā)，可以加快高性能計(jì)算機(jī)視覺和深度學(xué)習(xí)視覺應(yīng)用開發(fā)速度工具套件，適用于從邊緣到云的各種英特爾平臺(tái)上，幫助用戶更快地將更準(zhǔn)確的真實(shí)世界結(jié)果部署到生產(chǎn)系統(tǒng)中。通過簡化的開發(fā)工作流程，OpenVINO可賦能開發(fā)者在現(xiàn)實(shí)世界中部署高性能應(yīng)用程序和算法。

2024年4月25日，英特爾發(fā)布了開源OpenVINO 2024.1工具包，用于在各種硬件上優(yōu)化和部署人工智能推理。更新了更多的Gen AI覆蓋范圍和框架集成，以最大限度地減少代碼更改。同時(shí)提供了更廣泛的 LLM 模型支持和更多的模型壓縮技術(shù)。通過壓縮嵌入的額外優(yōu)化減少了LLM編譯時(shí)間，改進(jìn)了采用英特爾高級(jí)矩陣擴(kuò)展（Intel AMX） 的第4代和第5代英特爾至強(qiáng)處理器上LLM的第1令牌性能。通過對英特爾銳炫 GPU的oneDNN、INT4 和 INT8 支持，實(shí)現(xiàn)更好的LLM壓縮和改進(jìn)的性能。最后實(shí)現(xiàn)了更高的可移植性和性能，可在邊緣、云端或本地運(yùn)行AI。

OpenVINO C# API 是一個(gè) OpenVINO 的 .Net wrapper，應(yīng)用最新的 OpenVINO 庫開發(fā)，通過 OpenVINO C API 實(shí)現(xiàn) .Net 對 OpenVINO Runtime 調(diào)用，使用習(xí)慣與 OpenVINO C++ API 一致。OpenVINO C# API 由于是基于 OpenVINO 開發(fā)，所支持的平臺(tái)與 OpenVINO 完全一致，具體信息可以參考 OpenVINO。通過使用OpenVINO C# API，可以在.NET、.NET Framework等框架下使用C#語言實(shí)現(xiàn)深度學(xué)習(xí)模型在指定平臺(tái)推理加速。

2YOLOv10

在過去的幾年里，由于在計(jì)算成本和檢測性能之間取得了有效的平衡，YOLOs已經(jīng)成為實(shí)時(shí)目標(biāo)檢測領(lǐng)域的主導(dǎo)范式。然而，對非最大抑制（NMS）的后處理依賴阻礙了yolo的端到端部署，并對推理延遲產(chǎn)生不利影響。為了解決這些問題，首先提出了一種一致的雙任務(wù)方法，用于無nms訓(xùn)練的YOLOs，它同時(shí)帶來了具有競爭力的性能和較低的推理延遲。此外，我們還介紹了整體效率-精度驅(qū)動(dòng)的模型設(shè)計(jì)策略。我們從效率和精度兩個(gè)角度對YOLOs的各個(gè)組成部分進(jìn)行了全面優(yōu)化，大大降低了計(jì)算開銷，增強(qiáng)了性能。我們的努力成果是用于實(shí)時(shí)端到端目標(biāo)檢測的新一代YOLO系列，稱為YOLOv10。大量的實(shí)驗(yàn)表明，YOLOv10在各種模型尺度上都達(dá)到了最先進(jìn)的性能和效率。例如，我們的YOLOv10-S在COCO上類似的AP下比RT-DETR-R18快1.8倍，同時(shí)參數(shù)數(shù)量和FLOPs減少2.8倍。與YOLOv9-C相比，在相同性能下，YOLOv10-B的延遲減少了46%，參數(shù)減少了25%。

下圖為YOLOv10官方提供的模型訓(xùn)練精度以及不同模型數(shù)據(jù)量，可以看出YOLOv10與之前其他系列相比，數(shù)據(jù)量在減少的同時(shí)，精度依舊有所提升。

2模型獲取

1源碼下載

YOLOv10模型需要源碼進(jìn)行下載，首先克隆GitHub上的源碼，輸入以下指令：

git clone https://github.com/THU-MIG/yolov10.git
cd yolov10

2配置環(huán)境

接下來安裝模型下載以及轉(zhuǎn)換環(huán)境，此處使用Anaconda進(jìn)行程序集管理，輸入以下指令創(chuàng)建一個(gè)yolov10環(huán)境：

conda create -n yolov10 python=3.9
conda activate yolov10
pip install -r requirements.txt
pip install -e .

然后安裝OpenVINO環(huán)境，輸入以下指令：

pip install openvino==2024.1.0

3下載模型

首先導(dǎo)出目標(biāo)識(shí)別模型，此處以官方預(yù)訓(xùn)練模型為例，首先下載預(yù)訓(xùn)練模型文件，然后調(diào)用yolo導(dǎo)出ONBNX格式的模型文件，最后使用OpenVINO的模型轉(zhuǎn)換命令將模型轉(zhuǎn)為IR格式，依次輸入以下指令即可：

wget https://github.com/jameslahm/yolov10/releases/download/v1.0/yolov10s.pt
yolo export model=yolov10s.pt format=onnx opset=13 simplify
ovc yolov10s.onnx

模型的結(jié)構(gòu)如下圖所示：

3Yolov10 項(xiàng)目配置

1項(xiàng)目創(chuàng)建與環(huán)境配置

在Windows平臺(tái)開發(fā)者可以使用Visual Studio平臺(tái)開發(fā)程序，但無法跨平臺(tái)實(shí)現(xiàn)，為了實(shí)現(xiàn)跨平臺(tái)，此處采用dotnet指令進(jìn)行項(xiàng)目的創(chuàng)建和配置。

首先使用dotnet創(chuàng)建一個(gè)測試項(xiàng)目，在終端中輸入一下指令：

dotnet new console --framework net6.0 --use-program-main -o yolov10

此處以Windows平臺(tái)為例安裝項(xiàng)目依賴，首先是安裝OpenVINO C# API項(xiàng)目依賴，在命令行中輸入以下指令即可：

dotnet add package OpenVINO.CSharp.API
dotnet add package OpenVINO.runtime.win
dotnet add package OpenVINO.CSharp.API.Extensions
dotnet add package OpenVINO.CSharp.API.Extensions.OpenCvSharp

接下來安裝使用到的圖像處理庫OpenCvSharp，在命令行中輸入以下指令即可：

dotnet add package OpenCvSharp4
dotnet add package OpenCvSharp4.Extensions
dotnet add package OpenCvSharp4.runtime.win

關(guān)于在其他平臺(tái)上搭建 OpenCvSharp 開發(fā)環(huán)境請參考以下文章：《【OpenCV】在Linux上使用OpenCvSharp》、《【OpenCV】在MacOS上使用OpenCvSharp》。

添加完成項(xiàng)目依賴后，項(xiàng)目的配置文件如下所示：

 
  Exe
  net6.0
  enable
  enable
 
 
 
  
  
  
  
  
  
 

2定義模型預(yù)測方法

使用OpenVINO C# API部署模型主要包括以下幾個(gè)步驟：

初始化OpenVINO Runtime Core

讀取本地模型（將圖片數(shù)據(jù)預(yù)處理方式編譯到模型）

將模型編譯到指定設(shè)備

創(chuàng)建推理通道

處理圖像輸入數(shù)據(jù)

設(shè)置推理輸入數(shù)據(jù)

模型推理

獲取推理結(jié)果

處理結(jié)果數(shù)據(jù)

3定義目標(biāo)檢測模型方法

按照OpenVINO C# API部署深度學(xué)習(xí)模型的步驟，編寫YOLOv10模型部署流程，在之前的項(xiàng)目里，我們已經(jīng)部署了YOLOv5~9等一系列模型，其部署流程是基本一致的，YOLOv10模型部署代碼如下所示：

static void yolov10_det(string model_path, string image_path, string device)
{
  // -------- Step 1. Initialize OpenVINO Runtime Core --------
  Core core = new Core();
  // -------- Step 2. Read inference model --------
  Model model = core.read_model(model_path);
  OvExtensions.printf_model_info(model);
  // -------- Step 3. Loading a model to the device --------
  CompiledModel compiled_model = core.compile_model(model, device);
  // -------- Step 4. Create an infer request --------
  InferRequest infer_request = compiled_model.create_infer_request();
  // -------- Step 5. Process input images --------
  Mat image = new Mat(image_path); // Read image by opencvsharp
  int max_image_length = image.Cols > image.Rows ? image.Cols : image.Rows;
  Mat max_image = Mat.Zeros(new OpenCvSharp.Size(max_image_length, max_image_length), MatType.CV_8UC3);
  Rect roi = new Rect(0, 0, image.Cols, image.Rows);
  image.CopyTo(new Mat(max_image, roi));
  float factor = (float)(max_image_length / 640.0);
  // -------- Step 6. Set up input data --------
  Tensor input_tensor = infer_request.get_input_tensor();
  Shape input_shape = input_tensor.get_shape();
  Mat input_mat = CvDnn.BlobFromImage(max_image, 1.0 / 255.0, new OpenCvSharp.Size(input_shape[2], input_shape[3]), 0, true, false);
  float[] input_data = new float[input_shape[1] * input_shape[2] * input_shape[3]];
  Marshal.Copy(input_mat.Ptr(0), input_data, 0, input_data.Length);
  input_tensor.set_data(input_data);
  // -------- Step 7. Do inference synchronously --------
  infer_request.infer();
  // -------- Step 8. Get infer result data --------
  Tensor output_tensor = infer_request.get_output_tensor();
  int output_length = (int)output_tensor.get_size();
  float[] output_data = output_tensor.get_data(output_length);
  // -------- Step 9. Process reault --------
  List position_boxes = new List();
  List class_ids = new List();
  List confidences = new List();
  // Preprocessing output results
  for (int i = 0; i < output_data.Length / 6; i++)
 ?{
 ? ? ? int s = 6 * i;
 ? ? ? if ((float)output_data[s + 4] > 0.5)
   {
      float cx = output_data[s + 0];
      float cy = output_data[s + 1];
      float dx = output_data[s + 2];
      float dy = output_data[s + 3];
      int x = (int)((cx) * factor);
      int y = (int)((cy) * factor);
      int width = (int)((dx - cx) * factor);
      int height = (int)((dy - cy) * factor);
      Rect box = new Rect();
      box.X = x;
      box.Y = y;
      box.Width = width;
      box.Height = height;


      position_boxes.Add(box);
      class_ids.Add((int)output_data[s + 5]);
      confidences.Add((float)output_data[s + 4]);
   }
 }


  for (int i = 0; i < class_ids.Count; i++)
 ?{
 ? ? ? int index = i;
 ? ? ? Cv2.Rectangle(image, position_boxes[index], new Scalar(0, 0, 255), 2, LineTypes.Link8);
 ? ? ? Cv2.Rectangle(image, new OpenCvSharp.Point(position_boxes[index].TopLeft.X, position_boxes[index].TopLeft.Y + 30),
 ? ? ? ? ? new OpenCvSharp.Point(position_boxes[index].BottomRight.X, position_boxes[index].TopLeft.Y), new Scalar(0, 255, 255), -1);
 ? ? ? Cv2.PutText(image, class_ids[index] + "-" + confidences[index].ToString("0.00"),
 ? ? ? ? ? new OpenCvSharp.Point(position_boxes[index].X, position_boxes[index].Y + 25),
 ? ? ? ? ? HersheyFonts.HersheySimplex, 0.8, new Scalar(0, 0, 0), 2);
 ?}
 ? string output_path = Path.Combine(Path.GetDirectoryName(Path.GetFullPath(image_path)),
 ? ? ? Path.GetFileNameWithoutExtension(image_path) + "_result.jpg");
 ? Cv2.ImWrite(output_path, image);
 ? Slog.INFO("The result save to " + output_path);
 ? Cv2.ImShow("Result", image);
 ? Cv2.WaitKey(0);
}

4使用OpenVINO 預(yù)處理接口編譯模型

OpenVINO提供了推理數(shù)據(jù)預(yù)處理接口，用戶可以更具模型的輸入數(shù)據(jù)預(yù)處理方式進(jìn)行設(shè)置。在讀取本地模型后，調(diào)用數(shù)據(jù)預(yù)處理接口，按照模型要求的數(shù)據(jù)預(yù)處理方式進(jìn)行輸入配置，然后再將配置好的預(yù)處理接口與模型編譯到一起，這樣便實(shí)現(xiàn)了將模型預(yù)處理與模型結(jié)合在一起，實(shí)現(xiàn)OpenVINO對于處理過程的加速。主要是現(xiàn)在代碼如下所示：

static void yolov10_det_process(string model_path, string image_path, string device)
{
  // -------- Step 1. Initialize OpenVINO Runtime Core --------
  Core core = new Core();
  // -------- Step 2. Read inference model --------
  Model model = core.read_model(model_path);
  OvExtensions.printf_model_info(model);
  PrePostProcessor processor = new PrePostProcessor(model);
  Tensor input_tensor_pro = new Tensor(new OvType(ElementType.U8), new Shape(1, 640, 640, 3));
  InputInfo input_info = processor.input(0);
  InputTensorInfo input_tensor_info = input_info.tensor();
  input_tensor_info.set_from(input_tensor_pro).set_layout(new Layout("NHWC")).set_color_format(ColorFormat.BGR);


  PreProcessSteps process_steps = input_info.preprocess();
  process_steps.convert_color(ColorFormat.RGB).resize(ResizeAlgorithm.RESIZE_LINEAR)
   .convert_element_type(new OvType(ElementType.F32)).scale(255.0f).convert_layout(new Layout("NCHW"));
  Model new_model = processor.build();
  // -------- Step 3. Loading a model to the device --------
  CompiledModel compiled_model = core.compile_model(new_model, device);
  // -------- Step 4. Create an infer request --------
  InferRequest infer_request = compiled_model.create_infer_request();
  // -------- Step 5. Process input images --------
  Mat image = new Mat(image_path); // Read image by opencvsharp
  int max_image_length = image.Cols > image.Rows ? image.Cols : image.Rows;
  Mat max_image = Mat.Zeros(new OpenCvSharp.Size(max_image_length, max_image_length), MatType.CV_8UC3);
  Rect roi = new Rect(0, 0, image.Cols, image.Rows);
  image.CopyTo(new Mat(max_image, roi));
  Cv2.Resize(max_image, max_image, new OpenCvSharp.Size(640, 640));
  float factor = (float)(max_image_length / 640.0);
  // -------- Step 6. Set up input data --------
  Tensor input_tensor = infer_request.get_input_tensor();
  Shape input_shape = input_tensor.get_shape();
  byte[] input_data = new byte[input_shape[1] * input_shape[2] * input_shape[3]];
  //max_image.GetArray(out input_data);
  Marshal.Copy(max_image.Ptr(0), input_data, 0, input_data.Length);
  IntPtr destination = input_tensor.data();
  Marshal.Copy(input_data, 0, destination, input_data.Length);
  // -------- Step 7. Do inference synchronously --------
... ...(后續(xù)與上文代碼一致)
}

5模型預(yù)測方法調(diào)用

定義完模型推理接口后，便可以在主函數(shù)里進(jìn)行調(diào)用。此處為了讓大家更好的復(fù)現(xiàn)本文代碼，提供了在線模型，用戶只需要運(yùn)行以下代碼，便可以直接下載轉(zhuǎn)換好的模型進(jìn)行模型推理，無需再自行轉(zhuǎn)換，主函數(shù)代碼如下所示：

static void Main(string[] args)
{
  string model_path = "";
  string image_path = "";
  string device = "AUTO";
  if (args.Length == 0)
 {
    if (!Directory.Exists("./model"))
   {
      Directory.CreateDirectory("./model");
   }
    if (!File.Exists("./model/yolov10s.bin") && !File.Exists("./model/yolov10s.bin"))
   {
      if (!File.Exists("./model/yolov10s.tar"))
     {
        _ = Download.download_file_async("https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/releases/download/Model/yolov10s.tar",
          "./model/yolov10s.tar").Result;
     }
      Download.unzip("./model/yolov10s.tar", "./model/");
   }


    if (!File.Exists("./model/test_image.jpg"))
   {
      _ = Download.download_file_async("https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/releases/download/Image/test_det_02.jpg",
        "./model/test_image.jpg").Result;
   }
    model_path = "./model/yolov10s.xml";
    image_path = "./model/test_image.jpg";
 }
  else if (args.Length >= 2)
 {
    model_path = args[0];
    image_path = args[1];
    device = args[2];
 }
  else
 {
    Console.WriteLine("Please enter the correct command parameters, for example:");
    Console.WriteLine("> 1. dotnet run");
    Console.WriteLine("> 2. dotnet run   ");
 }
  // -------- Get OpenVINO runtime version --------


  OpenVinoSharp.Version version = Ov.get_openvino_version();


  Slog.INFO("---- OpenVINO INFO----");
  Slog.INFO("Description : " + version.description);
  Slog.INFO("Build number: " + version.buildNumber);


  Slog.INFO("Predict model files: " + model_path);
  Slog.INFO("Predict image files: " + image_path);
  Slog.INFO("Inference device: " + device);
  Slog.INFO("Start yolov8 model inference.");


  //yolov10_det(model_path, image_path, device);
  yolov10_det_process(model_path, image_path, device);
}

代碼提示：

由于篇幅限制，上文中只展示了部分代碼，想要獲取全部源碼，請?jiān)L問項(xiàng)目GitHub自行下載：

使用OpenVINO C# API部署YOLOv10目標(biāo)檢測模型：

https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/blob/master/model_samples/yolov10/yolov10_det_opencvsharp/Program.cs

此外為了滿足習(xí)慣使用EmguCV處理圖像數(shù)據(jù)的開發(fā)者，此處我們也提供了EmguCV版本代碼：

使用OpenVINO C# API部署YOLOv10目標(biāo)檢測模型：

https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/blob/master/model_samples/yolov10/yolov10_det_emgucv/Program.cs

4項(xiàng)目運(yùn)行與演示

1項(xiàng)目編譯和運(yùn)行

接下來輸入項(xiàng)目編譯指令進(jìn)行項(xiàng)目編譯，輸入以下指令即可：

dotnet build

接下來運(yùn)行編譯后的程序文件，在CMD中輸入以下指令，運(yùn)行編譯后的項(xiàng)目文件：

dotnet run --no-build

2YOLOv10 目標(biāo)檢測模型運(yùn)行結(jié)果

下圖為YOLOv10 目標(biāo)檢測模型運(yùn)行輸出信息，此處我們使用在線轉(zhuǎn)換好的模型進(jìn)行推理。，首先會(huì)下載指定模型以及推理數(shù)據(jù)到本地，這樣避免了開發(fā)者在自己配置環(huán)境和下載模型；接下來是輸出打印 OpenVINO 版本信息，此處我們使用NuGet安裝的依賴項(xiàng)，已經(jīng)是OpenVINO 2024.0最新版本；接下來就是打印相關(guān)的模型信息，并輸出每個(gè)過程所消耗時(shí)間。

5總結(jié)

在該項(xiàng)目中，我們結(jié)合之前開發(fā)的OpenVINO C# API項(xiàng)目部署YOLOv10模型，成功實(shí)現(xiàn)了對象目標(biāo)檢測與實(shí)例分割，并且根據(jù)不同開發(fā)者的使用習(xí)慣，同時(shí)提供了OpenCvSharp以及Emgu.CV兩種版本，供各位開發(fā)者使用。最后如果各位開發(fā)者在使用中有任何問題，歡迎大家與我聯(lián)系。