在Windows上使用OpenVINO? C# API部署Yolov8-obb實(shí)現(xiàn)任意方向的目標(biāo)檢測(cè)

Ultralytics YOLOv8 基于深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)領(lǐng)域的尖端技術(shù)，在速度和準(zhǔn)確性方面具有無(wú)與倫比的性能。其流線型設(shè)計(jì)使其適用于各種應(yīng)用，并可輕松適應(yīng)從邊緣設(shè)備到云 API 等不同硬件平臺(tái)。YOLOv8 OBB 模型是 YOLOv8 系列模型最新推出的任意方向的目標(biāo)檢測(cè)模型，可以檢測(cè)任意方向的對(duì)象，大大提高了物體檢測(cè)的精度。同時(shí)官方發(fā)布的模型已經(jīng)支持 OpenVINO 部署工具加速模型推理，因此在該項(xiàng)目中，我們將結(jié)合之前開(kāi)發(fā)的 OpenVINO C# API 部署 YOLOv8 OBB 模型實(shí)現(xiàn)旋轉(zhuǎn)物體對(duì)象檢測(cè)。

01

1.1

OpenVINO C# API

英特爾發(fā)行版 OpenVINO 工具套件基于 oneAPI 而開(kāi)發(fā)，可以加快高性能計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)視覺(jué)應(yīng)用開(kāi)發(fā)速度工具套件，適用于從邊緣到云的各種英特爾平臺(tái)上，幫助用戶(hù)更快地將更準(zhǔn)確的真實(shí)世界結(jié)果部署到生產(chǎn)系統(tǒng)中。通過(guò)簡(jiǎn)化的開(kāi)發(fā)工作流程，OpenVINO 可賦能開(kāi)發(fā)者在現(xiàn)實(shí)世界中部署高性能應(yīng)用程序和算法。

OpenVINO 2023.2 于 2023 年 11 月 16 日發(fā)布，該工具包帶來(lái)了挖掘生成人工智能全部潛力的新功能。更多的生成式 AI 覆蓋和框架集成，以最大限度地減少代碼更改，并且擴(kuò)展了對(duì)直接 PyTorch 模型轉(zhuǎn)換的模型支持。支持更多新的模型，包括 LLaVA、chatGLM、Bark 和 LCM 等著名模型。支持更廣泛的大型語(yǔ)言模型（LLM）和更多模型壓縮技術(shù)，運(yùn)行推理時(shí)支持 INT4/INT8 以及 NF4 權(quán)重壓縮的模型格式，通過(guò)神經(jīng)網(wǎng)絡(luò)壓縮框架（NNCF） 進(jìn)行本機(jī) Int4 壓縮等一系列新的功能。

OpenVINO C# API 是一個(gè) OpenVINO 的 .Net wrapper，應(yīng)用最新的 OpenVINO 庫(kù)開(kāi)發(fā)，通過(guò) OpenVINO C API 實(shí)現(xiàn) .Net 對(duì) OpenVINO Runtime 調(diào)用，使用習(xí)慣與 OpenVINO C++ API 一致。OpenVINO C# API 由于是基于 OpenVINO 開(kāi)發(fā)，所支持的平臺(tái)與 OpenVINO 完全一致，具體信息可以參考 OpenVINO。通過(guò)使用 OpenVINO C# API，可以在 .NET、.NET Framework 等框架下使用 C# 語(yǔ)言實(shí)現(xiàn)深度學(xué)習(xí)模型在指定平臺(tái)推理加速。

1.2

YOLOv8 OBB 模型

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)中的一項(xiàng)基本任務(wù)，目前許多研究都是采用水平邊界框來(lái)定位圖像中的物體。然而，圖像中的物體通常是任意方向的。因此，使用水平邊界框來(lái)檢測(cè)目標(biāo)會(huì)引起物體檢測(cè)框通常包含許多背景區(qū)域，檢測(cè)框內(nèi)存在過(guò)多的背景區(qū)域，不僅增加了分類(lèi)任務(wù)的難度，而且會(huì)導(dǎo)致目標(biāo)范圍表示不準(zhǔn)確的問(wèn)題。其次，水平邊界框會(huì)導(dǎo)致檢測(cè)框之間出現(xiàn)重疊，降低檢測(cè)精度。

通過(guò)使用帶有角度信息的旋轉(zhuǎn)檢測(cè)框可以有效解決上述問(wèn)題，它引入了一個(gè)額外的角度來(lái)更準(zhǔn)確地定位圖像中的物體。Ultralytics YOLOv8 基于深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)領(lǐng)域的尖端技術(shù)，在速度和準(zhǔn)確性方面具有無(wú)與倫比的性能。其流線型設(shè)計(jì)使其適用于各種應(yīng)用，并可輕松適應(yīng)從邊緣設(shè)備到云 API 等不同硬件平臺(tái)。

YOLOv8 OBB 模型是 YOLOv8 系列模型最新推出的任意方向的目標(biāo)檢測(cè)模型，其模型輸出結(jié)果是一組旋轉(zhuǎn)的邊界框，這些邊界框精確地包圍了圖像中的物體，同時(shí)還包括每個(gè)邊界框的類(lèi)標(biāo)簽和置信度分?jǐn)?shù)。當(dāng)你需要識(shí)別場(chǎng)景中感興趣的物體，但又不需要知道物體的具體位置或確切形狀時(shí)，物體檢測(cè)是一個(gè)不錯(cuò)的選擇。

02

YOLOv8 OBB 模型下載與轉(zhuǎn)換

2.1

安裝模型下載與轉(zhuǎn)換環(huán)境

此處主要安裝 YOLOv8 OBB 模型導(dǎo)出環(huán)境以及 OpenVINO 模型轉(zhuǎn)換環(huán)境，使用 Anaconda 進(jìn)行環(huán)境創(chuàng)建，依次輸入以下指令：

conda create -n yolo python=3.10 
conda activate yolo 
pip install ultralytics 
pip install --upgrade openvino-nightly

此處只需要安裝以上兩個(gè)程序包即可。

2.2

導(dǎo)出 YOLOv8 OBB 模型

接下來(lái)以 Yolov8s-obb 模型到處為例，演示如何快速導(dǎo)出官方提供的預(yù)訓(xùn)練模型，首先在創(chuàng)建的虛擬環(huán)境中輸入以下命令：

yolo export model=yolov8s-obb.pt format=onnx 

下圖展示了模型導(dǎo)出命令輸出情況：

接下來(lái)查看導(dǎo)出的 Yolov8s-obb 模型的結(jié)構(gòu)情況，通過(guò) Netron 可以進(jìn)行查看，如下所示：

模型識(shí)別類(lèi)別：由于官方模型是在 DOTAv1 數(shù)據(jù)集上預(yù)訓(xùn)練的，因此導(dǎo)出的模型可以識(shí)別出 15 種類(lèi)別，分別是：plane 、ship storage tank、baseball diamond、tennis court、basketball court、ground track field、harbor、bridge、large vehicle、small vehicle、helicopter、roundabout、soccer ball field、swimming pool。

DOTAv1：

https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/DOTAv1.yaml

模型輸入：

模型輸入名稱(chēng)為“image”，輸入大小為 1×3×1024×1024 的歸一化后的圖像數(shù)據(jù)，數(shù)據(jù)類(lèi)型為 float。

模型輸出：

模型的輸出名稱(chēng)為“output0”，輸出大小為 1×20×21504，輸出數(shù)據(jù)為 float。其中“20”表示為 [x, y, w, h, sorce0, ···, sorce14, angle] 的數(shù)組，數(shù)組中 0~3 這四個(gè)參數(shù)為預(yù)測(cè)框的矩形位置，數(shù)組中 4~18 這 15 個(gè)參數(shù)表示 15 各類(lèi)別的分類(lèi)置信度，數(shù)組中 19 這個(gè)參數(shù)表示預(yù)測(cè)框的旋轉(zhuǎn)角度；“21504”表示輸入為 1024 的模型三個(gè)檢測(cè)頭的輸出大小，總共有 21504 (1024÷8=128，1024÷16=64，1024÷32=32，128×128+64×64+32×32=21504) 種結(jié)果。

2.3

轉(zhuǎn)換 IR 模型

接下來(lái)直接使用 OpenVINO 工具直接進(jìn)行模型轉(zhuǎn)換，在 CMD 中輸入以下指令即可：

ovc yolov8s-obb.onnx

模型導(dǎo)出輸出如下圖所示。

03

YOLOv8 OBB 項(xiàng)目配置

（OpenCvSharp）

此處項(xiàng)目創(chuàng)建與運(yùn)行演示使用 dotnet 工具進(jìn)行，大家也可以通過(guò) Visual Studio 等 IDE 工具進(jìn)行項(xiàng)目創(chuàng)建與運(yùn)行。首先講解一下使用 OpenCvSharp 作為圖像處理工具的代碼程序。

3.1

項(xiàng)目創(chuàng)建

首先使用 dotnet 工具創(chuàng)建一個(gè)控制臺(tái)應(yīng)用，在 CMD 中輸入以下指令：

dotnet new console --framework net6.0 --use-program-main -o yolov8_obb_opencvsharp 
cd yolov8_obb_opencvsharp

項(xiàng)目創(chuàng)建后輸出為：

3.2

添加項(xiàng)目依賴(lài)

此處以 Windows 平臺(tái)為例安裝項(xiàng)目依賴(lài)，首先是安裝 OpenVINO C# API 項(xiàng)目依賴(lài)，在命令行中輸入以下指令即可：

dotnet add package OpenVINO.CSharp.API 
dotnet add package OpenVINO.runtime.win 
dotnet add package OpenVINO.CSharp.API.Extensions 
dotnet add package OpenVINO.CSharp.API.Extensions.OpenCvSharp 

接下來(lái)安裝使用到的圖像處理庫(kù) OpenCvSharp，在命令行中輸入以下指令即可：

dotnet add package OpenCvSharp4 
dotnet add package OpenCvSharp4.Extensions 
dotnet add package OpenCvSharp4.runtime.win

添加完成項(xiàng)目依賴(lài)后，項(xiàng)目的配置文件如下所示：

 
 
  
  Exe 
  net6.0 
  enable 
  enable 
  
 
  
   
   
   
   
   
   
   
  
 

3.3

定義預(yù)測(cè)方法

Yolov8 Obb 模型部署流程與方式與 Yolov8 Det 基本一致，其主要不同點(diǎn)在與其結(jié)果的后處理方式，本項(xiàng)目所定義的 Yolov8 Obb 模型推理代碼如下所示：

static void yolov8_obb(string model_path, string image_path, string device) 
{ 
  // -------- Step 1. Initialize OpenVINO Runtime Core -------- 
  Core core = new Core(); 
  // -------- Step 2. Read inference model -------- 
  Model model = core.read_model(model_path); 
  OvExtensions.printf_model_info(model); 
  // -------- Step 3. Loading a model to the device -------- 
  CompiledModel compiled_model = core.compile_model(model, device); 
  // -------- Step 4. Create an infer request -------- 
  InferRequest infer_request = compiled_model.create_infer_request(); 
  // -------- Step 5. Process input images -------- 
  Mat image = new Mat(image_path); // Read image by opencvsharp 
  int max_image_length = image.Cols > image.Rows ? image.Cols : image.Rows; 
  Mat max_image = Mat.Zeros(new OpenCvSharp.Size(max_image_length, max_image_length), MatType.CV_8UC3); 
  Rect roi = new Rect(0, 0, image.Cols, image.Rows); 
  image.CopyTo(new Mat(max_image, roi)); 
  float factor = (float)(max_image_length / 1024.0); 
  // -------- Step 6. Set up input data -------- 
  Tensor input_tensor = infer_request.get_input_tensor(); 
  Shape input_shape = input_tensor.get_shape(); 
  Mat input_mat = CvDnn.BlobFromImage(max_image, 1.0 / 255.0, new OpenCvSharp.Size(input_shape[2], input_shape[3]), 0, true, false); 
  float[] input_data = new float[input_shape[1] * input_shape[2] * input_shape[3]]; 
  Marshal.Copy(input_mat.Ptr(0), input_data, 0, input_data.Length); 
  input_tensor.set_data(input_data); 
  // -------- Step 7. Do inference synchronously -------- 
  infer_request.infer(); 
  // -------- Step 8. Get infer result data -------- 
  Tensor output_tensor = infer_request.get_output_tensor(); 
  int output_length = (int)output_tensor.get_size(); 
  float[] output_data = output_tensor.get_data(output_length); 
  // -------- Step 9. Process reault -------- 
  Mat result_data = new Mat(20, 21504, MatType.CV_32F, output_data); 
  result_data = result_data.T(); 
  float[] d = new float[output_length]; 
  result_data.GetArray(out d); 
  // Storage results list 
  List position_boxes = new List(); 
  List class_ids = new List(); 
  List confidences = new List(); 
  List rotations = new List(); 
  // Preprocessing output results 
  for (int i = 0; i < result_data.Rows; i++) 
 ? ?{ 
 ? ? ? ?Mat classes_scores = new Mat(result_data, new Rect(4, i, 15, 1)); 
 ? ? ? ?OpenCvSharp.Point max_classId_point, min_classId_point; 
 ? ? ? ?double max_score, min_score; 
 ? ? ? ?// Obtain the maximum value and its position in a set of data 
 ? ? ? ?Cv2.MinMaxLoc(classes_scores, out min_score, out max_score, 
 ? ? ? ? ? ?out min_classId_point, out max_classId_point); 
 ? ? ? ?// Confidence level between 0 ~ 1 
 ? ? ? ?// Obtain identification box information 
 ? ? ? ?if (max_score > 0.25) 
    { 
      float cx = result_data.At(i, 0); 
      float cy = result_data.At(i, 1); 
      float ow = result_data.At(i, 2); 
      float oh = result_data.At(i, 3); 
      double x = (cx - 0.5 * ow) * factor; 
      double y = (cy - 0.5 * oh) * factor; 
      double width = ow * factor; 
      double height = oh * factor; 
      Rect2d box = new Rect2d(); 
      box.X = x; 
      box.Y = y; 
      box.Width = width; 
      box.Height = height; 
      position_boxes.Add(box); 
      class_ids.Add(max_classId_point.X); 
      confidences.Add((float)max_score); 
      rotations.Add(result_data.At(i, 19)); 
    } 
  } 
  // NMS non maximum suppression 
  int[] indexes = new int[position_boxes.Count]; 
  CvDnn.NMSBoxes(position_boxes, confidences, 0.25f, 0.7f, out indexes); 
  List rotated_rects = new List(); 
  for (int i = 0; i < indexes.Length; i++) 
 ? ?{ 
 ? ? ? ?int index = indexes[i]; 
 ? ? ? ?float w = (float)position_boxes[index].Width; 
 ? ? ? ?float h = (float)position_boxes[index].Height; 
 ? ? ? ?float x = (float)position_boxes[index].X + w / 2; 
 ? ? ? ?float y = (float)position_boxes[index].Y + h / 2; 
 ? ? ? ?float r = rotations[index]; 
 ? ? ? ?float w_ = w > h ? w : h; 
    float h_ = w > h ? h : w; 
    r = (float)((w > h ? r : (float)(r + Math.PI / 2)) % Math.PI); 
    RotatedRect rotate = new RotatedRect(new Point2f(x, y), new Size2f(w_, h_), (float)(r * 180.0 / Math.PI)); 
    rotated_rects.Add(rotate); 
  } 
  for (int i = 0; i < indexes.Length; i++) 
 ? ?{ 
 ? ? ? ?int index = indexes[i]; 
 ? ? ? ?Point2f[] points = rotated_rects[i].Points(); 
 ? ? ? ?for (int j = 0; j < 4; j++) 
 ? ? ? ?{ 
 ? ? ? ? ? ?Cv2.Line(image, (Point)points[j], (Point)points[(j + 1) % 4], new Scalar(255, 100, 200), 2); 
 ? ? ? ?} 
 ? ? ? ?Cv2.PutText(image, class_lables[class_ids[index]] + "-" + confidences[index].ToString("0.00"), 
 ? ? ? ? ? ?(Point)points[0], HersheyFonts.HersheySimplex, 0.8, new Scalar(0, 0, 0), 2); 
 ? ?} 
 ? ?string output_path = Path.Combine(Path.GetDirectoryName(Path.GetFullPath(image_path)), 
 ? ? ? ?Path.GetFileNameWithoutExtension(image_path) + "_result.jpg"); 
 ? ?Cv2.ImWrite(output_path, image); 
 ? ?Slog.INFO("The result save to " + output_path); 
 ? ?Cv2.ImShow("Result", image); 
 ? ?Cv2.WaitKey(0); 
}

Yolov8 Obb 模型的一條預(yù)測(cè)結(jié)果輸出為 [x, y, w, h, sorce0, ···, sorce14, angle]，其中前 19 個(gè)數(shù)據(jù)與 Yolov8 Det 模型的數(shù)據(jù)處理方式是一致的，主要是多了一個(gè)預(yù)測(cè)框旋轉(zhuǎn)角度，因此在處理時(shí)需要同時(shí)記錄旋轉(zhuǎn)角度這一個(gè)數(shù)據(jù)。

3.4

預(yù)測(cè)方法調(diào)用

定義好上述方法后，便可以直接在主函數(shù)中調(diào)用該方法，只需要在主函數(shù)中增加以下代碼即可：

yolov8_obb("yolov8s-obb.xml", "test_image.png", "AUTO");

如果開(kāi)發(fā)者自己沒(méi)有進(jìn)行模型下載與轉(zhuǎn)換，又同時(shí)想快速體驗(yàn)該項(xiàng)目，我此處提供了在線的轉(zhuǎn)換后的模型以及帶預(yù)測(cè)圖片，開(kāi)發(fā)者可以直接在主函數(shù)中增加以下代碼，便可以直接自動(dòng)下載模型以及推理數(shù)據(jù)，并調(diào)用推理方法，實(shí)現(xiàn)程序直接運(yùn)行。

static void Main(string[] args) 
{ 
  string model_path = ""; 
  string image_path = ""; 
  string device = "AUTO"; 
  if (args.Length == 0) 
  { 
    if (!Directory.Exists("./model")) 
    { 
      Directory.CreateDirectory("./model"); 
    } 
    if (!File.Exists("./model/yolov8s-obb.bin") && !File.Exists("./model/yolov8s-obb.bin")) 
    { 
      if (!File.Exists("./model/yolov8s-obb.tar")) 
      { 
        _ = Download.download_file_async("https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/releases/download/Model/yolov8s-obb.tar", 
          "./model/yolov8s-obb.tar").Result; 
      } 
      Download.unzip("./model/yolov8s-obb.tar", "./model/"); 
    } 
    if (!File.Exists("./model/plane.png")) 
    { 
      _ = Download.download_file_async("https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/releases/download/Image/plane.png", 
        "./model/plane.png").Result; 
    } 
    model_path = "./model/yolov8s-obb.xml"; 
    image_path = "./model/plane.png"; 
  } 
  else if (args.Length >= 2) 
  { 
    model_path = args[0]; 
    image_path = args[1]; 
    device = args[2]; 
  } 
  else 
  { 
    Console.WriteLine("Please enter the correct command parameters, for example:"); 
    Console.WriteLine("> 1. dotnet run"); 
    Console.WriteLine("> 2. dotnet run   "); 
  } 
  // -------- Get OpenVINO runtime version -------- 
  OpenVinoSharp.Version version = Ov.get_openvino_version(); 
  Slog.INFO("---- OpenVINO INFO----"); 
  Slog.INFO("Description : " + version.description); 
  Slog.INFO("Build number: " + version.buildNumber); 
 
  Slog.INFO("Predict model files: " + model_path); 
  Slog.INFO("Predict image files: " + image_path); 
  Slog.INFO("Inference device: " + device); 
  Slog.INFO("Start yolov8 model inference."); 
  yolov8_obb(model_path, image_path, device); 
}

04

YOLOv8 OBB 項(xiàng)目配置

相信有不少開(kāi)發(fā)者在 C# 中進(jìn)行圖像處理時(shí)，使用的是 Emgu.CV 工具，因此，在此處我們同時(shí)提供了使用 Emgu.CV 作為圖像處理工具的 YOLOv8 OBB 模型部署代碼。項(xiàng)目的創(chuàng)建方式與流程與上一節(jié)中一致，此處不再進(jìn)行演示：

4.1

添加項(xiàng)目依賴(lài)

此處以 Windows 平臺(tái)為例安裝項(xiàng)目依賴(lài)，首先是安裝 OpenVINO C# API 項(xiàng)目依賴(lài)，在命令行中輸入以下指令即可：

dotnet add package OpenVINO.CSharp.API 
dotnet add package OpenVINO.runtime.win 
dotnet add package OpenVINO.CSharp.API.Extensions 
dotnet add package OpenVINO.CSharp.API.Extensions.EmguCV

接下來(lái)安裝使用到的圖像處理庫(kù) Emgu.CV，在命令行中輸入以下指令即可：

dotnet add package Emgu.CV 
dotnet add package Emgu.CV.runtime.windows

添加完成項(xiàng)目依賴(lài)后，項(xiàng)目的配置文件如下所示：

 
 
  
  Exe 
  net6.0 
  enable 
  enable 
  
 
  
   
   
   
   
   
   
  
 

4.2

定義預(yù)測(cè)方法

Yolov8 Obb 模型部署流程與上一節(jié)中的流程一致，主要是替換了圖像處理方式，其實(shí)現(xiàn)代碼如下：

static void yolov8_obb(string model_path, string image_path, string device) 
{ 
  // -------- Step 1. Initialize OpenVINO Runtime Core -------- 
  Core core = new Core(); 
  // -------- Step 2. Read inference model -------- 
  OpenVinoSharp.Model model = core.read_model(model_path); 
  OvExtensions.printf_model_info(model); 
  // -------- Step 3. Loading a model to the device -------- 
  CompiledModel compiled_model = core.compile_model(model, device); 
  // -------- Step 4. Create an infer request -------- 
  InferRequest infer_request = compiled_model.create_infer_request(); 
  // -------- Step 5. Process input images -------- 
  Mat image = new Mat(image_path); // Read image by opencvsharp 
  int max_image_length = image.Cols > image.Rows ? image.Cols : image.Rows; 
  Mat max_image = Mat.Zeros(max_image_length, max_image_length, DepthType.Cv8U, 3); 
  Rectangle roi = new Rectangle(0, 0, image.Cols, image.Rows); 
  image.CopyTo(new Mat(max_image, roi)); 
  float factor = (float)(max_image_length / 1024.0); 
  // -------- Step 6. Set up input data -------- 
  Tensor input_tensor = infer_request.get_input_tensor(); 
  Shape input_shape = input_tensor.get_shape(); 
  Mat input_mat = DnnInvoke.BlobFromImage(max_image, 1.0 / 255.0, new Size((int)input_shape[2], (int)input_shape[3]), new MCvScalar(0), true, false); 
  float[] input_data = new float[input_shape[1] * input_shape[2] * input_shape[3]]; 
  //Marshal.Copy(input_mat.Ptr, input_data, 0, input_data.Length); 
  input_mat.CopyTo(input_data); 
  input_tensor.set_data(input_data); 
  // -------- Step 7. Do inference synchronously -------- 
  infer_request.infer(); 
  // -------- Step 8. Get infer result data -------- 
  Tensor output_tensor = infer_request.get_output_tensor(); 
  int output_length = (int)output_tensor.get_size(); 
  float[] output_data = output_tensor.get_data(output_length); 
  // -------- Step 9. Process reault -------- 
  Mat result_data = new Mat(20, 21504, DepthType.Cv32F, 1, 
          Marshal.UnsafeAddrOfPinnedArrayElement(output_data, 0), 4 * 21504); 
  result_data = result_data.T(); 
  List position_boxes = new List(); 
  List class_ids = new List(); 
  List confidences = new List(); 
  List rotations = new List(); 
  // Preprocessing output results 
  for (int i = 0; i < result_data.Rows; i++) 
 ? ?{ 
 ? ? ? ?Mat classes_scores = new Mat(result_data, new Rectangle(4, i, 15, 1));//GetArray(i, 5, classes_scores); 
 ? ? ? ?Point max_classId_point = new Point(), min_classId_point = new Point(); 
 ? ? ? ?double max_score = 0, min_score = 0; 
 ? ? ? ?CvInvoke.MinMaxLoc(classes_scores, ref min_score, ref max_score, 
 ? ? ? ? ? ?ref min_classId_point, ref max_classId_point); 
 ? ? ? ?if (max_score > 0.25) 
    { 
      Mat mat = new Mat(result_data, new Rectangle(0, i, 20, 1)); 
      float[,] data = (float[,])mat.GetData(); 
      float cx = data[0, 0]; 
      float cy = data[0, 1]; 
      float ow = data[0, 2]; 
      float oh = data[0, 3]; 
      int x = (int)((cx - 0.5 * ow) * factor); 
      int y = (int)((cy - 0.5 * oh) * factor); 
      int width = (int)(ow * factor); 
      int height = (int)(oh * factor); 
      Rectangle box = new Rectangle(); 
      box.X = x; 
      box.Y = y; 
      box.Width = width; 
      box.Height = height; 
 
      position_boxes.Add(box); 
      class_ids.Add(max_classId_point.X); 
      confidences.Add((float)max_score); 
      rotations.Add(data[0, 19]); 
    } 
  } 
 
  // NMS non maximum suppression 
  int[] indexes = DnnInvoke.NMSBoxes(position_boxes.ToArray(), confidences.ToArray(), 0.5f, 0.5f); 
 
  List rotated_rects = new List(); 
  for (int i = 0; i < indexes.Length; i++) 
 ? ?{ 
 ? ? ? ?int index = indexes[i]; 
 
 ? ? ? ?float w = (float)position_boxes[index].Width; 
 ? ? ? ?float h = (float)position_boxes[index].Height; 
 ? ? ? ?float x = (float)position_boxes[index].X + w / 2; 
 ? ? ? ?float y = (float)position_boxes[index].Y + h / 2; 
 ? ? ? ?float r = rotations[index]; 
 ? ? ? ?float w_ = w > h ? w : h; 
    float h_ = w > h ? h : w; 
    r = (float)((w > h ? r : (float)(r + Math.PI / 2)) % Math.PI); 
    RotatedRect rotate = new RotatedRect(new PointF(x, y), new SizeF(w_, h_), (float)(r * 180.0 / Math.PI)); 
    rotated_rects.Add(rotate); 
  } 
  for (int i = 0; i < indexes.Length; i++) 
 ? ?{ 
 ? ? ? ?int index = indexes[i]; 
 
 ? ? ? ?PointF[] points = rotated_rects[i].GetVertices(); 
 ? ? ? ?for (int j = 0; j < 4; j++) 
 ? ? ? ?{ 
 ? ? ? ? ? ?CvInvoke.Line(image, new Point((int)points[j].X, (int)points[j].Y), 
 ? ? ? ? ? ? ? ?new Point((int)points[(j + 1) % 4].X, (int)points[(j + 1) % 4].Y), new MCvScalar(255, 100, 200), 2); 
 ? ? ? ?} 
 ? ? ? ?CvInvoke.PutText(image, class_lables[class_ids[index]] + "-" + confidences[index].ToString("0.00"), 
 ? ? ? ? ? ?new Point((int)points[0].X, (int)points[0].Y), FontFace.HersheySimplex, 0.8, new MCvScalar(0, 0, 0), 2); 
 ? ?} 
 ? ?string output_path = Path.Combine(Path.GetDirectoryName(Path.GetFullPath(image_path)), 
 ? ? ? ?Path.GetFileNameWithoutExtension(image_path) + "_result.jpg"); 
 ? ?CvInvoke.Imwrite(output_path, image); 
 ? ?Slog.INFO("The result save to " + output_path); 
 ? ?CvInvoke.Imshow("Result", image); 
 ? ?CvInvoke.WaitKey(0); 
}

05

項(xiàng)目編譯與運(yùn)行

5.1

項(xiàng)目文件編譯

接下來(lái)輸入項(xiàng)目編譯指令進(jìn)行項(xiàng)目編譯，輸入以下指令即可：

dotnet build

程序編譯后輸出為：

5.2

項(xiàng)目文件運(yùn)行

接下來(lái)運(yùn)行編譯后的程序文件，在 CMD 中輸入以下指令，運(yùn)行編譯后的項(xiàng)目文件：

dotnet run --no-build

運(yùn)行后項(xiàng)目輸出為：

06

總結(jié)

在該項(xiàng)目中，我們結(jié)合之前開(kāi)發(fā)的 OpenVINO C# API 項(xiàng)目部署 YOLOv8 OBB 模型，成功實(shí)現(xiàn)了旋轉(zhuǎn)對(duì)象目標(biāo)檢測(cè)，并且根據(jù)不同開(kāi)發(fā)者的使用習(xí)慣，同時(shí)提供了 OpenCvSharp 以及 Emgu.CV 兩種版本，供各位開(kāi)發(fā)者使用。





審核編輯：劉清