如何基于OpenVINO 2022.1工具套件部署YOLOv7預(yù)訓(xùn)練模型

作為視覺應(yīng)用中最常見的任務(wù)之一，目標(biāo)檢測一直是各類新模型刷榜的必爭之地，其中就以 YOLO 系列的網(wǎng)絡(luò)結(jié)構(gòu)最為突出。YOLO 的全稱是 you only look once，指只通過 one-stage 的方式需要“瀏覽一次”就可以識別出圖中的物體的類別和位置。近期YOLO官方團隊又放出新版本——YOLOv7，速度、精度都超越其他變體。本文將分享如何基于 OpenVINO 2022.1工具套件部署 YOLOv7 官方提供的預(yù)訓(xùn)練模型。附 C++/Python 源碼及使用方法。

OpenVINO 簡介

用于高性能深度學(xué)習(xí)的英特爾發(fā)行版 OpenVINO工具套件基于 oneAPI 而開發(fā)，以期在從邊緣到云的各種英特爾平臺上，幫助用戶更快地將更準(zhǔn)確的真實世界結(jié)果部署到生產(chǎn)系統(tǒng)中。通過簡化的開發(fā)工作流程，OpenVINO可賦能開發(fā)者在現(xiàn)實世界中部署高性能應(yīng)用程序和算法。

在推理后端，得益于 OpenVINO 工具套件提供的“一次編寫，隨處部署”特性，轉(zhuǎn)換后的模型能夠在不同的英特爾硬件平臺上運行，無需重新構(gòu)建，有效簡化了構(gòu)建與遷移過程。此外，為了支持更多的異構(gòu)加速單元，OpenVINO的 runtime api 底層采用了插件式的開發(fā)架構(gòu)，基于oneAPI 中的 MKL-DNN、oneDNN 等函數(shù)計算加速庫，針對 AVX-512 等通用指令集進行優(yōu)化，為不同的硬件執(zhí)行單元分別實現(xiàn)了一套完整的高性能算子庫，提升模型在推理運行時的整體性能表現(xiàn)。

YOLOv7 簡介

官方版的 YOLOv7 相同體量下比 YOLOv5 精度更高，速度快120%（FPS），比 YOLOX 快180%（FPS），比 Dual-Swin-T 快1200%（FPS），比 ConvNext 快550%（FPS），比 SWIN-L快500%（FPS）。在5FPS 到160FPS 的范圍內(nèi)，無論是速度或是精度，YOLOv7 都超過了目前已知的檢測器，并且在GPU V100 上進行測試， 精度為56.8% AP的模型可達到30 FPS（batch=1）以上的檢測速率，與此同時，這是目前唯一一款在如此高精度下仍能超過 30FPS 的檢測器。

任務(wù)開發(fā)流程

我們先整體來看下 YOLOv7 的輸入輸出結(jié)構(gòu)，首先對輸入的圖片 resize 為 640x640 大小，輸入到 backbone 網(wǎng)絡(luò)中，然后經(jīng) head 層網(wǎng)絡(luò)輸出三層不同 size 大小的 feature map，并輸出預(yù)測結(jié)果，這里以 coco 數(shù)據(jù)集為例子，輸出為 80 個類別，然后每個輸出(x ,y, w, h, o) 即坐標(biāo)位置和是否存在物體的置信度，3 是指的 anchor 數(shù)量，因此每一層的輸出為 (80+5)x3 = 255再乘上 feature map 的大小就是最終的輸出了。整個開發(fā)流程可以分為數(shù)據(jù)處理模塊定義、前處理任務(wù)、推理任務(wù)、后處理任務(wù)四部分組成。

圖：YOLOv7官方預(yù)訓(xùn)練模型的輸入輸出結(jié)構(gòu)

1. 數(shù)據(jù)處理模塊

定義 Object 結(jié)構(gòu)體用來存放模型的輸出數(shù)據(jù)，包含 boundingbox 信息，類別標(biāo)簽，以及是否存在物體和類別的累計置信度。

定義 class_names 向量，用于存放 coco 數(shù)據(jù)集的所有標(biāo)簽。

struct Object{  cv::Rect_ rect;  int label;  float prob;};
const std::vector class_names = {  "person", "bicycle", "car", "motorcycle", "airplane", "bus", "train", "truck", "boat", "traffic light",  "fire hydrant", "stop sign", "parking meter", "bench", "bird", "cat", "dog", "horse", "sheep", "cow",  "elephant", "bear", "zebra", "giraffe", "backpack", "umbrella", "handbag", "tie", "suitcase", "frisbee",  "skis", "snowboard", "sports ball", "kite", "baseball bat", "baseball glove", "skateboard", "surfboard",  "tennis racket", "bottle", "wine glass", "cup", "fork", "knife", "spoon", "bowl", "banana", "apple",  "sandwich", "orange", "broccoli", "carrot", "hot dog", "pizza", "donut", "cake", "chair", "couch",  "potted plant", "bed", "dining table", "toilet", "tv", "laptop", "mouse", "remote", "keyboard", "cell phone",  "microwave", "oven", "toaster", "sink", "refrigerator", "book", "clock", "vase", "scissors", "teddy bear",  "hair drier", "toothbrush"};

定義 letterbox 與 scale_box 模塊，分別用于在圖像前處理任務(wù)中為輸入數(shù)據(jù)添加 letterbox，以及在后處理任務(wù)還原 letterbox 帶來坐標(biāo)位置變換。這里特別值得注意的是我們增加了一個 padd 向量，用于存放在添加 letterbox 過程中 letterbox 的 size 信息以及相較原始圖片的縮放比例信息，該組數(shù)據(jù)會用于在后處理任務(wù)中還原刪除 letterbox 以后的結(jié)果。

cv::Mat letterbox(cv::Mat &src, int h, int w, std::vector &padd){  // Resize and pad image while meeting stride-multiple constraints  int in_w = src.cols;  int in_h = src.rows;  int tar_w = w;  int tar_h = h;  float r = min(float(tar_h) / in_h, float(tar_w) / in_w);  int inside_w = round(in_w * r);  int inside_h = round(in_h * r);  int padd_w = tar_w - inside_w;  int padd_h = tar_h - inside_h;  cv::Mat resize_img;
  // resize  resize(src, resize_img, cv::Size(inside_w, inside_h));
  // divide padding into 2 sides  padd_w = padd_w / 2;  padd_h = padd_h / 2;  padd.push_back(padd_w);  padd.push_back(padd_h);
  // store the ratio  padd.push_back(r);  int top = int(round(padd_h - 0.1));  int bottom = int(round(padd_h + 0.1));  int left = int(round(padd_w - 0.1));  int right = int(round(padd_w + 0.1));
  // add border  copyMakeBorder(resize_img, resize_img, top, bottom, left, right, 0, cv::Scalar(114, 114, 114));  return resize_img;}
cv::Rect scale_box(cv::Rect box, std::vector &padd){    // remove the padding area  cv::Rect scaled_box;  scaled_box.x = box.x - padd[0];  scaled_box.y = box.y - padd[1];  scaled_box.width = box.width;  scaled_box.height = box.height;  return scaled_box;}

定義 generate_proposal 模塊，該模塊具體有以下幾個功能：

01

根據(jù)定義的 anchors,在輸入圖像中生成各類 feature map 的先驗框；

02

根據(jù)輸出結(jié)果調(diào)整先驗框位置和大小，并將其作為 bounding box 還原到輸入圖像的坐標(biāo)系中；

03

過濾置信度較低的分類結(jié)果，獲取類別結(jié)果。

static void generate_proposals(int stride, const float *feat, float prob_threshold, std::vector