解析OpenVINO? + SSD 實時對象檢測

前面我們了解OpenVINO 如何部署圖像分類網(wǎng)絡(luò)ResNet，本文我們將會學(xué)習(xí)OpenVINO 中對象檢測網(wǎng)絡(luò)的部署與推理應(yīng)用。說到對象檢測網(wǎng)絡(luò)，我們首先需要理解兩個概念：對象檢測與對象檢測網(wǎng)絡(luò)。

SSD對象檢測模型

對象檢測是計算機視覺核心任務(wù)之一，也是最常見與應(yīng)用最廣泛的視覺場景。OpenVINO 已經(jīng)提供了以下通用場景下的對象檢測包括人臉檢測、行人檢測、物體檢測、車輛檢測、車牌檢測等，一個圖像對象檢測顯示示意圖如下：

圖-1（來自SSD論文）

相比圖像分類，對象檢測多了每個對象位置信息，所以簡單的認為對象檢測=圖像分類+Box位置信息。第一個深度學(xué)習(xí)相關(guān)的對象檢測網(wǎng)絡(luò)正是基于這樣思想的RCNN模型，但是它的缺點是無法實時，所以2015年底有人提出了一個實時對象檢測網(wǎng)絡(luò)Single Shot MultiBox Detector縮寫為SSD。它的模型結(jié)構(gòu)如下：

圖2（來自SSD論文）

圖2中SSD對象檢測網(wǎng)絡(luò)簡單說可以分為三個部分：

- 基礎(chǔ)網(wǎng)絡(luò)(backbone) 這里為VGG16

- 特征提取Neck，構(gòu)建多尺度特征

- 檢測頭 – 非最大抑制與輸出

OpenVINO 中模型庫自帶預(yù)訓(xùn)練的人臉檢測網(wǎng)絡(luò)有很多，分別針對不同的應(yīng)用場景與輸入分辨率。這里我們以face-detection-0202人臉檢測模型為例說明，它是一個MobileNetV2作為基礎(chǔ)網(wǎng)絡(luò)的SSD對象檢測模型，模型支持的輸入圖像大小與格式如下：

NCHW=1x3x384x384其中

N表示圖像數(shù)目，這里為1

C表示輸入圖像通道數(shù)目，這里彩色圖像為3

H表示圖像高度

W表示圖像寬度

期望的圖像通道順序：BGR

圖-3

模型推理計算得輸出格式為：

1x1xNx7其中

N表示檢測到的對象數(shù)目

7表示[image_id, label, conf, x_min, y_min, x_max, y_max]這七個值，其中

Image_id 表示圖像編號，這個輸入的是一張圖像，base為0

Label 表示標簽，跟數(shù)據(jù)集的label_map文本文件相關(guān)，根據(jù)標簽編號可以查找標簽文本名

Conf 表示對象的置信度，取值范圍在0~1之間，值越大表示置信程度越高

x_min, y_min, x_max, y_max 四個值對象位置信息，分別是左上角與有下角的坐標

該模型的相關(guān)性能參數(shù)如下：

圖-4

從上面我們可以知道模型來自Pytorch訓(xùn)練生成。

OpenVINO基于SSD模型實時人臉檢測

現(xiàn)在我們已經(jīng)了解SSD模型的基本網(wǎng)絡(luò)結(jié)構(gòu)，OpenVINO 自帶SSD人臉檢測模型face-detection-0202的輸入與輸出相關(guān)格式與參數(shù)細節(jié)信息，這里我們就基于該模型使用OpenVINO 中的推理引擎模型實現(xiàn)一個實時人臉檢測應(yīng)用，根據(jù)之前的內(nèi)容，我們首先需要加載模型，相關(guān)代碼如下：

// 加載檢測模型

auto network = ie.ReadNetwork(model_xml, model_bin);

其中

model_xml表示face-detection-0202模型文件

model_bin表示face-detection-0202權(quán)重文件

然后設(shè)置模型的輸入與輸出相關(guān)的格式，代碼如下：

// 請求網(wǎng)絡(luò)輸入與輸出信息

InferenceEngine::InputsDataMap input_info(network.getInputsInfo());

InferenceEngine::OutputsDataMap output_info(network.getOutputsInfo());

// 設(shè)置輸入格式

for (auto &item : input_info) {

auto input_data = item.second;

input_data->setPrecision(Precision::U8);

input_data->setLayout(Layout::NCHW);

}

printf("get it ");

// 設(shè)置輸出格式

for (auto &item : output_info) {

auto output_data = item.second;

output_data->setPrecision(Precision::FP32);

}

加載可執(zhí)行網(wǎng)絡(luò)，創(chuàng)建推理請求對象實例，代碼如下：

// 創(chuàng)建可執(zhí)行網(wǎng)絡(luò)對象

auto executable_network = ie.LoadNetwork(network, "CPU");

// 請求推斷圖

auto infer_request = executable_network.CreateInferRequest();

設(shè)置推理輸入圖像數(shù)據(jù)，轉(zhuǎn)換為NCHW格式的blob數(shù)據(jù)，代碼如下：

/** Getting input blob **/

auto input = infer_request.GetBlob(input_name);

size_t num_channels = input->getTensorDesc().getDims()[1];

size_t h = input->getTensorDesc().getDims()[2];

size_t w = input->getTensorDesc().getDims()[3];

size_t image_size = h*w;

Mat blob_image;

resize(src, blob_image, Size(w, h));

// NCHW

unsigned char* data = static_cast(input->buffer());

for (size_t row = 0; row < h; row++) {

for (size_t col = 0; col < w; col++) {

for (size_t ch = 0; ch < num_channels; ch++) {

data[image_size*ch + row*w + col] = blob_image.at(row, col)[ch];

}

}

}

預(yù)測與解析輸出結(jié)果，代碼如下：

// 執(zhí)行預(yù)測

infer_request.Infer();

// 處理輸出結(jié)果

for (auto &item : output_info) {

auto output_name = item.first;

// 獲取輸出數(shù)據(jù)

auto output = infer_request.GetBlob(output_name);

const float* detection = static_cast::value_type*>(output->buffer());

const SizeVector outputDims = output->getTensorDesc().getDims();

const int maxProposalCount = outputDims[2];

const int objectSize = outputDims[3];

// 解析輸出結(jié)果

for (int curProposal = 0; curProposal < maxProposalCount; curProposal++) {

float label = detection[curProposal * objectSize + 1];

float confidence = detection[curProposal * objectSize + 2];

float xmin = detection[curProposal * objectSize + 3] * image_width;

float ymin = detection[curProposal * objectSize + 4] * image_height;

float xmax = detection[curProposal * objectSize + 5] * image_width;

float ymax = detection[curProposal * objectSize + 6] * image_height;

if (confidence > 0.5) {

printf("label id : %d ", static_cast(label));

Rect rect;

rect.x = static_cast(xmin);

rect.y = static_cast(ymin);

rect.width = static_cast(xmax - xmin);

rect.height = static_cast(ymax - ymin);

putText(src, "OpenVINO-2021R02", Point(20, 20), FONT_HERSHEY_SIMPLEX, 0.75, Scalar(0, 0, 255), 2, 8);

rectangle(src, rect, Scalar(0, 255, 255), 2, 8, 0);

}

std::cout << std::endl;

}

}

imshow("OpenVINO+SSD人臉檢測", src);

最終顯示結(jié)果如下：

圖-5

總結(jié)

本文我們完成了OpenVINO 人臉檢測模型的推理調(diào)用演示，關(guān)鍵知識點在于模型的輸入與輸出格式，以及推理以后的模型輸出數(shù)據(jù)的解析方式。到這里大家希望借助OpenVINO 實現(xiàn)一個視頻版本的人臉檢測，沒關(guān)系，下一次我們將來完成這樣的事情……

編輯：jq