在英特爾獨(dú)立顯卡上加速HALCON AI模型推理

作者：張佳驥MVTec售前工程師

張 晶 英特爾 AI 開(kāi)發(fā)者市場(chǎng)部經(jīng)理

01什么是HALCON

MVTec HALCON 是一款在全球范圍內(nèi)使用，綜合性的機(jī)器視覺(jué)標(biāo)準(zhǔn)軟件。它有一個(gè)專門的集成開(kāi)發(fā)環(huán)境（HDevelop），專門用于開(kāi)發(fā)圖像處理解決方案。使用 MVTec HALCON，您可以：

受益于靈活的軟件架構(gòu)

加快所有可行的機(jī)器視覺(jué)應(yīng)用發(fā)展

保證快速進(jìn)入市場(chǎng)

持續(xù)地降低成本

作為一個(gè)綜合工具箱，HALCON 涵蓋了機(jī)器視覺(jué)應(yīng)用的整個(gè)工作流程。其核心是靈活而強(qiáng)大的圖像處理庫(kù)，其中有 2100 多個(gè)算子。HALCON 適用于所有行業(yè)，并為圖像處理提供卓越性能。

02什么是 OpenVINO 工具套件

OpenVINO工具套件：一款可輕松實(shí)現(xiàn)“一次開(kāi)發(fā)，任意部署”的，用于AI模型優(yōu)化和部署的開(kāi)源工具套件。

提高計(jì)算機(jī)視覺(jué)、自動(dòng)語(yǔ)音識(shí)別、自然語(yǔ)言處理和其他常見(jiàn)任務(wù)的深度學(xué)習(xí)性能

使用經(jīng)過(guò)TensorFlow、PyTorch、PaddlePaddle等流行框架訓(xùn)練的模型

減少資源需求，并在從邊緣到云的一系列英特爾平臺(tái)上高效部署

03安裝 HALCON 和 OpenVINO

從 21.05 版本開(kāi)始，HALCON 通過(guò)全新 HALCON AI加速器接口 (AI2)，支持 OpenVINO 工具套件，從而支持 AI 模型在英特爾的硬件設(shè)備上實(shí)現(xiàn)推理計(jì)算加速。

HALCON通過(guò)全新 HALCON AI 加速器接口 (AI2)：

當(dāng)前 HALCON 的 AI 模型對(duì)英特爾的硬件設(shè)備支持，如下表所示：

要實(shí)現(xiàn)使用 HALCON AI加速器接口在英特爾硬件設(shè)備上加速 AI 推理計(jì)算，只需要一次安裝 HALCON 和 OpenVINO，然后編寫 HALCON AI 推理程序即可。

3.1安裝 HALCON

官網(wǎng)注冊(cè)

登錄 MVTec 官網(wǎng) HALCON 軟件下載頁(yè)面（目前 HALCON 的最新版本是 23.11 Progress），如果沒(méi)有注冊(cè)過(guò) MVTec 用戶賬號(hào)，需要先進(jìn)行注冊(cè)個(gè)人或企業(yè)賬號(hào)。(請(qǐng)注意此處需要使用公司郵箱注冊(cè)，其他私人郵箱會(huì)注冊(cè)失敗)。也可以查看下面的網(wǎng)頁(yè)，了解最新版本的更新信息：HALCON 23.11 新功能: MVTec Software。

下載并解壓

在官網(wǎng)下載完整版的安裝包(需要登陸賬號(hào)),下載 HALCON: MVTec Software?？梢赃x擇產(chǎn)品的版本和操作系統(tǒng)，此處以 Windows 平臺(tái)的最新版本 23.11 progress 為例。點(diǎn)擊圖中鏈接會(huì)自動(dòng)開(kāi)始下載，可自行使用工具加速。

下載完成后，解壓縮完成，打開(kāi)對(duì)應(yīng)的文件夾，點(diǎn)擊 som.exe 文件，啟動(dòng) SOM（Software Manager）。

安裝設(shè)置

SOM 會(huì)使用默認(rèn)瀏覽器打開(kāi)安裝界面，如果打開(kāi)界面后未出現(xiàn)可選安裝項(xiàng)目，建議重啟電腦再次打開(kāi) som.exe。

可以點(diǎn)擊“語(yǔ)言” 按鈕切換界面語(yǔ)言， 點(diǎn)擊“環(huán)境” 按鈕修改一些設(shè)置，如程序和數(shù)據(jù)安裝路徑，倉(cāng)庫(kù)地址等等，一般使用默認(rèn)值最好。

然后選擇“可獲得的”頁(yè)面，找到安裝包，點(diǎn)擊“安裝”按鈕， 上方按鈕是為當(dāng)前用戶安裝，下方是為所有用戶安裝（需要系統(tǒng)管理員權(quán)限），一般點(diǎn)選上方按鈕。

設(shè)備空間足夠的話（15G 以上），建議右側(cè)全選，全部安裝；點(diǎn)擊后等待安裝結(jié)束即可。

加載 license 文件

HALCON 軟件的運(yùn)行還需要對(duì)應(yīng)的 license 加密文件，可以向 MVTec 官方購(gòu)買正式版或者申請(qǐng)?jiān)囉冒妗?/p>

然后，可以直接在 SOM 界面中加載 license 文件，點(diǎn)擊上圖中的紅色按鈕，可以打開(kāi)下方界面進(jìn)行 license 文件的安裝和管理，將 license 文件直接拖入即可。

最后，在 Windows 桌面上找到 HALCON 集成開(kāi)發(fā)環(huán)境 HDevelop 軟件圖標(biāo)，即可正常使用 HALCON。

3.2安裝 OpenVINO 2021.4 LTS

請(qǐng)到 OpenVINO 官網(wǎng)下載并安裝 OpenVINO 2021.4.2，如下圖所示。

安裝完畢后，請(qǐng)將 OpenVINO 運(yùn)行時(shí)庫(kù)的路徑添加到 Windows 的環(huán)境變量 path中。

第一步，運(yùn)行：

C:Program Files (x86)Intelopenvino_2021.4.752insetupvars.bat
path

左滑查看更多

獲取 OpenVINO 運(yùn)行時(shí)庫(kù)的路徑，如下圖所示：

第二步，將 OpenVINO 運(yùn)行時(shí)庫(kù)的路徑添加到環(huán)境變量 path中，如下圖所示：

到此，下載并安裝 OpenVINO，然后將 OpenVINO 運(yùn)行時(shí)庫(kù)的路徑添加到 Windows 環(huán)境變量 path 中的工作全部完成。

注意：若您電腦所使用的 CPU 包含了集成顯卡，請(qǐng)?jiān)?BIOS 中把集成顯卡禁用掉。

04編寫 HALCON AI推理程序

4.1HALCON AI推理程序工作流程

關(guān)于 HALCON AI 推理程序工作流程，以 HALCON 的深度學(xué)習(xí)圖像分類為例，程序代碼為 HALCON 集成開(kāi)發(fā)環(huán)境 HDevelop 的開(kāi)發(fā)語(yǔ)言。

1. 讀取已訓(xùn)練完成的深度學(xué)習(xí)模型和預(yù)處理參數(shù)：

* Read in the model and Param.
read_dl_model (RetrainedModelFileName, DLModelHandle)
read_dict (PreprocessParamFileName, [], [], DLPreprocessParam)

左滑查看更多

2. 導(dǎo)入推理圖像并生成深度學(xué)習(xí)樣本：

* Read the images of the batch.
read_image (ImageBatch, Batch)
* Generate the DLSampleBatch.
gen_dl_samples_from_images (ImageBatch, DLSampleB atch)

左滑查看更多

3. 對(duì)深度學(xué)習(xí)樣本進(jìn)行預(yù)處理以匹配模型：

* Preprocess the DLSampleBatch.
preprocess_dl_samples (DLSampleBatch, DLPreprocessParam)

左滑查看更多

4. 執(zhí)行深度學(xué)習(xí)推理：

* Apply the DL model on the DLSampleBatch.
apply_dl_model (DLModelHandle, DLSampleBatch, [], DLResultBatch)

左滑查看更多

5. 處理結(jié)果數(shù)據(jù)：

get_dict_tuple (DLResult, 'bbox_length2', BboxLength2)
get_dict_tuple (DLResult, 'bbox_phi', BboxPhi)
get_dict_tuple (DLResult, 'bbox_class_id', BboxClasses)

左滑查看更多

6. 顯示結(jié)果

dev_display (RectangleSelected)
dev_disp_text (TextResults, 'window', 'top', 'left', BboxColorsResults, 'box', 'false') 

左滑查看更多

4.2HALCON AI 加速器接口(AI2)

MVTec的OpenVINO工具套件插件基于全新 HALCON AI 加速器接口(AI2)。通過(guò)這一通用接口，客戶可以快速方便地將支持的 AI 加速器硬件用于深度學(xué)習(xí)應(yīng)用的推理環(huán)節(jié)。

這些特殊設(shè)備不僅在嵌入式環(huán)境中得到廣泛應(yīng)用，也越來(lái)越多地出現(xiàn)在 PC 環(huán)境中。AI 加速器接口從特定硬件中抽象出深度學(xué)習(xí)模型，因而特別能夠適應(yīng)未來(lái)發(fā)展。

MVTec 作為機(jī)器視覺(jué)軟件的技術(shù)領(lǐng)導(dǎo)者，其軟件可以在工業(yè)物聯(lián)網(wǎng)環(huán)境中，通過(guò)使用 3D 視覺(jué)、深度學(xué)習(xí)和嵌入式視覺(jué)等現(xiàn)代技術(shù)，實(shí)現(xiàn)新的自動(dòng)化解決方案。

除 MVTec 提供的插件外，還可以集成客戶特定的 AI 加速器硬件。此外，不僅典型深度學(xué)習(xí)應(yīng)用可以通過(guò) AI2 加速，所有集成深度學(xué)習(xí)功能的“經(jīng)典”機(jī)器視覺(jué)方法，例如 HALCON 的 Deep OCR，也能從中受益。

4.3使用 DLT 工具

進(jìn)行深度學(xué)習(xí)模型的數(shù)據(jù)標(biāo)注和訓(xùn)練

DeepLearningTool（DLT）是 MVTec 推出的一款用于深度學(xué)習(xí)標(biāo)注和訓(xùn)練的免費(fèi)工具。使用深度學(xué)習(xí)工具，您可以憑借直觀的用戶界面輕松地標(biāo)記數(shù)據(jù)，而無(wú)需任何編程知識(shí)?？梢詫⑦@些數(shù)據(jù)無(wú)縫集成到 HALCON 中，以執(zhí)行基于深度學(xué)習(xí)的物體檢測(cè)，分類，語(yǔ)義分割，實(shí)力分割，異常值檢測(cè)以及 Deep OCR。

以下是我們使用DLT進(jìn)行例程中模型標(biāo)注和訓(xùn)練的視頻：

4.4HALCON基于 OpenVINO 的 AI 推理范例程序

本文中，我們使用的是基于 HALCON 的深度學(xué)習(xí)對(duì)象檢測(cè)的官方范例程序。

本文中所使用的基于 OpenVINO 的 HALCON 范例代碼已分享到MVTec 官網(wǎng)，網(wǎng)址為：

下載后將該程序保存至任意路徑下。

如果推理需要加載重新訓(xùn)練的深度學(xué)習(xí)模型和預(yù)訓(xùn)練參數(shù)，需要使用 HALCON 的開(kāi)發(fā)環(huán)境 Hdevelop 先運(yùn)行官方路徑

%HALCONEXAMPLES%/hdevelop/Deep-Learning/Detection/

的范例程序，從而可以完成訓(xùn)練并保存模型：

dl_detection_with_orientation_workflow.hdev

等待訓(xùn)練和測(cè)試程序運(yùn)行完成后，會(huì)在相應(yīng)路徑下保存訓(xùn)練好的模型（model_best.hdl）和圖片預(yù)處理的參數(shù)（DLPreParam.hdict），可以去替換范例程序里的文件。

打開(kāi)下載好的示例程序，本地路徑下對(duì)應(yīng)的模型和預(yù)處理參數(shù)，如以下代碼所示：

RetrainedModelFileName:='model_best.hdl'
PreprocessParamFileName:='DLPreParam.hdict'

左滑查看更多

例程中用到的演示圖片是 HALCON數(shù)據(jù)集中的screws 文件夾，如果 HALCON 安裝正確的話，是在 HALCONEXAMPLES 路徑中的，直接使用下面代碼可以找到。

list_image_files ('screws', 'default', [], ImageFiles)

左滑查看更多

接著運(yùn)行范例（或按 F5），首先需要查詢 HALCON 所支持的 OpenVINO 設(shè)備：

* This example needs the HALCON AI2-interface for the Intel Distribution of the OpenVINO Toolkit * and a installed version of the Intel Distribution of the OpenVINO Toolkit.
query_available_dl_devices ('ai_accelerator_interface', 'openvino', DLDeviceHandlesOpenVINO)

左滑查看更多

之后，繼續(xù)執(zhí)行程序，在可視化界面會(huì)依次顯示所有查詢到的 OpenVINO 設(shè)備信息，包括本文所需使用的英特爾 Arc A770 獨(dú)立顯卡，這里我們看到支持的推理精度有 FP32 和 FP16，如下所示。

然后，需要選擇 OpenVINO 設(shè)備，目前 HALCON AI2接口所支持的 OpenVINO 設(shè)備包括英特爾的CPU，GPU，HDDL 以及 MYRIAD。在安裝 HALCON 時(shí)，只內(nèi)置安裝了 CPU 插件，需要額外安裝 OpenVINO 工具套件來(lái)支持 GPU 等其他設(shè)備，具體安裝參考章節(jié) 1.3.2。這里我們指定 OpenVINO 運(yùn)行設(shè)備為“GPU”，即英特爾的獨(dú)立顯卡，如果要選擇其他 OpenVINO 設(shè)備，可以修改設(shè)備序號(hào)以選擇對(duì)不同的設(shè)備通道。

* Choose a OpenVINO device
DLDeviceOpen :=DLDeviceHandlesOpenVINO[3]
set_dl_model_param (DLModelHandle, 'device', DLDeviceOpen)

左滑查看更多

此處程序，會(huì)針對(duì)設(shè)備做推理優(yōu)化，得到經(jīng)過(guò) OpenVINO 加速優(yōu)化的推理模型。如果沒(méi)有額外設(shè)置，精度上使用的是默認(rèn)的 float32。

本次例程沒(méi)有使用 C# 或者 C++ 來(lái)聯(lián)合編程和編寫界面，全部在 HALCON 中完成；需要按照例程中的說(shuō)明文字調(diào)節(jié)下 HDevelop 中調(diào)節(jié)下窗口顯示；確認(rèn)調(diào)節(jié)完成后再次按下 F5，例程循環(huán)運(yùn)行至結(jié)束。

得到的顯示界面和結(jié)果如下圖所示：

圖片中可以看到算法準(zhǔn)確地找到了 背景上物體地位置和方向，也標(biāo)注了對(duì)應(yīng)地類別。在結(jié)果顯示地部分可以看到檢測(cè)地?cái)?shù)據(jù)結(jié)果，比如每個(gè)類別的得分，種類，詳細(xì)的坐標(biāo)和角度。同事在圖片的右上角中，可以看到使用 OpenVINO 加速后的算法運(yùn)行速度，每張圖片的算法運(yùn)行時(shí)間在 15~19ms 左右；基本能夠滿足高節(jié)拍生成的需求。

此外，例程中為了增強(qiáng)演示效果，在某些圖片處理結(jié)果后增加了等待延時(shí)，主要是用于顯示。

推理的工作流程可以參考 4.1 章節(jié)，在執(zhí)行推理的同時(shí)，可以打開(kāi)任務(wù)管理器，觀察英特爾獨(dú)立顯卡的運(yùn)行狀態(tài)。范例中，默認(rèn)使用 FP32 精度加速推理，也可以根據(jù)具體需要切換成 FP16 精度進(jìn)行對(duì)比測(cè)試。

在英特爾A380顯卡上，也有明顯的加速性能

05總結(jié)

MVTec HALCON AI 加速器接口（AI2）可幫助MVTec軟件產(chǎn)品用戶充分利用與 OpenVINO 工具套件兼容的 AI 加速器硬件。如此一來(lái)，對(duì)于關(guān)鍵工作負(fù)載，可以在英特爾計(jì)算設(shè)備上明顯縮短深度學(xué)習(xí)推理時(shí)間。

由于支持硬件范圍得到擴(kuò)展，用戶現(xiàn)在可以充分利用各種英特爾設(shè)備的性能來(lái)加速深度學(xué)習(xí)應(yīng)用，不再局限于少數(shù)特定設(shè)備。同時(shí)，這種集成可以無(wú)縫進(jìn)行，不受特定硬件細(xì)節(jié)約束。現(xiàn)在只需更改參數(shù)，即可在OpenVINO 工具套件支持的設(shè)備上執(zhí)行現(xiàn)有深度學(xué)習(xí)應(yīng)用的推理過(guò)程。

審核編輯：湯梓紅