M-Vision在LinuxRT下使用OpenVINO加速AI推理

作者：齊磊浙江科博達(dá)工業(yè)有限公司

01M-Vision 簡(jiǎn)介

M-Vision 是科博達(dá)集團(tuán)工程技術(shù)中心獨(dú)立自主研發(fā)的零代碼機(jī)器視覺(jué)平臺(tái)：

聚焦解決客戶(hù)實(shí)際痛點(diǎn)，為客戶(hù)提供一站式的解決方案

在傳統(tǒng)機(jī)器視覺(jué)算法的基礎(chǔ)上融入了 AI 深度學(xué)習(xí)

當(dāng)前 M-Vision 已廣泛應(yīng)用于字符識(shí)別，缺陷檢測(cè)、尺寸測(cè)量、目標(biāo)定位等多種工業(yè)細(xì)分場(chǎng)景，賦能智能裝備。

02LinuxRT 簡(jiǎn)介

在工業(yè)控制領(lǐng)域，實(shí)時(shí)(Real Time) 是一個(gè)核心要求。LinuxRT，又稱(chēng)實(shí)時(shí) Linux，是針對(duì)實(shí)時(shí)性需求而優(yōu)化的 Linux 內(nèi)核。LinuxRT 的目標(biāo)是將 Linux 內(nèi)核轉(zhuǎn)變?yōu)橐粋€(gè)實(shí)時(shí)操作系統(tǒng)，以滿(mǎn)足各種實(shí)時(shí)應(yīng)用的需求。

LinuxRT 較傳統(tǒng) Linux 在系統(tǒng)結(jié)構(gòu)上做了如下調(diào)整：在 Linux 進(jìn)程和硬件中斷之間，本來(lái)由 Linux 內(nèi)核完全控制,現(xiàn)在在 Linux 內(nèi)核和硬件中斷的地方加上了一個(gè) RTLinux 內(nèi)核的控制。

LinuxRT 系統(tǒng)結(jié)構(gòu)圖

03為什么 M-Vision 使用 LinuxRT

代替 Windows

M-Vision 選用了 LinuxRT 而不是通用操作系統(tǒng)，是因?yàn)椋?/p>

實(shí)時(shí)性能優(yōu)勢(shì)：傳統(tǒng)的 Windows 和 Linux 系統(tǒng)屬于通用性操作系統(tǒng)，注重的是數(shù)據(jù)的吞吐量而不是系統(tǒng)響應(yīng)時(shí)間從而不具備更好的實(shí)時(shí)性，Linux RT 實(shí)時(shí)系統(tǒng)實(shí)時(shí)性和可靠性更強(qiáng)。

成本優(yōu)勢(shì)：支持安裝 Linux RT 的硬件設(shè)備成本極低，幾百元的 x86 計(jì)算設(shè)備(例如 N5105 )即可支持開(kāi)發(fā)和部署（可完全 PK 傳統(tǒng) ARM 等嵌入式）。

生態(tài)優(yōu)勢(shì)：x86 + Linux 的軟件生態(tài)非常強(qiáng)大，很容易復(fù)用當(dāng)前各種成熟的機(jī)器視覺(jué)和 AI 算法，開(kāi)發(fā)方便快捷。

本文將介紹在 LinuxRT 下，使用 OpenVINO 加速 AI 推理計(jì)算。

04M-Vision 安裝與部署

M-Vision 安裝與部署流程圖如下：

圖2 流程圖

1. 安裝 LinuxRT 系統(tǒng)

將 Linux RT 操作系統(tǒng)鏡像文件拷貝到啟動(dòng)介質(zhì)里面用來(lái)制作啟動(dòng)介質(zhì)。最后啟動(dòng)介質(zhì)插入目標(biāo)設(shè)備進(jìn)入 Bios 設(shè)置隨屏幕提示選擇設(shè)置。

圖3 Bios 界面圖

圖4 安裝結(jié)果圖

2. 下載 Linux 版 OpenVINO 2022.3，并將所需的 lib 文件夾中所有文件拷貝到 /usr/lib 目錄。

找到并點(diǎn)擊下載 OpenVINO Toolkit 的鏈接，在下載頁(yè)面上，選擇適用于 Linux 系統(tǒng)的版本，并確保選擇OpenVINO 2022.3：

圖5 OpenVINO 下載

3. 安裝 pugixml 組件，并將 .so 庫(kù)文件全部拷貝到 /usr/lib

前往 pugixml 的官方 GitHub 倉(cāng)庫(kù)下載最新的源代碼（復(fù)制鏈接到瀏覽器）：

https://github.com/zeux/pugixml

安裝 tbb 組件，將 .so 庫(kù)文件拷貝到對(duì)應(yīng) lib 文件夾。

復(fù)制下面鏈接到瀏覽器前往英特爾開(kāi)源頁(yè)面下載 TBB 的最新源代碼：

https://github.com/oneapi-src/oneTBB

4. Windows 下安裝 M-Train

* 點(diǎn)擊鏈接查看 [ M-Vision標(biāo)準(zhǔn)版4.5.zip ] ，或訪問(wèn)奶牛快傳 cowtransfer.com 輸入傳輸口令 drvvk7；

*點(diǎn)擊鏈接查看 [ M-Train.rar ] ，或訪問(wèn)奶牛快傳 cowtransfer.com 輸入傳輸口令 0rg32x 查看；

圖6 M-Train 下載圖

5.在Linux RT系統(tǒng)下部署M-Vision

圖7 M-Vision 部署結(jié)果圖

05LinuxRT 系統(tǒng)與通用操作系統(tǒng)下

使用M-Vision 對(duì)比

在工業(yè)視覺(jué)中有根據(jù)產(chǎn)品的特征來(lái)識(shí)別產(chǎn)品不同型號(hào)的，下面的一個(gè)案例是通過(guò)鐵環(huán)上不同的特征點(diǎn)來(lái)識(shí)別不同型號(hào)鐵環(huán)的。此案例可以讓我們清晰的看到在兩個(gè)不同的系統(tǒng)下所花費(fèi)時(shí)間的不同。

1. 收集每種類(lèi)型鐵環(huán)的特征點(diǎn)進(jìn)行標(biāo)注。（在進(jìn)行少量人工標(biāo)注后可以再導(dǎo)入相同類(lèi)型圖片進(jìn)行自動(dòng)標(biāo)注）

圖8 M-Train 標(biāo)注

2. 對(duì)標(biāo)注圖像進(jìn)行訓(xùn)練，訓(xùn)練結(jié)束進(jìn)行測(cè)試，以及導(dǎo)出模型文件和 *.MV 文件應(yīng)用到 M-Vision 的 AI 識(shí)別中。

圖9 M-Train 訓(xùn)練

圖10 MV 文件導(dǎo)入圖

3. AI 識(shí)別一張圖片，不同系統(tǒng)下 M-Vision 的處理時(shí)間是不一樣的，LinuxRT 下使用時(shí)間 270ms，Windows 下使用時(shí)間 448ms，如下所示：

圖11 Linux RT 下處理圖片（270ms）

圖12 Windows 下處理圖片（448ms）

對(duì)比如下表：

在這個(gè) AI 識(shí)別中我們節(jié)省了大約 170ms 的運(yùn)行時(shí)間，以此類(lèi)推我們知道如果更多的產(chǎn)品或者更多的特征點(diǎn)需要識(shí)別，我們的 LinuxRT 下使用我們的 M-Vision 的優(yōu)勢(shì)將會(huì)更好的體現(xiàn)出來(lái)。這種優(yōu)勢(shì)主要是因?yàn)?LinuxRT（Real-time Linux）是專(zhuān)門(mén)針對(duì)實(shí)時(shí)應(yīng)用設(shè)計(jì)的 Linux 內(nèi)核，具有更好的實(shí)時(shí)性能。對(duì)于對(duì)實(shí)時(shí)性要求較高的機(jī)器視覺(jué)應(yīng)用，使用 LinuxRT 可以更好地滿(mǎn)足實(shí)時(shí)處理的需求，并且。使用 LinuxRT 可以靈活地進(jìn)行自定義和調(diào)試，更加適應(yīng)不同的機(jī)器視覺(jué)應(yīng)用需求。

06總結(jié)與展望

我們?cè)?Linux RT 系統(tǒng)下使用 OpenVINO 將 AI 視覺(jué)檢測(cè)能力集成到 M-Vision 零代碼機(jī)器視覺(jué)平臺(tái)，結(jié)合 M-Train工業(yè)無(wú)代碼訓(xùn)練平臺(tái)（可進(jìn)行自動(dòng)標(biāo)注訓(xùn)練），可以高效便捷的對(duì)應(yīng)工業(yè)質(zhì)檢領(lǐng)域碎片化的挑戰(zhàn)、讓更多的智能化裝備快速落地，實(shí)現(xiàn)無(wú)人化“黑燈工廠”的目標(biāo)。

接下來(lái)，M-Vision 還會(huì)支持高性?xún)r(jià)比的集成顯卡和高性能的英特爾 獨(dú)立顯卡，實(shí)現(xiàn) M-Vision 在 AI 工業(yè)質(zhì)檢領(lǐng)域全場(chǎng)景覆蓋。

審核編輯：湯梓紅