邊緣AI套件上的立體視覺(jué)深度感知

描述

介紹

Edge AI Kit 使用雙攝像頭來(lái)實(shí)現(xiàn)深度感知或距離識(shí)別應(yīng)用。

?

立體視覺(jué)應(yīng)用程序檢測(cè)兩個(gè)攝像頭圖像中的人臉，然后計(jì)算每個(gè)攝像頭圖像中的 ROI（感興趣區(qū)域）之間的差異。此差異用于計(jì)算對(duì)象與相機(jī)的距離。

設(shè)置

根據(jù)此處的說(shuō)明設(shè)置 Edge AI 套件。

您還可以在Edge AI Kit Linux 用戶(hù)手冊(cè)中找到更多詳細(xì)信息。

要使用 StereoVision 應(yīng)用程序，您需要使用外部顯示器（隨附的 LVDS 觸摸屏或 HDMI 顯示器）。將鍵盤(pán)和鼠標(biāo)連接到 Edge AI 套件。

圖像

該應(yīng)用程序已經(jīng)為您構(gòu)建并包含在開(kāi)箱即用的圖像中。如果您更愿意構(gòu)建自己的版本，請(qǐng)查看項(xiàng)目為 Edge AI 套件構(gòu)建支持 ML 的 Yocto 圖像（即將推出）。

從“參考設(shè)計(jì)”選項(xiàng)卡下的Avnet Boards頁(yè)面下載帶有應(yīng)用程序的圖像。解壓縮它（您應(yīng)該以 a.wic 圖像結(jié)尾）。

使用 Balena Etcher 或類(lèi)似軟件將映像刷入 SD 卡。

相機(jī)校準(zhǔn)

我們需要校準(zhǔn)我們的相機(jī)以確保它們捕獲的圖像正確對(duì)齊。這個(gè)過(guò)程涉及從不同角度拍攝棋盤(pán)圖案，然后使用這些圖像計(jì)算相機(jī)參數(shù)。

棋盤(pán)在這里： https: //github.com/Avnet/stereovision-app/blob/main/documentation/Checkerboard-A4-25mm-8x6.pdf

圖像必須以 A4 格式打印。將它貼在堅(jiān)硬的背襯上，例如卡片紙。如果背襯比棋盤(pán)略大，那么在您左右移動(dòng)它時(shí)有空間可以抓住它是最簡(jiǎn)單的。棋盤(pán)大小對(duì)于距離測(cè)量至關(guān)重要。如果您的電路板尺寸不一樣，您必須調(diào)整文件“calibration.cpp”中的相應(yīng)變量并重建 Qt 應(yīng)用程序。

有關(guān)相機(jī)校準(zhǔn)的更多詳細(xì)信息，請(qǐng)參見(jiàn)使用 OpenCV 進(jìn)行相機(jī)校準(zhǔn)和使用 OpenCV 進(jìn)行相機(jī)校準(zhǔn)

運(yùn)行應(yīng)用程序

設(shè)置并啟動(dòng) Edge AI Kit 后，它應(yīng)該會(huì)打開(kāi) Wayland Desktop。

在 Wayland 桌面上打開(kāi)一個(gè)終端。輸入命令：

stereovision

這將打開(kāi) stereovision Qt 應(yīng)用程序。

1. 選擇“開(kāi)始”開(kāi)始攝像頭串流。

如果出現(xiàn)錯(cuò)誤，請(qǐng)運(yùn)行命令“systemctl stop ap1302-stream 以確保攝像頭已停止，或執(zhí)行第3.3.5 節(jié)中的故障排除步驟。

2. 選擇“拍照”拍攝校準(zhǔn)照片。放置棋盤(pán)，使其在兩個(gè)相機(jī)的框架內(nèi)。建議至少拍攝 8 張校準(zhǔn)照片，棋盤(pán)位于任一相機(jī)框架的角落（但在兩個(gè)相機(jī)中始終完全在框架中）。

相機(jī)的內(nèi)部和外部參數(shù)將保存在位于項(xiàng)目根目錄的“camera_data”文件夾中的“l(fā)eft.yml”、“right.yml”和“stereo.yml”文件中。注意：如果您編輯校準(zhǔn)圖像的路徑或名稱(chēng)，您需要調(diào)整文件“calibration.cpp”中的相應(yīng)變量。

3. 選擇“校準(zhǔn)”以校準(zhǔn)應(yīng)用程序。

?

?

?

?

1 / 2

?

4. 選擇“人臉檢測(cè)”開(kāi)始檢測(cè)人臉。這也將選擇校正（例如，相機(jī)已根據(jù)棋盤(pán)進(jìn)行校準(zhǔn)）。您也可以在沒(méi)有人臉檢測(cè)的情況下運(yùn)行校正來(lái)測(cè)試校準(zhǔn)。

?

?

?

?

1 / 2 ?以米為單位的人臉檢測(cè)

?

申請(qǐng)?jiān)斍?/font>

人臉檢測(cè)模型是MediaPipe的TensorFlow Lite模型。，使用NNAPI 委托在 NPU 上加速。

視差計(jì)算是使用 OpenCV 完成的。遺憾的是，Avnet i.MX 8M Plus Edge AI 套件上集成的神經(jīng)處理單元 (NPU) 提供的加速不支持 openCV 。

測(cè)量距離的過(guò)程包括兩個(gè)步驟：

1.人體檢測(cè)。

2. ROI（人體區(qū)域）的視差計(jì)算

該應(yīng)用程序使用人工神經(jīng)網(wǎng)絡(luò)檢測(cè)人臉，并使用 SURF 方法在立體圖像中選擇對(duì)應(yīng)的人臉特征點(diǎn)。距離是根據(jù)特征點(diǎn)的差異計(jì)算的。

人體檢測(cè)

運(yùn)行網(wǎng)絡(luò)所需的 tflite 模型文件位于應(yīng)用程序代碼的“dnnData”文件夾中。您可以從 MediaPipe 查看最新的人臉檢測(cè)模型。

此應(yīng)用程序支持兩種模式：“近距離”和“全范圍”，前者適用于距離相機(jī) 2 米以?xún)?nèi)的人臉，后者適用于距離相機(jī) 5 米以?xún)?nèi)的人臉。如果使用其他模型，請(qǐng)根據(jù)相應(yīng)的描述文件如face_detection_full_range_common.pbtxt或Model card適配代碼中FaceOptions的參數(shù)。

了解神經(jīng)網(wǎng)絡(luò)的邊界框輸出一文解釋了如何使用模型和設(shè)置人臉檢測(cè)參數(shù)。

視差計(jì)算

視差是指立體對(duì)的左右圖像中兩個(gè)對(duì)應(yīng)點(diǎn)之間的距離。校正圖像（相機(jī)標(biāo)定）中某個(gè)點(diǎn)的視差可用于計(jì)算該點(diǎn)在現(xiàn)實(shí)世界中的坐標(biāo)。

?

校準(zhǔn)后，一對(duì)特征點(diǎn)的兩個(gè)特征點(diǎn)在理論上具有相同的圖像 v 坐標(biāo)。在這種情況下，視差是指左右圖像中兩個(gè)對(duì)應(yīng)點(diǎn)之間的 u 坐標(biāo)差異。一旦計(jì)算出差異，就可以計(jì)算現(xiàn)實(shí)世界中的 Z 坐標(biāo)，因?yàn)槠渌麉?shù)可以在文件“camera_data/stereo.yml”中獲得。

左圖中檢測(cè)到的每張人臉都將與右圖中的人臉進(jìn)行匹配。如果兩個(gè)面塊的寬度、高度和 v 坐標(biāo)相同，則它們將被視為匹配。一旦面部匹配，將計(jì)算它們的視差以計(jì)算距離。

調(diào)整參數(shù)

可以調(diào)整以下參數(shù)以調(diào)整模型在不同條件下的準(zhǔn)確性：

• ConfidenceThresh [0.01, 1.0] ：該變量定義人臉檢測(cè)的最小置信度。只有檢測(cè)到的置信度高于閾值的人臉才會(huì)被處理。
• FaceOverlapThresh [0.01, 1.0] : 為了提高精度，檢測(cè)到的重疊面將被視為一個(gè)面。該變量定義最大重疊。重疊超過(guò)閾值的兩個(gè)對(duì)象將被視為一個(gè)對(duì)象。
• Disparity_Y Thresh [0, 100] ：變量定義v方向視差差的閾值，用于人臉匹配。
• Width_Rel_Thresh [0.01, 1.0] ：變量定義人臉塊寬度相對(duì)偏差的閾值。0.1 表示如果高度差超過(guò) 10%，則左右框架中的人臉塊將不會(huì)相互匹配。
• Height_Rel_Thresh [0, 10] ：變量定義人臉塊高度相對(duì)偏差的閾值。0.1 表示如果高度差超過(guò) 10%，則左右框架中的人臉塊將不會(huì)相互匹配。
• SkipFrame [0, 20] : 為了加速計(jì)算，不是所有的幀都會(huì)被處理。如果變量設(shè)置為 4，則每 4 幀只處理一幀。