基于OpenMV的爆胎檢測器

方案介紹

本方案可使用經(jīng)過培訓(xùn)的邊緣設(shè)備警告駕駛員輪胎壓力過低，該設(shè)備可以查看汽車輪胎是滿還是漏氣。

該項目演示了如何構(gòu)建一個電池供電的邊緣設(shè)備，該設(shè)備使用機器視覺測量汽車輪胎的壓力水平，并在輪胎不安全行駛時提醒用戶。

當(dāng)汽車在設(shè)備前行駛時，其輪胎的圖像會被捕獲并分類為“滿載”或“爆胎”。設(shè)備頂部的指示燈會改變顏色以通知用戶結(jié)果。任何顯示“紅色”的輪胎都處于非常低的壓力下，應(yīng)在繼續(xù)行駛之前將其固定。

Edge Impluse 用于設(shè)計和訓(xùn)練圖像分類模型，該模型可準(zhǔn)確區(qū)分正常壓力（滿）和低壓（扁平）級別的輪胎圖像。該模型部署到設(shè)備內(nèi)的 OpenMV Cam 并在其上運行。

該原型作為概念證明，可以被任何定期檢查車輛的行業(yè)采用，以減少檢查時間并提高安全性。

背景

車輛安全對任何在道路上行駛的人來說都是最重要的。司機每天都依靠妥善保養(yǎng)的汽車和卡車將他們從一個地方送到另一個地方而不會受到傷害。

多個行業(yè)的任務(wù)是確保對大量車輛進(jìn)行例行審查，確保道路安全：

卡車稱重站：由 DOT 運營，這些站驗證高速公路上的卡車是否符合安全規(guī)定。檢查員對卡車進(jìn)行物理檢查，以確保它們符合要求的標(biāo)準(zhǔn)。
自主轎車艦隊：自主汽車的大型船隊將在集中倉庫進(jìn)行維修。定期維護可確保汽車系統(tǒng)準(zhǔn)確校準(zhǔn)并按預(yù)期運行。
租車歸還：租車公司需要確保汽車處于安全工作狀態(tài)，然后再借給下一位客戶。在汽車再次可用之前，必須進(jìn)行多點安全檢查。
雖然必須涵蓋整個檢查清單才能驗證車輛的安全性，但一項至關(guān)重要的檢查是輪胎壓力。

在車輛的每個輪胎中保持正確的氣壓對于安全駕駛至關(guān)重要。充氣不足或漏氣的輪胎會影響車輛的整體操控性，使其響應(yīng)速度變慢，停車速度變慢，并可能導(dǎo)致道路上非常危險的輪胎爆胎。

汽車和卡車通常配備胎壓監(jiān)測系統(tǒng) (TPMS)，通過儀表板警告燈提醒駕駛員胎壓低。

然而，TPMS 的局限性在于它的警告只有能夠進(jìn)入車輛內(nèi)部的檢查員才能看到，并且它依賴于輪胎內(nèi)的單個傳感器來捕獲如此重要的安全測量。

在許多車輛都是手動檢查的環(huán)境中，例如上面列出的那些，需要一種自動化的車外方式來準(zhǔn)確測量輪胎壓力。

有了這個，檢查員將不再需要進(jìn)入車輛，而是遠(yuǎn)程獲取準(zhǔn)確的讀數(shù)。這樣的系統(tǒng)將縮短檢查時間，同時提供額外的安全驗證。

該項目旨在通過原型設(shè)備解決這個問題，該設(shè)備使用機器視覺從車輛外部快速確定輪胎壓力，并將結(jié)果通知檢查員。

如何運作

該設(shè)備由一個攝像頭和電子設(shè)備組成，安裝在一個可調(diào)節(jié)的支架上，可以部署在汽車駛過的任何地方，以測量輪胎壓力水平。

OpenMV Cam H7 Plus 微控制器板提供設(shè)備的計算能力和機器視覺功能。

OpenMV Cam 包括一個板載攝像頭、處理器和存儲。Python 腳本可用于以編程方式捕獲、保存和處理圖像，以及控制板的 I/O 引腳。該板適合設(shè)備的 3D 打印外殼，其攝像頭從正面的孔中伸出。

RGB LED 使用跨接線連接到 OpenMV Cam 的 I/O 引腳，并穿過外殼頂部的孔。電源由連接的 LiPo 電池提供給電路板。

背板將所有電子設(shè)備和電池固定在外殼內(nèi)，然后連接到 3D 打印支架中。

組裝好的設(shè)備放置在目標(biāo)汽車所在位置的一側(cè)，瞄準(zhǔn)時攝像機的視野將覆蓋單個輪胎的位置，并在其周圍增加 6-12 英寸的緩沖區(qū)。

距離汽車門側(cè)大約 3 英尺，電子設(shè)備外殼略微向上傾斜。

設(shè)備通電后，加載到 OpenMV Cam 的 Python 腳本會自動開始執(zhí)行。

該腳本連續(xù)運行，循環(huán)執(zhí)行以下處理步驟：

• 捕獲圖像：使用板載攝像頭捕獲 240x240 像素灰度圖像并存儲在凸輪的閃存中。
• 對圖像進(jìn)行分類：圖像通過經(jīng)過訓(xùn)練的 TensorFlow 圖像分類模型進(jìn)行處理，該模型將其分類為“完整”、“平坦”或“無輪胎”。
• 通知用戶：RGB LED 亮綠色、紅色或黃色，具體取決于確定圖像的目標(biāo)類別。

用于對每個圖像進(jìn)行分類的 TensorFlow 模型已經(jīng)在三個類別的示例圖像的標(biāo)記數(shù)據(jù)集上進(jìn)行了訓(xùn)練：

正確充氣輪胎的“完整”圖像；未填充輪胎的“扁平”圖像；和非輪胎物體的“無輪胎”圖像，如汽車側(cè)面或空車庫。

有關(guān)創(chuàng)建使用的標(biāo)記數(shù)據(jù)集的更多詳細(xì)信息，請參閱下面的構(gòu)建說明部分。

通過在訓(xùn)練過程中反復(fù)接觸數(shù)百張示例圖像，該模型學(xué)習(xí)了可以使用哪些圖像形狀和特征來準(zhǔn)確區(qū)分三類。

OpenMV Cam 捕獲的圖像由經(jīng)過訓(xùn)練的模型處理，該模型根據(jù)輸入圖像與模型學(xué)習(xí)的形狀和特征鑒別器的匹配程度輸出每個類別的預(yù)測分?jǐn)?shù)。

無論哪個類別——“完整”、“平坦”或“無輪胎”——具有最高的預(yù)測分?jǐn)?shù)，都被認(rèn)為是該圖像的單一分類。

通知燈被編程為根據(jù)圖像的分類改變其顏色 - 為“綠色”、“紅色”或“黃色”。

處理工作流以每秒 5 幀的速度運行，這足以為緩慢移動的汽車提供實時結(jié)果。

從最初在設(shè)備視野之外的汽車輪胎開始，捕獲的圖像被正確分類為“無輪胎”，指示燈顯示黃色。

當(dāng)汽車在設(shè)備前面行駛并且其輪胎進(jìn)入相機的視野時，根據(jù)輪胎的壓力水平將捕獲的圖像分類為“滿”或“漏氣”，并且指示燈相應(yīng)地變?yōu)榫G色或紅色。

用戶或檢查員只需在汽車駛過時監(jiān)控通知燈的顏色即可驗證其輪胎的狀態(tài)。

如果當(dāng)輪胎穿過設(shè)備時通知燈變?yōu)榫G色，則檢查員知道輪胎已正確充氣并且可以安全行駛。紅色通知燈表示輪胎氣壓低，需要在繼續(xù)行駛前加滿油。

構(gòu)建說明
以下是有關(guān)如何構(gòu)建、原型設(shè)計和部署漏氣輪胎分類器設(shè)備的端到端說明。

從設(shè)備硬件的初始設(shè)置開始此項目。接下來，使用 OpenMV IDE 創(chuàng)建來自三個目標(biāo)類別的標(biāo)記圖像數(shù)據(jù)集 - “full”、“flat”和“no-tire”。

然后使用 Edge Impulse 來設(shè)計和訓(xùn)練使用數(shù)據(jù)集的圖像分類模型。訓(xùn)練好的模型被導(dǎo)出到 OpenMV Cam 并進(jìn)行測試。

通過將 RGB LED 連接到微控制器并更新 Python 代碼以使其用作通知燈來完成項目。

初始硬件設(shè)置
如果設(shè)備使用的圖像分類模型在設(shè)備完全組裝并放置在地面上時，在與設(shè)備相同的視角下捕獲的示例圖像上進(jìn)行訓(xùn)練，則該模型將表現(xiàn)最佳。

首先將 Open MV Cam H7 放置在用于最終部署的同一個 3D 打印外殼和支架中，確保在接下來的數(shù)據(jù)集創(chuàng)建步驟中正確定位 Open MV Cam H7。

這種初始設(shè)置不需要 LED 或電池。

第 1 步：PrintHousingandStand

項目附件中提供了外殼和支架的模型文件 (.stl) 。3D 打印每個文件以創(chuàng)建系統(tǒng)的三個部分 - 外殼、背板和支架。

可能需要打磨以將外殼的臂裝入支架的孔中。背板壓力適合外殼背面以封閉電子設(shè)備。

第 2 步：安裝 OpenMV Cam

OpenMV Cam H7 Plus 安裝在外殼內(nèi)，其攝像頭從正面的孔中伸出。

Cam H7 壓力配合到它的位置，它的銷可以通過將它們稍微向外彎曲朝向外殼壁來提供更緊密的配合。

外殼底部的孔可用于訪問 Cam H7 的 USB 插座。

創(chuàng)建帶標(biāo)簽的數(shù)據(jù)集

需要有標(biāo)記圖像的自定義數(shù)據(jù)集才能正確訓(xùn)練設(shè)備將采用的圖像分類模型。

目的是讓模型準(zhǔn)確地將圖像區(qū)分為三個類別之一——“完整”、“平坦”或“無輪胎”——這可以通過在訓(xùn)練期間將模型暴露給每個類別的許多示例圖像來實現(xiàn)。

訓(xùn)練依賴于示例圖像的數(shù)據(jù)集，每個圖像都與它們所代表的類別的標(biāo)簽配對。每個類都定義為包含特定內(nèi)容：

• 滿：圖像幾乎集中在一個正確填充的輪胎上 (~45 psi)。整個輪胎必須是可見的并填滿框架的大部分。
• 扁平：圖像幾乎集中在未填充的單個輪胎 (~10 psi) 上。整個輪胎必須是可見的并填滿框架的大部分。
• 無輪胎：非輪胎物體的圖像，如汽車側(cè)面或空車庫。部分輪胎的圖像包含在該類中。

這些定義支持設(shè)備的預(yù)期應(yīng)用。當(dāng)汽車駛過設(shè)備時，車庫背景、汽車面板和部分輪胎的圖像應(yīng)歸類為“無輪胎”。只有當(dāng)汽車的輪胎完全移動到相機的框架中時，才應(yīng)該對“完整”和“平坦”類別進(jìn)行分類。

通過捕獲適合每個類定義的各種圖像來構(gòu)建數(shù)據(jù)集。圖像多樣性確保模型暴露于同一類圖像之間可能存在的許多差異。

OpenMV IDE 和連接的 OpenMV Cam H7 Plus 用于收集和組織數(shù)據(jù)集的圖像。

這些說明假設(shè)您可以使用車輛、可以駕駛的小區(qū)域，并且能夠改變車輛的輪胎壓力。

步驟 1：設(shè)置捕獲區(qū)域

通過在目標(biāo)車輛所在的區(qū)域設(shè)置筆記本電腦和初始硬件來開始該過程。

在整個捕獲過程中，車輛應(yīng)該能夠稍微向前或向后移動幾英尺。

將初始硬件設(shè)置放置在距車輛側(cè)面約 3 英尺的位置，以匹配設(shè)備在其最終設(shè)置中的部署方式。通過 USB 電纜將設(shè)備中的 Cam H7 連接到筆記本電腦。

步驟 2：初始化新數(shù)據(jù)集

在筆記本電腦上打開 OpenMV IDE。從“工具”菜單中，單擊“數(shù)據(jù)集編輯器”，然后單擊“新建數(shù)據(jù)集”。

出現(xiàn)提示時，創(chuàng)建一個名為的新文件夾tire-dataset并選擇它。該文件夾將包含所有數(shù)據(jù)集圖像和相關(guān)文件。該文件夾在 IDE 的數(shù)據(jù)集編輯器面板中打開。

第 3 步：編輯捕獲腳本

一個dataset_capture_script.pyPython的文件數(shù)據(jù)集文件夾中自動創(chuàng)建和IDE編輯器窗口中打開。此腳本用于在捕獲圖像之前初始化 Cam H7 的相機設(shè)置。

為此數(shù)據(jù)集收集的圖像應(yīng)以正方形尺寸 (240x240 像素) 和灰度顏色捕獲。這兩項設(shè)置都將確保圖像與模型預(yù)期的輸入格式相匹配。

通過將sensor.RGB565值更新為sensor.GRAYSCALE并添加定義圖像大小的行來編輯腳本中的相機配置代碼塊sensor.set_windowing((240, 240))。

更新后的代碼塊應(yīng)如下所示：

通過 USB 線將 Cam H7 連接到筆記本電腦，單擊 IDE 左下角的“連接”按鈕。

單擊左下角的“開始”按鈕開始執(zhí)行data_capture_script.py腳本。運行后，可以在 IDE 的“幀緩沖”面板中查看攝像機所見的實時預(yù)覽窗口，并應(yīng)用配置設(shè)置。

第 4 步：捕獲圖像

從車輛停放和輪胎完全充氣 (~45 PSI) 開始。使用 IDE 中的實時預(yù)覽窗口定位設(shè)備，使相機以單個輪胎為中心，如上面的“完整”類所定義。

在 IDE 的數(shù)據(jù)集編輯器面板中，單擊“新建類文件夾”按鈕，并在出現(xiàn)提示時輸入類名“完整”。這會full.class在文件夾中創(chuàng)建一個新的子tire-dataset文件夾來存儲此類的圖像。

單擊“數(shù)據(jù)集編輯器”菜單中的full.class文件夾以突出顯示它。為數(shù)據(jù)集捕獲的任何新圖像都放置在當(dāng)前突出顯示的任何類子文件夾中。

相機就位后，單擊“捕獲數(shù)據(jù)”按鈕開始收集“完整”類圖像。每次單擊都會捕獲并保存 JPEG 圖像。在每次點擊之間，稍微改變相機的位置和角度，以在連續(xù)圖像之間產(chǎn)生微小的差異。

通過定期向前或向后移動車輛幾英尺、重新定位相機并繼續(xù)收集過程，收集不同輪胎旋轉(zhuǎn)時的“完整”圖像。不同的旋轉(zhuǎn)確保模型不會學(xué)習(xí)特定的輪轂蓋旋轉(zhuǎn)角度作為類特征的一部分。

重復(fù)此過程，直到收集到一整套“完整”圖像。該項目中使用的圖像總數(shù)為每班 300 張。

接下來，讓車輛輪胎中的空氣排出，直到它們被認(rèn)為是扁平的 (~10 PSI)。創(chuàng)建一個新的“平面”類并在“數(shù)據(jù)集編輯器”菜單中突出顯示flat.class子文件夾。

重復(fù)收集過程，這次使用滿足“平面”類定義的圖像。在此過程中改變距離、角度和輪胎旋轉(zhuǎn)，并繼續(xù)直到收集到整套 300 張“平坦”圖像。

最后，創(chuàng)建一個新的“no-tire”類并使用與上述類似的過程將圖像添加到no-tire.class文件夾中。這些圖像應(yīng)符合“無輪胎”類定義，包括無輪胎物體、汽車側(cè)面和部分輪胎的圖像。繼續(xù)直到收集到整套 300 個“無輪胎”圖像。

完成后，tire-dataset文件夾應(yīng)包括full.class、flat.class和no-tire.class子文件夾，每個文件夾包含 300 個示例圖像，總共 900 個圖像。一個labels.txt文件也被生成，其中包括三個類名。

?