為計算機(jī)視覺模型訓(xùn)練構(gòu)建不同視覺數(shù)據(jù)集的技術(shù)

這篇文章中，我們描述了我們?yōu)?計算機(jī)視覺模型訓(xùn)練構(gòu)建不同視覺數(shù)據(jù)集的技術(shù)，包括合成圖像的示例。我們分解了解決方案的每個組成部分，并提供了未來研究方向的見解。

問題

非線性碎片堆積、實時數(shù)據(jù)不可用以及復(fù)雜的流體動力學(xué)表明，傳統(tǒng)的基于數(shù)值模擬的方法解決該問題是無效的。在這種情況下，洪水后的視覺信息被用于制定阻塞政策，其中涉及幾個假設(shè)，許多人認(rèn)為這些假設(shè)不是阻塞的真實代表。

這表明需要從技術(shù)角度更好地理解和探索堵塞問題，以幫助洪水管理官員和決策者。

StopBlock ：監(jiān)測涵洞視覺堵塞的技術(shù)倡議

為了幫助解決阻塞問題， StopBlock 作為 SMART Stormwater 管理的一部分啟動。總體而言，該項目涉及伊拉瓦拉（臥龍崗、 Shellharbour 和 Kiama ）和 Shoalhaven 地區(qū)的市議會、 Lendlease 以及臥龍崗大學(xué)的 SMART 基礎(chǔ)設(shè)施之間的合作。

StopBlock 旨在使用最新技術(shù)實時評估和監(jiān)測涵洞的視覺堵塞：

人工智能

計算機(jī)視覺

邊緣計算

物聯(lián)網(wǎng)（ IoT ）

智能視頻分析

此外，我們使用 NVIDIA 邊緣計算、最新的計算機(jī)視覺檢測和分類模型、 CCTV 攝像機(jī)和 4G 模塊構(gòu)建并部署了人工智能物聯(lián)網(wǎng)（ AIoT ）解決方案。該解決方案在伊拉瓦拉地區(qū)的三個涵洞現(xiàn)場檢測到視覺堵塞狀態(tài)（堵塞、部分堵塞或清除）。

建立計算機(jī)視覺模型訓(xùn)練的視覺數(shù)據(jù)集

訓(xùn)練計算機(jī)視覺 CNN 模型需要大量與預(yù)期任務(wù)相關(guān)的圖像。以前從未從這個角度解決過涵洞堵塞檢測問題。不存在用于此目的的圖像數(shù)據(jù)和數(shù)據(jù)集數(shù)據(jù)庫。

我們開發(fā)了一個新的訓(xùn)練數(shù)據(jù)庫，由與涵洞堵塞有關(guān)的各種圖像數(shù)據(jù)組成。這些圖像顯示了不同的涵洞類型、碎片類型、攝像機(jī)角度、縮放比例和照明條件。

通過市議會的記錄，可以獲得真實涵洞堵塞的有限數(shù)據(jù)。我們采用了結(jié)合真實、實驗室模擬和合成視覺數(shù)據(jù)的想法。

涵洞開口和堵塞圖像

我們從多個來源收集了涵洞（堵塞和清理）的真實圖像：

市議會歷史記錄

在線存儲庫

當(dāng)?shù)睾磮龅?/p>

收集的圖像在涵洞類型、碎片類型、照明條件、攝像機(jī)視點、比例、分辨率甚至背景方面表現(xiàn)出極大的多樣性。涵洞開口和堵塞（ ICOB ）數(shù)據(jù)集的圖像總共包括 929 張圖像。

可視化液壓實驗室堵塞數(shù)據(jù)集

我們從縮放的實驗室實驗中收集模擬圖像，以優(yōu)化現(xiàn)有的視覺數(shù)據(jù)集，因為沒有足夠的真實圖像可用。

進(jìn)行了徹底的水力學(xué)實驗室調(diào)查，其中一系列實驗使用了涵洞的縮放物理模型。在各種洪水條件下，阻塞場景使用了規(guī)模化碎片（城市和植被）。

圖像在涵洞類型（單圓形、雙圓形、單箱或雙箱）、堵塞類型（城市、植被或混合）、模擬照明條件、攝像機(jī)視點（兩臺攝像機(jī)）和洪水條件（入口流量水平）方面表現(xiàn)出多樣性。然而，數(shù)據(jù)集在反射、清澈的海水、相同的背景和相同的縮放方面受到限制。

總共，我們從這些實驗中收集了 1630 張圖像，以建立 VHD dataset 。

涵洞合成圖像

我們使用基于 Unity 游戲引擎的三維計算機(jī)應(yīng)用程序生成了涵洞（ SIC ）的合成圖像，目的是增強(qiáng)訓(xùn)練數(shù)據(jù)集。

該應(yīng)用程序?qū)槟M涵洞堵塞情況而設(shè)計，可以生成幾乎無數(shù)的堵塞涵洞實例，以及您可以想到的任何可能的堵塞情況。您還可以更改涵洞類型、水位、碎片類型、相機(jī)視點、一天中的時間和縮放比例。

應(yīng)用程序設(shè)計使您能夠從下拉菜單中選擇場景特征，并從庫中拖動碎片對象以任何可能的方向放置在場景中的任何位置。您可以使用參數(shù)編寫代碼來重新創(chuàng)建多個場景，并批量捕獲帶有相應(yīng)標(biāo)簽的圖像，以幫助訓(xùn)練過程。

一些突出的限制包括不切實際的效果和動畫以及單一的自然背景。

AIoT 系統(tǒng)開發(fā)

我們使用邊緣計算硬件、計算機(jī)視覺模型和傳感器開發(fā)了 AIoT 解決方案，用于涵洞的實時可視堵塞監(jiān)測：

CCTV 攝像機(jī)捕捉涵洞。

NVIDIA Jetson TX2 –支持邊緣計算，使用經(jīng)過訓(xùn)練的計算機(jī)視覺模型處理和推斷堵塞圖像。

4G 連接將阻塞相關(guān)數(shù)據(jù)傳輸?shù)交?web 的儀表板。

計算機(jī)視覺模型用于檢測和分類涵洞處的視覺障礙。

更具體地說，在軟件方面，采用了兩階段檢測分類流水線（圖 4 ）。

檢測階段

在第一階段，使用計算機(jī)視覺對象檢測模型（ YOLOv4 ）檢測涵洞開口。從原始圖像中裁剪檢測到的開口，并在分類階段進(jìn)行處理。如果未檢測到涵洞開口，則會發(fā)出警報，提示涵洞可能被淹沒。

分類階段

在第二階段，使用 CNN 分類模型（如 ResNet-50 ）將修剪后的涵洞開口分類為三種堵塞類別（堵塞、部分堵塞或清除）之一。阻塞相關(guān)信息隨后被傳輸?shù)胶樗芾砉賳T的網(wǎng)絡(luò)儀表板，以促進(jìn)決策過程。

我們使用 Python 、 TensorFlow 和 Keras 支持的 NVIDIA TAO 平臺分別訓(xùn)練了用于檢測和分類的 YOLOv4 和 ResNet-50 模型。我們使用配備 NVIDIA A100 GPU 的 Linux 機(jī)器，使用 ICOB 、 VHD 和 SIC 數(shù)據(jù)集中的圖像訓(xùn)練模型。

以下是開發(fā)采用的四階段方法：

Stage I:我們從真實和模擬圖像中準(zhǔn)備了數(shù)據(jù)集。

Stage II:我們從 NVIDIA TAO 模型動物園中選擇檢測和分類模型，并使用 TAO 平臺對其進(jìn)行訓(xùn)練。

Stage III:我們導(dǎo)出了經(jīng)過訓(xùn)練的模型，以部署在 Jetson TX2 邊緣計算機(jī)上。

Stage IV:在現(xiàn)場，我們部署了一個完整的硬件系統(tǒng)，并收集了用于微調(diào)計算機(jī)視覺算法的真實數(shù)據(jù)。

關(guān)于軟件性能，涵洞開口檢測模型的驗證 mAP 為 0.90 ，而堵塞分類模型的驗證精度為 0.88 。

我們在 NVIDIA DeepStream 6 SDK 上開發(fā)了端到端視頻分析管道，使用經(jīng)過訓(xùn)練的計算機(jī)視覺模型在 Jetson TX2 驅(qū)動的邊緣計算機(jī)上進(jìn)行推斷。使用這些檢測和分類模型， DeepStream 流水線為 Jetson TX2 硬件實現(xiàn)了 24.8 的 FPS 。

我們使用 CCTV 攝像機(jī)、 Jetson TX2 邊緣計算機(jī)和 4G 加密狗構(gòu)建了涵洞堵塞監(jiān)測智能設(shè)備（圖 5 ）。我們優(yōu)化了開發(fā)的硬件的功耗和實時實用程序的計算時間。該硬件由太陽能電池板供電，平均功耗僅為 9.1W 。 AIoT 解決方案還配置為每小時將阻塞元數(shù)據(jù)傳輸?shù)?web 儀表板。

該解決方案被配置為考慮隱私問題，避免將任何圖像存儲在板上或云中。相反，它只處理圖像并傳輸阻塞元數(shù)據(jù)。圖 5 顯示了在一個遠(yuǎn)程站點安裝 AIoT 硬件，以監(jiān)控涵洞視覺堵塞。

未來研究方向

可以進(jìn)一步探索計算機(jī)視覺的潛力，通過提取障礙相關(guān)信息來更好地理解視覺障礙：

視覺阻塞估計百分比

洪水傳播碎片類型識別

部分自動化可視堵塞分類

視覺阻塞估計百分比

在洪水管理決策的背景下，了解給定涵洞的堵塞狀態(tài)并不總是足以做出與維護(hù)相關(guān)的決策。更進(jìn)一步，估計給定涵洞的視覺堵塞百分比有助于洪水管理官員確定視覺堵塞程度高的涵洞的優(yōu)先順序。

從圖像中分割可見開口并將分割的掩模分類為四個百分比視覺阻塞類之一的分割分類管道可以是潛在的解決方案之一。

洪水傳播碎片類型識別

碎片類型的自動檢測是有待探索的另一個關(guān)鍵方面。

部分自動化可視堵塞分類

CNN 分類模型可用于促進(jìn)人工涵洞檢查，這是一種簡單的解決方案，同時讓洪水管理官員了解情況。鑒于問題的復(fù)雜性和初步分析，不可能僅使用 CNN 分類模型來自動化該過程。然而，可以開發(fā)一個部分自動化的框架來促進(jìn)該過程。

總結(jié)

我們?yōu)楹吹囊曈X堵塞檢測提供了邊緣計算解決方案，以幫助及時維護(hù)并避免堵塞相關(guān)的洪水事件。

使用 NVIDIA 邊緣計算硬件開發(fā)和部署了一個分類檢測計算機(jī)視覺模型，以檢索涵洞的堵塞狀態(tài)，即“暢通”、“堵塞”或“部分堵塞”。為了便于針對這個獨特的問題域訓(xùn)練計算機(jī)視覺模型。我們使用了與涵洞視覺堵塞相關(guān)的模擬和人工生成的圖像。

以多種方式擴(kuò)展所提供的解決方案以實現(xiàn)進(jìn)一步改進(jìn)和附加的視覺阻塞信息的范圍很大。視覺堵塞百分比的估計、洪水傳播碎片的檢測以及部分自動化視覺堵塞分類框架的開發(fā)是現(xiàn)有解決方案中可以進(jìn)行的一些潛在增強(qiáng)。