NVIDIA Omniverse Replicator助力無(wú)人機(jī)實(shí)現(xiàn)檢查自動(dòng)化

大多數(shù)無(wú)人機(jī)檢查工作仍然需要人工檢查視頻中的缺陷。計(jì)算機(jī)視覺(jué)可以幫助實(shí)現(xiàn)無(wú)人機(jī)檢查的自動(dòng)化并加快檢查進(jìn)程。但如果缺失大量包含潛在缺陷的標(biāo)記數(shù)據(jù)，那么訓(xùn)練計(jì)算機(jī)視覺(jué)模型以實(shí)現(xiàn)自動(dòng)化檢查這一工作會(huì)十分困難。

在一場(chǎng) NVIDIA GTC 分會(huì)上，專家分享了 Exelon 如何在NVIDIA Omniverse中使用Omniverse Replicator進(jìn)行合成數(shù)據(jù)生成，從而自動(dòng)創(chuàng)建涵蓋各種電網(wǎng)資產(chǎn)缺陷的數(shù)千個(gè)已標(biāo)記的逼真示例。本文將重點(diǎn)介紹如何將合成圖像用于訓(xùn)練實(shí)時(shí)無(wú)人機(jī)檢查模型，以便優(yōu)化電網(wǎng)維護(hù)，提升電網(wǎng)的可靠性和彈性。

項(xiàng)目概述

Exelon 是一家電力公司，其負(fù)責(zé)為美國(guó)多地的 1000 多萬(wàn)客戶提供服務(wù)。

根據(jù)其“Path to Clean”計(jì)劃，這家能源供應(yīng)商計(jì)劃到 2030 年減少 50% 的排放，到 2050 年實(shí)現(xiàn)凈零排放。

該項(xiàng)目能夠?yàn)楣編?lái)許多好處，包括降低工作人員暴露在危險(xiǎn)現(xiàn)場(chǎng)的風(fēng)險(xiǎn)、減少在審核圖像上花費(fèi)的人工勞動(dòng)、通過(guò)縮短從圖像采集到解決缺陷的時(shí)間來(lái)提高電網(wǎng)可靠性等。

Exelon 的方法在確定了目標(biāo)電網(wǎng)資產(chǎn)以及圖像數(shù)據(jù)中的相關(guān)缺陷后，會(huì)創(chuàng)建一個(gè)使領(lǐng)域?qū)＜遥⊿ME）能夠標(biāo)記資產(chǎn)和缺陷的資產(chǎn)圖像標(biāo)記流程。然后，Exelon 與領(lǐng)域?qū)＜乙黄饦?gòu)建、測(cè)試并驗(yàn)證計(jì)算機(jī)視覺(jué)資產(chǎn)和缺陷檢測(cè)模型。最后努力向企業(yè)相關(guān)人員推廣該解決方案。

過(guò)程中他們也遇到了許多挑戰(zhàn)。項(xiàng)目需要大量經(jīng)過(guò)標(biāo)記的真實(shí)世界缺陷數(shù)據(jù)來(lái)訓(xùn)練和測(cè)試 AI 模型，Exelon 想知道在Omniverse Replicator中生成的合成數(shù)據(jù)是否能解決這一挑戰(zhàn)。Omniverse Replicator是建立在Omniverse 平臺(tái)和通用場(chǎng)景描述（USD）上的一個(gè)核心擴(kuò)展程序，能夠生成用于訓(xùn)練計(jì)算機(jī)視覺(jué)模型并符合物理學(xué)的合成數(shù)據(jù)。

他們還想建立一個(gè)端到端的可擴(kuò)展生態(tài)圈，以便幫助其加快如高壓線、輸電塔、變電站等其他輸配電資產(chǎn)的部署。

無(wú)人機(jī)檢查流程

BGE（Baltimore Gas and Electric）是 Exelon 旗下的一家公司，該公司為美國(guó)馬里蘭州的 100 多萬(wàn)客戶提供服務(wù)。在對(duì)指定目標(biāo)進(jìn)行現(xiàn)場(chǎng)無(wú)人機(jī)檢查時(shí)，BGE 也會(huì)派出一個(gè)現(xiàn)場(chǎng)小組，使用無(wú)人機(jī)在約 8-15 英尺遠(yuǎn)的地方從正面、側(cè)面、上面、背面等不同角度拍攝多張照片。這主要是為了至少有一張圖像中能看到電線桿、橫擔(dān)、絕緣子、變壓器等資產(chǎn)的任何缺陷。統(tǒng)一的圖像采集流程能夠幫助專家研究如何使用 AI 和計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)自動(dòng)缺陷檢測(cè)。

這個(gè)項(xiàng)目集中于識(shí)別橫擔(dān)的缺陷，對(duì)橫擔(dān)缺陷的識(shí)別與修復(fù)將提高系統(tǒng)的可靠性。橫擔(dān)最常見(jiàn)的缺陷是開(kāi)裂，該缺陷可能會(huì)影響所安裝的絕緣子的穩(wěn)定性，并導(dǎo)致客戶停電。

團(tuán)隊(duì)最初使用人工標(biāo)記的地面數(shù)據(jù)訓(xùn)練并驗(yàn)證模型是否能夠準(zhǔn)確檢測(cè)和計(jì)算無(wú)人機(jī)圖像中的橫擔(dān)。接下來(lái)的目標(biāo)是使用經(jīng)過(guò)標(biāo)記的真實(shí)世界數(shù)據(jù)以及合成數(shù)據(jù)生成進(jìn)行橫擔(dān)缺陷檢測(cè)。Exelon 目前正在真實(shí)圖像與合成圖像上訓(xùn)練其缺陷檢測(cè)模型并正在與企業(yè)相關(guān)人員驗(yàn)證模型。

資產(chǎn)檢測(cè)模型的訓(xùn)練和評(píng)估

由于缺陷檢測(cè)中會(huì)存在識(shí)別物體確切像素等需求，團(tuán)隊(duì)選擇在圖像標(biāo)記工作中使用分割掩碼。

理論上，分割會(huì)返回 positive identifications 并能夠識(shí)別所有圖像像素及區(qū)分物品。因此這在檢測(cè)線性裂縫、接縫、填充物和陰影方面能夠有更好的性能。

Exelon 的數(shù)據(jù)科學(xué)家花費(fèi)了大量時(shí)間來(lái)測(cè)試標(biāo)記圖像，并去理解不同的標(biāo)注技術(shù)會(huì)如何影響模型的準(zhǔn)確性。

Exelon 已經(jīng)看到了資產(chǎn)檢測(cè)的早期成果，他們知道對(duì)多種潛在缺陷的大量標(biāo)記數(shù)據(jù)的缺乏，將使得缺陷檢測(cè)變得更加困難。NVIDIA Omniverse和Omniverse Replicator能夠大大提高其構(gòu)建 3D 模型和生成反映現(xiàn)場(chǎng)電網(wǎng)資產(chǎn)缺陷的合成數(shù)據(jù)的能力。

在與 NVIDIA 的合作過(guò)程中，Exelon 與 NVIDIA 舉行了多次會(huì)議，一起為其架構(gòu)出謀劃策。Exelon 通過(guò)Omniverse Replicator生成了不同的橫擔(dān)缺陷，這些缺陷將為檢測(cè)模型的訓(xùn)練生成標(biāo)記數(shù)據(jù)。他們同時(shí)還使用 Omniverse 按照尺寸、形狀和位置創(chuàng)建了不同類型的橫擔(dān)缺陷。

在生成了足夠多的變化和缺陷后，團(tuán)隊(duì)將輸出結(jié)果添加到整個(gè)桿件結(jié)構(gòu)中。然后按照不同的場(chǎng)景、橫擔(dān)數(shù)量和缺陷數(shù)量生成合成圖像。

與第三方一起生成合成圖像

在與 NVIDIA 的討論會(huì)議中，Exelon 意識(shí)到 3D 建模是一項(xiàng)極具挑戰(zhàn)性的工作，并且超出了其數(shù)據(jù)科學(xué)核心重點(diǎn)。對(duì)他們來(lái)說(shuō)需要有經(jīng)驗(yàn)的藝術(shù)家和建模師來(lái)構(gòu)建 3D 模型、將其整合到逼真的環(huán)境中并操控照明和場(chǎng)景條件。NVIDIA 幫助 Exelon 與數(shù)家供應(yīng)商建立了聯(lián)系，這些供應(yīng)商正在使用 Omniverse 并為其他公用事業(yè)公司以及公用事業(yè)行業(yè)以外的其他用例提供圖像。

在這次試點(diǎn)中，Exelon 選擇了德勤公司幫助開(kāi)發(fā)用于橫擔(dān)的合成圖像。德勤使用 Autodesk Maya 構(gòu)建資產(chǎn)和缺陷的 3D 模型，然后使用 Epic 虛幻引擎進(jìn)一步開(kāi)發(fā)出逼真的周邊環(huán)境，并將精準(zhǔn)的照明和場(chǎng)景條件導(dǎo)入到 Omniverse。最后，他們的設(shè)計(jì)師和開(kāi)發(fā)人員一起輸出用于訓(xùn)練缺陷檢測(cè)模型的標(biāo)記圖像。

未來(lái)的重點(diǎn)領(lǐng)域和機(jī)遇

Exelon 的最終目標(biāo)是創(chuàng)建一個(gè)端到端的可擴(kuò)展生態(tài)圈，可以利用這個(gè)生態(tài)圈從一種資產(chǎn)擴(kuò)展到另一種資產(chǎn)。比如從橫擔(dān)開(kāi)始，一直擴(kuò)展到其輸配電、石油和天然氣資產(chǎn)。

構(gòu)建分析產(chǎn)品需要整個(gè)團(tuán)隊(duì)的努力。通過(guò)與 NVIDIA 和德勤合作，Exelon 推動(dòng)了合成圖像的生成并使其能夠在外部專家的幫助下建立 3D 模型、設(shè)計(jì)背景和標(biāo)記圖像。德勤正在圍繞 Omniverse 來(lái)集成所有可用于創(chuàng)建 3D 圖像的工具，并提供開(kāi)發(fā)大型橫擔(dān)數(shù)據(jù)集所需的框架。

在圖像采集中利用智能技術(shù)仍將是 Exelon 和其他公用事業(yè)公司的重點(diǎn)。如果這個(gè)項(xiàng)目取得成功，Exelon 將能夠擴(kuò)展到其他輸配電資產(chǎn)，比如電線桿、變壓器、絕緣子插銷、橫擔(dān)支架或輸電塔等。

審核編輯：劉清