基于NVIDIA Jetson的機(jī)器人面臨的結(jié)果、系統(tǒng)和挑戰(zhàn)

進(jìn)行高精度的實(shí)時(shí)推理是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，尤其是在能見度較低的環(huán)境中。借助 NVIDIA Jetson 嵌入式平臺(tái)，最近結(jié)束的國防高級(jí)研究計(jì)劃局（ DARPA ）地下挑戰(zhàn)賽（ SubT ）團(tuán)隊(duì)能夠以高精度和高吞吐量檢測感興趣的物體。在這篇文章中，我們將介紹在系統(tǒng)競賽的最后一站中團(tuán)隊(duì)所面臨的結(jié)果、系統(tǒng)和挑戰(zhàn)。

SubT 挑戰(zhàn)賽是由 DARPA 組織和協(xié)調(diào)的國際機(jī)器人競賽。該競賽鼓勵(lì)研究人員為機(jī)器人開發(fā)新的方法來繪制、導(dǎo)航和搜索環(huán)境，這些環(huán)境會(huì)帶來各種挑戰(zhàn)，例如能見度低、存在危險(xiǎn)、地圖未知或通信基礎(chǔ)設(shè)施差。

2019 冠狀病毒疾病包括三個(gè)初步的電路事件：隧道電路、城市電路和洞穴電路（由于 COVID-19 大流行而取消），以及最終的綜合挑戰(zhàn)課程。每個(gè)賽道和決賽都在不同的環(huán)境和不同的地形中舉行。據(jù)活動(dòng)組織者介紹，比賽在 3 個(gè)不同的階段舉行， 2021 九月在 KY 。路易斯維爾舉行了最后一場比賽。

SubT Challenge 的競爭對(duì)手利用 NVIDIA 技術(shù)滿足其硬件和軟件需求。團(tuán)隊(duì)使用桌面/服務(wù)器 GPU 來訓(xùn)練使用 NVIDIA Jetson 嵌入式平臺(tái)部署在機(jī)器人上的模型，以實(shí)時(shí)檢測感興趣的工件和對(duì)象，這是確定獲勝團(tuán)隊(duì)的主要標(biāo)準(zhǔn)。七分之五的競爭對(duì)手也使用 Jetson 平臺(tái)進(jìn)行實(shí)時(shí)目標(biāo)檢測。

次級(jí)挑戰(zhàn)

SubT 挑戰(zhàn)的靈感來自于第一響應(yīng)者在搜索救援行動(dòng)或?yàn)?zāi)難響應(yīng)期間面臨的真實(shí)場景。

通過本次比賽開發(fā)的最先進(jìn)的方法將有助于降低搜索救援人員和急救人員在探索未知地下環(huán)境時(shí)的傷亡風(fēng)險(xiǎn)。此外，自動(dòng)機(jī)器人將協(xié)助工作人員探索環(huán)境，尋找幸存者、感興趣的物體，并進(jìn)入對(duì)人類有風(fēng)險(xiǎn)的地點(diǎn)。

圖 1 。 DARPA 地下挑戰(zhàn)探索了繪制、導(dǎo)航和搜索復(fù)雜地下環(huán)境的創(chuàng)新方法和新技術(shù)。 – 圖片由 DARPA 提供 。

技術(shù)挑戰(zhàn)

這場比賽包含了各種技術(shù)挑戰(zhàn)，比如應(yīng)對(duì)一些機(jī)器人可能無法輕松操縱的未知、無結(jié)構(gòu)和不平的地形。

這些環(huán)境通常沒有任何與中央司令部通信的基礎(chǔ)設(shè)施。從感知角度來看，這些環(huán)境的可見度很低，機(jī)器人必須找到感興趣的工件和物體。

競爭團(tuán)隊(duì)的任務(wù)是通過開發(fā)新型傳感器融合方法，以及開發(fā)新的或修改現(xiàn)有機(jī)器人平臺(tái)來應(yīng)對(duì)這些挑戰(zhàn)，這些平臺(tái)具有不同的定位和檢測感興趣對(duì)象的能力。

CERBERUS 團(tuán)隊(duì)

CERBERUS 團(tuán)隊(duì)（用于地下環(huán)境中自主探索的協(xié)作步行和飛行機(jī)器人）是世界各地多所大學(xué)和工業(yè)組織的聯(lián)合財(cái)團(tuán)。

該團(tuán)隊(duì)與四個(gè)名為 ANYmal 的四足機(jī)器人、五個(gè)主要由內(nèi)部制造、具有可變大小和有效載荷能力的無人機(jī)，以及一個(gè)超級(jí)巨型機(jī)器人形式的漫游機(jī)器人一起參加了比賽。在比賽決賽中，該團(tuán)隊(duì)最終使用了四個(gè) ANYmal 機(jī)器人和超級(jí)巨型機(jī)器人進(jìn)行探索和人工制品檢測。

每個(gè) ANYmal 機(jī)器人都配備了兩臺(tái)基于 CPU 的計(jì)算機(jī)和一臺(tái) NVIDIA Jetson AGX Xavier 。漫游者機(jī)器人配備了 NVIDIA GTX 1070 GPU 。

CERBERUS 團(tuán)隊(duì)使用改進(jìn)版的 You Only Look One （ YOLO ）模型進(jìn)行目標(biāo)檢測。該模型使用兩個(gè) NVIDIA RTX 3090 GPU 在 40000 個(gè)標(biāo)記圖像上進(jìn)行訓(xùn)練。

在部署到 Jetson 上進(jìn)行實(shí)時(shí)推理之前，使用 TensorRT 對(duì)訓(xùn)練后的模型進(jìn)行了進(jìn)一步優(yōu)化。 Jetson AGX Xavier 能夠以 20 赫茲的集體頻率進(jìn)行推理。在比賽總決賽中， CERBERUS 團(tuán)隊(duì)率先發(fā)現(xiàn)了環(huán)境中 40 件文物中的 23 件，奪得了第一名。

CERBERUS 團(tuán)隊(duì)還使用 GPU 繪制地形高程圖，并訓(xùn)練 ANYmal 四足機(jī)器人的移動(dòng)策略控制器。使用 Jetson AGX Xavier 實(shí)時(shí)繪制高程圖。 ANYmal 機(jī)器人在崎嶇地形下的移動(dòng)策略訓(xùn)練是使用桌面 GPU 離線完成的。

團(tuán)隊(duì)聯(lián)袂主演

在南加利福尼亞州 NASA 噴氣推進(jìn)實(shí)驗(yàn)室（ JPL ）的研究人員以及其他大學(xué)和工業(yè)合作者的帶領(lǐng)下，團(tuán)隊(duì)合作地下自主機(jī)器人（ Co STAR ）在 2020 年的比賽中獲勝，該比賽專注于探索復(fù)雜的地下城市環(huán)境。

他們還成功地參加了 2021 屆混合人工和自然環(huán)境的比賽，排名第五。聯(lián)袂主演的團(tuán)隊(duì)帶著四個(gè)位置、四個(gè)哈士奇機(jī)器人和兩架無人機(jī)參加了比賽。

在最后一輪中，由于意外的硬件問題，團(tuán)隊(duì)最終使用了一個(gè) Spot 和三個(gè)哈士奇機(jī)器人。每個(gè)機(jī)器人都配備了一臺(tái)基于 CPU 的計(jì)算機(jī)以及一臺(tái) NVIDIA Jetson AGX Xavier 。

在目標(biāo)檢測方面，該團(tuán)隊(duì)使用 RGB 和熱圖像。他們使用 YOLO v5 模型的中型變體來處理高分辨率圖像以進(jìn)行實(shí)時(shí)推斷。該團(tuán)隊(duì)訓(xùn)練了兩種不同的模型，對(duì)捕獲的 RGB 和熱圖像進(jìn)行推理。

基于圖像的模型使用約 54000 個(gè)標(biāo)記幀進(jìn)行訓(xùn)練，而熱圖像模型使用約 2400 個(gè)標(biāo)記圖像進(jìn)行訓(xùn)練。為了訓(xùn)練模型在他們的定制數(shù)據(jù)集上，團(tuán)隊(duì) Co Star 使用了在 COCO 數(shù)據(jù)集上的預(yù)訓(xùn)練的 YOLO V5 模型，并使用NVIDIA 傳輸學(xué)習(xí)工具包（稱為 TAO 工具包）進(jìn)行傳輸學(xué)習(xí)。

使用兩個(gè)內(nèi)部部署的 NVIDIA A100 GPU 和一個(gè)由八個(gè) V100 GPU 組成的 AWS 實(shí)例對(duì)模型進(jìn)行訓(xùn)練。在 Jetson AGX Xavier 上部署模型之前，團(tuán)隊(duì)使用 TensorRT 修剪模型。

使用這種設(shè)置，團(tuán)隊(duì)合作星能夠在 28 赫茲的頻率下對(duì)五臺(tái) RealSense 相機(jī)接收到的 RGB 圖像和一臺(tái)熱敏相機(jī)接收到的圖像進(jìn)行推斷。在最后一次運(yùn)行中，機(jī)器人能夠檢測到指定區(qū)域中存在的所有 13 個(gè)工件。由于部署現(xiàn)場意外的硬件問題導(dǎo)致部署延遲，因此勘探時(shí)間有限。

配備 NVIDIA Jetson 平臺(tái)和NVIDIA GPU 硬件，在 DARPA SUT 事件中競爭的團(tuán)隊(duì)能夠有效地訓(xùn)練模型以進(jìn)行實(shí)時(shí)推理，解決地下環(huán)境所帶來的挑戰(zhàn)與精確的目標(biāo)檢測。

關(guān)于作者

Mitesh Patel 是 NVIDIA 的開發(fā)者關(guān)系經(jīng)理，他與高等教育研究人員合作，使用 NVIDIA SDK 和平臺(tái)執(zhí)行他們的想法。在加入NVIDIA 之前，他是富士施樂帕洛阿爾托實(shí)驗(yàn)室有限公司的高級(jí)研究科學(xué)家，致力于開發(fā)室內(nèi)本地化技術(shù)，用于醫(yī)院的資產(chǎn)跟蹤和制造設(shè)施的送貨車跟蹤等應(yīng)用。 Mitesh 于 2014 在澳大利亞悉尼科技大學(xué)獲得了來自自動(dòng)系統(tǒng)中心（ CAS ）的機(jī)器人學(xué)博士學(xué)位。

審核編輯：郭婷