NVIDIA Jetson 月度項(xiàng)目：能瞄準(zhǔn)、射門和得分的自主足球機(jī)器人

足球被認(rèn)為是全世界最受歡迎的運(yùn)動(dòng)之一，這主要是因?yàn)樽闱虮荣愅旨ち?，能夠展現(xiàn)球員們出色的體能與技術(shù)，讓觀眾看得驚心動(dòng)魄。因此，自然會(huì)有人致力于向機(jī)器人傳授足球比賽的精髓，包括如何搶球、瞄準(zhǔn)球門、傳球和進(jìn)球得分等。

事實(shí)上，的確有一項(xiàng)專為這個(gè)想法而開(kāi)展的賽事。RoboCup 小型機(jī)器人聯(lián)賽 （Small Size League, SSL）之視覺(jué)封鎖技術(shù)挑戰(zhàn)賽，就在鼓勵(lì)參賽團(tuán)隊(duì)“探索本地傳感和處理方法，而非采用常見(jiàn)的板外計(jì)算機(jī)和全局?jǐn)z像頭感知環(huán)境的方法”。來(lái)自巴西累西腓伯南布哥聯(lián)邦大學(xué)的學(xué)生 Jo?o Guilherme、其指導(dǎo)老師 Edna Barros 和其他 SSL 隊(duì)友共同制造了一個(gè)由 NVIDIA Jetson Nano 開(kāi)發(fā)者套件驅(qū)動(dòng)的全向移動(dòng)機(jī)器人，該機(jī)器人可以自主執(zhí)行足球任務(wù)。

該團(tuán)隊(duì)所制造的全向移動(dòng)機(jī)器人配有單目攝像頭，可自主執(zhí)行以下任務(wù)：

• 定位

• 找球和搶球

• 坐標(biāo)計(jì)算

• 將球傳給其他機(jī)器人隊(duì)友

• 射空門得分

團(tuán)隊(duì)制造這臺(tái)機(jī)器人時(shí)，使用了平均處理速度為 30 FPS 的 AI 軟件工作流，硬件功耗僅為 10.8 W 左右。

機(jī)器人前部有一個(gè)踢球裝置，是一個(gè)四輪全向移動(dòng)機(jī)器人。圖 1 為機(jī)器人的幾何形狀。

圖 1. 由 NVIDIA Jetson Nano 開(kāi)發(fā)者套件驅(qū)動(dòng)的

全向移動(dòng)機(jī)器人的運(yùn)動(dòng)能力可以自主執(zhí)行足球任務(wù)

該團(tuán)隊(duì)在《制造 RoboCup 小型機(jī)器人聯(lián)賽自主機(jī)器人》一文中解釋道：“我們?cè)趽屒?、進(jìn)球和傳球這三個(gè)足球任務(wù)上評(píng)估了系統(tǒng)，成功率分別達(dá)到 80%、80% 和 46.7%?！?/p>

比賽期間，各隊(duì)將使用場(chǎng)外計(jì)算機(jī)執(zhí)行大部分計(jì)算，去接收球的位置并采集場(chǎng)地幾何信息和裁判指令。比賽隊(duì)伍分成 6 個(gè)機(jī)器人組 （B 組） 和 11 個(gè)機(jī)器人組（A 組），機(jī)器人通過(guò)帶寬最小的射頻通信接收導(dǎo)航指令。機(jī)器人的直徑和高度限制分別為 180 毫米（B 組）和 150 毫米（A 組），因此被稱為“小型機(jī)器人聯(lián)賽”。

RoboCup 小型機(jī)器人聯(lián)賽分為四個(gè)階段：

1. 在賽場(chǎng)某處抓到一個(gè)靜止的球

2. 將球射入空門得分

3. 將機(jī)器人移動(dòng)到特定坐標(biāo)

4. 間接射門得分（需要兩個(gè)機(jī)器人）

另外，該挑戰(zhàn)賽還要求機(jī)器人能夠檢測(cè)場(chǎng)地中的物體、估算物體的位置、計(jì)算導(dǎo)航路徑并記錄經(jīng)過(guò)的軌跡。

Guilherme 和他的隊(duì)友在《制造 RoboCup 小型機(jī)器人聯(lián)賽自主機(jī)器人》一文中表示：“SSL 比賽是一種機(jī)器人資源極其有限的高度動(dòng)態(tài)化環(huán)境，這就要求解決方案必須考慮尺寸、功耗、精度和處理速度之間的權(quán)衡。我們?cè)谘芯恐刑岢隽艘环N使這些機(jī)器人能夠自主執(zhí)行基本足球任務(wù)的架構(gòu)，也就是說(shuō)這些機(jī)器人不用接收任何的外部信息。”

項(xiàng)目硬件

該團(tuán)隊(duì)在項(xiàng)目中使用了以下硬件：

• 一套 Jetson Nano 開(kāi)發(fā)者套件，用于執(zhí)行嵌入式視覺(jué)和制定決策

• 一個(gè)全向移動(dòng)機(jī)器人

• 一個(gè)羅技 C922 攝像頭，用于提供單目視覺(jué)

• 慣性傳感器，用于估算里程

• 一個(gè) STM32F767ZI 微控制器單元 （MCU），用于接收來(lái)自 Nano 的目標(biāo)相對(duì)位置和導(dǎo)航標(biāo)志，并使用慣性里程計(jì)執(zhí)行底層控制和軌跡估計(jì)

圖 2. 足球機(jī)器人的 AI 檢測(cè)流程和運(yùn)動(dòng)規(guī)劃

有關(guān)所使用硬件的更多信息，請(qǐng)參見(jiàn) Rob?CIn 2020 團(tuán)隊(duì)說(shuō)明文件：https://ssl.robocup.org/wp-content/uploads/2020/03/2020_TDP_RoboCIn.pdf

技術(shù)挑戰(zhàn)

在該賽事的視覺(jué)封鎖挑戰(zhàn)賽中，獲勝機(jī)器人必須能夠完成各種足球技能，包括抓住靜止的球、射空門得分、移動(dòng)到特定坐標(biāo)以及間接進(jìn)球得分（傳球給另一個(gè)機(jī)器人）等。

機(jī)器人必須能夠僅使用嵌入式傳感和處理技術(shù)來(lái)完成這些技能。這項(xiàng)挑戰(zhàn)沒(méi)有高度限制，因此團(tuán)隊(duì)在普通機(jī)器人的頂部添加了一個(gè)板載攝像頭、Jetson Nano 和一塊電源板。

圖 3. 團(tuán)隊(duì)為視覺(jué)封鎖挑戰(zhàn)賽改裝的足球機(jī)器人（左）

和他們?cè)瓉?lái)的機(jī)器人（右）

此外，這項(xiàng)挑戰(zhàn)還要求機(jī)器人能夠探測(cè)場(chǎng)地中的物體、估算其位置、計(jì)算導(dǎo)航路徑并記錄經(jīng)過(guò)的軌跡。SSL 足球比賽利用外部攝像頭和板外計(jì)算機(jī)感知環(huán)境，并向機(jī)器人發(fā)送指令。

研究人員表示，該 SSL 視覺(jué)架構(gòu)“存在一定的局限性，比如攝像頭的視野、色彩分割、軟件延遲和通信中斷等，這迫使團(tuán)隊(duì)開(kāi)發(fā)出能夠應(yīng)對(duì)復(fù)雜條件的解決方案。例如，球遮擋是比賽中的一個(gè)常見(jiàn)問(wèn)題，即機(jī)器人在攝像頭圖像上的投影與球重疊。還有就是球和機(jī)器人的位置會(huì)發(fā)生偏移，偶爾會(huì)出現(xiàn)檢測(cè)不到或檢測(cè)錯(cuò)誤的情況?！?/p>

在 SSL 比賽中，機(jī)器人和球的速度分別高達(dá) 3.7 m/s 和 6.5 m/s，這使得比賽的移動(dòng)速度非?？?，因此需要高吞吐量的解決方案。此外，受尺寸限制，再加上使用電池作為電源，解決方案的功耗必須較低。在比賽過(guò)程中，機(jī)器人還要做出精準(zhǔn)的遠(yuǎn)射和長(zhǎng)傳，因此需要能夠精確估算位置。

團(tuán)隊(duì)還注意到精確的電機(jī)控制的重要性，這樣機(jī)器人就可以在足球場(chǎng)上移動(dòng)，并保持其測(cè)量位置的準(zhǔn)確性。他們需要一種方法，來(lái)降低機(jī)器人對(duì)位置的內(nèi)部理解與實(shí)際物理位置之間偏離的比率。

圖 4. 足球機(jī)器人的攝像頭可幫助檢測(cè)物體并提供視野，

以便機(jī)器人作出決策和規(guī)劃路徑

項(xiàng)目軟件和 AI

研究團(tuán)隊(duì)使用 OpenCV2 以及校準(zhǔn)和姿勢(shì)計(jì)算技術(shù)提取單目攝像頭（固定在機(jī)器人上）的 “內(nèi)在和外在參數(shù)”。他們使用 SSD MobileNet v2 檢測(cè)攝像頭幀畫(huà)面上的物體 2D 邊界框，還使用一個(gè)程序?qū)?SSD MobileNet 創(chuàng)建的邊界框坐標(biāo)執(zhí)行線性回歸，用于估算出預(yù)校準(zhǔn)攝像頭參數(shù)。這將在場(chǎng)地上分配對(duì)應(yīng)物體底部中心的點(diǎn)（代表物體與攝像頭的相對(duì)位置），包括對(duì)應(yīng)該機(jī)器人的點(diǎn)。

結(jié)果

團(tuán)隊(duì)對(duì)他們的機(jī)器人在今年挑戰(zhàn)賽中的表現(xiàn)非常滿意，主要包括：

• 抓取靜止的球：在 15 次嘗試中，機(jī)器人有 12 次能夠在球接觸到運(yùn)球器時(shí)將球停住，成功率高達(dá) 80%。

• 進(jìn)球：在 15 次跑動(dòng)中，有 12 次進(jìn)球。

• 傳球：在 15 次嘗試中，成功傳球 7 次，成功率為 46.7%。

團(tuán)隊(duì)自 2019 年起參加 RoboCup 小型機(jī)器人聯(lián)賽，并于 2022 年贏得首個(gè)世界冠軍（B 組）。他們目前還是三屆拉丁美洲冠軍?！癛oboCup 2023 之 Rob?CIn 小型機(jī)器人聯(lián)賽團(tuán)隊(duì)介紹文件擴(kuò)增版”（https://arxiv.org/abs/2307.10018）介紹了該團(tuán)隊(duì)為獲得 7 月底在法國(guó)波爾多舉行的 RoboCup 2023 小型機(jī)器人聯(lián)賽 （SSL） B 組冠軍而對(duì)其項(xiàng)目作出的改進(jìn)。最終，他們?nèi)缭笂Z冠。

圖 5. 機(jī)器人抓取靜止的球（上）并射門得分（下）

未來(lái)的計(jì)劃

Guilherme 深入介紹了團(tuán)隊(duì)在比賽中遇到的挑戰(zhàn)，以及可以在未來(lái)的賽事中作出的改進(jìn)。他指出，大多數(shù)失敗都是由于錯(cuò)誤檢測(cè)到場(chǎng)外物體造成的，“我們正在研究一種檢測(cè)賽場(chǎng)邊界，并使用掩碼來(lái)屏蔽這些物體的解決方案?！?/p>

該團(tuán)隊(duì)需要更加快速的物體檢測(cè)解決方案。Guilherme 表示：“盡管我們目前能夠執(zhí)行基本的技能，但 30 FPS 的處理速度對(duì)于 SSL 環(huán)境來(lái)說(shuō)仍然很低。在主要比賽中，攝像頭的運(yùn)行速度通常為 70 FPS?！?/p>

該機(jī)器人完全是根據(jù)檢測(cè)到的物體的相對(duì)位置來(lái)執(zhí)行技能，也就是說(shuō)，它并不知道自己在賽場(chǎng)上的位置。Guilherme 表示：“我們認(rèn)為這些信息可以幫助優(yōu)化在足球任務(wù)中的表現(xiàn)，同時(shí)還能讓我們避免處罰，例如避免機(jī)器人進(jìn)入守門員區(qū)域等。我們正在研究一種基于蒙特卡洛定位 （MCL） 的自定位算法，并將在未來(lái)幾個(gè)月內(nèi)發(fā)布相關(guān)信息。”

該團(tuán)隊(duì)計(jì)劃在未來(lái)為該機(jī)器人的系統(tǒng)添加更多功能（如賽場(chǎng)線檢測(cè)、定位算法和路徑規(guī)劃等），他們將努力優(yōu)化系統(tǒng)的每個(gè)部分來(lái)滿足這些需求。

此外，該團(tuán)隊(duì)還在繼續(xù)研究檢測(cè)賽場(chǎng)邊界和賽場(chǎng)線，以及估算機(jī)器人自我位置的解決方案。他們還計(jì)劃用 Jetson Orin Nano 替換 Jetson Nano ，從而提高機(jī)器人的處理速度。這一升級(jí)將幫助提高團(tuán)隊(duì)在聯(lián)賽中的競(jìng)爭(zhēng)力。

請(qǐng)?jiān)L問(wèn)開(kāi)發(fā)者論壇和 GitHub，進(jìn)一步了解該團(tuán)隊(duì)的原始項(xiàng)目。

開(kāi)發(fā)者論壇：https://forums.developer.nvidia.com/t/ssl-detector-objects-detection-and-position-estimation-at-the-robocup-small-size-league-ssl/221385

GitHub：https://github.com/jgocm/ssl-detector

您還可以探索 Jetson 社區(qū)項(xiàng)目，從其他機(jī)器人開(kāi)發(fā)者那里獲得更多想法和靈感：https://developer.nvidia.com/embedded/community/jetson-projects

SIGGRAPH 2023

NVIDIA 精彩發(fā)布

SIGGRAPH 2023 | NVIDIA 主題演講重磅發(fā)布精彩回顧，探索 AI 無(wú)限未來(lái)！

敬請(qǐng)持續(xù)關(guān)注...