自 2021 10 月以來, NVIDIA 和 Open Robotics 合作推出了兩項重要的更改,現(xiàn)已發(fā)布在簡陋的 ROS 2 版本中,以提高提供硬件加速器的計算平臺的性能。
新的 ROS 2 簡易硬件加速特性稱為類型自適應(yīng)和類型協(xié)商。 NVIDIA 將在下一次 NVIDIA ISAAC ROS 發(fā)布( 2022 年 6 月底)中發(fā)布一個實現(xiàn)類型自適應(yīng)和類型協(xié)商的軟件包。
這些簡單但功能強(qiáng)大的框架添加將顯著提高開發(fā)人員的性能,這些開發(fā)人員希望將人工智能/機(jī)器學(xué)習(xí)和計算機(jī)視覺功能納入其基于 ROS 的應(yīng)用程序中。
Open Robotics 首席執(zhí)行官布萊恩·格基( Brian Gerkey )表示:“隨著 ROS 開發(fā)人員向其機(jī)器人應(yīng)用程序添加更多的自主權(quán),機(jī)器人上的計算機(jī)正變得更加強(qiáng)大。我們一直在努力改進(jìn) ROS 框架,以確保它能夠利用這些邊緣計算機(jī)中的高性能硬件資源?!?。
“與 NVIDIA robotics 團(tuán)隊密切合作,我們很高興在謙遜的版本中分享新功能(類型調(diào)整和協(xié)商),這將有助于整個 ROS 社區(qū)努力接受硬件加速?!?/p>
消除硬件加速的開銷
類型自適應(yīng)
硬件加速器通常需要不同的數(shù)據(jù)格式來提供最佳性能。類型適配( REP-2007 )現(xiàn)在可用于 ROS 節(jié)點以更適合硬件的格式工作。處理管道可以使用自適應(yīng)類型消除 CPU 和內(nèi)存加速器之間的內(nèi)存拷貝。不必要的內(nèi)存拷貝會消耗 CPU 計算、浪費電源并降低性能,尤其是隨著圖像大小的增加。
類型協(xié)商
另一個新的創(chuàng)新是類型協(xié)商( REP-2009 )。處理管道中的不同 ROS 節(jié)點可以公布其支持的類型,以便選擇產(chǎn)生理想性能的格式。 ROS 框架執(zhí)行此協(xié)商過程,并與不支持協(xié)商的遺留節(jié)點保持兼容性。
使用類型適配和協(xié)商加速處理管道使硬件加速器零拷貝成為可能。這減少了軟件開銷,并釋放了底層硬件的潛力。隨著機(jī)器人專家遷移到更強(qiáng)大的計算平臺,如 NVIDIA Jetson Orin ,他們可以期望實現(xiàn)硬件帶來的更多性能增益。
這些更改完全在 ROS 2 內(nèi)部完成,這確保了與現(xiàn)有工具、工作流和代碼庫的兼容性。
圖 1 :。比較有無類型調(diào)整和協(xié)商的硬件加速管道
類型適應(yīng)和協(xié)商已顯示出有希望的結(jié)果。在 ROS 2 Foxy 和 ROS 2 Humble 上運行了一個由 ROS 節(jié)點圖組成的基準(zhǔn)測試,每個節(jié)點的計算量最小,因此我們可以觀察底層框架的性能。我們在 Jetson AGX Xavier 和新的 Jetson AGX Orin 。我們觀察到 Xavier 提高了 3 倍, Orin 提高了 7 倍。
圖 2 :。類型適應(yīng)框架在 Jetson AGX Xavier 和 Jetson AGX Orin 上比較 ROS 2 Foxy 和 ROS 2 Humble 的基準(zhǔn)性能
引入 NVIDIA ISAAC 用于 ROS 運輸
類型自適應(yīng)和協(xié)商的 NVIDIA 實現(xiàn)稱為 NITROS 。這些是由 ISAAC ROS 硬件加速模塊(又稱 GEMs )組成的 ROS 處理管道。這些管道將于 2022 年 6 月底在 ISAAC ROS 開發(fā)商預(yù)覽( DP )中提供。 NITROS 的首次發(fā)布將包括三條管道,計劃在今年晚些時候推出更多管道。
表 1 :。 DP 釋放中的 NITROS 管道
強(qiáng)大的新型 GEMs 輔助機(jī)器人感知
除了 NITROS 加速管道外, ISAAC ROS DP 版本還包含兩個新的基于 DNN 的 GEM ,旨在幫助機(jī)器人專家完成常見的感知任務(wù)。
第一個 GEM ESS 是用于立體相機(jī)視差預(yù)測的 DNN 。 網(wǎng)絡(luò) 為機(jī)器人應(yīng)用提供基于視覺的連續(xù)深度感知。
另一個 GEM , Bi3D ,是用于基于視覺的障礙預(yù)測的 DNN ?;?NVIDIA Research 的開創(chuàng)性工作,對 DNN 進(jìn)行了改進(jìn),以檢測自由空間,同時預(yù)測障礙物。該網(wǎng)絡(luò)可預(yù)測障礙物是否位于立體攝像頭的四個可編程鄰近區(qū)域之一內(nèi)。
Bi3D 經(jīng)過優(yōu)化,可在 NVIDIA DLA 硬件 上運行。利用 DLA ,可以同時保留 GPU 和 CPU 計算資源。
Bi3D 和 ESS 都經(jīng)過預(yù)訓(xùn)練,可用于使用 synthetic 和真實數(shù)據(jù)的機(jī)器人應(yīng)用,并用于商業(yè)用途。這兩款新的 ISAAC ROS Gem 加入了之前發(fā)布的經(jīng)典計算機(jī)視覺立體深度視差例程 stereo \ u image \ u proc ,為立體相機(jī)深度感知提供三種不同的獨立功能。
圖 3 :。比較合成相機(jī)圖像(頂部)和無活動投影的 RGB 立體相機(jī)圖像捕獲的結(jié)果(底部)。從左到右:具有地面自由空間的四個鄰近場的三維 DNN 預(yù)測; ESS-DNN 連續(xù)深度預(yù)測;經(jīng)典 CV 立體視差函數(shù)
表 2 :。可用 ROS GEM 軟件包
快速入門
有興趣將 NVIDIA AI 感知集成到其產(chǎn)品中的 ROS 開發(fā)人員應(yīng)該從今天開始 ISAAC ROS .
關(guān)于作者
Gerard Andrews 是專注于機(jī)器人開發(fā)社區(qū)的高級產(chǎn)品營銷經(jīng)理。在加入 NVIDIA 之前,Gerard在Cadence擔(dān)任產(chǎn)品營銷總監(jiān),負(fù)責(zé)許可處理器IP的產(chǎn)品規(guī)劃、營銷和業(yè)務(wù)開發(fā)。他擁有佐治亞理工學(xué)院電子工程碩士學(xué)位和南方衛(wèi)理公會大學(xué)電子工程學(xué)士學(xué)位。
審核編輯:郭婷
-
機(jī)器人
+關(guān)注
關(guān)注
210文章
27839瀏覽量
204596 -
NVIDIA
+關(guān)注
關(guān)注
14文章
4793瀏覽量
102429 -
AI
+關(guān)注
關(guān)注
87文章
28877瀏覽量
266232
發(fā)布評論請先 登錄
相關(guān)推薦
評論