NVIDIA Isaac ROS GEM 是一款基于硬件加速的軟件包,可以讓 ROS 開(kāi)發(fā)者更輕松地基于 NVIDIA 硬件構(gòu)建高性能解決方案。
NVIDIA Isaac ROS GEM功能特性
高吞吐量感知
Isaac ROS GEM 提供的軟件包中包括圖像、計(jì)算機(jī)視覺(jué),以及針對(duì) NVIDIA GPU 和 Jetson 高度優(yōu)化的 DNN 處理功能。
靈活的模組化軟件包
借助模組化軟件包,ROS 開(kāi)發(fā)者可以準(zhǔn)確地選擇需要集成到其應(yīng)用中的內(nèi)容。這意味著他們可以替換整個(gè)工作流,也可以?xún)H更換一種算法。
縮短開(kāi)發(fā)時(shí)間
Isaac ROS GEM 經(jīng)過(guò)精心設(shè)計(jì)和測(cè)試,與現(xiàn)有的常見(jiàn) ROS 節(jié)點(diǎn)相似,更易于集成到現(xiàn)有應(yīng)用中。
適用于ROS開(kāi)發(fā)者
且豐富多樣的感知AI軟件包
ROS 2 節(jié)點(diǎn)可應(yīng)對(duì)常用的圖像、計(jì)算機(jī)和 DNN 處理功能,這些功能是為 AI ROS 機(jī)器人應(yīng)用提供高性能感知的關(guān)鍵要素。
基于Visual SLAM的定位
當(dāng)自主機(jī)器在相應(yīng)環(huán)境中移動(dòng)時(shí),它們必須持續(xù)追蹤自己的位置。視覺(jué)測(cè)距通過(guò)估算攝像頭相對(duì)于其起始位置的距離來(lái)解決這一問(wèn)題。支持立體視覺(jué)測(cè)距的 Isaac ROS GEM 為 ROS 開(kāi)發(fā)者提供了這一強(qiáng)大功能。
此 GEM 使實(shí)時(shí)立體攝像頭視覺(jué)測(cè)距解決方案具備高準(zhǔn)確度??稍诖颂巺⒖蓟趶V泛使用的 KITTI 數(shù)據(jù)庫(kù)的公開(kāi)可用結(jié)果。此 GPU 加速軟件包不僅具備高準(zhǔn)確度,運(yùn)行速度也非???。事實(shí)上,SLAM 現(xiàn)在可在 Jetson Xavier AGX 上以高清分辨率(1280 x 720)實(shí)時(shí)(60 fps 以上)運(yùn)行。
3D場(chǎng)景重建– nvblox(預(yù)覽)
僅僅明確機(jī)器人的位置還不足以在復(fù)雜的環(huán)境中實(shí)現(xiàn)安全導(dǎo)航。機(jī)器人還必須能夠自己發(fā)現(xiàn)障礙物。nvblox(預(yù)覽)使用 RGB-D 數(shù)據(jù)來(lái)創(chuàng)建機(jī)器人所在環(huán)境的密集 3D 顯示。其中包括不可預(yù)見(jiàn)的障礙物,如果不進(jìn)行實(shí)時(shí)觀察,可能會(huì)對(duì)機(jī)器人造成危險(xiǎn)。而此數(shù)據(jù)有助于為導(dǎo)航堆棧生成時(shí)間成本圖。
DNN 推理過(guò)程
DNN 推理 GEM 是一組 ROS2 軟件包,允許開(kāi)發(fā)人員使用 NGC 上可用的 NVIDIA 眾多推理模型中的任何一種,甚至可以提供自己的 DNN。利用 NVIDIA TAO 工具套件,開(kāi)發(fā)者可以進(jìn)一步調(diào)整預(yù)訓(xùn)練模型或優(yōu)化自己的模型。
優(yōu)化后,這些軟件包將通過(guò) NVIDIA 的推理服務(wù)器 TensorRT 或 Triton 進(jìn)行部署。借助利用 TensorRT(NVIDIA 的高性能推理 SDK)的節(jié)點(diǎn)實(shí)現(xiàn)出色的推理性能。如果 TensorRT 不支持所需的 DNN 模型,則可以使用 Triton 來(lái)部署模型。
整合模型支持的其他 GEM 現(xiàn)已推出,并支持 U-Net 和 DOPE ?;?TensorRT 的 U-Net 軟件包可用來(lái)從圖像中生成語(yǔ)義分割遮罩。DOPE 軟件包可用于對(duì)所有檢測(cè)到的目標(biāo)進(jìn)行 3D 姿態(tài)估計(jì)。
該工具是在 ROS 應(yīng)用程序中加入高性能 AI 推理的最快方法。下圖為預(yù)訓(xùn)練模型 PeopleSemSegNet,運(yùn)行速度為 25fps @544p。
攝像頭/ 圖像處理
在典型的機(jī)器人圖像處理流程中,須先處理通過(guò)攝像頭傳感器獲得的原始數(shù)據(jù),然后再將其傳遞給 DNN 或用于感知處理的經(jīng)典計(jì)算機(jī)視覺(jué)模組。此圖像處理過(guò)程包括鏡頭失真校正(LDC)、圖像調(diào)整和圖像格式轉(zhuǎn)換等。如果需要用到立體攝像頭,則還需要估計(jì)差異。圖像處理 GEM 旨在利用 Jetson 上的專(zhuān)用計(jì)算機(jī)視覺(jué)硬件,例如 GPU、VIC(視頻和圖像合成器)和 PVA(可編程的視覺(jué)加速器)。
針對(duì)使用 CSI 接口連接攝像頭的機(jī)器人,NVIDIA 提供硬件加速的 Argus 軟件包。
審核編輯:湯梓紅
-
NVIDIA
+關(guān)注
關(guān)注
14文章
4793瀏覽量
102429 -
軟件包
+關(guān)注
關(guān)注
0文章
98瀏覽量
11533 -
ROS
+關(guān)注
關(guān)注
1文章
276瀏覽量
16884
原文標(biāo)題:DevZone | NVIDIA Isaac ROS GEM
文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論