NVIDIA AI Perception面向ROS開發(fā)者

所有移動的事物都將變得自主化。 所有自主化的事物都需要先進的實時感知。

NVIDIA宣布，向ROS開發(fā)者社區(qū)提供整套感知技術。對于尋求將先進計算機視覺和AI/ML功能納入基于ROS的機器人應用程序的開發(fā)人員來說，這將縮短開發(fā)時間并提高性能。

Open Robotics將擴展用于NVIDIA AI的ROS

Open Robotics首席執(zhí)行官Brian Gerkey表示：“隨著越來越多的ROS開發(fā)人員利用硬件平臺，這些平臺包含額外的計算功能，旨在減輕主機CPU的負擔，ROS正在發(fā)展，以更容易有效地利用這些先進的硬件資源。我們與NVIDIA這樣的加速計算領導者合作，以及其在人工智能和機器人技術創(chuàng)新方面的豐富經(jīng)驗，將為整個ROS社區(qū)帶來很大益處?！?/p>

NVIDIA和Open Robotics已達成協(xié)議，將在NVIDIA Jetson邊緣AI平臺和基于GPU的系統(tǒng)上加速ROS 2性能，并在 Omniverse 上實現(xiàn) Open Robotics 的 Ignition Gazebo 和 NVIDIA Isaac Sim 之間的無縫模擬互操作性。

NVIDIA Jetson 平臺在很多應用領域中被機器人專家廣泛采用。它旨在為機器人提供高性能、低延遲的處理，使其具有響應性、安全性和協(xié)作性。Open Robotics將通過升級ROS 2來高效管理位于NVIDIA Jetson平臺上的GPU和其他處理器之間的數(shù)據(jù)流并共享內(nèi)存，使負責實時處理攝像頭和激光雷達等傳感器高帶寬數(shù)據(jù)的應用性能得到大幅提升。

除了增強機器人應用在Jetson上的部署，Open Robotics和NVIDIA正在制定整合 Ignition Gazebo 和 NVIDIA Isaac Sim 的計劃。NVIDIA Isaac Sim已支持開箱即用的ROS 1和2，并通過連接Blender和Unreal Engine 4等流行應用來創(chuàng)建一個至關重要的3D內(nèi)容生態(tài)系統(tǒng)。

Ignition Gazebo數(shù)十年來在整個機器人界，包括在正在進行的DARPA Subterranean Challenge等高知名度比賽中創(chuàng)造了許多紀錄。

通過連接這兩個模擬器，ROS開發(fā)者可以輕松地在Ignition Gazebo和Isaac Sim之間移動他們的機器人和環(huán)境以運行大型模擬，還可以使用高保真動力學、精確傳感器模型和逼真渲染等兩個模擬器的先進功能來生成用于訓練和測試AI模型的合成數(shù)據(jù)。

此次合作所產(chǎn)生的軟件預計將于2022年春季發(fā)布。

為ROS發(fā)布的Isaac GEM速度顯著加快

用于ROS的Isaac GEM是一款使ROS開發(fā)者更容易在Jetson平臺上構建高性能解決方案的硬件加速包。這些GEM專注于提高圖像處理和基于DNN的感知模型的吞吐量，而后者對機器人專家而言正變得日益重要。這些軟件包減少了主機CPU的負載，同時顯著提升了性能。

用于ROS的全新Isaac GEM包含：

SGM Stereo Disparity和 Point Cloud

色彩空間轉(zhuǎn)換和鏡頭畸變校正

四月標簽 檢測

Isaac Sim的新功能為ROS開發(fā)者提供便利

最新版本的Isaac Sim包含對ROS開發(fā)者社區(qū)的重要支持，其中比較引人注目的是ROS2導航棧和MoveIt運動規(guī)劃框架。這些示例今天即開放使用，并可在Isaac Sim文檔中找到：

Isaac Sim中的ROS示例列表

ROS 四月標簽

ROS立體相機

ROS導航

ROS TurtleBot3 示例

ROS Manipulation和Camera Sample

ROS 服務

MoveIt 運動規(guī)劃框架

本機 Python ROS 使用

ROS2 導航

圖 2 。 Omniverse 上 ISAAC Sim 的功能框圖，顯示機器人模型、環(huán)境模型和 3D 資源輸入。

Isaac Sim生成用于訓練感知的合成數(shù)據(jù)集

除了作為一個機器人模擬器之外，Isaac Sim還具備一套強大的功能，可以生成合成數(shù)據(jù)來訓練和測試感知模型。隨著機器人專家將更多的感知功能集成到他們的平臺，這些功能將變得更加重要。顯然，機器人對環(huán)境的感知能力越強，它的自主性就越強，所需的人為干預就越少。

一旦Isaac Sim生成了合成數(shù)據(jù)集，就可以將它們直接輸入NVIDIA TAO（一個AI模型自適應平臺），從而根據(jù)機器人的具體工作環(huán)境調(diào)整感知模型。在從目標環(huán)境中采集任何實際數(shù)據(jù)之前，就可以確保機器人的感知棧在特定工作環(huán)境中的表現(xiàn)。

長期以來，機器人專家在連接和集成經(jīng)典機器人任務（如導航）和AI感知棧方面一直面臨著各種挑戰(zhàn)。Isaac Sim通過同時作為機器人和合成數(shù)據(jù)生成工具并與TAO訓練平臺進行集成解決了這一工作流程挑戰(zhàn)。

關于作者

Gerard Andrews 是專注于機器人開發(fā)社區(qū)的高級產(chǎn)品營銷經(jīng)理。在加入 NVIDIA 之前，Gerard在Cadence擔任產(chǎn)品營銷總監(jiān)，負責許可處理器IP的產(chǎn)品規(guī)劃、營銷和業(yè)務開發(fā)。他擁有佐治亞理工學院電子工程碩士學位和南方衛(wèi)理公會大學電子工程學士學位。

審核編輯：郭婷