NVIDIA生成式AI進(jìn)入ROS社區(qū)

NVIDIA 在 ROSCon 上發(fā)布更新，旨在加速 AI 驅(qū)動(dòng)的機(jī)械臂和自主移動(dòng)機(jī)器人的開發(fā)。

在丹麥最古老的城市之一、自動(dòng)化中心歐登塞舉行的 ROSCon 上，NVIDIA 及其機(jī)器人生態(tài)合作伙伴發(fā)布了適用于機(jī)器人操作系統(tǒng)（ROS）開發(fā)者的生成式 AI 工具、仿真和感知工作流。

其中包括供 ROS 開發(fā)者部署到NVIDIA Jetson邊緣 AI 和機(jī)器人平臺(tái)的全新生成式 AI 節(jié)點(diǎn)和工作流。借助生成式 AI，機(jī)器人能夠感知并理解周圍環(huán)境、與人類自然交流，并自主做出適應(yīng)性決策。

生成式 AI 進(jìn)入 ROS 社區(qū)

基于 ROS 2 構(gòu)建的 ReMEmbR 使用生成式 AI 來增強(qiáng)機(jī)器人的推理和行動(dòng)能力。它將大語(yǔ)言模型（LLM）、視覺語(yǔ)言模型（VLM）和檢索增強(qiáng)生成相結(jié)合，使機(jī)器人能夠建立并查詢長(zhǎng)期語(yǔ)義記憶，并提高其導(dǎo)航和與環(huán)境交互的能力。

語(yǔ)音識(shí)別功能由 WhisperTRT ROS 2 節(jié)點(diǎn)提供支持。該節(jié)點(diǎn)使用NVIDIA TensorRT對(duì) OpenAI 的 Whisper 模型進(jìn)行優(yōu)化，在 NVIDIA Jetson 上實(shí)現(xiàn)了低延遲推理，從而實(shí)現(xiàn)反應(yīng)靈敏的人機(jī)交互。

具有語(yǔ)音控制功能的 ROS 2 機(jī)器人項(xiàng)目使用NVIDIA Riva ASR-TTS服務(wù)，使機(jī)器人能夠理解和響應(yīng)語(yǔ)音命令。NASA 噴氣推進(jìn)實(shí)驗(yàn)室單獨(dú)演示了一個(gè)適用于 ROS 的 AI 智能體 ROSA，可在其 Nebula-SPOT 機(jī)器人和NVIDIA Isaac Sim中的NVIDIA Nova Carter機(jī)器人上運(yùn)行。

Canonical 在 ROSCon 上展示了 NanoOWL。通過這個(gè)在NVIDIA Jetson Orin Nano系統(tǒng)模塊上運(yùn)行的零樣本物體檢測(cè)模型，機(jī)器人無需依賴預(yù)定義類別，就能實(shí)時(shí)識(shí)別各種物體。

開發(fā)者現(xiàn)在就可以開始使用 ROS 2 生成式 AI 節(jié)點(diǎn)，它帶來了經(jīng) NVIDIA Jetson 優(yōu)化的 LLM 和 VLM，以增強(qiáng)機(jī)器人的能力。

通過“以仿真為中心”的方法

改進(jìn) ROS 工作流

在部署 AI 機(jī)器人之前，仿真對(duì)于安全測(cè)試和驗(yàn)證 AI 機(jī)器人至關(guān)重要。NVIDIA Isaac Sim 是一個(gè)基于 OpenUSD 構(gòu)建的機(jī)器人仿真平臺(tái)，它為 ROS 開發(fā)者提供了一個(gè)虛擬環(huán)境，使開發(fā)者可以輕松地將機(jī)器人連接到他們的 ROS 軟件包來測(cè)試機(jī)器人。關(guān)于使用 Isaac Sim 的 ROS 2 工作流的新版入門指南現(xiàn)已發(fā)布，該指南詳細(xì)講解了現(xiàn)已可用的機(jī)器人仿真和測(cè)試的端到端工作流。

作為 NVIDIA 初創(chuàng)加速計(jì)劃的會(huì)員，F(xiàn)oxglove 展示了一個(gè)集成，可以幫助開發(fā)者使用基于 Isaac Sim 構(gòu)建的Foxglove 自定義擴(kuò)展程序，實(shí)現(xiàn)仿真數(shù)據(jù)的實(shí)時(shí)可視化和調(diào)試。

Isaac ROS 3.2 的新功能

NVIDIA Isaac ROS 基于開源 ROS 2 軟件框架構(gòu)建而成，是一套用于機(jī)器人開發(fā)的加速計(jì)算軟件包和 AI 模型。即將發(fā)布的 3.2 版本增強(qiáng)了機(jī)器人的感知、操作和環(huán)境映射能力。

NVIDIA Isaac Manipulator的主要改進(jìn)包括集成了 FoundationPose 和 cuMotion 的新參考工作流，可加速機(jī)器人拾放和對(duì)象追蹤管線的開發(fā)。

NVIDIA Isaac Perceptor也經(jīng)過了改進(jìn)，加入了全新的視覺 SLAM 參考工作流、增強(qiáng)型多攝像頭檢測(cè)和 3D 重建功能，可提高自主移動(dòng)機(jī)器人（AMR）在倉(cāng)庫(kù)等動(dòng)態(tài)環(huán)境中的環(huán)境感知能力與性能。

使用 NVIDIA Issac 的合作伙伴

機(jī)器人公司正在將 NVIDIA Isaac 加速庫(kù)和 AI 模型集成到他們的平臺(tái)中。

優(yōu)傲機(jī)器人（泰瑞達(dá)的子公司）推出了一個(gè)新的 AI 加速器工具包，以開發(fā) AI 驅(qū)動(dòng)的協(xié)作機(jī)器人應(yīng)用。

Miso Robotics正在使用 Isaac ROS 加快其 AI 機(jī)器人薯?xiàng)l制作機(jī) Flippy Fry Station 的速度，并提高餐飲服務(wù)自動(dòng)化的效率與準(zhǔn)確性。

Wheel.me正在與 RGo Robotics 和 NVIDIA 合作，使用 Isaac Perceptor創(chuàng)建一個(gè)生產(chǎn)就緒型自主移動(dòng)機(jī)器人（AMR）。

Main Street Autonomy正在使用 Isaac Perceptor 來簡(jiǎn)化傳感器校準(zhǔn)。

奧比中光發(fā)布了其Perceptor 開發(fā)者套件，這是一個(gè)適用于 Isaac Perceptor 的開箱即用型 AMR 解決方案。

立普思推出了一款用于改進(jìn) AMR 導(dǎo)航能力的多攝像頭感知開發(fā)套件。

Canonical強(qiáng)調(diào)了經(jīng)過全面認(rèn)證的 Ubuntu ROS 開發(fā)者環(huán)境，為 ROS 開發(fā)者提供了開箱即用的長(zhǎng)期支持。

在 ROSCon 上與合作伙伴交流

ROS 社區(qū)成員與合作伙伴（包括 Canonical、Ekumen、Foxglove、Intrinsic、Open Navigation、西門子和泰瑞達(dá)）在丹麥舉辦多場(chǎng)研討會(huì)、講座、展臺(tái)演示和會(huì)議。重點(diǎn)活動(dòng)包括：

BoF 會(huì)議“Nav2 用戶見面會(huì)”，主持人：Steve Macenski，Open Navigation LLC

ROS 在大規(guī)模工廠自動(dòng)化中的應(yīng)用，主持人：Michael Gentner，寶馬公司；Carsten Braunroth，西門子公司

BoF 會(huì)議“在機(jī)器人操縱工作流中集成 AI”，主持人：Kalyan Vadrevu，NVIDIA

BoF 會(huì)議“在仿真中加速大規(guī)模機(jī)器人學(xué)習(xí)”，主持人：Markus Wuensch，NVIDIA

Nav2 Docking 的使用，主持人：Steve Macenski，Open Navigation LLC

ROSCon 由開源機(jī)器人基金會(huì)（OSRF）組織舉辦。NVIDIA 是 OSRF 旗下組織 Open Robotics 及其所有倡議的支持者。