利用NVIDIA Isaac平臺(tái)構(gòu)建、設(shè)計(jì)并部署機(jī)器人應(yīng)用

機(jī)器人在智能制造設(shè)施、商業(yè)廚房、醫(yī)院、倉(cāng)庫(kù)物流和農(nóng)業(yè)領(lǐng)域等不同環(huán)境中的應(yīng)用正在迅速擴(kuò)展。該行業(yè)正在向智能自動(dòng)化轉(zhuǎn)變，這需要增強(qiáng)的機(jī)器人功能來(lái)執(zhí)行感知、地圖構(gòu)建、導(dǎo)航、負(fù)載處理、物體抓取和復(fù)雜的裝配任務(wù)等功能。

AI 在這一變革中發(fā)揮著關(guān)鍵作用，提高了機(jī)器人的性能。通過(guò)集成 NVIDIA AI 加速，機(jī)器人可以更高的精度和效率處理復(fù)雜的任務(wù)，在各種應(yīng)用中充分發(fā)揮自己的潛力。

在 COMPUTEX，NVIDIA 宣布了一些新功能，可幫助機(jī)器人專(zhuān)家和工程師構(gòu)建智能機(jī)器人。這些功能包括：

NVIDIA Isaac Perceptor，一種適用于自主移動(dòng)機(jī)器人（AMR）和自動(dòng)導(dǎo)引車(chē)（AGV）的新參考工作流。

NVIDIA Isaac 機(jī)器人操作系統(tǒng)（ROS）為工業(yè)機(jī)械臂提供了新的基礎(chǔ)模型和參考工作流程。

面向機(jī)器人的 NVIDIA Jetson，以及 NVIDIA JetPack 6.0 中的最新更新。

NVIDIA Isaac Sim 4.0引入了 NVIDIA Isaac Lab，這是一款輕量級(jí)應(yīng)用，用于機(jī)器人學(xué)習(xí)。

NVIDIA Isaac Perceptor

AMR 和 AGV 對(duì)于裝配線效率、物料搬運(yùn)和醫(yī)療健康物流至關(guān)重要。隨著這些機(jī)器人在復(fù)雜和非結(jié)構(gòu)化環(huán)境中導(dǎo)航，感知周?chē)h(huán)境并作出反應(yīng)的能力變得至關(guān)重要。

Isaac Perceptor，基于 NVIDIA Isaac 機(jī)器人操作系統(tǒng)（ROS），助力原始設(shè)備制造商（OEM）、貨運(yùn)服務(wù)提供商、軟件供應(yīng)商和自動(dòng)移動(dòng)機(jī)器人（AMR）生態(tài)系統(tǒng)加速機(jī)器人開(kāi)發(fā)。團(tuán)隊(duì)可以為移動(dòng)機(jī)器人配備感知功能，以便在非結(jié)構(gòu)化環(huán)境中成功導(dǎo)航和避障。

Isaac Perceptor 的早期合作伙伴包括倉(cāng)儲(chǔ)/內(nèi)部物流領(lǐng)域的行業(yè)領(lǐng)導(dǎo)者、汽車(chē)制造商、工業(yè)機(jī)器人制造公司和機(jī)器人解決方案提供商，例如 ArcBest、比亞迪電子、Gideon、KION、Kudan、IdealWorks、RGo 以及 Teradyne 機(jī)器人等。

Isaac Perceptor 的主要特性

Isaac Perceptor 提供的功能可為基于 AI 的自主移動(dòng)機(jī)器人提供多攝像頭、3D 環(huán)繞視覺(jué)功能。

基于 AI 的多攝像頭深度感知

Isaac Perceptor 以每秒 30Hz 的刷新率處理 16.5M 深度點(diǎn)。立體差異通過(guò)來(lái)自立體攝像頭的時(shí)間同步圖像對(duì)計(jì)算得出，用于為場(chǎng)景生成深度圖像或點(diǎn)云。高效的半監(jiān)督式深度神經(jīng)網(wǎng)絡(luò)（ESS DNN）為基于深度神經(jīng)網(wǎng)絡(luò)的立體差異提供了 GPU 加速支持。

▲圖 1 ESS DNN 檢測(cè) 5 米處的障礙物

多攝像頭視覺(jué)慣性測(cè)距

Isaac ROS 視覺(jué) SLAM 提供 ROS 2 軟件包，用于視覺(jué)同步定位和映射（VSLAM）和視覺(jué)測(cè)距（VO）。這基于 NVIDIA 的 CUDA 視覺(jué) SLAM（cuVSLAM）并提供強(qiáng)大的導(dǎo)航功能，在無(wú)特色環(huán)境中導(dǎo)航時(shí)，翻譯錯(cuò)誤率不到 1%。

在具有稀疏視覺(jué)特征或重復(fù)模式的環(huán)境中導(dǎo)航對(duì) VSLAM 解決方案來(lái)說(shuō)是一個(gè)眾所周知的挑戰(zhàn)。可以通過(guò)融合來(lái)自多個(gè)視角的輸入來(lái)緩解這一問(wèn)題。在最新的更新中，cuVSLAM 整合了來(lái)自多個(gè)立體攝像頭的并發(fā)視覺(jué)測(cè)距估計(jì)。

測(cè)試表明有了顯著改進(jìn)。機(jī)器人使用多個(gè)攝像頭持續(xù)實(shí)現(xiàn)其導(dǎo)航目標(biāo)，而使用單個(gè)攝像頭則不到 25%。

▲表 1 cuVSLAM 與 FRVO、S-PTAM 和 ORB-SLAM2 的性能比較。cuVSLAM 顯示了使用多個(gè)攝像頭加速機(jī)器人導(dǎo)航的性能

▲圖 2 使用一個(gè)攝像頭的 Isaac ROS Visual SLAM 與兩個(gè)攝像頭和四個(gè)攝像頭的對(duì)比

實(shí)時(shí)、多攝像頭立體像素網(wǎng)格映射

Isaac Perceptor 的核心是 nvblox，一個(gè)使用 CUDA 加速的 3D 場(chǎng)景重建庫(kù)，可以識(shí)別距離最遠(yuǎn) 5 米的障礙物，以提供 2D 成本圖，并在 300 毫秒內(nèi)進(jìn)行更新。

Isaac ROS nvblox 提供了用于三維場(chǎng)景重建的 ROS 2 軟件包和用于導(dǎo)航的本地障礙物成本地圖生成軟件包。此軟件包可應(yīng)用于靜止環(huán)境以及包含人員和移動(dòng)對(duì)象的場(chǎng)景。

此版本中的新增功能是使用多達(dá)三個(gè) HAWK 攝像頭提供多攝像頭支持，以擴(kuò)大覆蓋范圍，從而提供約 270° 的視野。

▲圖 3 使用 Isaac ROS Nvblox 進(jìn)行立體像素 3D 重建，包括懸置障礙物重建

NVIDIA Nova Orin 開(kāi)發(fā)者套件

此開(kāi)發(fā)者套件采用 NVIDIA Jetson AGX Orin，支持多達(dá)六個(gè)攝像頭，包括多達(dá)三個(gè)立體攝像頭和三個(gè)魚(yú)眼攝像頭，攝像頭內(nèi)部延遲不到 100 微秒。

立體攝像頭的分辨率為每個(gè)攝像頭的 2MP，視野為 110X70，適用于三維占用網(wǎng)格映射、深度感知、視覺(jué)測(cè)距和人員檢測(cè)。購(gòu)買(mǎi) Nova Orin 開(kāi)發(fā)者套件，可以使用 Segway 或 Leopard 成像的 Isaac Perceptor。

Isaac Perceptor 在此開(kāi)發(fā)者套件中提供了一個(gè)參考圖，支持多達(dá)三個(gè)立體攝像頭。借助 ROS 2 軟件包的增強(qiáng)模塊化，此版本還提供了一個(gè)參考集成，即 Nav2 的 Nova Carter 參考機(jī)器人。

增強(qiáng)了與攝像頭和傳感器的兼容性

Isaac Perceptor 提供了與攝像頭和傳感器合作伙伴的集成的增強(qiáng)支持。Orbbec 成功集成了帶有 NVIDIA Isaac Perceptor 組件的 Gemini 335L 攝像頭。使用 Isaac ROS 視覺(jué) SLAM 和 Nvblox 在 NVIDIA Jetson AGX Orin 上演示了這種集成。

LIPS 還成功地將其 AE450 攝像頭與 Isaac 感知器組件 Nvblox 集成。

NVIDIA Isaac Manipulator

Isaac Manipulator是由 NVIDIA 加速庫(kù)和 AI 模型組成的工作流程。它使開(kāi)發(fā)者能夠?qū)?AI 加速應(yīng)用于機(jī)器人臂或操作器，以便無(wú)縫感知、理解環(huán)境并與環(huán)境進(jìn)行交互。

其基礎(chǔ)模型和加速庫(kù)可以作為獨(dú)立模塊集成，也可以作為整個(gè)工作流程集成到解決方案開(kāi)發(fā)中。除了獨(dú)立的模塊化組件外，還為開(kāi)發(fā)者提供了示例工作流程（ROS 2 啟動(dòng)腳本），這些工作流程結(jié)合了 Isaac Manipulator 組件，以實(shí)現(xiàn)完整的端到端參考集成。

▲圖 4 利用 NVIDIA 組件的 Isaac Manipulator 工作流程示例（綠色）

Isaac Manipulator 的早期協(xié)作者包括機(jī)器人開(kāi)發(fā)者平臺(tái)公司、OEM 和 ISV/SI，包括 Intrinsic（一家 Alphabet 公司）、西門(mén)子、Solomon、Techman 機(jī)器人、Teradyne 機(jī)器人、Vention 以及 Yaskawa。

Isaac Manipulator 的主要特性

Isaac Manipulator 引入 AI 功能來(lái)加速機(jī)械臂的開(kāi)發(fā)。

cuMotion 可加快路徑規(guī)劃速度

此 GPU 加速的運(yùn)動(dòng)規(guī)劃器有助于縮短周期時(shí)間。cuMotion 可作為 MoveIt 2 動(dòng)作規(guī)劃框架，這是一個(gè)由國(guó)際社區(qū)開(kāi)發(fā)的開(kāi)源項(xiàng)目，由 PickNik Robotics 領(lǐng)導(dǎo)。

cuMotion 在多個(gè)種子間并行運(yùn)行軌跡優(yōu)化，并返回最佳解決方案。

作為高級(jí)視覺(jué)和機(jī)器人解決方案的領(lǐng)導(dǎo)者，Solomon 是 Isaac Manipulator 的早期合作者。與傳統(tǒng)算法相比，由 Isaac Manipulator cuMotion 增強(qiáng)的 bin-picking 系統(tǒng)將路徑規(guī)劃速度提高了 8 倍，并將路徑奇點(diǎn)率降低了 50%。

▲表 2 使用 Isaac Manipulator 的 Solomon 垃圾桶揀貨系統(tǒng)的性能增強(qiáng)。Solomon 的成功率、移動(dòng)時(shí)間、軌跡長(zhǎng)度和規(guī)劃時(shí)間都有顯著提高，路徑奇點(diǎn)出現(xiàn)次數(shù)減少。

FoundationPose

FoundationPose 是一種新的統(tǒng)一基礎(chǔ)模型，用于對(duì)新對(duì)象進(jìn)行單次六維度姿態(tài)估計(jì)和跟蹤。此模型旨在在遇到以前未見(jiàn)過(guò)的物體的應(yīng)用程序中實(shí)現(xiàn)高精度工作，而無(wú)需進(jìn)行微調(diào)。

FoundationPose 目前位于 2023 年 BOP 排行榜，用于對(duì)未見(jiàn)物體進(jìn)行 6D 定位。它對(duì)遮擋、快速運(yùn)動(dòng)以及紋理和縮放等各種物體屬性非常可靠，可以確?？鐖?chǎng)景提供可靠的性能。開(kāi)發(fā)者可以從任何角度生成物體的逼真視圖。

▲圖 6 使用 NVIDIA FoundationPose 進(jìn)行姿態(tài)估計(jì)和追蹤

SyntheticaDETR

SyntheticaDETR 是一組基于實(shí)時(shí)檢測(cè) Transformer（DETR）的模型，用于單次圖像空間物體檢測(cè)，該模型基于使用 NVIDIA Omniverse 平臺(tái)。它使用 Transformer 編碼器 – 解碼器架構(gòu)一次預(yù)測(cè)所有物體，從而實(shí)現(xiàn)比傳統(tǒng)物體檢測(cè)方法更高效的檢測(cè)效果。

▲圖 7 使用 SyntheticaDETR 進(jìn)行物體檢測(cè)和追蹤

經(jīng)過(guò)合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的訓(xùn)練，SyntheticaDETR 在 BOP 排行榜上實(shí)現(xiàn)了 YCB-Video 數(shù)據(jù)集上的 2D 物體檢測(cè)（平均精度為 0.885，平均召回率為 0.903）。

這些模型還可以將物體檢測(cè)為 NVIDIA FoundationPose 等姿態(tài)估計(jì)器的 2D 邊界框感興趣區(qū)域。下載合成測(cè)試模式，然后下載 Isaac Manipulator，以便進(jìn)行進(jìn)一步的操作。

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 兼容 JetPack 6.0并支持所有 NVIDIA Jetson Orin 模組和開(kāi)發(fā)套件。

NVIDIA Jetson 平臺(tái)服務(wù)即將推出模塊化、API 驅(qū)動(dòng)的服務(wù)，可更快、更輕松地構(gòu)建生成式 AI 和機(jī)器人應(yīng)用。這些預(yù)構(gòu)建和可定制的服務(wù)旨在加速 NVIDIA Jetson Orin 系統(tǒng)模組上的 AI 應(yīng)用開(kāi)發(fā)。

NVIDIA Isaac Sim 4.0

借助Isaac Sim，開(kāi)發(fā)者可以借助行業(yè)領(lǐng)先的傳感器和機(jī)器人類(lèi)型測(cè)試，生成合成數(shù)據(jù)和各種復(fù)雜的虛擬測(cè)試環(huán)境。這可實(shí)現(xiàn)高度逼真的模擬，同時(shí)實(shí)時(shí)測(cè)試數(shù)千個(gè)機(jī)器人。

NVIDIA Isaac 實(shí)驗(yàn)室

Isaac 實(shí)驗(yàn)室是基于 Isaac Sim 平臺(tái)構(gòu)建的輕量級(jí)參考應(yīng)用，在機(jī)器人基礎(chǔ)模型訓(xùn)練中扮演著核心角色。它支持強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)和遷移學(xué)習(xí)，能夠訓(xùn)練各種機(jī)器人實(shí)施方案，為開(kāi)發(fā)者提供設(shè)計(jì)和功能的探索空間。

新版本還可通過(guò)兼容性檢查器輕松集成 VSCode、為強(qiáng)化學(xué)習(xí)提供多 GPU 支持、通過(guò) RTX 傳感器平鋪渲染提高性能、優(yōu)化緩存和著色器管理。

Isaac Sim 的其他新功能包括：

易于使用 PIP 安裝和用于導(dǎo)入機(jī)器人等的向?qū)А?/p>

合成數(shù)據(jù)生成（SDG）速度提升高達(dá) 80%，從而提升性能

支持 COCO 格式和用于姿態(tài)估計(jì)的自定義寫(xiě)入器的新 SDG 格式。

ROS 2 啟動(dòng)支持，提供端到端工作流程，并為基于圖像的發(fā)行商提供更好的性能。

更多內(nèi)置機(jī)器人支持：包括 Universal Robots UR20、UR30 和 Boston Dynamics Spot。還有許多人形機(jī)器人，包括 1X Neo、Unitree H1、Agility Digital、Fourier Intelligence GR1、Sanctuary A1 Phoenix 和 Xiaopeng PX5。