利用NVIDIA技術(shù)推動下一代AI機(jī)器人發(fā)展

從人形機(jī)器人到工廠，基于物理 AI 的工業(yè)系統(tǒng)正在通過訓(xùn)練、仿真和推理加速發(fā)展。

ChatGPT 標(biāo)志著生成式 AI 的大爆炸時(shí)刻。它幾乎可以針對任何查詢生成答案，有助于改變知識型員工在內(nèi)容創(chuàng)作、客戶服務(wù)、軟件開發(fā)和業(yè)務(wù)運(yùn)營等方面的數(shù)字工作。

物理 AI 是 AI 在人形機(jī)器人、工廠和其它工業(yè)系統(tǒng)設(shè)備中的具象化體現(xiàn)，目前尚未達(dá)到突破點(diǎn)。

這阻礙了運(yùn)輸和移動、制造業(yè)、物流和機(jī)器人等行業(yè)的發(fā)展。但由于三臺計(jì)算機(jī)能夠?qū)⑾冗M(jìn)的訓(xùn)練、仿真和推理結(jié)合在一起，這種情況即將改變。

多模態(tài)物理 AI 的崛起

60 年來，“軟件 1.0”（由人類程序員編寫的串行代碼）在 CPU 驅(qū)動的通用計(jì)算機(jī)上運(yùn)行。

隨后，在 2012 年，Alex Krizhevsky 在 Ilya Sutskever 和 Geoffrey Hinton 的指導(dǎo)下，開發(fā)了革命性的圖像分類深度學(xué)習(xí)模型 AlexNet，贏得了 ImageNet 計(jì)算機(jī)圖像識別大賽。

這標(biāo)志著該行業(yè)首次接觸 AI。在 GPU 上運(yùn)行神經(jīng)網(wǎng)絡(luò)，機(jī)器學(xué)習(xí)的這項(xiàng)突破開啟了軟件 2.0 時(shí)代。

如今，軟件自己就可以編寫軟件。世界上的計(jì)算工作負(fù)載正在從 CPU 上的通用計(jì)算轉(zhuǎn)向 GPU 上的加速計(jì)算，把摩爾定律遠(yuǎn)遠(yuǎn)地甩在后面。

借助生成式 AI，經(jīng)過訓(xùn)練的多模態(tài) transformer 和擴(kuò)散模型可以生成響應(yīng)。

大語言模型是一維的，能夠以字母或單詞等模式預(yù)測下一個(gè) token。圖像和視頻生成模型是二維的，能夠預(yù)測下一個(gè)像素。

這些模型都無法理解或解釋三維世界。而這就是物理 AI 大顯身手之處。

物理 AI 模型可以通過生成式 AI 來感知、理解物理世界，與物理世界交互和進(jìn)行導(dǎo)航。借助加速計(jì)算，多模態(tài)物理 AI 領(lǐng)域的技術(shù)突破和基于物理的大規(guī)模仿真正在讓人們能夠通過機(jī)器人來實(shí)現(xiàn)物理 AI 的價(jià)值。

機(jī)器人是一個(gè)能夠感知、推理、計(jì)劃、行動和學(xué)習(xí)的系統(tǒng)。通常，人們把自主移動機(jī)器人（AMR）、機(jī)械臂或人形機(jī)器人看作機(jī)器人，但機(jī)器人體現(xiàn)類型還有很多。

在不久的將來，所有移動或監(jiān)控移動物體的東西都將是自主機(jī)器系統(tǒng)。這些系統(tǒng)將能夠感知環(huán)境，并對其做出反應(yīng)。

從手術(shù)室到數(shù)據(jù)中心，從倉庫到工廠，甚至交通控制系統(tǒng)或整個(gè)智慧城市，一切都將從手動操作的靜態(tài)系統(tǒng)轉(zhuǎn)變?yōu)橛晌锢?AI 體現(xiàn)的自主交互式系統(tǒng)。

下一個(gè)前沿：人形機(jī)器人

人形機(jī)器人是一種理想的通用機(jī)器人表現(xiàn)形式，因?yàn)樗鼈兛梢栽跒槿祟悩?gòu)建的環(huán)境中高效地運(yùn)行，同時(shí)只需最小的部署和操作調(diào)整。

據(jù)高盛稱，到 2035 年，全球人形機(jī)器人市場的規(guī)模預(yù)計(jì)將達(dá)到 380 億美元，比近兩年前預(yù)測的約 60 億美元增長了六倍多。

世界各地的研究人員和開發(fā)者都在競相制造新一代機(jī)器人。

借助三臺計(jì)算機(jī)開發(fā)物理 AI

為了開發(fā)人形機(jī)器人，需要三個(gè)加速計(jì)算機(jī)系統(tǒng)來處理物理 AI 和機(jī)器人的訓(xùn)練、仿真和運(yùn)行時(shí)。兩項(xiàng)計(jì)算技術(shù)的進(jìn)步正在加速人形機(jī)器人的發(fā)展：多模態(tài)基礎(chǔ)模型和可擴(kuò)展的、基于物理的機(jī)器人及其世界的仿真。

生成式 AI 的突破正在為機(jī)器人帶來 3D 感知、控制、技能規(guī)劃和智能。大規(guī)模的機(jī)器人仿真可以讓開發(fā)者在模擬物理定律的虛擬世界中改進(jìn)、測試和優(yōu)化機(jī)器人技能，這有助于降低現(xiàn)實(shí)世界的數(shù)據(jù)采集成本，并確保它們能夠在安全、可控的環(huán)境中運(yùn)行。

NVIDIA 打造了三個(gè)計(jì)算機(jī)和加速開發(fā)平臺，助力開發(fā)者創(chuàng)建物理 AI。

首先，在一臺超級計(jì)算機(jī)上訓(xùn)練模型。開發(fā)者可以在 NVIDIA 平臺上使用NVIDIA NeMo來訓(xùn)練和微調(diào)強(qiáng)大的基礎(chǔ)和生成式 AI 模型。他們還可以利用NVIDIA Project GR00T（一項(xiàng)為人形機(jī)器人開發(fā)通用基礎(chǔ)模型的計(jì)劃），使人形機(jī)器人能夠理解自然語言，并通過觀察人類動作來模仿動作。

其次，在NVIDIA OVX服務(wù)器上運(yùn)行的NVIDIA Omniverse通過NVIDIA Isaac Sim等應(yīng)用程序編程接口和框架，為測試和優(yōu)化物理 AI 提供了開發(fā)平臺和仿真環(huán)境。

開發(fā)者可以使用 Isaac Sim 來仿真和驗(yàn)證機(jī)器人模型，或者生成大量基于物理的合成數(shù)據(jù)來引導(dǎo)機(jī)器人模型的訓(xùn)練。研究人員和開發(fā)者還可以使用NVIDIA Isaac Lab，這是一個(gè)開源的機(jī)器人學(xué)習(xí)框架，為機(jī)器人強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)提供動力，幫助加快機(jī)器人策略的訓(xùn)練和完善。

最后，訓(xùn)練好的 AI 模型被部署到運(yùn)行時(shí)計(jì)算機(jī)上。NVIDIA Jetson Thor機(jī)器人計(jì)算機(jī)專為滿足緊湊型板載計(jì)算需求而設(shè)計(jì)。由控制策略、視覺和語言模型構(gòu)組成的模型集合構(gòu)成了機(jī)器人的大腦，并部署在一個(gè)節(jié)能的板載邊緣計(jì)算系統(tǒng)上。

根據(jù)他們的工作流和面臨的挑戰(zhàn)領(lǐng)域，機(jī)器人制造商和基礎(chǔ)模型開發(fā)者可以根據(jù)需要，使用盡可能多的加速計(jì)算平臺和系統(tǒng)。

打造下一代自主設(shè)施

機(jī)器人設(shè)施是所有這些技術(shù)的結(jié)晶。

Foxconn等制造商或亞馬遜機(jī)器人等物流公司可以組織自主機(jī)器人車隊(duì)與人類工人一起工作，并通過成百上千個(gè)傳感器來監(jiān)控工廠的運(yùn)營情況。

這些自主倉庫和工廠將擁有數(shù)字孿生。數(shù)字孿生用于布局規(guī)劃和優(yōu)化、操作仿真，最重要的是，用于機(jī)器人車隊(duì)的軟件在環(huán)測試。

基于 Omniverse 構(gòu)建的“Mega”是工廠數(shù)字孿生的藍(lán)圖，使工業(yè)企業(yè)能夠在將機(jī)器人部署到實(shí)體工廠之前，先在仿真環(huán)境中測試和優(yōu)化機(jī)器人車隊(duì)，這有助于確保無縫集成、最佳性能和最小干擾。

Mega 允許開發(fā)者把虛擬機(jī)器人及其 AI 模型或機(jī)器人的大腦放入他們的工廠數(shù)字孿生中。數(shù)字孿生中的機(jī)器人通過感知環(huán)境、推理、規(guī)劃下一個(gè)動作，最后完成計(jì)劃的動作來執(zhí)行任務(wù)。

這些動作通過 Omniverse 中的世界仿真器，在數(shù)字環(huán)境中進(jìn)行仿真。結(jié)果通過 Omniverse 傳感器仿真被機(jī)器人大腦感知。

通過傳感器仿真，機(jī)器人大腦決定下一個(gè)動作，循環(huán)繼續(xù)進(jìn)行，與此同時(shí)，Mega 則一絲不茍地跟蹤工廠數(shù)字孿生中每個(gè)元素的狀態(tài)和位置。

這種先進(jìn)的軟件在環(huán)測試方法使工業(yè)企業(yè)能夠在 Omniverse 數(shù)字孿生的安全范圍內(nèi)來仿真和驗(yàn)證更改，幫助他們預(yù)測和解決潛在問題，以在實(shí)際部署過程中降低風(fēng)險(xiǎn)和成本。

利用 NVIDIA 技術(shù)

賦能開發(fā)者生態(tài)

NVIDIA 通過三臺計(jì)算機(jī)，加速全球機(jī)器人開發(fā)者和機(jī)器人基礎(chǔ)模型構(gòu)建者生態(tài)的工作。

利用NVIDIA Isaac Manipulator、Isaac 加速庫和 AI 模型以及NVIDIA Jetson Orin，泰瑞達(dá)旗下的優(yōu)傲機(jī)器人公司構(gòu)建了 UR AI 加速器，這是一個(gè)即用型硬件和軟件工具包，使協(xié)作機(jī)器人開發(fā)者能夠開發(fā)應(yīng)用程序、加速開發(fā)，并縮短 AI 產(chǎn)品的上市時(shí)間。

RGo Robotics 使用NVIDIA Isaac Perceptor來幫助其 wheel.me 自主移動機(jī)器人隨時(shí)隨地工作，并通過賦予它們類似人類的感知能力和視覺空間信息，來做出明智的決策。

1X Technologies、Agility Robotics、Apptronik、波士頓動力公司、傅利葉、銀河通用、Mentee、Sanctuary AI、宇樹科技和小鵬機(jī)器人等人形機(jī)器人制造商正在采用 NVIDIA 的機(jī)器人開發(fā)平臺。

波士頓動力公司正在使用 Isaac Sim 和 Isaac Lab制造四足和人形機(jī)器人，以提高人類生產(chǎn)力，解決勞動力短缺問題，并優(yōu)先解決倉庫的安全問題。

傅利葉正在利用 Isaac Sim 來訓(xùn)練人形機(jī)器人，使其能夠在科學(xué)研究、醫(yī)療和制造業(yè)等需要高水平互動和適應(yīng)性的領(lǐng)域中運(yùn)行。

利用 Isaac Lab 和 Isaac Sim，銀河通用開發(fā)了名為 DexGraspNet 的大型機(jī)器人靈巧抓取數(shù)據(jù)集，該數(shù)據(jù)集可應(yīng)用于各種靈巧機(jī)器手，以及用于評估靈巧抓取模型的仿真環(huán)境。

使用 Isaac 平臺和 Isaac Lab，F(xiàn)ield AI 開發(fā)了風(fēng)險(xiǎn)受限的多任務(wù)和多用途基礎(chǔ)模型，使機(jī)器人能夠在戶外現(xiàn)場環(huán)境中安全地運(yùn)行。

物理 AI 時(shí)代已經(jīng)到來，它正在改變世界的重工業(yè)和機(jī)器人技術(shù)。