使用NVIDIA Isaac的新型仿真方法推進(jìn)機(jī)器人裝配

NVIDIA 機(jī)器人技術(shù)和仿真研究人員在 2022 年機(jī)器人技術(shù)：科學(xué)與系統(tǒng)（ RSS ）會議上介紹了 工廠：機(jī)器人裝配的快速接觸 。這項工作是機(jī)器人研究中普遍存在的接觸豐富交互的模擬和學(xué)習(xí)方面的一個新突破。其目的是大大加快機(jī)器人裝配的研究和開發(fā)，并作為一個強(qiáng)大的工具，用于任何類型的接觸豐富的仿真。

機(jī)器人裝配：什么、為什么和挑戰(zhàn)

裝配在汽車、航空航天、電子和醫(yī)療行業(yè)中至關(guān)重要。示例包括擰緊螺母和螺栓、焊接、插銷和電纜布線。

然而，機(jī)器人裝配仍然是機(jī)器人技術(shù)中最古老、最具挑戰(zhàn)性的任務(wù)之一。由于物理復(fù)雜性、高可靠性、零件可變性和高精度要求，自動化變得異常困難。

在工業(yè)中，機(jī)器人裝配方法可能實現(xiàn)高精度、高精度和高可靠性，但通常需要昂貴的設(shè)備和定制夾具，這些設(shè)備和夾具的設(shè)置和維護(hù)非常耗時（例如，預(yù)編程軌跡和仔細(xì)調(diào)整）。涉及對變化（零件類型、外觀和位置）魯棒性和復(fù)雜操作的任務(wù)通常使用人工完成。

研究方法可以實現(xiàn)更低的成本、更高的自適應(yīng)性和更好的魯棒性，但通?？煽啃暂^低，速度較慢。

仿真：解決機(jī)器人裝配挑戰(zhàn)的工具

幾十年來，仿真一直用于驗證、驗證和優(yōu)化機(jī)器人設(shè)計和算法。這包括確保部署這些算法的安全性。它還被用于生成用于深度學(xué)習(xí)的大規(guī)模數(shù)據(jù)集，執(zhí)行系統(tǒng)識別，以及開發(fā)規(guī)劃和控制方法。

在強(qiáng)化學(xué)習(xí)（ RL ）研究中，我們最近看到了如何將仿真結(jié)果轉(zhuǎn)移到真實系統(tǒng)。精確的物理模擬對于機(jī)器人發(fā)展的重要性無論怎樣強(qiáng)調(diào)都不為過。

基于物理的模擬器，如 MuJoCo 和 NVIDIA ISAAC Gym 已用于訓(xùn)練虛擬代理執(zhí)行操作和移動任務(wù)，例如求解魔方或使用 ANYmal 在不平坦地形上行走。這些政策已經(jīng)成功地轉(zhuǎn)移到現(xiàn)實世界的機(jī)器人上。

然而，快速準(zhǔn)確的模擬器的能力并沒有對機(jī)器人裝配產(chǎn)生實質(zhì)性影響。為具有不同變化和運(yùn)動的復(fù)雜物體開發(fā)此類模擬器是一項困難的任務(wù)。

例如，一個簡單的螺母和螺栓組件需要的不僅僅是純螺旋運(yùn)動。螺母和螺栓的螺紋之間有有限間隙，允許螺母以六個自由度移動。即使是人類也需要一定程度的小心，以確保螺母與螺栓具有適當(dāng)?shù)某跏紝?zhǔn)，并且在擰緊過程中不會卡住。

然而，用傳統(tǒng)方法模擬任務(wù)可能需要使用數(shù)萬個三角形的網(wǎng)格。檢測這些網(wǎng)格之間的碰撞、生成接觸點和法線以及求解非穿透約束是主要的計算挑戰(zhàn)。

盡管世界上有大量的螺紋緊固件，但沒有任何現(xiàn)有的機(jī)器人模擬器能夠以與基本物理動力學(xué)相同的速率實時模擬單個螺母和螺栓組件。

在工廠里，研究人員開發(fā)了一些方法來克服機(jī)器人裝配和其他接觸豐富的交互中的挑戰(zhàn)。

什么是工廠？

Factory （機(jī)器人裝配的快速接觸）是一套物理模擬方法和機(jī)器人學(xué)習(xí)工具，用于實現(xiàn)廣泛接觸豐富交互的實時和快速模擬。工廠應(yīng)用之一是機(jī)器人裝配。

工廠提供以下核心貢獻(xiàn)：

一套 methods ，用于通過基于 GPU 的符號距離函數(shù)（ SDF ）碰撞合成、接觸減少和高斯 – 賽德爾解算器，快速、準(zhǔn)確地物理模擬富含接觸的相互作用。

機(jī)器人學(xué)習(xí)套件 包括：

60 項高質(zhì)量資產(chǎn)，包括一臺 Franka 機(jī)器人和 NIST 裝配任務(wù)委員會 1 的所有剛體裝配， NIST 裝配任務(wù)委員會 1 是機(jī)器人裝配的既定基準(zhǔn)

用于機(jī)器人裝配的三種 ISAAC 健身房式學(xué)習(xí)環(huán)境

七種經(jīng)典機(jī)器人控制器

概念驗證強(qiáng)化學(xué)習(xí)策略 用于執(zhí)行接觸豐富任務(wù)的機(jī)器人（模擬 Franka 機(jī)器人在 NIST 板、螺母和螺栓組件上解決最多接觸豐富任務(wù)）

工廠論文中的物理模擬方法已集成到 ISAAC Gym 使用的 PhysX 物理引擎中。最新版本的 ISAAC Gym 和 ISAAC Gym 環(huán)境 GitHub 回購。 Omniverse ISAAC Sim 模擬器中也提供了模擬方法，今年夏天晚些時候?qū)⑻峁?qiáng)化學(xué)習(xí)示例。

模擬方法和結(jié)果

使用基于 GPU 的物體 SDF 碰撞快速實現(xiàn)、用于減少 SDF 碰撞接觸的接觸減少算法和自定義數(shù)值求解器，研究人員不僅能夠?qū)崟r模擬單個 M16 螺母和螺栓，而且能夠在并行環(huán)境中實時模擬 1024 個。這基本上比現(xiàn)有技術(shù)快 200000 倍。

研究人員演示了模擬器在各種具有挑戰(zhàn)性的場景中的性能，包括以下場景：

512 個碗在同一環(huán)境中落成一堆

一堆螺母被送入進(jìn)料器機(jī)構(gòu)，以 60 Hz 的頻率振動

Franka 機(jī)器人執(zhí)行手動腳本軌跡以抓取螺母并將其擰緊到螺栓上，該環(huán)境的 128 個實例實時執(zhí)行

機(jī)器人學(xué)習(xí)工具

機(jī)器人裝配最為成熟的基準(zhǔn)是 NIST 裝配任務(wù)委員會 ，自 2017 年以來，這是年度機(jī)器人競賽的焦點。 NIST 任務(wù)委員會 1 由 38 個獨(dú)特部分組成。然而，由于缺乏真實的間隙、零件之間的干涉、手動測量等，所提供的 CAD 模型并不適合物理模擬。現(xiàn)實的模型很難找到。

工廠使用 60 個高質(zhì)量、模擬就緒的零件模型，每個模型具有一個 Onshape CAD 模型、一個或多個 OBJ 網(wǎng)格、 URDF 描述和符合國際標(biāo)準(zhǔn)（ ISO 724 、 ISO 965 和 ISO 286 ）或基于制造商提供的模型的估計材料特性。這些模型包括 NIST 裝配任務(wù)委員會 1 上的所有零件，其尺寸變化跨越真實世界的公差帶。零件之間的間隙范圍從 0 到最大 2.66 mm ，許多零件在 0.1-0.5 mm 范圍內(nèi)。

工廠為 ISAAC 健身房提供了三個機(jī)器人裝配場景，可用于開發(fā)規(guī)劃和控制算法、收集模擬傳感器數(shù)據(jù)以進(jìn)行監(jiān)督學(xué)習(xí)以及訓(xùn)練 RL 代理。每個場景都包含一個 Franka 機(jī)器人和 NIST 任務(wù)板 1 中分解的組件。

資產(chǎn)可以在所有環(huán)境中的類型和位置上隨機(jī)化。所有場景都在 NVIDIA RTX 3090 GPU 上進(jìn)行了多達(dá) 128 個同時環(huán)境的測試。場景如下：

學(xué)習(xí)環(huán)境中可用的七個機(jī)器人控制器包括關(guān)節(jié)空間逆微分運(yùn)動學(xué)（ IK ）運(yùn)動控制器、關(guān)節(jié)空間逆動力學(xué)（ ID ）控制器、任務(wù)空間阻抗控制器、操作空間運(yùn)動控制器、開環(huán)力控制器、閉環(huán)比例力控制器和混合力運(yùn)動控制器。

研究人員希望模型、環(huán)境和控制器隨著他們和社區(qū)的貢獻(xiàn)而不斷增長。

概念驗證 RL 政策

工廠采用 GPU 加速策略 RL 來解決 NIST 任務(wù)板 1 上接觸最多的任務(wù)：將螺母組裝到螺栓上。像許多裝配任務(wù)一樣，這樣的過程是一個漫長的過程，并且很難進(jìn)行端到端的學(xué)習(xí)。問題分為三個階段：

拾?。簷C(jī)器人從工作表面上的隨機(jī)位置用平行鉗口抓取螺母。

位置：機(jī)器人將螺母運(yùn)輸?shù)焦潭ㄔ诒砻娴穆菟敳俊?/p>

螺釘：機(jī)器人使螺母與螺栓接觸，嚙合配合螺紋，并擰緊螺母，直到其接觸螺栓頭的底座。

培訓(xùn)在單個 GPU 上完成。對對象的初始位置和方向應(yīng)用大隨機(jī)性，同時使用近端策略優(yōu)化（ PPO ）訓(xùn)練一批 3-4 個策略。每個批次需要 1-1.5 小時的訓(xùn)練，每個子策略在 128 多個環(huán)境中進(jìn)行訓(xùn)練，最多 1024 個策略更新用于快速實驗。試驗時的成功率為 98.4% 。

最后，為了評估模擬到真實傳輸?shù)臐摿Γ▽⒃谀M中學(xué)習(xí)到的策略傳輸?shù)秸鎸嵤澜绲臋C(jī)器人系統(tǒng)），研究人員將在模擬中這些交互過程中產(chǎn)生的接觸力與在真實世界中使用扳手執(zhí)行相同任務(wù)的人測得的接觸力進(jìn)行了比較。有關(guān)更多信息，請參閱 R-PAL 日常交互操作（ DIM ）數(shù)據(jù)集 。

下圖顯示，模擬緊固螺母的直方圖位于真實緊固螺母直方圖的中間，這表明與真實值具有很強(qiáng)的一致性。

圖 螺釘子策略執(zhí)行期間的模擬接觸力與 每日交互式操作（ DIM ）數(shù)據(jù)集 中的模擬真實接觸力的比較

結(jié)論和未來方向

雖然 Factory 開發(fā)時將機(jī)器人裝配作為一種激勵應(yīng)用，但在機(jī)器人內(nèi)使用這些方法執(zhí)行完全不同的任務(wù)沒有限制，例如在家庭環(huán)境中抓取復(fù)雜的非凸形狀，在不平坦的室外地形上移動，以及對物體集合進(jìn)行不可抓取的操作。

這項工作的未來方向是實現(xiàn)復(fù)雜物理交互的完整端到端仿真，包括有效地將訓(xùn)練好的策略轉(zhuǎn)移到真實機(jī)器人系統(tǒng)的技術(shù)。這可能會將成本和風(fēng)險降至最低，提高安全性，并實現(xiàn)高效行為。

有朝一日，每一個先進(jìn)的工業(yè)制造機(jī)器人都可能會使用這些技術(shù)進(jìn)行模擬訓(xùn)練，以便無縫地轉(zhuǎn)移到現(xiàn)實世界中。

為此， NVIDIA 開發(fā)人員正在努力完善工廠研究所使用的物理模擬方法，以便可以在 Omniverse ISAAC Sim 中使用。有限的功能已經(jīng)存在，并將隨著時間的推移變得更加強(qiáng)大。

關(guān)于作者：

Oyindamola Omotuyi 是 NVIDIA 的產(chǎn)品營銷經(jīng)理實習(xí)生，專注于機(jī)器人開發(fā)社區(qū)。在之前的 NVIDIA 實習(xí)期間，她撰寫了 NVIDIA 對話 AI 電子書的介紹。 Oyindamola Omotuyi 擁有尼日利亞拉各斯大學(xué)系統(tǒng)工程學(xué)士學(xué)位和辛辛那提大學(xué)機(jī)械工程碩士學(xué)位。她目前正在辛辛那提大學(xué)攻讀博士學(xué)位，專注于多智能體深度強(qiáng)化學(xué)習(xí)和機(jī)器人感知。

審核編輯：郭婷