通過多樣的幾何形狀來訓(xùn)練機器人從仿真到現(xiàn)實轉(zhuǎn)換的裝配技能

家庭和工業(yè)環(huán)境中的大多數(shù)物品都由多個部件組裝而成。而裝配工作一般交給人工，但在汽車等一些行業(yè)，機器人裝配已十分普遍。

這些機器人大多用于執(zhí)行重復(fù)性較高的任務(wù)，它們被部署在精心設(shè)計的環(huán)境中，處理特定的部件。在多品種的小批量制造中（即小批量生產(chǎn)各種產(chǎn)品的流程），機器人還必須適應(yīng)不同的零件、姿態(tài)和環(huán)境。在保持高精度和高準(zhǔn)確度的前提下實現(xiàn)這種適應(yīng)性是機器人技術(shù)所面臨的一大挑戰(zhàn)。

得益于 NVIDIA 在接觸豐富交互的超實時仿真技術(shù)方面的最新進(jìn)展，現(xiàn)在已經(jīng)可以對機器人裝配任務(wù)（如插入等）進(jìn)行仿真，詳見通過使用 NVIDIA Isaac 的新型仿真方法推進(jìn)機器人裝配技術(shù)發(fā)展。這使得使用數(shù)據(jù)饑渴的學(xué)習(xí)算法來訓(xùn)練仿真機器人智能體成為可能：

https://developer.nvidia.com/blog/advancing-robotic-assembly-with-a-novel-simulation-approach-using-nvidia-isaac/

后續(xù)關(guān)于機器人裝配從仿真到現(xiàn)實的遷移研究提出了使用強化學(xué)習(xí) (RL) 在仿真中解決少量裝配任務(wù)的算法，以及在現(xiàn)實世界中成功部署所學(xué)技能的方法。詳見將工業(yè)機器人裝配任務(wù)從仿真遷移到現(xiàn)實：

https://developer.nvidia.com/blog/transferring-industrial-robot-assembly-tasks-from-simulation-to-reality/

本文將介紹 AutoMate，這一新型框架被用來訓(xùn)練使用機械臂裝配不同形狀零件的專家和通才策略；然后對訓(xùn)練策略從仿真到現(xiàn)實的零樣本遷移進(jìn)行演示，這意味著無需額外調(diào)整在仿真中學(xué)習(xí)到的裝配技能，即可直接應(yīng)用于現(xiàn)實環(huán)境。

什么是 AutoMate？

AutoMate 是首個基于仿真的框架，用于學(xué)習(xí)各種裝配任務(wù)中的專業(yè)（部件特定）和通用（統(tǒng)一）裝配技能。例如：在汽車制造領(lǐng)域，AutoMate 可以幫助工人掌握發(fā)動機部件的特定裝配技巧以及整車的統(tǒng)一裝配流程。這項工作成果來自于南加州大學(xué)與 NVIDIA 西雅圖機器人實驗室的密切合作。

AutoMate 的主要貢獻(xiàn)有：

100 個裝配體和現(xiàn)成仿真環(huán)境的數(shù)據(jù)集。

一種有效訓(xùn)練仿真機器人解決各種仿真裝配任務(wù)的新型算法組合。

有效綜合各種學(xué)習(xí)方法，將多種專業(yè)裝配技能的知識提煉成一種通用裝配技能，并通過 RL 進(jìn)一步提高通用裝配技能的性能。

一個能夠在以感知為初始的工作流中，部署通過仿真訓(xùn)練獲得的裝配技能的真實世界系統(tǒng)。

圖 1. 在仿真中部署 AutoMate 裝配技能

圖 2. 在現(xiàn)實中部署 AutoMate 裝配技能

數(shù)據(jù)集和仿真環(huán)境

AutoMate 提供了一個包含 100 個裝配體的數(shù)據(jù)集，這些裝配體與仿真兼容，并可以在現(xiàn)實世界中進(jìn)行 3D 打印。同時，它還為所有 100 個裝配體提供了并行化仿真環(huán)境。這 100 個裝配體基于 Autodesk 的大型裝配體數(shù)據(jù)集。在這項工作成果中，術(shù)語“插頭”指的是必須插入的部件（圖 3 中用白色表示），“插座”指的是與插頭配合的部件（圖 3 中用綠色表示）。

圖 3. AutoMate 數(shù)據(jù)集中 100 個裝配體的可視化圖

圖 4. AutoMate 數(shù)據(jù)集中的裝配體仿真環(huán)境

在多種形狀上學(xué)習(xí)專家技能

盡管 NVIDIA 之前的工作成果 IndustReal 表明，純 RL 方法可以解決接觸豐富的裝配任務(wù)，但它只能解決一小部分裝配體。在 AutoMate 數(shù)據(jù)集中的 100 個裝配體中，大部分都無法通過純 RL 方法解決。但仿真學(xué)習(xí)可以讓機器人通過觀察和模仿演示來習(xí)得復(fù)雜的技能。AutoMate 引入了包含三種不同算法的新型組合。該組合通過將 RL 與仿真學(xué)習(xí)相結(jié)合，使機器人能夠有效掌握適用于各種裝配體的技能。

使用仿真學(xué)習(xí)增強 RL 面臨以下三個挑戰(zhàn)：

生成裝配演示

將仿真學(xué)習(xí)目標(biāo)整合到 RL 中

選擇在學(xué)習(xí)過程中使用的演示

下文將探討如何逐一解決這三個挑戰(zhàn)。

利用拆解-組裝來生成示范

裝配運動學(xué)是一個狹窄通道問題，機器人必須操縱部件通過狹窄空間，并且不能與障礙物相撞。使用運動規(guī)劃器自動采集裝配演示非常困難。要采集人類演示，還需要有技能嫻熟的人類操作員和先進(jìn)的遠(yuǎn)程操作界面，而這些都十分昂貴。

“拆解-組裝”的概念告訴我們，在裝配一個物體前，首先要了解如何拆卸它。受到這一概念的啟發(fā)，可以先采集拆卸演示，然后按相反步驟操作便可進(jìn)行裝配。在仿真中，命令機器人將插頭從插座上拆下，每個裝配體記錄 100 次成功的拆卸演示。

圖 5. 在仿真中生成拆卸演示的過程

帶有模仿目標(biāo)的 RL

RL 中的獎勵是向智能體發(fā)出的一個信號，該信號表明智能體在規(guī)定步驟中的表現(xiàn)有多好。獎勵可作為反饋，指導(dǎo)智能體學(xué)習(xí)和調(diào)整其行動，以逐漸使其累積獎勵最大化（從而成功完成任務(wù)）。受 DeepMimic 等角色動畫工作成果的啟發(fā)，獎勵函數(shù)中加入了一個模仿項，以便通過模仿目標(biāo)增強 RL，鼓勵機器人在學(xué)習(xí)過程中模仿演示。每個時間步的模仿獎勵被定義為規(guī)定裝配體所有演示的最大獎勵。

除了模仿項，獎勵公式中還包含以下項：

目標(biāo)距離懲罰

仿真誤差懲罰

獎勵任務(wù)難度

這與之前的 InsutReal 工作相一致。

通過動態(tài)時間扭曲來選擇演示

如要確定模仿哪個演示（即哪個演示在當(dāng)前時間步提供最大獎勵），第一步是計算每個演示與當(dāng)前機器人末端執(zhí)行器路徑之間的距離，然后模仿距離最小的路徑。與機器人末端執(zhí)行器路徑相比，演示路徑的路徑點分布可能不均勻，路徑點數(shù)量也可能不同，因此很難確定演示路徑中的路徑點與機器人末端執(zhí)行器路徑之間的對應(yīng)關(guān)系。

動態(tài)時間扭曲 (DTW) 是一種用于測量兩個速度可能不同的時間序列之間相似性的算法。在這項工作中，DTW 被用于找出機器人末端執(zhí)行器路徑和每個演示路徑之間的映射，從而使末端執(zhí)行器路徑上的每個路徑點與演示路徑上的匹配路徑點之間的距離總和最?。▓D 6）。根據(jù) DTW 返回的距離，計算每條演示路徑的模仿獎勵，并選擇模仿獎勵最高的演示路徑。

圖 6. DTW 將末端執(zhí)行器路徑與演示路徑之間的映射可視化

所提出的拆解-組裝組合、帶有模仿目標(biāo)的 RL 和使用 DTW 匹配軌跡的組合方法在各種裝配體中都表現(xiàn)出一致的性能。在仿真中，專家策略在 80 個不同裝配體上的成功率約為 80% 以上，在 55 個不同裝配體上的成功率約為 90% 以上。在現(xiàn)實世界中，專家策略在 20 個組件上的平均成功率為 86.5%，比在仿真中用于這些組件時僅下降了 4.2%（圖 7）。

圖 7. 專家策略在現(xiàn)實世界與仿真中解決每個裝配體的成功率比較

學(xué)習(xí)通用裝配技能

為了訓(xùn)練一種能夠解決多種裝配任務(wù)的通用技能，需要重新使用已訓(xùn)練的專家技能中的知識，然后使用基于課程的 RL 進(jìn)一步提高性能。所提出的方法包含三個階段：

首先，使用標(biāo)準(zhǔn)行為克隆 (BC)，即從已經(jīng)訓(xùn)練過的專家技能中采集演示，并使用這些演示監(jiān)督通才技能的訓(xùn)練。

隨后，使用 DAgger（數(shù)據(jù)集聚合）完善通才技能，方法是執(zhí)行通才技能，并在通才技能訪問的狀態(tài)下主動查詢專家技能（即獲取專家技能預(yù)測的操作）以進(jìn)行監(jiān)督。

最后，對通才技能執(zhí)行 RL 微調(diào)階段。在微調(diào)階段，使用 IndustReal 工作中基于采樣的課程。隨著通才技能任務(wù)成功率的提高，部件的初始參與度會逐漸降低。

圖 8. 行為克隆、DAgger 和基于課程的 RL 微調(diào)示意圖

使用剛才提出的三階段方法在 20 個裝配體上進(jìn)行通才技能訓(xùn)練。在仿真中，通才策略可以聯(lián)合解決 20 個裝配體，成功率為 80.4%。在現(xiàn)實世界中，通才策略在同一組裝配體上的平均成功率為 84.5%，比在仿真中提高了 4.1%（圖 9）。

圖 9. 通才策略在現(xiàn)實世界和仿真中解決每個裝配體的成功率比較

現(xiàn)實世界環(huán)境和感知初始化工作流

現(xiàn)實世界環(huán)境包括一個 Franka Panda 機械臂、一個安裝在手腕上的英特爾 RealSense D435 攝像頭、一個 3D 打印插頭和插座，以及一個用于固定插座的 Schunk EGK40 抓取器。在感知初始化工作流中：

插頭被隨意放置在泡沫塊上，插座被隨意放置在 Schunk 抓取器中。

通過安裝在手腕上的攝像頭捕捉 RGB-D 圖像，然后對部件進(jìn)行 6D 姿態(tài)估計 (FoundationPose)。

機器人抓取插頭、將其移動到插座上，并使用在仿真中訓(xùn)練的裝配技能。

圖 10. 現(xiàn)實世界環(huán)境和感知初始化工作流

專家和通才技能在感知初始化工作流中被進(jìn)行評估。專家技能的平均成功率為 90.0%，通才技能的成功率為 86.0%。這些結(jié)果表明，6-DOF 姿態(tài)估計、抓取優(yōu)化和所提出的學(xué)習(xí)專家和通才策略的方法可以有效結(jié)合，從而在現(xiàn)實條件下使用研究級硬件實現(xiàn)可靠的裝配。

總結(jié)

AutoMate 是我們第一次嘗試?yán)脤W(xué)習(xí)方法和仿真來解決各種裝配問題。通過這項工作，NVIDIA 研究人員立足于現(xiàn)實世界的部署，逐步建立了工業(yè)機器人的大型模型范例。

未來的工作重點是解決需要高效序列規(guī)劃（即決定下一個裝配部件）的多部件裝配體，并進(jìn)一步提高技能，以達(dá)到具有行業(yè)競爭力的性能指標(biāo)。