3.2萬美元造成的斯坦福雙臂機(jī)器人爆紅后，項目負(fù)責(zé)人親自發(fā)翻車視頻

過去幾年間，隨著 AI 的發(fā)展，一個屬于機(jī)器人的萬億級賽道正在火熱開啟，無論是 Google 、特斯拉，還是國內(nèi)的達(dá)闥、追覓、以及稚暉君創(chuàng)業(yè)的「智元機(jī)器人（AGIBot）」公司均投身其中。

不過，對于普通用戶而言，機(jī)器人最為重要的并不是設(shè)計得多么好看，而是實用性。在當(dāng)代年輕人的“精致懶”之吃飯要人弄、家務(wù)要人做狀態(tài)下，如果有一款集做飯、收納、保潔等多個才藝于一身的機(jī)器人，豈不美哉！

近日，斯坦福大學(xué) 3 位研究人員讓許多用戶的美夢成真了，其發(fā)布了一款名為Mobile Aloha的 AI 機(jī)器人。一經(jīng)展示之后，這款機(jī)器人便迅速在網(wǎng)絡(luò)上走紅，成為不少人想人手一個的大熱門產(chǎn)品。

只因為它，不僅可以煎大蝦，親自端上桌：

也能收拾不小心灑出來的水漬：

還能打開柜門，歸納整理：

刷碗：

簡單來看，Mobile Aloha 是一種用于雙手遙控操作的低成本開源硬件系統(tǒng)，解決了訓(xùn)練需要人類操作員仔細(xì)指導(dǎo)的移動雙手機(jī)器人的高成本和技術(shù)挑戰(zhàn)。

值得一提的是，Mobile Aloha 能實現(xiàn)以上操作，并非完全自主，其全身也支持遠(yuǎn)程操作。

得益于生成模型的成功，MobileAloha 可以快速從人類演示中學(xué)習(xí)，而且它可以只通過 50 次的演示就能學(xué)會一件事，合作訓(xùn)練可以提高成功率高達(dá) 90%。

同時，整個機(jī)器人機(jī)載電源和計算在內(nèi)的成本為3.2 萬美元，遠(yuǎn)遠(yuǎn)低于市場現(xiàn)有的系統(tǒng)及硬件。更讓人興奮的是，Mobile Aloha 的軟硬件均是開源的，也方便所有的 AI 愛好者、開發(fā)者深入學(xué)習(xí)與共建。

左：用戶通過遙控操作從冰箱中獲取食物；右圖：Mobile ALOHA 可以通過模仿學(xué)習(xí)完成復(fù)雜的長時間任務(wù)

硬件代碼：https://github.com/MarkFzp/mobile-aloha

軟件代碼：https://github.com/MarkFzp/act-plus-plus

項目地址：https://mobile-aloha.github.io/

研究 5 年，以低成本打破傳統(tǒng)機(jī)器人系統(tǒng)的局限性

項目的負(fù)責(zé)人之一 Tony Z.Zhao 表示，“這個我過去 5 年里最努力的項目之一！”

而之所以會萌生開發(fā)這樣一款會做飯的 AI 機(jī)器人，是因為該研究團(tuán)隊發(fā)現(xiàn)，大多數(shù)機(jī)器人操縱任務(wù)都側(cè)重于桌面操縱。這包括最近基于 Transformer 和 Diffusion 模型（廣泛應(yīng)用于生成式人工智能的架構(gòu)）建立的一系列模型。

然而，日常環(huán)境中的許多任務(wù)都需要全身協(xié)調(diào)的流動性和靈巧的操作。譬如，把一個罐子放進(jìn)廚房的柜子里，那么，機(jī)器人需要首先導(dǎo)航到柜子邊上，這就需要機(jī)器人底座可以移動；進(jìn)而為了打開櫥柜，機(jī)器人需要后退，同時牢牢抓住兩個門把手，激發(fā)全身控制；隨后雙臂需要抓住鍋柄，一起將鍋放入櫥柜，雙手也要協(xié)調(diào)好。

在研究人員來看，過去有兩個主要因素阻礙了模仿學(xué)習(xí)在雙臂移動操作中的廣泛應(yīng)用：

缺乏可訪問的、即插即用的全身遠(yuǎn)程控制硬件。當(dāng)然并不是說市面上沒有這種硬件，而是如果購買現(xiàn)成的機(jī)械手，成本會很高。像 PR2 和 TIA GO 這樣的機(jī)器人價格可能超過 20萬美元，這讓很多研究實驗室無法負(fù)擔(dān)。此外，要在這些平臺上實現(xiàn)遠(yuǎn)程控制操作，還需要額外的硬件和校準(zhǔn)。

以前的機(jī)器人學(xué)習(xí)工作沒有表現(xiàn)出高性能的雙臂移動操作復(fù)雜的任務(wù)。隨著自由度的增加，手臂和基礎(chǔ)動作之間的交互可能會變得復(fù)雜，基礎(chǔ)姿勢的微小偏差可能會導(dǎo)致手臂末端執(zhí)行器姿勢的大幅偏移。

在論文中，研究員表示，“立足于硬件和學(xué)習(xí)的角度，以前的工作還沒有為雙臂移動操作提供一個實用而有說服力的解決方案?！?/p>

現(xiàn)如今隨著 AI 的發(fā)展，機(jī)器人到底可以不可以做到移動并實現(xiàn)協(xié)調(diào)全身去完成任務(wù)。研究人員研究了將模仿學(xué)習(xí)擴(kuò)展到需要雙臂移動機(jī)器人全身控制的任務(wù)可行性。

https://mobile-aloha.github.io/resources/mobile-aloha.pdf

MobileALOHA 的研發(fā)

在硬件維度，研究人員提出了 MobileALOHA，擴(kuò)展了原始ALOHA的功能，這是一種低成本和全身遠(yuǎn)程控制系統(tǒng)，用于收集雙臂移動操作數(shù)據(jù)。

在硬件設(shè)計時，研究人員主要從四個維度切入考慮：

移動速度要快：與人類的行走速度相媲美，約為 1.42 米/秒。

穩(wěn)定性：在拿起沉重的家居物品時，如鍋、吸塵器時，它是穩(wěn)定的。

支持全身遠(yuǎn)程控制：所有的自由度可以同時遠(yuǎn)程操作，包括雙臂和移動底座。

不受限制：板載電源和計算。

要想實現(xiàn) MobileALOHA 的靈活性，研究員在它的下方安裝了一個專為倉庫設(shè)計的輪子底座——Tracer AGV，它可以承載 100kg，移動速度高達(dá) 1.6m/s，而成本只有 7000 美元。

為了使 Mobile ALOHA 不受限制，研究人員配備了一個 1.26 千瓦時的電池，重量在 14 公斤，這樣還可以壓住機(jī)器人，防止不平衡摔倒。此外，整個裝置還包括網(wǎng)絡(luò)攝像頭和一個搭載消費級 GPU 的筆記本電腦，成本共計約為 3.2 萬美元，比現(xiàn)成的雙臂機(jī)器人便宜得多。

研究員在論文中介紹道，Mobile ALOHA 可同時遙控所有自由度。人類操作員的腰部被用物理的方式拴在系統(tǒng)上，并反向驅(qū)動車輪，在工作環(huán)境中駕駛系統(tǒng)，同時用控制器控制機(jī)器人手臂。同時，研究人員記錄基本速度數(shù)據(jù)和手臂操縱數(shù)據(jù)，形成一個全身遠(yuǎn)程控制操作系統(tǒng)。

這樣，機(jī)器人控制系統(tǒng)就能同時學(xué)習(xí)動作和其他控制指令。一旦收集到足夠的信息，模型就能自主地重復(fù)一系列任務(wù)。

在模仿學(xué)習(xí)方面，Mobile ALOHA 利用了 Transformer（大型語言模型中使用的架構(gòu)）。最初的 ALOHA 系統(tǒng)使用了一種名為 Action Chunking with Transformers (ACT) 的架構(gòu)，它將來自多個視點和關(guān)節(jié)位置的圖像作為輸入并預(yù)測一系列動作。

MobileALOHA 將運動信號添加到輸入向量中，從而擴(kuò)展了該系統(tǒng)。這種方法可以讓 Mobile ALOHA 重復(fù)使用以前的深度模仿學(xué)習(xí)算法，而只需做最小的改動。

在論文中，研究人員寫道：“我們觀察到，簡單地將底座和手臂動作連接起來，然后通過直接模仿學(xué)習(xí)進(jìn)行訓(xùn)練，就可以產(chǎn)生出色的表現(xiàn)。具體來說，我們將 ALOHA 的 14-DoF 關(guān)節(jié)位置與移動底座的線速度和角速度連接起來，形成 16 維動作向量?！?/p>

與此同時，研究人員汲取了近期業(yè)界在預(yù)訓(xùn)練和不同機(jī)器人數(shù)據(jù)集上取得的成功經(jīng)驗，并利用靜態(tài)雙臂數(shù)據(jù)集的信息，逐步提高模仿學(xué)習(xí)的性能。

在演示中，研究員展示了訓(xùn)練有素的機(jī)器人烹飪?nèi)啦?，并?zhí)行了一些精細(xì)的任務(wù)，例如打碎雞蛋、切碎大蒜、倒液體、拆開蔬菜包裝以及在煎鍋中翻轉(zhuǎn)雞肉。

此外，Mobile ALOHA 還可以執(zhí)行各種家務(wù)任務(wù)，包括給植物澆水、使用真空吸塵器、裝卸洗碗機(jī)、從冰箱中取出飲料、操作洗衣機(jī)。

研究人員表示：“通過協(xié)同訓(xùn)練，我們只需對每項任務(wù)進(jìn)行 50 次人類演示，就能在這些任務(wù)上取得超過 80% 的成功，與沒有協(xié)同訓(xùn)練相比，平均絕對提高了 34%。”

Mobile ALOHA 背后的研究員

Mobile ALOHA 的到來，不僅打破了很多傳統(tǒng)機(jī)器人的局限性，也讓我們看到了這個年輕人團(tuán)隊為 AI 帶來的無限潛力。

正如文章伊始所述，Mobile ALOHA出自斯坦福大學(xué) 3 位研究人員之手，也是華人團(tuán)隊。

Zipeng Fu（項目聯(lián)合負(fù)責(zé)人）

Zipeng Fu，是斯坦福人工智能實驗室計算機(jī)科學(xué)專業(yè)的博士生，導(dǎo)師是Chelsea Finn。

同時，他還是 GoogleDeepMind 的學(xué)生研究員，與Google Brain Robotics機(jī)器人運動和安全團(tuán)隊的技術(shù)主管經(jīng)理Jie Tan一起工作。

此前，ZipengFu在加州大學(xué)洛杉磯分校完成了計算機(jī)科學(xué)與應(yīng)用數(shù)學(xué)學(xué)士學(xué)位，導(dǎo)師是Song-Chun Zhu，后來在CMU 攻讀機(jī)器學(xué)習(xí)領(lǐng)域的碩士，并在機(jī)器人研究所擔(dān)任學(xué)生研究員，導(dǎo)師是 Deepak Pathak 和 Jitendra Malik。

他的研究興趣在于機(jī)器人學(xué)、機(jī)器學(xué)習(xí)和計算機(jī)視覺的交叉領(lǐng)域。重點關(guān)注機(jī)器人在非結(jié)構(gòu)化開放世界中的強大性能和可部署機(jī)器人系統(tǒng)。

Tony Z. Zhao（項目聯(lián)合負(fù)責(zé)人）

Tony Z. Zhao 是斯坦福大學(xué)計算機(jī)科學(xué)博士三年級學(xué)生，導(dǎo)師同是 Chelsea Finn。同時，他也是 Google Deepmind 的兼職學(xué)生研究員。

此前，Tony Z. Zhao 在特斯拉自動駕駛汽車公司和 Google X Intrinsic 實習(xí)。于 2021 年獲得伯克利大學(xué)電子工程科學(xué)學(xué)士學(xué)位，導(dǎo)師是 Sergey Levine和 Dan Klein。

“我想讓機(jī)器人能夠執(zhí)行復(fù)雜的精細(xì)操作任務(wù)。我對初創(chuàng)企業(yè)和自主機(jī)器人的未來感到興奮”，Tony Z. Zhao 寫道。

Chelsea Finn（顧問）

Chelsea Finn是斯坦福大學(xué)計算機(jī)科學(xué)與電子工程系助理教授。她的實驗室 IRIS 主攻研究大規(guī)模機(jī)器人交互智能，隸屬于 SAIL 和ML小組。

除了教授職位之外，Chelsea Finn 在 Google 任職，是 Google Brain 團(tuán)隊的一員。

此前，Chelsea Finn 在加州大學(xué)伯克利分校獲得了計算機(jī)科學(xué)博士學(xué)位，并在麻省理工學(xué)院獲得了電子工程和計算機(jī)科學(xué)學(xué)士學(xué)位。

項目負(fù)責(zé)人現(xiàn)身發(fā)布翻車視頻：并未做好接管世界的準(zhǔn)備！

隨著研究人員將這一項目對外公開，不少網(wǎng)友開始期待：「感覺我以后養(yǎng)老可以靠它了，現(xiàn)在開始攢錢，然后讓機(jī)器人給我打工！」

不過，這樣的幻想還沒有持續(xù)多久，該項目負(fù)責(zé)人之一的 Tony Z.Zhao 緊急在 Twitter 上又發(fā)布一則視頻，為 Mobile ALOHA 潑了一盆冷水。其表示，“機(jī)器人還沒有準(zhǔn)備好接管世界！我剛剛制作了一個視頻，記錄了在自主模式下犯下的最愚蠢的錯誤 Mobile ALOHA。我們還計劃在休息后組織一些現(xiàn)場演示。敬請關(guān)注！”

在視頻中，Mobile ALOHA 在自主模式下，不僅手抖，將酒杯里的水灑出來了，還讓它自由落體，變成了玻璃渣：

弄翻了鍋，研究員都來不及挽救：

Tony Z.Zhao 對此說道，「老實說，這可能是迄今為止我最喜歡的視頻，當(dāng)它在你面前失敗時就不那么有趣了」。同時，他還向 2015 年 DARPA 機(jī)器人挑戰(zhàn)賽、波士頓機(jī)器人失敗的案例致敬。

其實，Tony Z.Zhao在Mobile ALOHA 爆火一天后選擇公布“幕后花絮”，實則也是希望更多的人保持理性，減少炒作。在 AI 快速發(fā)展背后，其實也依然存在很多的不足，我們應(yīng)該正確對待 AI 的發(fā)展，也要勇于面對失敗，畢竟失敗是成功非常重要的一個過程。