讓機(jī)器人通過觀察人類的操作來學(xué)會(huì)操作新的物體

模仿能力是智能重要的組成部分，人和動(dòng)物常常通過觀察其他個(gè)體來學(xué)習(xí)新的技能。那么我們能不能將這種能力賦予機(jī)器人呢？是否可以像下圖一樣，讓機(jī)器人通過觀察人類的操作來學(xué)會(huì)操作新的物體呢？

機(jī)器人在觀察人類行為后學(xué)會(huì)了將桃子放到了紅色的碗里

如果擁有這樣的能力，將極大地簡(jiǎn)化部署機(jī)器人完成新任務(wù)的過程。我們只需要展示給機(jī)器人需要進(jìn)行的任務(wù)，而無須進(jìn)行遙操作或設(shè)計(jì)復(fù)雜的獎(jiǎng)勵(lì)函數(shù)。很多工作探索了機(jī)器人可以從本身的專業(yè)經(jīng)驗(yàn)中很好的學(xué)習(xí)，這樣的學(xué)習(xí)方式稱為模仿學(xué)習(xí)。

然而基于視覺技能的模仿學(xué)習(xí)需要大量專業(yè)的示范數(shù)據(jù)。例如利用原始像素輸入來靠近單一固定物體的任務(wù)就需要200次表現(xiàn)良好的示范才能達(dá)到。如果只提供一個(gè)示范樣本，要完成這樣的模仿對(duì)于機(jī)器人來說十分困難。

除此之外，如果機(jī)器人需要模仿人類的示范的特定操作技能還需要面臨額外的挑戰(zhàn)。除了機(jī)械臂與人類手臂的構(gòu)造差異外，在人類示范和機(jī)器人示范之間建立起正確的對(duì)應(yīng)關(guān)系是一件十分困難的事情。這并不僅僅是對(duì)運(yùn)動(dòng)簡(jiǎn)單的跟蹤和重映射，其中最主要的部分在于運(yùn)動(dòng)對(duì)環(huán)境中物體的影響，并且我們需要建立一個(gè)以這種相互作用為中心的對(duì)應(yīng)關(guān)系。

為了使得機(jī)器人可以模仿視頻中人類的技能，可以結(jié)合一系列先驗(yàn)經(jīng)驗(yàn)而不是從零開始學(xué)習(xí)。通過結(jié)合先前的經(jīng)驗(yàn)，機(jī)器人可以迅速學(xué)會(huì)對(duì)于新物體的操作而在域的移動(dòng)中保持不變性，就像在觀察了人類的示范后機(jī)器人可以在不同背景和視角下學(xué)會(huì)操縱物體。研究人員的目標(biāo)是通過從示范數(shù)據(jù)中學(xué)會(huì)學(xué)習(xí)，來實(shí)現(xiàn)少樣本的模仿和域不變性。這種被稱為元學(xué)習(xí)的技術(shù)是賦予機(jī)器人通過觀察模仿人類的關(guān)鍵。

One-Shot模仿學(xué)習(xí)

那么如何利用元學(xué)習(xí)來幫助機(jī)器人快速的適應(yīng)不同的物體呢？研究人員們采用結(jié)合元學(xué)習(xí)和模仿學(xué)習(xí)的方式來實(shí)現(xiàn)一次模仿學(xué)習(xí)。關(guān)鍵的想法在于給機(jī)器人提供某一特定任務(wù)的當(dāng)個(gè)示范，機(jī)器人就能迅速的識(shí)別任務(wù)，并在不同的情形下成功解決。早先的一個(gè)工作通過從成千上萬個(gè)示范中學(xué)會(huì)學(xué)習(xí)來實(shí)現(xiàn)一次學(xué)習(xí)，并給出了優(yōu)秀的結(jié)果。如果我們希望一個(gè)實(shí)際的機(jī)器人能夠模仿人類并操縱各種各樣的新物體，就需要開發(fā)一個(gè)能從視頻數(shù)據(jù)集的示范中學(xué)會(huì)學(xué)習(xí)的系統(tǒng)，而這些數(shù)據(jù)可以在真實(shí)環(huán)境中收集。接下來的部分首先討論了通過遙操作收集的單個(gè)示范來實(shí)現(xiàn)的視覺模仿，隨后展示了這種方法是如何拓展到向人類視頻中學(xué)習(xí)的范疇中去的。

One-Shot視覺模仿學(xué)習(xí)

為了讓機(jī)器人可以從視頻中學(xué)習(xí)，研究人員將模仿學(xué)習(xí)與一種高效的元學(xué)習(xí)算法（未知模型元學(xué)習(xí)，MAML）結(jié)合起來。通過標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)來作為策略表示，在每個(gè)時(shí)間步長(zhǎng)將機(jī)器人輸入的圖像ot和狀態(tài)信息xt（例如關(guān)節(jié)的角度和速度）映射到了機(jī)器人的行動(dòng)上at（比如夾爪的線速度和角速度）。下圖展示了算法三個(gè)主要的步驟。

首先人們對(duì)于不同任務(wù)(操作不同物體)收集了大量操作示范構(gòu)建了大型數(shù)據(jù)集；隨后利用MAML學(xué)習(xí)了策略參數(shù)θ的初始狀態(tài)。隨后提供某一特定物體的示范時(shí)，我們可以基于這一示范來運(yùn)行梯度下降法來尋找對(duì)于這一物體的一般化策略θ’。當(dāng)使用遙操作示范時(shí)，策略可以通過比較預(yù)測(cè)行動(dòng)πθ(ot)和專家行為a*t來更新策略：

隨后通過促使策略πθ’的值來匹配同一物體其他示例的行為，實(shí)現(xiàn)對(duì)于參數(shù)θ的更新。在元訓(xùn)練后，我們就可以利用這一任務(wù)的單一示范來計(jì)算梯度步驟，從而讓機(jī)器人去操縱完全沒有見過的物體了。這一步驟稱為元測(cè)試。

策略架構(gòu)

由于這一方法沒有為元學(xué)習(xí)和優(yōu)化引入額外的參數(shù)，具有很好的數(shù)據(jù)效率。因此它可以通過觀察遙操作機(jī)器人示例實(shí)現(xiàn)多樣化的控制任務(wù)，例如推動(dòng)和放置等任務(wù)。

將物體放到新的容器中去，左圖是示范右圖是學(xué)習(xí)后的策略。

通過域適應(yīng)性元學(xué)習(xí)，機(jī)器人觀察人類實(shí)現(xiàn)一次模仿

上述方法依然是依賴于遙操作機(jī)器人的示范而不是人類的示范。為了達(dá)到從人類示范學(xué)習(xí)的目標(biāo)，研究人員們?cè)谏鲜鏊惴ǖ幕A(chǔ)上設(shè)計(jì)了一種域適應(yīng)的一次模仿方法。收集了機(jī)器人和人執(zhí)行不同任務(wù)的示范，隨后通過人類示范來計(jì)算策略更新，并用同一任務(wù)的機(jī)器人示范來評(píng)價(jià)更新后的策略，算法架構(gòu)圖如下所示：

但人類示范只是在執(zhí)行任務(wù)時(shí)的視頻而已，并不包含對(duì)應(yīng)的行為，無法通過前面的公式計(jì)算出損失并更新策略。在這里，研究人員另辟蹊徑的提出了用深度學(xué)習(xí)的方法學(xué)習(xí)出一個(gè)幫助策略更新的損失函數(shù)，這個(gè)損失函數(shù)無需行動(dòng)作為標(biāo)記。直接學(xué)習(xí)損失函數(shù)背后的思想來自于，我們可以通過無標(biāo)簽的數(shù)據(jù)得到損失函數(shù)，同時(shí)給出正確的梯度用于策略更新，并最終的到一個(gè)成功的策略。

策略架構(gòu)

這看起來像是不可能完成的任務(wù)，但要記住的是元訓(xùn)練過程依舊通過梯度步驟后機(jī)器人行為監(jiān)督著策略的更新。學(xué)習(xí)損失函數(shù)可以被理解為通過抽取場(chǎng)景中適宜的視覺線索來更新參數(shù)從而修正策略。所以元訓(xùn)練的行為輸出將會(huì)產(chǎn)生正確的行動(dòng)。研究人員利用Temporal卷積來實(shí)現(xiàn)了損失函數(shù)的學(xué)習(xí)，可以抽取視頻示范中的順時(shí)信息。

研究人員將這一方法歸為具有域適應(yīng)性的元學(xué)習(xí)算法，這是因?yàn)樗梢酝ㄟ^其他域的數(shù)據(jù)實(shí)現(xiàn)學(xué)習(xí)，而不是機(jī)器人的策略操縱空間。這一方法使得PR2機(jī)器人高效的學(xué)會(huì)了如何推動(dòng)很多不同的物體到目標(biāo)位置，而這些物體在元訓(xùn)練的過程中是從來沒有看到過的。

同時(shí)也能通過觀察人類對(duì)于每個(gè)物體的操縱，實(shí)現(xiàn)物體的抓取并將其放置到新的目標(biāo)容器中去：

同時(shí)利用不同背景環(huán)境和相機(jī)拍攝的人類示范來驗(yàn)證算法的有效性， 發(fā)現(xiàn)即使相機(jī)和背景的變化，算法依舊可以保持良好的表現(xiàn)。

未來工作

目前已經(jīng)實(shí)現(xiàn)了教會(huì)機(jī)器人通過觀看單個(gè)視頻就能學(xué)習(xí)操縱新物體，下一步自然是擴(kuò)大這種方法的規(guī)模，不同的任務(wù)對(duì)應(yīng)著完全不同的運(yùn)動(dòng)和目標(biāo)，例如使用不同的工具來進(jìn)行不同的運(yùn)動(dòng)。通過考慮潛在任務(wù)分布的多樣性，研究人員希望這樣的模型可以適用于更廣泛的任務(wù)，幫助機(jī)器人在新環(huán)境中迅速的建立起策略。同時(shí)這里提到的技術(shù)并不僅僅限于機(jī)器人操縱或控制，模仿學(xué)習(xí)和元學(xué)習(xí)可以用于語言和其他序列化決策過程中。通過少數(shù)的示例學(xué)會(huì)模仿是一個(gè)未來一個(gè)十分有趣的研究方向。