一種基于深度學(xué)習(xí)的系統(tǒng)教會(huì)機(jī)器人僅通過(guò)觀察人類行為就能完成任務(wù)

近日，NVIDIA研究團(tuán)隊(duì)率先開(kāi)發(fā)出了一種基于深度學(xué)習(xí)的系統(tǒng)，該系統(tǒng)可教會(huì)機(jī)器人僅通過(guò)觀察人類行為就能夠完成任務(wù)。該方法旨在增強(qiáng)人類與機(jī)器人之間的溝通，同時(shí)推進(jìn)人類與機(jī)器人無(wú)縫協(xié)同工作的研究進(jìn)程。

在其論文中，研究人員表示：“為了讓機(jī)器人在現(xiàn)實(shí)世界中執(zhí)行有用的任務(wù)，必須簡(jiǎn)單地將任務(wù)傳達(dá)給機(jī)器人；這包括預(yù)期結(jié)果以及任何與實(shí)現(xiàn)該結(jié)果的最佳方法有關(guān)的提示。借助演示，用戶可以向機(jī)器人傳達(dá)任務(wù)，并提供線索，以幫助機(jī)器人更好地完成任務(wù)?！?/p>

通過(guò)NVIDIA TITAN X GPU，研究人員訓(xùn)練了一系列神經(jīng)網(wǎng)絡(luò)，用于執(zhí)行與感知、程序生成及程序執(zhí)行相關(guān)的任務(wù)。結(jié)果顯示，機(jī)器人能夠通過(guò)現(xiàn)實(shí)世界內(nèi)的單次演示而學(xué)習(xí)任務(wù)。

該方法的工作方式具體為：

通過(guò)攝像頭來(lái)獲取某場(chǎng)景的實(shí)時(shí)視頻流，隨后由一對(duì)神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)推理該場(chǎng)景內(nèi)目標(biāo)的位置與關(guān)系。

由此生成的感知被傳輸?shù)搅硪粋€(gè)網(wǎng)絡(luò)，并生成用于解釋如何重建這些感知的計(jì)劃。

最后，執(zhí)行網(wǎng)絡(luò)讀取該計(jì)劃，并為機(jī)器人生成動(dòng)作；同時(shí)會(huì)考慮到當(dāng)前場(chǎng)景的狀態(tài)，以確保應(yīng)對(duì)外部干擾的穩(wěn)健性。

機(jī)器人看到任務(wù)后，即生成人類可讀的步驟描述，這是重新執(zhí)行任務(wù)所必需的環(huán)節(jié)。該描述能夠讓用戶在機(jī)器人執(zhí)行之前快速辨別并糾正機(jī)器人對(duì)人類演示解讀所出現(xiàn)的任何問(wèn)題。

獲得此項(xiàng)能力的關(guān)鍵在于充分利用合成數(shù)據(jù)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)?，F(xiàn)有的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法需要大量帶有標(biāo)記的訓(xùn)練數(shù)據(jù)，對(duì)這些系統(tǒng)而言是一個(gè)瓶頸。通過(guò)合成數(shù)據(jù)生成，可以輕松地生成幾乎無(wú)限量的標(biāo)記訓(xùn)練數(shù)據(jù)。

這也是第一次將以圖像為中心的域隨機(jī)化 (image-centric domain randomization)方法用于機(jī)器人。域隨機(jī)化技術(shù)用于生成具有大量多樣性的合成數(shù)據(jù)，并誘使感知網(wǎng)絡(luò)相信所看到的真實(shí)數(shù)據(jù)只是其訓(xùn)練數(shù)據(jù)的另一種變體。研究人員選擇以圖像為中心的方式來(lái)處理數(shù)據(jù)，以確保網(wǎng)絡(luò)不依賴于攝像頭或環(huán)境。

研究人員表示：“這種感知網(wǎng)絡(luò)適用于任何固態(tài)的現(xiàn)實(shí)世界物體，它們可以通過(guò)其3D邊界立方體(bounding cuboid)來(lái)進(jìn)行合理模擬。盡管在訓(xùn)練期間從未觀察到真實(shí)圖像，但即使在被嚴(yán)重遮擋的情況下，感知網(wǎng)絡(luò)仍能可靠地檢測(cè)到真實(shí)圖像內(nèi)的目標(biāo)邊界立方體?！?/p>

在其演示中，該團(tuán)隊(duì)使用多個(gè)彩色方塊和一輛玩具車來(lái)訓(xùn)練目標(biāo)檢測(cè)器。該系統(tǒng)學(xué)會(huì)了方塊之間的物理關(guān)系，比如方塊堆疊在一起，或者是相鄰放置。

在上述演示視頻中，人類操作員向機(jī)器人展示了一組立方體。隨后該系統(tǒng)對(duì)其程序進(jìn)行了推理，并按照正確的順序?qū)⒘⒎襟w放置好。由于其在執(zhí)行過(guò)程中考慮到了當(dāng)前的狀態(tài)，因此該系統(tǒng)能夠?qū)崟r(shí)從錯(cuò)誤中恢復(fù)過(guò)來(lái)。

本周，在澳大利亞布里斯班舉辦的世界機(jī)器人與自動(dòng)化大會(huì)（ICRA）上，研究人員將展示其研究論文與成果。

該團(tuán)隊(duì)表示將繼續(xù)探索合成訓(xùn)練數(shù)據(jù)在機(jī)器人操控領(lǐng)域內(nèi)的應(yīng)用，并研究出將該方法應(yīng)用于更多場(chǎng)景的能力。