Facebook提出通過(guò)聽自然語(yǔ)言訓(xùn)練自主機(jī)器人

雷鋒網(wǎng)消息，據(jù)外媒Venturebeat報(bào)道，F(xiàn)acebook、喬治亞理工學(xué)院和俄勒岡州立大學(xué)的研究人員在本周發(fā)表的一篇預(yù)印本論文中，描述了人工智能的一項(xiàng)新任務(wù)——通過(guò)聽自然語(yǔ)言的指令，在3D環(huán)境中導(dǎo)航（例如，“走下大廳，在木桌旁左轉(zhuǎn)”）。他們說(shuō)，這可以為遵循自然語(yǔ)言指令的機(jī)器人助手奠定基礎(chǔ)。

研究人員的任務(wù)，被稱之為在連續(xù)環(huán)境中的視覺和語(yǔ)言導(dǎo)航(VLN-CE)，是在Facebook的模擬器Habitat中進(jìn)行的，該模擬器可以訓(xùn)練機(jī)器人助手在模擬真實(shí)環(huán)境的環(huán)境中操作。直徑為0.2米、1.5米高的助手被放置在來(lái)自Matterport3D數(shù)據(jù)集的內(nèi)部，該數(shù)據(jù)集是通過(guò)10800多個(gè)全景圖和相應(yīng)的3D網(wǎng)格捕獲的90個(gè)環(huán)境的集合。

機(jī)器人助手必須在一條路徑上做四個(gè)動(dòng)作（向前移動(dòng)0.25米，左轉(zhuǎn)或右轉(zhuǎn)15度，或停在目標(biāo)位置）中的一個(gè)，并學(xué)會(huì)避免被困在障礙物上，比如椅子和桌子上。

研究小組將這些環(huán)境提煉成4475條由4到6個(gè)節(jié)點(diǎn)組成的軌跡，這些軌跡對(duì)應(yīng)于在各個(gè)位置拍攝的360度全景圖像，顯示了導(dǎo)航能力。

他們用這個(gè)訓(xùn)練兩個(gè)人工智能模型：一個(gè)sequence-to-sequence模型，該模型由采取視覺觀察和指令表示的策略組成，并使用它們預(yù)測(cè)一個(gè)動(dòng)作；另一個(gè)是兩個(gè)網(wǎng)絡(luò)交叉模式注意模型，該模型跟蹤觀察結(jié)果，并根據(jù)指令和特征做出決策。

研究人員表示，在實(shí)驗(yàn)中，表現(xiàn)最好的機(jī)器人可以遵循“向左拐，進(jìn)入走廊”之類的指令，盡管這些指令要求機(jī)器人在發(fā)現(xiàn)視覺路標(biāo)之前轉(zhuǎn)動(dòng)未知的次數(shù)。事實(shí)上，機(jī)器人在看不見的環(huán)境，大約三分之一的場(chǎng)景中導(dǎo)航到目標(biāo)位置，平均采取了88次行動(dòng)。

這些機(jī)器人偶爾也會(huì)失敗，根據(jù)合著者的說(shuō)法，這些失敗通常是由于機(jī)器人在視覺上丟失了指令中提到的對(duì)象。

“至關(guān)重要的是，VLN-CE為（研究）社區(qū)提供了一個(gè)測(cè)試平臺(tái)，在這里可以進(jìn)行研究高級(jí)和低級(jí)控制界面的這類集成實(shí)驗(yàn)，”合著者寫道。

Facebook投入了大量資源來(lái)解決自主機(jī)器人導(dǎo)航的問(wèn)題。

雷鋒網(wǎng)了解到，今年6月，在公布了一項(xiàng)訓(xùn)練六足機(jī)器人走路的計(jì)劃后，F(xiàn)acebook首次推出了PyRobot，一種用于PyTorch機(jī)器學(xué)習(xí)框架的機(jī)器人框架。2018年，F(xiàn)acebook推出了開源人工智能，可以通過(guò)360度圖像在紐約市街道上導(dǎo)航。最近，F(xiàn)acebook的一個(gè)團(tuán)隊(duì)發(fā)表了一篇論文，描述了一個(gè)通過(guò)觀看視頻學(xué)習(xí)如何在辦公室里走動(dòng)的系統(tǒng)。