Facebook關(guān)于自主智能體的最新研究成果——目標(biāo)驅(qū)動自主學(xué)習(xí)

本文由來自 Facebook 人工智能研究院的研究員 Dhruv Batra 和 Devi Parikh 共同撰寫，文中介紹了 Facebook 關(guān)于自主智能體的最新研究成果——目標(biāo)驅(qū)動自主學(xué)習(xí)，并且還宣布了開源 EmbodiedQA 和 House3D 數(shù)據(jù)集.

大多數(shù)能夠與人類進行互動的自主智能體（Autonomous agents）都存在一些共同點：它們并不是那么自給自足（Self-sufficient）。例如，一個智能音箱（Smart speaker）雖然可以通過語音接口與人類進行交流并采取一些動作（比如訂購產(chǎn)品），但是它卻無法感知周圍環(huán)境。而另一方面，割草機器人雖然具備動作（割草）和感知（通過傳感器）能力，但是它除了不斷閃爍燈光或者發(fā)送錯誤信息以外，還無法實現(xiàn)與主人的自由交流。

如果不同時具備三個重要的關(guān)鍵因素——感知、溝通和動作，那么自主智能體就無法成為一個全面的助理，而這其中的空白代溝還需要人類參與進來彌補。然而這個問題對于目前的智能體來說似乎并不是什么大毛病，例如，Roomba 機器人如果忽略了通知你有把椅子阻礙了它的清潔路線，這只是一點小困難而不是什么大災(zāi)難。但是為了讓下一代智能體能融入并改變我們的生活，那么自主系統(tǒng)還需要變得更加自給自足。

訓(xùn)練人工智能系統(tǒng)時要扔下嬰兒車

為了給那些對人類微觀管理依賴程度較低且更具通用性的系統(tǒng)鋪平道路，F(xiàn)acebook 人工智能研究院（FAIR）開發(fā)了一系列用于訓(xùn)練和測試自主智能體的虛擬環(huán)境，以及能夠?qū)W習(xí)智能探索那些環(huán)境的新型智能體。這些智能體將被用來作為模擬機器人而使用，它們是 Facebook 與佐治亞理工學(xué)院的研究員合作創(chuàng)建的。使用虛擬智能體和虛擬環(huán)境比起將真實的機器人送到現(xiàn)有的室內(nèi)場所要來得高效得多，因為這需要花費數(shù)千臺機器來匹配基于 AI 訓(xùn)練的運行速度。Facebook F8 會議上關(guān)于通過 AI 提高內(nèi)容的可訪問性的主題演講中簡單介紹過這項工作。

FAIR 的目標(biāo)是指導(dǎo)系統(tǒng)根據(jù)長期計劃采取多種動作，同時還要努力完成所給定的任務(wù)。為了取得成功，這些智能體必須在它們的環(huán)境中行動，綜合使用感知、導(dǎo)航和溝通的能力去尋找出給定問題的答案，然后使用簡單自然的語言轉(zhuǎn)達這些答案。對于 AI 來說，這是一個極具挑戰(zhàn)性的問題，如果一旦實現(xiàn)就是朝著自治水平邁出了一步，并且該智能體的適應(yīng)性也將足以在非結(jié)構(gòu)化的人造世界中發(fā)揮作用。

為了測試這種目標(biāo)導(dǎo)向（Goal-driven）的方法，F(xiàn)AIR 和佐治亞理工學(xué)院聯(lián)合提出了一個多步驟 AI 任務(wù)，稱為「具體化問答（Embodied Question Answering）」或者「EmbodiedQA」。與聊天機器人或者智能音箱相比，此智能體必須在物理環(huán)境（盡管是虛擬環(huán)境）中去學(xué)習(xí)和運行，因此稱為「具體化的（Embodied）」。當(dāng)智能體被問及單一問題時，例如「車子是什么顏色的？」或「我的鑰匙落在了哪個房間里？」，智能體必須能夠理解書面語言，然后用第一人稱相機去感知周圍環(huán)境，探索 3D 的室內(nèi)環(huán)境直到找到答案。并且為了使得智能體的自主性更加完善，它還將通過自然語言的方式回復(fù)該答案以完成自己的使命。

FAIR 提出了一項新的 AI 任務(wù)——具體化問答（Embodied Question Answering）。上圖中在一個 3D 環(huán)境中的某個隨機位置產(chǎn)生一個智能體，并給出一個問題（車是什么顏色的？）。為了回答這個問題，智能體必須借助智能導(dǎo)航以探索環(huán)境，通過第一人稱（以自我為中心）的視覺收集信息，然后回答問題（橙色）。

FAIR 相信這些是第一個要求 AI 系統(tǒng)綜合展示感知、交流和動作以達成目標(biāo)的實驗。將完全自主（智能體在沒有人類引導(dǎo)和干預(yù)的情況下實現(xiàn)了自主活動）和不熟悉的環(huán)境結(jié)合起來增加了整個任務(wù)的挑戰(zhàn)性。智能體要在隨機的、數(shù)以百計的不同樓層平面圖（每個平面都是仿照現(xiàn)實家庭進行建模）中運行，而且不具有在該環(huán)境中實踐運行過所帶來的增益，也不曾在類似的地圖上運行過。更難的是，為了回答提出的問題，智能體必須移動，因為問題中的對象也許無法立即看到。

在工作中學(xué)習(xí)

為了訓(xùn)練和評估這些智能體，所需的虛擬環(huán)境不僅僅要具備交互功能，還要具備多樣化和數(shù)量充足的特性，以避免智能體在相同環(huán)境中反復(fù)運行，這對自主智能體的發(fā)展而言是一個更加巨大的挑戰(zhàn)。FAIR 的解決方案稱為 House3D，它是由 45000 個手動創(chuàng)建的模擬室內(nèi)環(huán)境所組成的。House3D 是基于普林斯頓大學(xué)的 SUNCG 數(shù)據(jù)集而創(chuàng)建的，但是 House3D 作為一個完全可導(dǎo)航的位置集合（Fully navigable set of locations），使得智能體能夠同時探索數(shù)千個房間，這比起在現(xiàn)實生活空間中訓(xùn)練具有復(fù)雜機械結(jié)構(gòu)的機器人要來得快得多。它也使得我們可以進行可重復(fù)性的科學(xué)實驗。并且 House3D 還進行了開源，目前可以在 GitHub 上獲取。

為了在 House3D 中每次都能進行獨特的尋寶活動，智能體必須在完成任務(wù)的過程中學(xué)習(xí)一系列核心能力——從對室內(nèi)物體的識別（沙發(fā)、椅子等）到對問題的語言理解。

第一種習(xí)得的能力是主動感知（Active perception），或者是智能控制前面像素的能力，因為一開始目標(biāo)對象不太可能會剛好位于智能體的視線范圍內(nèi)（圖像通過一個 224x224 分辨率的 RGB 模擬攝像頭采集）。因此，智能體不是被動地感知問題中提及的對象（固定圖像數(shù)據(jù)集中就是如此），而是通過探索周圍環(huán)境主動將目標(biāo)對象尋找出來。

這項研究的一個創(chuàng)新點在于實現(xiàn)了導(dǎo)航的模塊化方法，該方法將導(dǎo)航任務(wù)劃分成了兩個部分。規(guī)劃者（Planner）負責(zé)選擇移動的方向，例如向左移動，而控制器（Controller）則負責(zé)確定在該方向需要移動多遠。這種策略避免了智能體在移動前需要去創(chuàng)建長遠而又詳細的路徑規(guī)劃，因為這么干會導(dǎo)致更多的錯誤和更弱的適應(yīng)性。此外規(guī)劃者-控制器（Planner-Controller）這套設(shè)置也更適合于強化學(xué)習(xí)，在這里智能體將根據(jù)積極或者消極的反饋來動態(tài)調(diào)整其導(dǎo)航。

FAIR 的智能體將導(dǎo)航任務(wù)分解為一個規(guī)劃者（PLNR）模塊和一個控制器（CTRL）模塊。規(guī)劃者從卷積神經(jīng)網(wǎng)絡(luò)（CNN）獲得輸入，然后決定所采取的動作。同時控制器將決定繼續(xù)執(zhí)行該動作的時間步變量——從而實現(xiàn)方向和速度之間的解耦合。這使得規(guī)劃者能夠在更短的時間內(nèi)進行更有效的操作，從而減輕了訓(xùn)練難度。

下一步，智能體必須學(xué)會常識推理，然后在一個新的但是卻并非完全陌生的環(huán)境中去發(fā)揮作用。盡管人們可能知道車庫往往位于房屋的周圍，因此可以通過外部門進入，但是 AI 系統(tǒng)卻需要自己去學(xué)習(xí)這些知識。隨著在不同的模擬家庭中成功達到目標(biāo)，智能體必須發(fā)展出這種常識，以縮短尋找指定對象然后回答相關(guān)問題所花費的時間。

作為常識積累的后續(xù)階段，智能體還要學(xué)習(xí)語言基礎(chǔ)，或者是學(xué)習(xí)如何把單詞（比如針對對象的描述）與特定的動作聯(lián)系起來。例如，當(dāng)為了找到可能位于車庫中的汽車而搜索車庫時，智能體不會被迫查看每個可能的空間，直到它找到與車庫對應(yīng)的一組像素為止。恰恰相反，智能體使用「車庫」作為一個行動的指令，然后直接去找到外部門，從而更加高效地定位它的目標(biāo)。

最后，因為 FAIR 的目標(biāo)是超越繁瑣的、逐步的人為監(jiān)督，從微弱和遠期的目標(biāo)驅(qū)動獎勵中學(xué)習(xí)，所以智能體必須學(xué)會的最重要的能力之一是「功勞分配（Credit assignment）」，這意味著智能體能夠知道自己一路上所做的行為哪些是正確的而哪些又是錯誤的。例如，如果詢問「多少個房間里有椅子？」，然后智能體并沒有被明確告知需要檢查每一個房間，甚至沒有被告知要從家中含有椅子的區(qū)域開始計算。智能體能夠憑借自己的力量去探索和回答問題，而不需要借助人類提供的詳細的逐步計劃。因此，從它是否正確回答的一個微弱信號來看，它必須自行學(xué)習(xí)其數(shù)百項相互依賴的行動中是哪一項導(dǎo)致了成功。為了增強傳統(tǒng)的強化學(xué)習(xí)，F(xiàn)AIR 使用模仿學(xué)習(xí)（Imitation learning，比較智能體的運動與到達目標(biāo)的可能最短路徑）和獎勵塑造（Reward shaping，通過「變得更近」和「變得更遠」信號隨時間變化而改進智能體的表現(xiàn)）來允許智能體把它真正使命拼湊起來，即便該使命在開始時并不明晰。

讓自主系統(tǒng)更加自主

經(jīng)過訓(xùn)練的 EmbodiedQA 智能體與標(biāo)準序列模型基準（一個 LSTM 導(dǎo)航器）相比，表現(xiàn)的相當(dāng)合理。

該視頻比較了 FAIR 開發(fā)的智能體（名稱為 ACT+Q-RL）與基準的性能表現(xiàn)（名稱為 LSTM+Q）。視頻地址

和 House3D 一樣，F(xiàn)AIR 收集的 EmbodiedQA 數(shù)據(jù)將進行開源，并且旨在啟發(fā)更廣泛的 AI 研究社區(qū)內(nèi)的其它項目。為了給其他研究人員提供完整的背景，F(xiàn)AIR 將人類帶入了這個方程式中。FAIR 和佐治亞理工學(xué)院將自主智能體導(dǎo)航與問答的能力與遠程遙控智能體進行了對比，這些遠程遙控智能體由人類（通過亞馬遜的 Mechanical Turk 平臺）進行操控，從而建立了專家級別的基準導(dǎo)航示例。由此產(chǎn)生的數(shù)據(jù)集包括，與 750 個獨特的、多房間的環(huán)境相關(guān)的合成產(chǎn)生問題（Synthetically generated questions）。智能體（和人類）準確性的故障以及我們使用的問答生成引擎也將成為 EQA v1 開源版本中的一部分，該版本在不久的將來可以獲取到。

雖然 EmbodiedQA 是只涵蓋了一種目標(biāo)驅(qū)動的自主任務(wù)，但是它卻代表了人工智能的高難度（因為它將各種各樣的子任務(wù)合并成了一個任務(wù)），并且有機會探索采取「行動」的新學(xué)習(xí)范式，這是成功的先決條件。無法做出決策的智能體——在這種情況下，通過在現(xiàn)實家庭中導(dǎo)航，確定它們收集到了相關(guān)的數(shù)據(jù)，然后傳達它們發(fā)現(xiàn)的內(nèi)容——這種智能體在我們的實驗中是無法完成任務(wù)的。

這種挑戰(zhàn)是艱巨的，因為它至關(guān)重要。在短期內(nèi)，目標(biāo)驅(qū)動的算法可以使用自動化來改善 AR 和 VR 的體驗，為可用的接口選項添加直觀的語音交互。但這種基于行為的目標(biāo)驅(qū)動方法的長期影響可能會延伸到自主性上。從數(shù)字助理可以根據(jù)單一命令（例如，不僅可以預(yù)約醫(yī)生，還可以重新安排沖突的會議）執(zhí)行一系列家務(wù)事，到災(zāi)難響應(yīng)機器人遵循來自第一響應(yīng)者的簡單語音命令，這種適應(yīng)性的自動化可能會對我們的生活產(chǎn)生重大影響。