DeepMind和OpenAI攻克蒙特祖瑪?shù)膹统鸩]有看上去意義那么重大

《蒙特祖瑪?shù)膹统稹肥且粋€出了名困難的游戲，是強化學習的一大挑戰(zhàn)。本文作者長期從事深度強化學習研究，他認為DeepMind和OpenAI攻克蒙特祖瑪?shù)膹统鸩]有看上去意義那么重大，深度強化學習的長期目標是讓智能體具備先驗知識，可以從零開始玩游戲。

最近，DeepMind和OpenAI都宣布他們開發(fā)了可以學習完成Atari 2600游戲《蒙特祖瑪?shù)膹统稹返谝魂P的智能體。他們這些宣稱很重要，因為《蒙特祖瑪?shù)膹统稹愤@個游戲對于AI研究來說很重要。與街機學習環(huán)境（Arcade Learning Environment，ALE）里的絕大多數(shù)游戲不同，大多數(shù)游戲現(xiàn)在很容易被利用深度學習的agent解決掉，達到超越人類水平的表現(xiàn)。但《蒙特祖瑪?shù)膹统稹芬恢睕]有被深度強化學習方法解決，而且被一些人認為在未來的幾年里都無法解決。

蒙特祖瑪?shù)膹统鸬牡谝粋€房間

蒙特祖瑪?shù)膹统鹋cALE中其他游戲的區(qū)別在于，它的獎勵（rewards）相對少。這意味著agent只在長時間完成特定的一系列動作之后才會收到獎勵信號。在蒙特祖瑪?shù)膹统鸬牡谝粋€房間里（見上圖1），這意味著agent要從梯子上下來，用繩子跳過一個空地，從另一個梯子下來，跳過一個會移動的敵人，最后還要爬上另一個梯子。所有這些只是為了在第一個房間里拿到第一把鑰匙！

在游戲的第一關，有23個這樣的房間，agent要在這些房間里拿到所有鑰匙，才能完成這個關卡（見圖2）。更復雜的是，游戲中導致失敗的條件也相當嚴格，agent會由于很多可能的事件導致死亡，其中最累人的是從高的地方墜落。不熟悉這個游戲的人可以試著玩一下，看看你要花多長時間才能通過第一個房間，更不用說通過第一個關卡了。

蒙特祖瑪?shù)膹统鸬谝魂P

由于難度太高，《蒙特祖瑪?shù)膹统稹酚螒虮灰暈镈eep RL方法的一大挑戰(zhàn)。事實上，這款游戲激發(fā)了一些更有趣的方法的開發(fā)，這些方法可以對傳統(tǒng)的Deep RL算法進行增強或重構，利用新的方法進行分層控制、探索和體驗回放。因此，當DeepMind和OpenAI各自聲稱已經(jīng)開發(fā)出能夠如此出色地玩這個游戲的算法時，就成了大新聞（至少在有些領域是如此）。

DeepMind和OpenAI在這個游戲到底達到了多厲害的水平呢？是這樣先前的技術最高水平是2600分（DeepMind的FuN模型），而新方法可以達到數(shù)萬分。從工程和理論的角度來看，所有這三種方法都得到了令人印象深刻的結果，所有方法都需要學習。

但是，用深度強化學習來解決蒙特祖瑪?shù)膹统鸬恼f法并不像它們看起來的那樣。在這三種情況下（DeepMind的兩篇論文和OpenAI的一篇博客文章），使用人類專家演示都是他們的算法的一個組成部分，這從根本上改變了學習問題的本質。

在這篇文章中，我想討論的是，這些方法是為了解決蒙特祖瑪?shù)膹统鹩螒虻牡谝粋€關卡，以及為什么在游戲環(huán)境以及Deep RL的長期目標中，這些方法并沒有看上去意義重大。最后，我將簡要地討論一下這個出了名困難的游戲中真正重大的結果是什么，這將為這個領域指明前進的方向。

DeepMind的結果：從YouTube學習和Q-Learning

從YouTube學習

DeepMind在5月份發(fā)布了一篇引人注目的論文“通過觀看YouTube來玩困難的探索游戲”（Playing hard exploration games by watching YouTube），里面提出了我們今天介紹的解決蒙特祖瑪?shù)膹统鸬娜N方法中最有趣的一種。正如題目所示，研究小組設計了一種方法，可以使用專業(yè)玩家通關游戲第一關的視頻來輔助學習過程。

“從視頻學習”這個問題本身就是一個有趣的挑戰(zhàn)，完全超出了游戲本身的挑戰(zhàn)。正如作者所指出的，在YouTube上發(fā)現(xiàn)的視頻包含了各種各樣的artifacts，它們可以阻止在視頻中發(fā)生的事情與在ALE中玩游戲的agent可能觀察到的事情之間進行映射。為了解決這一“差距”，他們創(chuàng)建了一種方法，能夠將對游戲狀態(tài)（視覺的和聽覺的）的觀察結果嵌入到一個共同的嵌入空間中。

不同的演示視頻和模擬器圖像的比較

然后，利用這個嵌入空間為學習智能體提供獎勵。agent不再只接受原始游戲提供的稀疏獎勵，而是還能獲得中間獎勵，該中間獎勵對應于沿著專家玩家提供的路徑到達檢查點。通過這種方式，agent可以獲得更強的學習信號，最終以41000的分數(shù)通過了游戲的第一關。

Q-Learning

大約在YouTube論文發(fā)表的同時，DeepMind分享了另一組實驗的結果，這次的論文標題不那么引人注目：“Observe and Look Further: Achieving Consistent Performance on Atari”。

在論文中，他們提出一系列有趣的算法改進Deep Q-learning，提高算法的穩(wěn)定性和能力。第一個是在Q-update中增加折扣因子（discount factor），這樣就可以學習更長期的時間依賴性，而不需要考慮高折扣因子的典型缺點。第二種方法是使Deep Q-learning能夠解釋不同數(shù)量級的獎勵信號，從而使算法能夠解決最優(yōu)策略涉及學習這些不同獎勵的任務。

除了這兩項改進之外，他們還建議使用人類演示（human demonstrations）作為增強探索過程的一種手段，自動向網(wǎng)絡提供專業(yè)玩家會遵循的狀態(tài)空間軌跡的信息。結合這三種改進，作者最終得到一個能夠以38000分的成績完成蒙特祖瑪?shù)膹统鸬谝魂P的agent。值得注意的是，只使用前兩項改進（沒有人類演示）不足以在游戲中獲得矚目的表現(xiàn)，得分只有2000多分。

OpenAI的結果：近端策略優(yōu)化

訓練期間使用restart

在DeepMind的結果發(fā)表幾周后，OpenAI發(fā)布了一篇博客文章，描述了一種也可以訓練智能體完成蒙特祖瑪?shù)膹统鸬谝魂P的方法。該方法也依賴于人類的演示，但他們的方法與DeepMind的方法稍有不同。

在OpenAI的方法中，人類演示不是作為獎勵或學習信號的一部分，而是作為智能體重新啟動（restart）的一種手段。在游戲中給定人類專家的移動軌跡，agent在游戲接近尾聲時啟動，然后在每次重新啟動的過程中緩慢地往回移動軌跡。這樣做的好處是，僅將agent暴露給游戲中人類玩家已經(jīng)探索過的部分，并隨著agent本身變得更強而擴大范圍。因為使用了默認的近端策略優(yōu)化（PPO算法），這種方法對實際學習算法沒有任何改變。只要在“正確”的位置啟動agent，就足以確保它找到正確的解決方案，最終，該方法獲得了歷史最高的74500分。

模仿學習的局限性

上述所有方法都有一個共同點，就是它們都使用了一組人類專家的演示。第一種方法利用演示來學習獎勵信號，第二種方法利用演示來學習更準確的Q值，第三種方法利用演示來更智能地重新啟動agent。在這三種情況下，演示對學習過程都至關重要。一般來說，使用演示是為agent提供關于任務的有意義的知識的好方法。實際上，這就是我們人類能夠學習無數(shù)任務的方法。人類從演示中學習的能力的關鍵是，我們能夠對單個演示進行抽象和歸納，并在新的情況中利用。就《蒙特祖瑪?shù)膹统稹愤@個游戲而言，與其開發(fā)一種通用的游戲解決方案（如DeepMind的兩篇論文所指出的那樣），真正被開發(fā)出來的是一種利用游戲的關鍵弱點作為實驗平臺的聰明方法：游戲的確定性（determinism）。

不管是人類還是AI智能體，每次玩《蒙特祖瑪?shù)膹统稹窌r，都會看到很多完全相同的房間，每個房間都有完全相同的障礙和謎題。因此，對每個房間里的動作進行簡單的記憶就足以讓你獲得高分，并且能夠通過這一關。雖然如果智能體被迫從頭開始學習不一定是明顯的缺陷，但當這種情況加入了專家演示時，就變成了一個缺陷。這三種解決方案都利用了游戲的確定性，使智能體能夠更輕松地學習解決方案的路徑。最終它學到的不是如何玩困難的游戲，而是如何執(zhí)行預先確定的一套動作，以完成特定的游戲。

OpenAI的博客文章簡要地提到了確定性的問題，但它是在Atari 模擬器本身的層面，而不是在特定的游戲層面。他們的解決方案是使用一個隨機的跳幀控制（frame-skip）來阻止agent記住軌跡。雖然這阻止了agent記憶一系列的動作，但它并不阻止通過狀態(tài)空間來記憶一般軌跡。

在所有這些情況下，《蒙特祖瑪?shù)膹统稹愤@個游戲不再是稀疏獎勵問題的一個很難解決的問題，而是變成了通過固定的狀態(tài)空間學習軌跡一個更容易的問題。這是令人遺憾的，因為在最初的構想中，這個游戲仍然可能為深度強化學習的研究者提供更具吸引力的挑戰(zhàn)。

解決蒙特祖瑪?shù)膹统稹D難的道路

幾年來，我一直密切關注著蒙特祖瑪?shù)膹统鸬慕Y果，因為我把它們看作是一種試金石，用來檢驗深度強化學習是否開始顯示出更一般的推理和學習能力的跡象。許多結果表明，給定足夠的計算能力，深度強化學習，甚至隨機搜索都能解決簡單的優(yōu)化問題。然而，許多研究人員對人類水平的智能感興趣，而這不僅是簡單的優(yōu)化。它涉及在多個抽象層次上學習和推理概念，包括將從一個問題空間學到的概念知識以一種可適應的方式推廣到許多問題空間。

當你把蒙特祖瑪?shù)膹统鸬牡谝粋€房間呈現(xiàn)給任何人，并問他們需要做什么時，他們很快就會開始向你描述一系列的行動和觀察，這表明人類對游戲可能的動態(tài)有復雜的理解。最明顯的表現(xiàn)他們會認識到鑰匙是理想的物體，骷髏頭是需要避免的東西，梯子是有活動能力的東西。然后鑰匙暗示打開鎖著的門的能力，突然出現(xiàn)復雜的多步驟計劃以及如何完成關卡的方式。這種推理和計劃不僅適用于游戲的某個特定關卡，還適用于我們所遇到的任何類似的關卡或游戲。這些技能對于人類智能而言至關重要，而且對于那些試圖將深度強化學習推廣到一套簡單的優(yōu)化算法之外的人來說也很感興趣。然而，在確定性環(huán)境中使用人類演示完全繞過了對這些技能的需要。

如果沒有用來解釋視覺場景的先驗知識，像《蒙特祖瑪?shù)膹统稹愤@類游戲看起來可能是這樣的

當然，這些技能也是最難以用算法形式表達的，尤其是它們的人類表現(xiàn)形式尚沒有被完全理解。特別是在概念學習的情況下，通常需要把外部的一般知識引入到新的問題上。正如伯克利的一個研究團隊所指出的那樣，如果我們沒有先驗知識（無論是與生俱來來說后天學習的），許多我們認為理所當然的視頻游戲會變得更加復雜。

然后問題就變成了，AI智能體如何才能自然地學習像《蒙特祖瑪?shù)膹统稹愤@樣的游戲所需要的先驗知識。此外，這些習得的先驗知識如何不僅僅被用于玩一個特定游戲的特定關卡，而是可以玩任何類似游戲的任何關卡。表示學習和概念基礎方面正在進行一些有趣的工作，我認為這對解決這些問題是至關重要的。還有一些工作正在開發(fā)更多的隨機環(huán)境，以更好地測試智能體的泛化能力，其中最引人注目的是GVGAI競賽（通用視頻游戲AI競賽）。

我熱切地期待有一天我們可以毫無疑問地說，AI智能體可以學會從頭開始玩《蒙特祖瑪?shù)膹统稹?。當那一天到來時，會有很多令人興奮的事情。