斯坦福提出基于目標(biāo)的策略強(qiáng)化學(xué)習(xí)方法——SOORL

人類的學(xué)習(xí)能力一直是人工智能追求的目標(biāo)，但就目前而言，算法的學(xué)習(xí)速度還遠(yuǎn)遠(yuǎn)不如人類。為了達(dá)到人類學(xué)習(xí)的速率，斯坦福的研究人員們提出了一種基于目標(biāo)的策略強(qiáng)化學(xué)習(xí)方法——SOORL，把重點(diǎn)放在對策略的探索和模型選擇上。以下是論智帶來的編譯。

假設(shè)讓一個(gè)十二歲的孩子玩一下午雅達(dá)利游戲，就算他之前從沒玩過，晚飯前也足以掌握游戲規(guī)則。Pitfall!是是雅達(dá)利2600上銷量最高的游戲之一，它的難度很高，玩家控制著一個(gè)名為“哈里”的角色，他要在20分鐘內(nèi)穿過叢林，找到32個(gè)寶藏。一路上共有255個(gè)場景（rooms），其中會(huì)碰到許多危險(xiǎn)，例如陷阱、流沙、滾動(dòng)的枕木、火焰、蛇以及蝎子等。最近的獎(jiǎng)勵(lì)也要在起始點(diǎn)7個(gè)場景之外，所以獎(jiǎng)勵(lì)分布非常稀疏，即使對人類來說，沒有經(jīng)驗(yàn)也很難操控。

深度神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)這對cp在模仿人類打游戲方面可謂是取得了不小的進(jìn)步。但是這些智能體往往需要數(shù)百萬個(gè)步驟進(jìn)行訓(xùn)練，但是人類在學(xué)習(xí)新事物時(shí)效率可要高多了。我們是如何快速學(xué)習(xí)高效的獎(jiǎng)勵(lì)的，又是怎樣讓智能體做到同樣水平的？

有人認(rèn)為，人們學(xué)習(xí)并利用能解釋世界如何運(yùn)行的結(jié)構(gòu)化模型，以及能用目標(biāo)而不是像素表示世界的模型，從而智能體也能靠同樣的方法從中獲得經(jīng)驗(yàn)。

具體來說，我們假設(shè)同時(shí)具備三個(gè)要素即可：運(yùn)用抽象的目標(biāo)水平的表示、學(xué)習(xí)能快速學(xué)習(xí)世界動(dòng)態(tài)并支持快速計(jì)劃的模型、利用前瞻計(jì)劃進(jìn)行基于模型的策略探索。

在這一思想的啟發(fā)下，我們提出了策略目標(biāo)強(qiáng)化學(xué)習(xí)（SOORL）算法，據(jù)我們所知，這是第一個(gè)能在雅達(dá)利游戲Pitfall!中能到積極獎(jiǎng)勵(lì)的算法。重要的是，該算法在這一過程中不需要人類的示范，可以闖過50關(guān)。SOORL算法利用強(qiáng)大的先驗(yàn)知識而非傳統(tǒng)的深度強(qiáng)化學(xué)習(xí)算法，對環(huán)境中的目標(biāo)和潛在的動(dòng)態(tài)模型有了了解。但是相比于需要人類示范的方法來說，SOORL算法所掌握的信息就少了很多。

SOORL在兩方面超過了之前以目標(biāo)為導(dǎo)向的強(qiáng)化學(xué)習(xí)方法：

智能體在積極嘗試選擇一種簡單模式，該模式解釋了世界是如何運(yùn)作的從而看起來是決定性的。

智能體用一種基于模型的積極計(jì)劃方法，在做決定時(shí)假設(shè)智能體不會(huì)計(jì)算出一個(gè)完美的計(jì)劃來應(yīng)對即使知道世界怎樣運(yùn)作后會(huì)有何反應(yīng)。

這兩種方法都是從人類遇到的困難中受到的啟發(fā)——先前經(jīng)驗(yàn)很少，同時(shí)算力有限，人類必須快速學(xué)習(xí)做出正確的決定。為了達(dá)到這一目標(biāo)，我們第一條方法發(fā)現(xiàn)，與復(fù)雜的、需要大量數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)模型不同，如果玩家按下的某一按鍵需要很少經(jīng)驗(yàn)來估計(jì)，那么簡單的決定性模型可以減少計(jì)劃所需的計(jì)算力，盡管會(huì)經(jīng)常出錯(cuò)，但對達(dá)到良好的效果已經(jīng)足夠了。第二，在獎(jiǎng)勵(lì)分散、復(fù)雜的電子游戲中，玩一場游戲可能需要成百上千個(gè)步驟，對于任何一個(gè)計(jì)算力有限的智能體來說，想在每個(gè)步驟都作出合適的計(jì)劃是非常困難的，就算是12歲的小孩也是如此。我們用一種常用并且強(qiáng)大的方法做前瞻計(jì)劃，即蒙特卡洛樹搜索，將其與目標(biāo)導(dǎo)向的方法結(jié)合，用作最優(yōu)策略的探索，同時(shí)指導(dǎo)智能體學(xué)習(xí)它不了解的世界的環(huán)境。

Pitfall!也許是智能體最后一個(gè)尚未攻破的雅達(dá)利游戲。如文章開頭所說，Pitfall!中的第一個(gè)積極獎(jiǎng)勵(lì)出現(xiàn)多個(gè)場景之后，玩家需要非常小心地操作才能得到，這就需要智能體在闖關(guān)時(shí)具備策劃能力和對未來的預(yù)見能力。

我們的SOORL智能體在50回中的平均可以解鎖17個(gè)場景，而之前的用像素作為輸入、同時(shí)又沒有策略探索的DDQN標(biāo)準(zhǔn)在2000回之后的平均只能解鎖6個(gè)場景。

SOORL最多解鎖了25個(gè)場景

下面的直方圖顯示出在不同的隨機(jī)種子下，SOORL算法在訓(xùn)練時(shí)的100次游戲中最佳的表現(xiàn)分布。

可以看到，SOORL在大多數(shù)情況下并不比之前所有深度強(qiáng)化學(xué)習(xí)的方法好，之前的方法得到最佳的獎(jiǎng)勵(lì)為0（雖然這種方法都是在500甚至5000次游戲之后才得到的，而我們的方法只要50次就可以得到最佳獎(jiǎng)勵(lì)）。在這種情況下，SOORL經(jīng)?？梢员绕渌椒ń怄i更多房間，但是并沒有達(dá)到更高的最佳成績。但是，在幾次游戲中，SOORL得到了2000分甚至4000分的獎(jiǎng)勵(lì)，這是沒有人類示范的情況下獲得的最好分?jǐn)?shù)。在有人示范的情況下目前最好的分?jǐn)?shù)是60000分，盡管分?jǐn)?shù)很高，但是這種方法仍需要大量的先驗(yàn)知識，并且還需要一個(gè)可靠的模型減少探索過程中遇到的挑戰(zhàn)。

下面是SOORL智能體掌握的幾種有趣的小技巧：

飛渡深坑

鱷魚口脫險(xiǎn)

躲避沙坑

SOORL仍然還有很多限制。也許其中最重要的缺點(diǎn)就是它需要一種合理的潛在動(dòng)態(tài)模型進(jìn)行具體化，使得SOORL可以在這個(gè)子集上進(jìn)行模型選擇。另外在蒙特卡洛樹搜索期間，它沒有學(xué)習(xí)并利用價(jià)值函數(shù)，這在早期的AlphaGo版本上是很重要的一部分。我們希望加入一個(gè)價(jià)值函數(shù)能大大改善其性能。

但是除了這些弱點(diǎn)，這些結(jié)果還是非常令人激動(dòng)的。因?yàn)檫@個(gè)基于模型的強(qiáng)化學(xué)習(xí)智能體能在類似Pitfall!這樣獎(jiǎng)勵(lì)非常稀疏的電子游戲中快速地學(xué)習(xí)，通過各種策略學(xué)習(xí)如何在簡單模式下做出正確決策。