一種新型的基于情景記憶的模型，能夠讓智能體用“好奇心”探索環(huán)境

強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域最熱門的研究技術(shù)之一，如果智能體做了正確的行為就能得到積極的獎(jiǎng)勵(lì)，反之則會(huì)得到負(fù)獎(jiǎng)勵(lì)。這種方法簡(jiǎn)單通用，DeepMind用這種方法教會(huì)DQN算法玩雅達(dá)利游戲以及讓AlphaGoZero下圍棋，甚至還讓OpenAI訓(xùn)練算法來打Dota。但是，盡管強(qiáng)化學(xué)習(xí)很成功，想要高效地使用它仍然有很多挑戰(zhàn)。

傳統(tǒng)的強(qiáng)化學(xué)習(xí)算法常常因?yàn)榄h(huán)境對(duì)智能體稀疏的反饋而遇到重重困難，但這樣的環(huán)境在現(xiàn)實(shí)中是很常見的。例如，你想在大型超市中找到最喜歡的那種奶酪，找了半天也沒找到奶酪區(qū)。如果在這一過程中，你并沒有收到任何反饋，那么就完全沒有頭緒該往哪走。在這種情況下，只有好奇心會(huì)驅(qū)使你試著走向別處。

現(xiàn)在，谷歌大腦團(tuán)隊(duì)、DeepMind和蘇黎世聯(lián)邦理工學(xué)院合作提出了一種新型的基于情景記憶的模型，能夠讓智能體用“好奇心”探索環(huán)境。研究人員不僅僅想讓智能體了解環(huán)境，而且還想讓它們解決最初的任務(wù)，他們?cè)谠枷∈枞蝿?wù)獎(jiǎng)勵(lì)中添加了一些反饋獎(jiǎng)勵(lì)，讓標(biāo)準(zhǔn)的強(qiáng)化學(xué)習(xí)算法從中學(xué)習(xí)。所以這樣加入了好奇心的方法能讓強(qiáng)化學(xué)習(xí)智能體解決的問題更多。

以下是論智對(duì)這一方法的介紹：

這種方法的核心思想是將智能體所觀察到的環(huán)境存儲(chǔ)在情景記憶中，并且如果智能體獲取了存儲(chǔ)中沒有的觀察，也會(huì)對(duì)其進(jìn)行獎(jiǎng)勵(lì)。我們的方法創(chuàng)新之處就在于，如何找到這種“沒有被存儲(chǔ)的”場(chǎng)景，這就是讓智能體找到不熟悉的場(chǎng)景。這一目標(biāo)就會(huì)讓智能體走到一個(gè)新位置，直到找到目標(biāo)。我們的方式不會(huì)讓智能體做出無用的行為，通俗地講，這些行為有點(diǎn)像“拖延癥行為”。

此前的好奇心方法

在此之前，已經(jīng)有多個(gè)有關(guān)好奇心的研究了，在這篇文章中，我們會(huì)重點(diǎn)關(guān)注一個(gè)很常見的方法：在預(yù)測(cè)過程中感到驚喜而產(chǎn)生的好奇心（通常稱為ICM方法），這在最近的論文Curiosity-driven Exploration by Self-supervised Prediction中有過研究。為了解釋好奇心是如何引起驚奇的，我們還會(huì)到上文中提到的在超市中找奶酪的例子。

當(dāng)你在超市中搜索時(shí)，心里可能會(huì)想：現(xiàn)在我在肉類區(qū)域，所以接下來可能到水產(chǎn)品區(qū)。這些都應(yīng)該是相近的。如果你預(yù)測(cè)錯(cuò)了，可能會(huì)驚訝：誒？怎么是蔬菜區(qū)？從而得到獎(jiǎng)勵(lì)。這就會(huì)激勵(lì)你進(jìn)一步尋找，直到找到目標(biāo)。

同樣的，ICM方法會(huì)針對(duì)環(huán)境變化搭建一個(gè)預(yù)測(cè)模型，如果模型沒有做出好的預(yù)測(cè)，就會(huì)給智能體反饋，這也就是我們得到的“驚訝”。注意，探索一個(gè)陌生環(huán)境并不是ICM好奇心模塊的直接組成部分，對(duì)ICM方法來說，觀察不同的位置，就是為了獲得更多“驚奇”之情，從而讓總體獎(jiǎng)勵(lì)最大化。結(jié)果變成，在某些環(huán)境下，可能有其他的造成驚訝之情的路線，導(dǎo)致看到陌生的場(chǎng)景。

智能體遇到電視就被困住了

“拖延”的危險(xiǎn)

在Large-Scale Study of Curiosity-Driven Learning一文中，ICM方法的作者和OpenAI的研究人員提出，當(dāng)驚訝最大化后，會(huì)有隱藏的危險(xiǎn)：智能體可以學(xué)習(xí)做一些無用的拖延動(dòng)作，而不去為了完成任務(wù)而做些有用的事。作者舉了一個(gè)“noisy TV problem”的例子，智能體被安排在一個(gè)迷宮里，它的任務(wù)是找到最高獎(jiǎng)勵(lì)的對(duì)象（和在超市里找奶酪的道理一樣）。迷宮中有一臺(tái)電視，而智能體有它的遙控器。但是電視只有幾個(gè)臺(tái)（每個(gè)臺(tái)放的節(jié)目不一樣），每按一下遙控器，電視就會(huì)隨機(jī)切換頻道。在這種情況下，智能體應(yīng)該怎么做呢？

對(duì)于基于驚訝的好奇心方程來說，調(diào)換頻道會(huì)導(dǎo)致較大的獎(jiǎng)勵(lì)，因?yàn)槊看螕Q臺(tái)都是無法預(yù)測(cè)的，充滿驚喜。重要的是，當(dāng)所有頻道輪換一遍之后，隨機(jī)選擇仍會(huì)讓智能體感到驚奇，智能體仍然可能會(huì)預(yù)測(cè)錯(cuò)誤。所以，智能體為了獲得不斷的驚喜、得到獎(jiǎng)勵(lì)，就會(huì)一直站在電視機(jī)前不走。所以為了避免這種情況，該如何重新定義好奇心呢？

情景式好奇心

在我們的論文中，我們研究了一個(gè)基于情景記憶的好奇心模型，結(jié)果發(fā)現(xiàn)模型并不容易讓自己依賴即時(shí)滿足。為什么會(huì)這樣？利用上文電視機(jī)的例子，智能體換了一會(huì)兒臺(tái)之后，所有的節(jié)目都已經(jīng)被存儲(chǔ)了。于是，電視機(jī)不再有吸引力了，即使電視機(jī)上的頻道是隨機(jī)出現(xiàn)的、無法預(yù)測(cè)的。這就和剛剛依靠驚奇的好奇心模型有了區(qū)別：我們的方法不對(duì)未來做判斷，而是智能體檢查自己此前是否觀察到相似情景。所以，我們的智能體不會(huì)在這臺(tái)電視機(jī)上浪費(fèi)太多時(shí)間，它會(huì)繼續(xù)尋找更多獎(jiǎng)勵(lì)。

但是我們?nèi)绾未_定智能體看到了和記憶里相同的事物呢？檢查二者的匹配程度顯然是不現(xiàn)實(shí)的，因?yàn)楝F(xiàn)實(shí)生活中，智能體很少能兩次都看到相同的事物。例如，即使智能體回到了同一個(gè)房間，它看房間的視角也會(huì)和之前不同。

所以，我們?cè)谶@里使用神經(jīng)網(wǎng)絡(luò)來確定，該網(wǎng)絡(luò)在訓(xùn)練時(shí)會(huì)評(píng)估兩次經(jīng)歷有幾分相似。為了訓(xùn)練這一網(wǎng)絡(luò)，我們讓它判斷兩次觀察的時(shí)間是否接近。時(shí)間接近性是判斷兩段經(jīng)歷是否是同一個(gè)場(chǎng)景的有效方法。這一訓(xùn)練就對(duì)“新鮮”進(jìn)行了通用定義。

實(shí)驗(yàn)結(jié)果

為了比較研究好奇心的不同方法，我們?cè)趦蓚€(gè)3D場(chǎng)景中對(duì)其進(jìn)行了測(cè)試，分別是ViZDoom和DMLab。在這些環(huán)境中，智能體要完成多種任務(wù)，例如在迷宮中找目標(biāo)或者收集好的目標(biāo)，避開壞的物體。DMLab環(huán)境給智能體配置了類似激光的發(fā)射器，智能體可以選擇性地使用。有趣的是，和上面的電視機(jī)實(shí)驗(yàn)類似，基于驚訝的ICM方法在很多不必要的情況下也使用了激光！當(dāng)進(jìn)行“迷宮尋寶”任務(wù)時(shí)，智能體一直對(duì)著墻做標(biāo)記，因?yàn)檫@樣會(huì)獲得更高的獎(jiǎng)勵(lì)。理論上來說，通過標(biāo)記墻壁預(yù)測(cè)結(jié)果是可行的，但實(shí)際上操作難度比較大，因?yàn)樗枰苌畹奈锢韺W(xué)知識(shí)，對(duì)智能體來說還做不到。

而我們的方法在同樣的條件下學(xué)習(xí)了可行的探索行為。這是因?yàn)樗挥妙A(yù)測(cè)行為之后的結(jié)果，而是尋找存儲(chǔ)以外的情景觀察。換句話說，智能體追求的目標(biāo)需要花費(fèi)比記憶中已有的更多努力，而不僅僅是做標(biāo)記。

有趣的是，我們的方法在發(fā)現(xiàn)智能體原地繞圈后，會(huì)進(jìn)行獎(jiǎng)勵(lì)懲罰，這是由于轉(zhuǎn)了第一圈之后，智能體沒有再遇到新情景了，所以沒有獎(jiǎng)勵(lì)：

紅色表示負(fù)獎(jiǎng)勵(lì)，綠色表示正獎(jiǎng)勵(lì)

與此同時(shí)，我們的方法還會(huì)對(duì)探索行為給予獎(jiǎng)勵(lì)：

希望我們的研究對(duì)探索方法有所幫助。具體細(xì)節(jié)，請(qǐng)看論文。