用PyTorch實(shí)現(xiàn)了基本的RL算法

今天和大家分享Reddit上的一個(gè)熱帖，樓主用PyTorch實(shí)現(xiàn)了基本的RL算法，而且每個(gè)算法都在一個(gè)文件夾中完成，即使沒(méi)有GPU，每個(gè)算法也可以在30秒內(nèi)完成訓(xùn)練。

近日，有開(kāi)發(fā)人員用PyTorch實(shí)現(xiàn)了基本的RL算法，比如REINFORCE, vanilla actor-critic, DDPG, A3C, DQN 和PPO。這個(gè)帖子在Reddit論壇上獲得了195個(gè)贊并引發(fā)了熱議，一起來(lái)看一下吧。

特點(diǎn)如下：

每個(gè)算法都在一個(gè)文件中完成。

每個(gè)算法的長(zhǎng)度可達(dá)100~150行代碼。

即使沒(méi)有GPU，每個(gè)算法也可以在30秒內(nèi)完成訓(xùn)練。

Envs固定在“CartPole-v1”上，你只需關(guān)注執(zhí)行。

minimalRL-pytorch算法：

1. REINFORCE（66行）

2. TD Actor-Critic（97行）

3. DQN（113行，包括重放內(nèi)存和目標(biāo)網(wǎng)絡(luò)）

4. PPO（116行，包括GAE）

5. DDPG（149行，包括OU噪聲和軟目標(biāo)更新）

6. A3C（116行）

7. 有什么建議嗎？

依賴(lài)配置：

1. PyTorch

2. OpenAI GYM

使用：

# Works only with Python 3.#e.g.python3REINFORCE.pypython3actor_critic.pypython3dqn.pypython3ppo.pypython3ddpg.pypython3 a3c.py

評(píng)論中，不少朋友表示了對(duì)樓主的認(rèn)可和感謝：

Dump7留言：“可以！這是我見(jiàn)過(guò)的最美的東西之一。我不是一個(gè)能用框架編寫(xiě)NN的人。但我正在努力。這將在很大程度上幫助到我。謝謝你做了這個(gè)。但是你能為基本的CNN和RNN制作這樣的單一文件代碼嗎？”

CodeReclaimers表示：“謝謝你分享這個(gè)——我知道把代碼簡(jiǎn)化到最少是很費(fèi)事的。特別好的是，你的代碼將依賴(lài)配置控制在最低限度。通常都是，我去尋找可以學(xué)習(xí)的例子，要花至少30多分鐘來(lái)收集所有依賴(lài)配置，結(jié)果發(fā)現(xiàn)我的平臺(tái)上少了一些關(guān)鍵的東西?！?/p>

Reddit上的討論：

https://www.reddit.com/r/MachineLearning/comments/bt8sap/p_implementations_of_basic_rl_algorithms_with/

Github資源：

https://github.com/seungeunrho/minimalRL