深度學(xué)習(xí)教機(jī)器人學(xué)走路 實(shí)驗(yàn)證明AI是個(gè)好老師

2018年12月，來(lái)自加利福尼亞大學(xué)伯克利分校和谷歌大腦的科學(xué)家們開(kāi)發(fā)出了一套人工智能系統(tǒng)，它可以讓機(jī)器人自己學(xué)會(huì)走路。這一成果發(fā)表于預(yù)印本網(wǎng)站arXiv.org上，論文題為《通過(guò)深度強(qiáng)化學(xué)習(xí)來(lái)學(xué)習(xí)走路》（Learning to Walk via Deep Reinforcement Learning）。

在研究人員公布的視頻資料中，四足機(jī)器人Minitaur試圖走過(guò)一個(gè)平整的緩坡。在視頻開(kāi)頭，時(shí)間顯示為0，這是四足機(jī)器人學(xué)習(xí)走路的開(kāi)始。此時(shí)的四足機(jī)器人Minitaur如一個(gè)蹣跚學(xué)步的嬰兒，時(shí)而搖晃、時(shí)而原地踏步，它嘗試著邁開(kāi)“腿”前進(jìn)，但身體卻“誠(chéng)實(shí)”地留在原地，整個(gè)行走過(guò)程進(jìn)展緩慢。轉(zhuǎn)變發(fā)生在Minitaur學(xué)習(xí)走路的第18分鐘，這時(shí)它已經(jīng)可以持續(xù)性地前進(jìn)了，但平衡性稍顯不足。后續(xù)的練習(xí)中，Minitaur的步伐逐漸變得穩(wěn)定且迅速。54分鐘、72分鐘、108分鐘，不到2小時(shí)的時(shí)間，Minitaur基本學(xué)會(huì)了快速且平穩(wěn)地走過(guò)緩坡。

這就是四足機(jī)器人Minitaur學(xué)習(xí)走路的全過(guò)程。加利福尼亞大學(xué)伯克利分校和谷歌大腦的科學(xué)家們研發(fā)出的人工智能算法“教”會(huì)了這個(gè)四足機(jī)器人穿越熟悉或陌生的地形。

在整個(gè)訓(xùn)練過(guò)程中，研究人員需要“手動(dòng)”把走到緩坡盡頭的機(jī)器人“請(qǐng)”回緩坡的起點(diǎn)以重新開(kāi)始新一輪的練習(xí)，這一手動(dòng)復(fù)位的過(guò)程稍顯繁瑣。不過(guò)，從結(jié)果來(lái)看，這一耗時(shí)2小時(shí)的學(xué)步過(guò)程實(shí)屬高效，不少網(wǎng)友就此評(píng)價(jià)稱“AI真是個(gè)好老師”。

在人工智能領(lǐng)域中經(jīng)常提到“強(qiáng)化學(xué)習(xí)”的概念，這是一種使用獎(jiǎng)勵(lì)或懲罰的驅(qū)動(dòng)來(lái)實(shí)現(xiàn)特定目標(biāo)的人工智能方法，目的是獲得一個(gè)策略以指導(dǎo)行動(dòng)。比如圍棋博弈中，這個(gè)策略可以根據(jù)盤面形勢(shì)指導(dǎo)每一步應(yīng)該在哪里落子。而在四足機(jī)器人Minitaur學(xué)習(xí)走路的過(guò)程中，這個(gè)策略可以根據(jù)地形等要素告訴機(jī)器人下一步應(yīng)該怎么走。

強(qiáng)化學(xué)習(xí)會(huì)從一個(gè)初始的策略開(kāi)始。通常，初始策略不一定很理想，正如四足機(jī)器人Minitaur在剛開(kāi)始學(xué)走路的時(shí)候所表現(xiàn)的那樣。不過(guò)。在學(xué)習(xí)的過(guò)程中，作為決策主體的四足機(jī)器人Minitaur會(huì)通過(guò)行動(dòng)和環(huán)境進(jìn)行交互，不斷獲得反饋，即回報(bào)或者懲罰，并根據(jù)反饋調(diào)整優(yōu)化策略。

強(qiáng)化學(xué)習(xí)是一種非常強(qiáng)大的學(xué)習(xí)方式。持續(xù)不斷的強(qiáng)化學(xué)習(xí)甚至能夠獲得比人類更優(yōu)的決策機(jī)制。最好的例子就是阿爾法狗。2016年，谷歌通過(guò)深度學(xué)習(xí)訓(xùn)練的阿爾法狗（ AlphaGo）程序以4比1的比分戰(zhàn)勝了曾經(jīng)的圍棋世界冠軍李世石。它的改進(jìn)版更在2017年戰(zhàn)勝了當(dāng)時(shí)世界排名第一的中國(guó)棋手柯潔，其令世人震驚的博弈能力就是通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練出來(lái)的。

但強(qiáng)化學(xué)習(xí)也有其局限性。它需要大量數(shù)據(jù)，在某些情況下需要數(shù)萬(wàn)個(gè)樣本才能獲得良好的結(jié)果。這就需要四足機(jī)器人Minitaur像阿爾法狗那樣進(jìn)行多次訓(xùn)練，但過(guò)多的訓(xùn)練可能會(huì)對(duì)四足機(jī)器人造成損壞。

因此，這項(xiàng)“學(xué)習(xí)走路”的研究選擇了強(qiáng)化學(xué)習(xí)的“升級(jí)版”——深度強(qiáng)化學(xué)習(xí)的方法，將深度學(xué)習(xí)的感知能力和強(qiáng)化學(xué)習(xí)的決策能力相結(jié)合。這種方法可以直接根據(jù)輸入的圖像進(jìn)行控制，是一種更接近人類思維方式的人工智能方法。

用研究人員的話說(shuō)，為了“使一個(gè)系統(tǒng)在沒(méi)有模擬訓(xùn)練的情況下學(xué)習(xí)運(yùn)動(dòng)技能成為可能”，他們采用了一種名為“最大熵RL”強(qiáng)化學(xué)習(xí)框架。最大熵RL可以優(yōu)化學(xué)習(xí)策略，以最大化預(yù)期收益。在這個(gè)框架中，人工智能代理通過(guò)從策略中抽取某些行動(dòng)并接收獎(jiǎng)勵(lì)的方式不斷地尋找最佳的行動(dòng)路徑。

研究人員表示，“據(jù)我們所知，本實(shí)驗(yàn)是在現(xiàn)實(shí)世界中不經(jīng)過(guò)模仿和預(yù)訓(xùn)練而直接學(xué)習(xí)欠驅(qū)動(dòng)四足運(yùn)動(dòng)的第一個(gè)深度強(qiáng)化學(xué)習(xí)算法案例。

2018年5月，同個(gè)課題組的研究人員曾在arXiv.org上發(fā)表了另一篇關(guān)于四足機(jī)器人Minitaur的研究論文。當(dāng)時(shí)，研究人員使用深度強(qiáng)化學(xué)習(xí)的方法使Minitaur從零開(kāi)始學(xué)習(xí)四足運(yùn)動(dòng)，并最終實(shí)現(xiàn)了小跑和疾馳。