AlphaGo新版本自學(xué)40天就能勝贏柯潔的版本

10月19日消息，專注于推進(jìn)人工智能（AI）研究的谷歌子公司DeepMind今天發(fā)布了一款新版本的AlphaGo程序，它能通過(guò)自學(xué)玩轉(zhuǎn)多種游戲。這套系統(tǒng)名為“AlphaGo Zero”，它通過(guò)一種名為“強(qiáng)化學(xué)習(xí)”的機(jī)器學(xué)習(xí)技術(shù)，可以在與自己游戲中吸取教訓(xùn)。

僅三天時(shí)間，AlphaGo Zero自行掌握了圍棋的下法，還發(fā)明了更好的棋步。這期間，除了被告知圍棋的基本規(guī)則，它未獲得人類的幫助。隨著AlphaGo Zero被不斷訓(xùn)練時(shí)，它開(kāi)始在圍棋游戲中學(xué)習(xí)先進(jìn)的概念，并挑選出一些有利的位置和序列。

經(jīng)過(guò)三天的訓(xùn)練，該系統(tǒng)能夠擊敗AlphaGo Lee，后者是去年擊敗了韓國(guó)選手李世石（Lee Sedol）的DeepMind軟件，勝率是100比0。。經(jīng)過(guò)大約40天的訓(xùn)練（約2900萬(wàn)場(chǎng)自玩游戲），AlphaGo Zero擊敗了AlphaGo Master(今年早些時(shí)候擊敗了世界冠軍柯潔)。

舊版AlphaGo接受的訓(xùn)練是，觀摩由實(shí)力強(qiáng)大的業(yè)余或?qū)I(yè)棋手對(duì)弈的海量棋局。但AlphaGo Zero沒(méi)有獲得這樣的幫助。它自我對(duì)弈數(shù)百萬(wàn)次，并從中學(xué)習(xí)。一開(kāi)始，它只是隨意把棋子放在棋盤(pán)上，但后來(lái)它發(fā)現(xiàn)了獲勝的策略，棋藝就快速提升了。

AlphaGo的首席研究員大衛(wèi)·席爾瓦(David Silver)表示，“由于未引入人類棋手的數(shù)據(jù)，AlphaGo Zero遠(yuǎn)比過(guò)去的版本強(qiáng)大，我們?nèi)コ巳祟愔R(shí)的限制，它能夠自己創(chuàng)造知識(shí)?！?/p>

AlphaGo Zero通過(guò)“強(qiáng)化學(xué)習(xí)”這一程序來(lái)積累技能。當(dāng)AlphaGo Zero走出一步好棋，它更有可能獲勝。若這步棋沒(méi)走好，它輸棋的概率變大了。

這一程序的核心是一組連在一起形成人造神經(jīng)網(wǎng)絡(luò)的 “神經(jīng)元”。對(duì)于棋局的每個(gè)回合，神經(jīng)網(wǎng)絡(luò)會(huì)觀察棋子在棋盤(pán)上的位置，并推算接下來(lái)的棋步以及這些棋步讓全盤(pán)獲勝的概率。每次對(duì)弈后，它會(huì)更新神經(jīng)網(wǎng)絡(luò)，讓棋藝更精進(jìn)。雖然性能遠(yuǎn)勝于以前的版本，但AlphaGo Zero是一個(gè)更簡(jiǎn)單的程序，掌握棋法的速度更快，接受訓(xùn)練的數(shù)據(jù)更少，使用的電腦更校席爾瓦表示，如果擁有更多的時(shí)間，AlphaGo Zero還能夠自己學(xué)會(huì)圍棋規(guī)則。

研究團(tuán)隊(duì)在《自然》雜志上發(fā)表的文章寫(xiě)道，一開(kāi)始AlphaGo Zero的棋藝糟透了，后來(lái)它逐漸成為一名缺乏經(jīng)驗(yàn)的業(yè)余棋手，最終進(jìn)階為圍棋高手，能夠走出極具戰(zhàn)略性的棋步。這些進(jìn)步僅花費(fèi)了幾天時(shí)間。最初10小時(shí)內(nèi)它就發(fā)現(xiàn)了一個(gè)定式。隨后不久它又領(lǐng)悟了一些棋法。三天后，AlphaGo Zero發(fā)現(xiàn)了人類專家正在研究的全新棋步。有趣的是，程序在發(fā)現(xiàn)更簡(jiǎn)單的棋步之前就早已掌握了一些復(fù)雜棋步。

這一進(jìn)展標(biāo)志著通用型AI發(fā)展的大一里程碑。除了下棋贏過(guò)人類，通用型AI能做更多事情。由于AlphaGo Zero能夠從一無(wú)所知實(shí)現(xiàn)自學(xué)成才，如今其天賦可以在諸多現(xiàn)實(shí)問(wèn)題上派上用常

AlphaGo Zero正在研究蛋白質(zhì)如何折疊的問(wèn)題，這是一個(gè)艱難的科學(xué)挑戰(zhàn)，不過(guò)有望成為藥物發(fā)明的一大突破。

DeepMind的CEO丹米斯·哈撒比斯(Demis Hassabis)表示，“對(duì)我們來(lái)說(shuō)，AlphaGo不僅限于在圍棋對(duì)弈中獲勝，這也是我們開(kāi)發(fā)通用算法的一大進(jìn)步?！贝蠖鄶?shù)AI被認(rèn)為“用途有限”，因?yàn)樗鼈冎荒軋?zhí)行單一任務(wù)，例如，翻譯、識(shí)別面孔。但通用型AI在許多不同任務(wù)上擁有超越人類的潛能。哈撒比斯認(rèn)為，在接下來(lái)十年，AlphaGo的迭代產(chǎn)品將成為科學(xué)家和醫(yī)學(xué)專家，與人類并肩工作。

此外，AlphaGo Zero比它的許多前輩都要高效得多。AlphaGo Lee需要使用幾臺(tái)機(jī)器和48個(gè)谷歌張量處理單元機(jī)器學(xué)習(xí)加速器芯片，該系統(tǒng)的早期版本AlphaGo Fan需要176個(gè)GPU。而AlphaGo Zero和AlphaGo Master一樣，只需要一臺(tái)機(jī)器和4個(gè)TPU。