不僅會(huì)下圍棋，還自學(xué)成才橫掃國(guó)際象棋和日本將棋的DeepMind AlphaZero，登上了最新一期《科學(xué)》雜志封面。

同時(shí)，這也是經(jīng)過(guò)完整同行審議的AlphaZero論文，首次公開(kāi)發(fā)表。

論文描述了AlphaZero如何快速學(xué)習(xí)每個(gè)游戲，如何從隨機(jī)對(duì)弈開(kāi)始訓(xùn)練，在沒(méi)有先驗(yàn)知識(shí)、只知道基本規(guī)則的情況下，成為史上最強(qiáng)大的棋類(lèi)人工智能。

《科學(xué)》雜志評(píng)價(jià)稱(chēng)，能夠解決多個(gè)復(fù)雜問(wèn)題的單一算法，是創(chuàng)建通用機(jī)器學(xué)習(xí)系統(tǒng)，解決實(shí)際問(wèn)題的重要一步。

DeepMind說(shuō)，現(xiàn)在AlphaZero已經(jīng)學(xué)會(huì)了三種不同的復(fù)雜棋類(lèi)游戲，并且可能學(xué)會(huì)任何一種完美信息博弈的游戲，這“讓我們對(duì)創(chuàng)建通用學(xué)習(xí)系統(tǒng)的使命充滿信心”。

AlphaZero到底有多厲害？再總結(jié)一下。

在國(guó)際象棋中，AlphaZero訓(xùn)練4小時(shí)就超越了世界冠軍程序Stockfish；

在日本將棋中，AlphaZero訓(xùn)練2小時(shí)就超越了世界冠軍程序Elmo。

在圍棋中，AlphaZero訓(xùn)練30小時(shí)就超越了與李世石對(duì)戰(zhàn)的AlphaGo。

AlphaZero有什么不同

國(guó)際象棋有什么難的？

實(shí)際上，國(guó)際象棋是計(jì)算機(jī)科學(xué)家很早就開(kāi)始研究的領(lǐng)域。1997年，深藍(lán)擊敗了人類(lèi)國(guó)際象棋冠軍卡斯帕羅夫，這是一個(gè)人工智能的里程碑。此后20年，國(guó)際象棋的算法在超越人類(lèi)后，一直還在不斷地進(jìn)步。

這些算法都是由強(qiáng)大的人類(lèi)棋手和程序員構(gòu)建，基于手工制作的功能和精心調(diào)整的權(quán)重來(lái)評(píng)估位置，并且結(jié)合了高性能的alpha-beta搜索。

而提到游戲樹(shù)的復(fù)雜性，日本將棋比國(guó)際象棋還難。日本將棋程序，使用了類(lèi)似國(guó)際象棋的算法，例如高度優(yōu)化的alpha-beta搜索，以及許多有針對(duì)性的設(shè)置。

AlphaZero則完全不同，它依靠的是深度神經(jīng)網(wǎng)絡(luò)、通用強(qiáng)化學(xué)習(xí)算法和通用樹(shù)搜索算法。除了基本規(guī)則之外，它對(duì)這些棋類(lèi)游戲一無(wú)所知。

其中，深度神經(jīng)網(wǎng)絡(luò)取代了手工寫(xiě)就的評(píng)估函數(shù)和下法排序啟發(fā)算法，蒙特卡洛樹(shù)搜索（MCTS）算法取代了alpha-beta搜索。

AlphaZero深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，通過(guò)自我博弈的強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練，從隨機(jī)初始化的參數(shù)開(kāi)始。

隨著時(shí)間推移，系統(tǒng)漸漸從輸、贏以及平局里面，學(xué)會(huì)調(diào)整參數(shù)，讓自己更懂得選擇那些有利于贏下比賽的走法。

那么，圍棋和國(guó)際象棋、將棋有什么不同？

圍棋的對(duì)弈結(jié)局只有輸贏兩種，而國(guó)際象棋和日本將棋都有平局。其中，國(guó)際象棋的最優(yōu)結(jié)果被認(rèn)為是平局。

此外，圍棋的落子規(guī)則相對(duì)簡(jiǎn)單、平移不變，而國(guó)際象棋和日本將棋的規(guī)則是不對(duì)稱(chēng)的，不同的棋子有不同的下法，例如士兵通常只能向前移動(dòng)一步，而皇后可以四面八方無(wú)限制的移動(dòng)。而且這些棋子的移動(dòng)規(guī)則，還跟位置密切相關(guān)。

盡管存在這些差異，但AlphaZero與下圍棋的AlphaGo Zero使用了相同架構(gòu)的卷積網(wǎng)絡(luò)。

AlphaGo Zero的超參數(shù)通過(guò)貝葉斯優(yōu)化進(jìn)行調(diào)整。而在AlphaZero中，這些超參數(shù)、算法設(shè)置和網(wǎng)絡(luò)架構(gòu)都得到了繼承。

除了探索噪聲和學(xué)習(xí)率之外，AlphaZero沒(méi)有為不同的游戲做特別的調(diào)整。

5000個(gè)TPU練出最強(qiáng)全能棋手

系統(tǒng)需要多長(zhǎng)時(shí)間去訓(xùn)練，取決于每個(gè)游戲有多難：國(guó)際象棋大約9小時(shí)，將棋大約12小時(shí)，圍棋大約13天。

只是這個(gè)訓(xùn)練速度很難復(fù)現(xiàn)，DeepMind在這個(gè)環(huán)節(jié)，投入了5000個(gè)一代TPU來(lái)生成自我對(duì)弈游戲，16個(gè)二代TPU來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，用來(lái)指引一個(gè)搜索算法，就是蒙特卡洛樹(shù)搜索 (MCTS) ，為每一步棋選出最有利的落子位置。

每下一步之前，AlphaZero不是搜索所有可能的排布，只是搜索其中一小部分。

比如，在國(guó)際象棋里，它每秒搜索6萬(wàn)種排布。對(duì)比一下，Stockfish每秒要搜索6千萬(wàn)種排布，千倍之差。

△每下一步，需要做多少搜索？

AlphaZero下棋時(shí)搜索的位置更少，靠的是讓神經(jīng)網(wǎng)絡(luò)的選擇更集中在最有希望的選擇上。DeepMind在論文中舉了個(gè)例子來(lái)展示。

上圖展示的是在AlphaZero執(zhí)白、Stockfish執(zhí)黑的一局國(guó)際象棋里，經(jīng)過(guò)100次、1000次……直到100萬(wàn)次模擬之后，AlphaZero蒙特卡洛樹(shù)的內(nèi)部狀態(tài)。每個(gè)樹(shù)狀圖解都展示了10個(gè)最常訪問(wèn)的狀態(tài)。

經(jīng)過(guò)全面訓(xùn)練的系統(tǒng)，就和各個(gè)領(lǐng)域里的最強(qiáng)AI比一比：國(guó)際象棋的Stockfish，將棋的Elmo，以及圍棋的前輩AlphaGo Zero。

每位參賽選手都是用它最初設(shè)計(jì)中針對(duì)的硬件來(lái)跑的：

Stockfish和Elmo都是用44個(gè)CPU核；AlphaZero和AlphaGo Zero用的都是一臺(tái)搭載4枚初代TPU和44個(gè)CPU核的機(jī)器。

(一枚初代TPU的推理速度，大約相當(dāng)于一個(gè)英偉達(dá)Titan V GPU。)

另外，每場(chǎng)比賽的時(shí)長(zhǎng)控制在3小時(shí)以內(nèi)，每一步棋不得超過(guò)15秒。

比賽結(jié)果是，無(wú)論國(guó)際象棋、將棋還是圍棋，AlphaGo都擊敗了對(duì)手：

國(guó)際象棋，大比分擊敗2016 TCEC冠軍Stockfish，千場(chǎng)只輸155場(chǎng)。

將棋，大比分擊敗2017 CSA世界冠軍Elmo，勝率91.2%。

圍棋，擊敗自學(xué)成才的前輩AlphaGo Zero，勝率61%。

不按套路落子

因?yàn)锳lphaZero自己學(xué)習(xí)了每種棋類(lèi)，于是，它并不受人類(lèi)現(xiàn)有套路的影響，產(chǎn)生了獨(dú)特的、非傳統(tǒng)的、但具有創(chuàng)造力和動(dòng)態(tài)的棋路。

在國(guó)際象棋里，它還發(fā)展出自己的直覺(jué)和策略，增加了一系列令人興奮的新想法，改變了幾個(gè)世紀(jì)以來(lái)對(duì)國(guó)際象棋戰(zhàn)略的思考。

國(guó)際象棋世界冠軍卡斯帕羅夫也在《科學(xué)》上撰文表示，AlphaZero具備動(dòng)態(tài)、開(kāi)放的風(fēng)格，“就像我一樣”。他指出通常國(guó)際象棋程序會(huì)追求平局，但AlphaZero看起來(lái)更喜歡風(fēng)險(xiǎn)、更具侵略性。卡斯帕羅夫表示，AlphaZero的棋風(fēng)可能更接近本源。

卡斯帕羅夫說(shuō)，AlphaZero以一種深刻而有用的方式超越了人類(lèi)。

國(guó)際象棋大師馬修·薩德勒（Matthew Sadler）和女性國(guó)際大師娜塔莎·里根（Natasha Regan）即將于2019年1月出版新書(shū)《棋類(lèi)變革者（Game Changer）》，在這本書(shū)中，他們分析了數(shù)以千計(jì)的AlphaZero棋譜，認(rèn)為AlphaZero的棋路不像任何傳統(tǒng)的國(guó)際象棋引擎，馬修·薩德勒評(píng)價(jià)它為“就像以前翻看一些厲害棋手的秘密筆記本。”

棋手們覺(jué)得，AlphaZero玩這些游戲的風(fēng)格最迷人。

國(guó)際象棋特級(jí)大師馬修·薩德勒說(shuō)：“它的棋子帶著目的和控制力包圍對(duì)手的王的方式”，最大限度地提高了自身棋子的活動(dòng)性和移動(dòng)性，同時(shí)最大限度地減少了對(duì)手棋子的活動(dòng)和移動(dòng)性。

與直覺(jué)相反，AlphaZero似乎對(duì)“材料”的重視程度較低，這一想法是現(xiàn)代游戲的基礎(chǔ)，每一個(gè)棋子都具有價(jià)值，如果玩家在棋盤(pán)上的某個(gè)棋子價(jià)值高于另一個(gè)，那么它就具有物質(zhì)優(yōu)勢(shì)。AlphaZero愿意在游戲早期犧牲棋子，以獲得長(zhǎng)期收益。

“令人印象深刻的是，它設(shè)法將自己的風(fēng)格強(qiáng)加于各種各樣的位置和空缺，”馬修說(shuō)他也觀察到，AlphaZero以非常刻意的方式發(fā)揮作用，一開(kāi)始就以“非常人性化的堅(jiān)定目標(biāo)”開(kāi)始。

“傳統(tǒng)引擎非常強(qiáng)大，幾乎不會(huì)出現(xiàn)明顯錯(cuò)誤，但在面對(duì)沒(méi)有具體和可計(jì)算解決方案的位置時(shí)，會(huì)發(fā)生偏差，”他說(shuō)。 “正是在這樣的位置，AlphaZero才能體現(xiàn)出‘感覺(jué)’，‘洞察’或‘直覺(jué)’。”

這種獨(dú)特的能力，在其他傳統(tǒng)的國(guó)際象棋程序中看不到，并且已經(jīng)給最近舉辦的世界國(guó)際象棋錦標(biāo)賽提供了新的見(jiàn)解和評(píng)論。

“看看AlphaZero的分析與頂級(jí)國(guó)際象棋引擎甚至頂級(jí)大師級(jí)棋手的分析有何不同，這真是令人著迷，”女棋手娜塔莎·里根說(shuō)。 “AlphaZero可以成為整個(gè)國(guó)際象棋圈強(qiáng)大的教學(xué)工具。”

AlphaZero的教育意義，早在2016年AlphaGo對(duì)戰(zhàn)李世石時(shí)就已經(jīng)看到。

在比賽期間，AlphaGo發(fā)揮出了許多極具創(chuàng)造性的勝利步法，包括在第二場(chǎng)比賽中的37步，這推翻了之前數(shù)百年的思考。這種下法以及其他許多下法，已經(jīng)被包括李世石本人在內(nèi)的所有級(jí)別的棋手研究過(guò)。

他對(duì)第37步這樣評(píng)價(jià)：“我曾認(rèn)為AlphaGo是基于概率計(jì)算的，它只是一臺(tái)機(jī)器。但當(dāng)我看到這一舉動(dòng)時(shí)，我改變了想法。當(dāng)然AlphaGo是有創(chuàng)造性的。“

不僅僅是棋手

DeepMind在博客中說(shuō)AlphaZero不僅僅是國(guó)際象棋、將棋或圍棋。它是為了創(chuàng)建能夠解決各種現(xiàn)實(shí)問(wèn)題的智能系統(tǒng)，它需要靈活適應(yīng)新的狀況。

這正是AI研究中的一項(xiàng)重大挑戰(zhàn)：系統(tǒng)能夠以非常高的標(biāo)準(zhǔn)掌握特定技能，但在略微修改任務(wù)后往往會(huì)失敗。

AlphaZero現(xiàn)在能夠掌握三種不同的復(fù)雜游戲，并可能掌握任何完美信息游戲，解決了以上問(wèn)題中重要的一步。

他們認(rèn)為，AlphaZero的創(chuàng)造性見(jiàn)解，加上DeepMind在AlphaFold等其他項(xiàng)目中看到的令人鼓舞的結(jié)果，帶來(lái)了創(chuàng)建通用學(xué)習(xí)系統(tǒng)的信心，有助于找到一些新的解決方案，去解決最重要和最復(fù)雜的科學(xué)問(wèn)題。

DeepMind的Alpha家族從最初的圍棋算法AlphaGo，幾經(jīng)進(jìn)化，形成了一個(gè)家族。

剛提到的AlphaFold，最近可以說(shuō)關(guān)注度爆表。

它能根據(jù)基因序列來(lái)預(yù)測(cè)蛋白質(zhì)的3D結(jié)構(gòu)，還在有“蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)奧運(yùn)會(huì)”之稱(chēng)的CASP比賽中奪冠，力壓其他97個(gè)參賽者。這是“證明人工智能研究驅(qū)動(dòng)、加速科學(xué)進(jìn)展重要里程碑”，DeepMInd CEO哈薩比斯形容為“燈塔”。

從2016年AlphaGo論文發(fā)表在《自然》上，到今天AlphaZero登上《科學(xué)》，Alpha家族除了最新出爐的AlphaFold之外，AlphaGo、AlphaGo Zero和AlphaZero已經(jīng)全部在頂級(jí)期刊Nature和Science上亮相。

期待轟動(dòng)科研界的AlphaFold論文早日露面。

AlphaZero論文

這篇刊載在《科學(xué)》上的論文，題為：

A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play

作者包括：David Silver、Thomas Hubert、Julian Schrittwieser、Ioannis Antonoglou、Matthew Lai、Arthur Guez、Marc Lanctot、Laurent Sifre、Dharshan Kumaran、Thore Graepel、Timothy Lillicrap、Karen Simonyan、Demis Hassabis。

《科學(xué)》刊載的論文在此：http://science.sciencemag.org/content/362/6419/1140

棋局可以在此下載：https://deepmind.com/research/alphago/alphazero-resources/

DeepMind還特別寫(xiě)了一個(gè)博客，傳送門(mén)：https://deepmind.com/blog/alphazero-shedding-new-light-grand-games-chess-shogi-and-go/