倫敦當地時間10月18日18：00（北京時間19日01：00），AlphaGo再次登上世界頂級科學雜志——《自然》。

一年多前，AlphaGo便是2016年1月28日當期的封面文章，Deepmind公司發表重磅論文，介紹了這個擊敗歐洲圍棋冠軍樊麾的人工智能程序。

今年5月，以3:0的比分贏下中國棋手柯潔后，AlphaGo宣布退役，但DeepMind公司并沒有停下研究的腳步。倫敦當地時間10月18日，DeepMind團隊公布了最強版AlphaGo ，代號AlphaGo Zero。它的獨門秘籍，是“自學成才”。而且，是從一張白紙開始，零基礎學習，在短短3天內，成為頂級高手。

團隊稱，AlphaGo Zero的水平已經超過之前所有版本的AlphaGo。在對陣曾贏下韓國棋手李世石那版AlphaGo時，AlphaGo Zero取得了100:0的壓倒性戰績。DeepMind團隊將關于AlphaGo Zero的相關研究以論文的形式，刊發在了10月18日的《自然》雜志上。

“AlphaGo在兩年內達到的成績令人震驚。現在，AlphaGo Zero是我們最強版本，它提升了很多。Zero提高了計算效率，并且沒有使用到任何人類圍棋數據，”AlphaGo之父、DeepMind聯合創始人兼CEO 戴密斯·哈薩比斯（Demis Hassabis）說，“最終，我們想要利用它的算法突破，去幫助解決各種緊迫的現實世界問題，如蛋白質折疊或設計新材料。如果我們通過AlphaGo，可以在這些問題上取得進展，那么它就有潛力推動人們理解生命，并以積極的方式影響我們的生活。”

不再受人類知識限制，只用4個TPU

AlphaGo此前的版本，結合了數百萬人類圍棋專家的棋譜，以及強化學習的監督學習進行了自我訓練。

在戰勝人類圍棋職業高手之前，它經過了好幾個月的訓練，依靠的是多臺機器和48個TPU（谷歌專為加速深層神經網絡運算能力而研發的芯片）。

AlphaGo Zero的能力則在這個基礎上有了質的提升。最大的區別是，它不再需要人類數據。也就是說，它一開始就沒有接觸過人類棋譜。研發團隊只是讓它自由隨意地在棋盤上下棋，然后進行自我博弈。值得一提的是，AlphaGo Zero還非常“低碳”，只用到了一臺機器和4個TPU，極大地節省了資源。

AlphaGo Zero強化學習下的自我對弈

經過幾天的訓練，AlphaGo Zero完成了近5百萬盤的自我博弈后，已經可以超越人類，并擊敗了此前所有版本的AlphaGo。DeepMind團隊在官方博客上稱，Zero用更新后的神經網絡和搜索算法重組，隨著訓練地加深，系統的表現一點一點地在進步。自我博弈的成績也越來越好，同時，神經網絡也變得更準確。

AlphaGo Zero習得知識的過程

“這些技術細節強于此前版本的原因是，我們不再受到人類知識的限制，它可以向圍棋領域里最高的選手——AlphaGo自身學習。” AlphaGo團隊負責人大衛·席爾瓦（Dave Sliver）說。

據大衛·席爾瓦介紹，AlphaGo Zero使用新的強化學習方法，讓自己變成了老師。系統一開始甚至并不知道什么是圍棋，只是從單一神經網絡開始，通過神經網絡強大的搜索算法，進行了自我對弈。

隨著自我博弈的增加，神經網絡逐漸調整，提升預測下一步的能力，最終贏得比賽。更為厲害的是，隨著訓練的深入，DeepMind團隊發現，AlphaGo Zero還獨立發現了游戲規則，并走出了新策略，為圍棋這項古老游戲帶來了新的見解。

自學3天，就打敗了舊版AlphaGo

除了上述的區別之外，AlphaGo Zero還在3個方面與此前版本有明顯差別。

AlphaGo-Zero的訓練時間軸

首先，AlphaGo Zero僅用棋盤上的黑白子作為輸入，而前代則包括了小部分人工設計的特征輸入。

其次，AlphaGo Zero僅用了單一的神經網絡。在此前的版本中，AlphaGo用到了“策略網絡”來選擇下一步棋的走法，以及使用“價值網絡”來預測每一步棋后的贏家。而在新的版本中，這兩個神經網絡合二為一，從而讓它能得到更高效的訓練和評估。

第三，AlphaGo Zero并不使用快速、隨機的走子方法。在此前的版本中，AlphaGo用的是快速走子方法，來預測哪個玩家會從當前的局面中贏得比賽。相反，新版本依靠地是其高質量的神經網絡來評估下棋的局勢。

AlphaGo幾個版本的排名情況

據哈薩比斯和席爾瓦介紹，以上這些不同幫助新版AlphaGo在系統上有了提升，而算法的改變讓系統變得更強更有效。

經過短短3天的自我訓練，AlphaGo Zero就強勢打敗了此前戰勝李世石的舊版AlphaGo，戰績是100:0的。經過40天的自我訓練，AlphaGo Zero又打敗了AlphaGo Master版本。“Master”曾擊敗過世界頂尖的圍棋選手，甚至包括世界排名第一的柯潔。

對于希望利用人工智能推動人類社會進步為使命的DeepMind來說，圍棋并不是AlphaGo的終極奧義，他們的目標始終是要利用AlphaGo打造通用的、探索宇宙的終極工具。AlphaGo Zero的提升，讓DeepMind看到了利用人工智能技術改變人類命運的突破。他們目前正積極與英國醫療機構和電力能源部門合作，提高看病效率和能源效率。

以下轉載一篇關于論文深度解讀，部分內容會與前面部分有重復

論文深度解讀

作者: 開明Nature上海辦公室

人工智能棋手 AlphaGo先后戰勝了兩位頂尖圍棋高手李世乭和柯潔。在這場猛烈風暴席卷了世界后，AlphaGo宣布不再和人下棋。但它的創造者并沒有因此停下腳步，AlphaGo還在成長，今天Deepmind又在《自然》期刊上發表了關于 AlphaGo的新論文。

Deepmind于2016年1月28日在Nature雜志上發表第一篇關于AlphaGo的論文，并登上封面。

這篇論文中的 AlphaGo是全新的，它不是戰勝柯潔的那個最強的 Master，但卻是孿生兄弟。它的名字叫AlphaGo Zero。和以前的 AlphaGo相比，它：

? 從零開始學習，不需要任何人類的經驗

? 使用更少的算力得到了更好的結果

? 發現了新的圍棋定式

? 將策略網絡和值網絡合并

? 使用了深度殘差網絡

白板理論（Tabula rasa)

AlphaGo Zero最大的突破是實現了白板理論。白板理論是哲學上的一個著名觀點，認為嬰兒生下來是白板一塊，通過不斷訓練、成長獲得知識和智力。

作為 AI 領域的先驅，圖靈使用了這個想法。在提出了著名的“圖靈測試”的論文中，他從嬰兒是一塊白板出發，認為只要能用機器制造一個類似小孩的 AI，然后加以訓練，就能得到一個近似成人智力，甚至超越人類智力的AI。

現代科學了解到的事實并不是這樣，嬰兒生下來就有先天的一些能力，他們偏愛高熱量的食物，餓了就會哭鬧希望得到注意。這是生物體在億萬年的演化中學來的。

監督學習 Vs 無監督學習

計算機則完全不同，它沒有億萬年的演化，因此也沒有這些先天的知識，是真正的“白板一塊”。監督學習（Supervised Learning）和無監督學習（Unsupervised Learning）是鏡子的兩面，兩者都想解決同一個問題——如何讓機器從零開始獲得智能？

監督學習認為人要把自己的經驗教給機器。拿分辨貓貓和狗狗的AI來說，你需要準備幾千張照片，然后手把手教機器——哪張照片是貓，哪張照片是狗。機器會從中學習到分辨貓狗的細節，從毛發到眼睛到耳朵，然后舉一反三得去判斷一張它從沒見過的照片是貓貓還是狗狗。

而無監督學習認為機器要去自己摸索，自己發現規律。人的經驗或許能幫助機器掌握智能，但或許人的經驗是有缺陷的，不如讓機器自己發現新的，更好的規律。人的經驗就放一邊吧。

從無知到無敵

就像這篇新論文中講述的那樣。AlphaGo Zero是無監督學習的產物，而它的雙胞胎兄弟Master則用了監督學習的方法。在訓練了72小時后AlphaGo Zero就能打敗戰勝李世乭的 AlphaGo Lee，相比較AlphaGo Lee訓練了幾個月。而40天后，它能以89:11的成績，將戰勝了所有人類高手的Master甩在后面。

AlphaGo Zero從0開始的學習曲線,這個版本的神經網絡由40個模塊組成。

圖靈的白板假設雖然無法用在人身上，但是AlphaGo Zero證明了，一個白板AI能夠被訓練成超越人類的圍棋高手。

強化學習

強化學習（Reinforcement Learning）是一種模仿人類學習方式的模型，它的基本方法是：要是機器得到了好的結果就能得到獎勵，要是得到差的結果就得到懲罰。AlphaGo Zero并沒有像之前的兄弟姐妹一樣被教育了人類的圍棋知識。它只是和不同版本的自己下棋，然后用勝者的思路來訓練新的版本，如此不斷重復。

AlphaGo Zero就像人類初學者，需要經歷一定時間摸索。不同訓練階段進行的三場自我對弈游戲中的頭80步，圖中顯示的下法來自AlphaGo Zero的一個版本，這個版本的神經網絡由20個模塊組成。

圖片來自DeepMind

通過這一方法，AlphaGo Zero完全自己摸索出了開局、收官、定式等以前人類已知的圍棋知識，也摸索出了新的定勢。

算法和性能

如何高效合理得利用計算資源？這是算法要解決的一個重要問題。AlphaGo Lee使用了48個TPU，更早版本的 AlphaGo Fan（打敗了樊麾的版本）使用了176個GPU，而Master和AlphaGo Zero僅僅用了4個TPU，也就是說一臺電腦足夠！

由于在硬件和算法上的進步，AlphaGo變得越來越有效率。

AlphaGo Zero在72小時內就能超越AlphaGo Lee也表明，優秀的算法不僅僅能降低能耗，也能極大提高效率。另外這也說明，圍棋問題的復雜度并不需要動用大規模的計算能力，那是只浪費。

AlphaGo Zero的算法有兩處核心優化：將策略網絡（計算下子的概率）和值網絡（計算勝率）這兩個神經網絡結合，其實在第一篇 AlphaGo的論文中，這兩種網絡已經使用了類似的架構。另外，引入了深度殘差網絡（Deep Residual Network），比起之前的多層神經網絡效果更好。

Deepmind 的歷程

這不是 Deepmind第一次在《自然》上發論文，他們還在Nature上發表過《利用深度神經網絡和搜索樹成為圍棋大師》和《使用深度強化學習達到人類游戲玩家水平》（論文鏈接：http://rdcu.be/wRDs）以及《使用神經網絡和動態外存的混合計算模型》三篇論文，Deepmind在Nature Neuroscience上也發過多篇論文。

我們可以從中一窺 Deepmind的思路，他們尋找人類還沒有理解原理的游戲，游戲比起現實世界的問題要簡單很多。然后他們選擇了兩條路，一條道路是優化算法，另外一條道路是讓機器不受人類先入為主經驗的影響。

這兩條路交匯的終點，是那個真正能夠超越人的AI。

結語

這是AlphaGo 的終曲，也是一個全新的開始，相關技術將被用于造福人類，幫助科學家認識蛋白質折疊，制造出治療疑難雜癥的藥物，開發新材料，以制造以出更好的產品。