前幾日，OpenAI發(fā)布史上最強(qiáng)“通用”NLP模型，但號(hào)稱(chēng)過(guò)于強(qiáng)大怕被濫用而沒(méi)有開(kāi)源，遭到網(wǎng)友猛懟、炮轟。而做為創(chuàng)始人之一的馬斯克，雖然早已離開(kāi)董事會(huì)，礙于輿論，不得不站出來(lái)做出澄清：我早已退出。

OpenAI發(fā)布的史上最強(qiáng)NLP似乎成了負(fù)面新聞。

原因是，OpenAI并沒(méi)有公布GPT-2模型及代碼，只是象征性的公布了一個(gè)僅含117M參數(shù)的樣本模型及代碼，給到的理由：因?yàn)檫@個(gè)模型能力太強(qiáng)大了！他們目前還有點(diǎn)hold不住它。一旦開(kāi)源后被壞人拿到，將會(huì)貽害無(wú)窮。

之后有網(wǎng)友氣不過(guò)跑到馬斯克推特底下，叫罵OpenAI干脆改名CloseAI。

然而，馬斯克卻連發(fā)數(shù)文，澄清與OpenAI的關(guān)系：我早已退出。

馬斯克表示，已經(jīng)有一年多的時(shí)間沒(méi)有和OpenAI密切合作了，并且也沒(méi)有管理層和董事會(huì)的監(jiān)督。

而后有網(wǎng)友追問(wèn)：“一直不知道你為何離開(kāi)OpenAI，可否給予詳細(xì)的解釋說(shuō)明？”

馬斯克便又在推特上補(bǔ)充道：

我必須集中精力解決大量讓人頭疼的工程和制造問(wèn)題，尤其是在特斯拉和SpaceX方面。

此外，特斯拉與OpenAI在人才爭(zhēng)奪方面也有一些交集，我并不同意其團(tuán)隊(duì)想要做的一些事情。綜上所述，希望最好是友好分手。

曾是人工智能的反對(duì)者，卻創(chuàng)立高端AI公司

2015年12月，馬斯克與Y Combinator總裁Sam Altman共同創(chuàng)立這個(gè)非營(yíng)利組織研究機(jī)構(gòu)，以研究人工智能的道德和安全問(wèn)題。

然而，在親手創(chuàng)辦兩年多后，伊隆·馬斯克退出了OpenAI董事會(huì)。

雖然馬斯克于去年2月離開(kāi)了該組織，但卻一直被認(rèn)為是OpenAI主要資助者之一。

官博地址：

https://blog.openai.com/openai-supporters/

OpenAI在去年2月20日發(fā)布的官方博客中也提到：“馬斯克將離開(kāi)OpenAI董事會(huì)，但仍將繼續(xù)為該組織提供捐贈(zèng)和建議。隨著特斯拉將更加關(guān)注人工智能，這將消除馬斯克未來(lái)潛在的沖突。”

值得注意的是，馬斯克一直是人工智能最大的批評(píng)者之一。2014年在麻省理工學(xué)院演講時(shí)，他將人工智能描述為“存在的最大威脅”，甚至稱(chēng)之為“召喚惡魔”。

他還認(rèn)為人工智能甚至可以導(dǎo)致第三次世界大戰(zhàn)。他補(bǔ)充稱(chēng)，大國(guó)之間都不會(huì)故意發(fā)動(dòng)核戰(zhàn)爭(zhēng)，但人工智能將是最有可能的、先發(fā)制人的取勝之道。

OpenAI稱(chēng)模型使用15億參數(shù)，訓(xùn)練一小時(shí)相當(dāng)于燒掉一臺(tái)iPhone Xs Max（512G）

馬斯克之所以被@出來(lái)說(shuō)明一個(gè)問(wèn)題：Elon離開(kāi)OpenAI的消息，還有很多人不知道，或者知道他已經(jīng)離開(kāi)了董事會(huì)卻不知為何，導(dǎo)致他又特意出來(lái)發(fā)推澄清一下，順便又蹭了一下OpenAI最近的熱點(diǎn)。

OpenAI近日宣稱(chēng)他們研究出一個(gè)GPT-2的NLP模型，號(hào)稱(chēng)“史上最強(qiáng)通用NLP模型”，因?yàn)樗牵?/p>

踩在15億參數(shù)的身體上：爬取了Reddit上點(diǎn)贊超過(guò)三票的鏈接的文本內(nèi)容，大約用到1000萬(wàn)篇文章，數(shù)據(jù)體量超過(guò)了40G，相當(dāng)于35000本《白鯨記》。（注：小說(shuō)約有21萬(wàn)單詞，是電影《加勒比海盜》的重要故事參考來(lái)源之一。動(dòng)漫《海賊王》里四皇之一的白胡子海賊團(tuán)的旗艦就是以故事主角大白鯨的名字Moby Dick命名）。

無(wú)需預(yù)訓(xùn)練的“zero-shot”：在更通用的數(shù)據(jù)集基礎(chǔ)上，使用自注意力模塊遷移學(xué)習(xí)，不針對(duì)任何特定任務(wù)的數(shù)據(jù)進(jìn)行訓(xùn)練，只是作為最終測(cè)試對(duì)數(shù)據(jù)進(jìn)行評(píng)估，在Winograd Schema、LAMBADA以及其他語(yǔ)言建模任務(wù)上實(shí)現(xiàn)了state-of-the-art 的結(jié)果。

最終結(jié)果：8個(gè)數(shù)據(jù)集中油7個(gè)刷新當(dāng)前最佳紀(jì)錄。

下表顯示了最先進(jìn)的zero-shot結(jié)果。(+)表示該項(xiàng)分?jǐn)?shù)越高越好。(-)表示分?jǐn)?shù)越低越好。

雖然OpenAI沒(méi)有在論文中提及具體的計(jì)算力及訓(xùn)練時(shí)間，但通過(guò)公布的數(shù)據(jù)推測(cè)，他們的模型使用了256個(gè)谷歌云TPU v3。

TPU v3在Google之外只提供單獨(dú)使用版本(排除OpenAI可能得到了特別的許可)，很可能GPT-2訓(xùn)練時(shí)所需的成本將高達(dá)8 * 256 = 2048美元/小時(shí)，相當(dāng)于一小時(shí)燒掉一臺(tái)512G的iPhone Xs Max。

然而，OpenAI并沒(méi)有公布GPT-2模型及代碼，只是象征性的公布了一個(gè)僅含117M參數(shù)的樣本模型及代碼，相當(dāng)于他們宣稱(chēng)使用的數(shù)據(jù)量的0.29%。（有興趣的讀者可以去 https://github.com/openai/gpt-2 查看）

OpenAI給出的理由是：因?yàn)檫@個(gè)模型能力太強(qiáng)大了！他們目前還有點(diǎn)hold不住它。一旦開(kāi)源后被壞人拿到，將會(huì)貽害無(wú)窮。有點(diǎn)中國(guó)武俠小說(shuō)里，絕世武功秘籍的意思。

面臨著實(shí)驗(yàn)重現(xiàn)的危機(jī)，網(wǎng)友吐槽：不公開(kāi)代碼和訓(xùn)練集就干脆別發(fā)表！

于是開(kāi)發(fā)者和學(xué)者們不干了，紛紛質(zhì)疑OpenAI這種做法顯得心口不一。甚至盛產(chǎn)吐槽大神的Reddit上，有人建議OpenAI干脆改名CloseAI的言論，獲得了數(shù)百網(wǎng)友的點(diǎn)贊。

OpenAI干脆改名“CloseAI”算了！

我也做了個(gè)超強(qiáng)大的MNIST模型，要不要擔(dān)心它被濫用而不公開(kāi)呢？

更有甚者，比如下面這位Ben Recht，還發(fā)了一條Twitter長(zhǎng)文進(jìn)行嘲諷：

今天我要介紹我們的論文“Do ImageNet Classifiers Generalize to ImageNet?”我們嘗試按照原論文描述復(fù)現(xiàn)其結(jié)果，但發(fā)現(xiàn)這樣做實(shí)在太難！

……我們完全可以基于一個(gè)不能公開(kāi)的數(shù)據(jù)集構(gòu)建一個(gè)超大模型，在我們自己的標(biāo)準(zhǔn)ML范式中很難發(fā)生過(guò)擬合。

但是，測(cè)試集上的一個(gè)微小改動(dòng)就會(huì)導(dǎo)致分布結(jié)果大幅變化，你可以想見(jiàn)把模型和代碼全都公布出來(lái)以后會(huì)發(fā)生什么！

PS 這篇論文還在arxiv等候?qū)徍税l(fā)布，要不是我們的最終版PDF過(guò)大，那就是因?yàn)閍rxiv也學(xué)著OpenAI的做法，覺(jué)得AI/ML研究太過(guò)危險(xiǎn)而不能公開(kāi)。

因?yàn)槿斯ぶ悄苓@個(gè)蓬勃發(fā)展的領(lǐng)域正面臨著實(shí)驗(yàn)重現(xiàn)的危機(jī)，AI研究者發(fā)現(xiàn)他們很難重現(xiàn)許多關(guān)鍵的結(jié)果。

針對(duì)主要會(huì)議上發(fā)表的400篇AI論文的調(diào)查顯示，只有6％的論文包含算法的代碼，約30％包含測(cè)試數(shù)據(jù)，54％包含偽代碼。

CREDITS: (GRAPHIC) E. HAND/SCIENCE; (DATA) GUNDERSEN AND KJENSMO, ASSOCIATION FOR THE ADVANCEMENT OF ARTIFICIAL INTELLIGENCE 2018

去年，加拿大蒙特利爾大學(xué)的計(jì)算機(jī)科學(xué)家們希望展示一種新的語(yǔ)音識(shí)別算法，他們希望將其與一名著名科學(xué)家的算法進(jìn)行比較。

唯一的問(wèn)題：該benchmark的源代碼沒(méi)有發(fā)布。研究人員不得不從已公開(kāi)發(fā)表的描述中重現(xiàn)這一算法。

但是他們重現(xiàn)的版本無(wú)法與benchmark聲稱(chēng)的性能相符。蒙特利爾大學(xué)實(shí)驗(yàn)室博士生Nan Rosemary Ke說(shuō)：“我們嘗試了2個(gè)月，但都無(wú)法接近基準(zhǔn)的性能。”

另外一群人更擔(dān)心GPT-2會(huì)導(dǎo)致假新聞出現(xiàn)井噴。OpenAI也拿DeepFake舉了個(gè)例子。

DeepFake由于其強(qiáng)大的圖像生成能力，成了一個(gè)“假臉生成器/換臉器”，制造出大量惡意的虛假視頻、音頻和圖像，最終被禁用。

比如這次，不懷好意的人完全可以借助GPT-2，發(fā)布有關(guān)Elon的假新聞，說(shuō)他雖然公開(kāi)宣稱(chēng)去年就退出OpenAI，但實(shí)際上私下還在OpenAI身居要職，恐怕也會(huì)有很多人相信。

技術(shù)是把雙刃劍，越是強(qiáng)大的技術(shù)，一旦被用于壞用途，約可能造成更壞的結(jié)果。那么在這場(chǎng)意外掀起的激烈爭(zhēng)論中，你站在哪一邊呢？