去年 3 月，谷歌聯(lián)手 OpenAI 等推出了全新的開放式期刊平臺(tái) Distill，其指導(dǎo)委員會(huì)包括 Yoshua Bengio、Ian Goodfellow 等眾多學(xué)界大牛。

目前，大多數(shù)的機(jī)器學(xué)習(xí)論文要么發(fā)表在 arXiv 上，要么發(fā)表在傳統(tǒng)期刊上，但最終呈現(xiàn)的形式都非常單一。而Distill 的目標(biāo)是以可視化、可交互的形式來(lái)展示機(jī)器學(xué)習(xí)研究成果，并讓研究成果更容易被復(fù)現(xiàn)，以顛覆傳統(tǒng)的出版方式，因此得到了機(jī)器學(xué)習(xí)社區(qū)的大力支持。

如今，一年多的時(shí)間已經(jīng)過(guò)去，被寄予厚望的 Distill 卻只發(fā)布了 12 篇論文。雖然 Distill 對(duì)論文標(biāo)準(zhǔn)的要求較高，而且有較長(zhǎng)的審核流程，但是目前的進(jìn)展確實(shí)有點(diǎn)差強(qiáng)人意。

近日，Distill 撰文對(duì)過(guò)去一年多的工作進(jìn)行了總結(jié)，有可取之處，也有經(jīng)驗(yàn)教訓(xùn)，下面一起來(lái)看下吧~

以下內(nèi)容由AI科技大本營(yíng)編譯：

一年多以前，我們正式發(fā)布了開放式科學(xué)期刊 Distill。

它的成長(zhǎng)從出現(xiàn)開始便激動(dòng)人心。一年多來(lái) Distill 累計(jì)擁有了超過(guò)一百萬(wàn)的專業(yè)讀者，瀏覽量超過(guò) 290 萬(wàn)次。目前為止，發(fā)布在 Distill 上的期刊論文平均引用量達(dá) 23 次。更重要的是，我們發(fā)表了一些結(jié)構(gòu)清晰和可復(fù)現(xiàn)性極高的新論文，這極大的促進(jìn)了新科學(xué)傳播方式的發(fā)展。

盡管如此，我們發(fā)現(xiàn)仍然有很多有待改進(jìn)之處。為此，我們一直在不斷地反思。在新版本的 Distill 中，我們計(jì)劃進(jìn)行如下更改：

將論文指導(dǎo)與評(píng)審的工作分開。

明確并簡(jiǎn)化 Distill 評(píng)審流程，包括新的評(píng)審工作流程。

優(yōu)化資源以幫助每一個(gè)人，而不再是一對(duì)一的指導(dǎo)，從創(chuàng)建 Slcak 工作區(qū)開始。

簡(jiǎn)化代理編輯引入流程以解決利益沖突。

明確關(guān)于雙重提交的政策。

發(fā)展 Distill 編輯團(tuán)隊(duì)，Arvind Satyanarayan 將加入編輯團(tuán)隊(duì)，負(fù)責(zé)監(jiān)督 HCI + AI（人機(jī)交互+人工智能）領(lǐng)域。

▌成功之處

直觀展現(xiàn)思維方式的界面

我們相信最好的解釋往往可以帶來(lái)更深層次的思考：它們是思想的接口，一種思維方式和概念的互動(dòng)。基于這種理念，我們可以看到 Distill 上很多文章都利用了可視化的展示，來(lái)激發(fā)思考的火花，促進(jìn)思想的交流。

這其中最具代表性的文章是 Gabriel Goh 的“Why Momentum Really Works（梯度下降中動(dòng)量為何如此有效）”。很多工業(yè)界的人士對(duì)該問題都缺乏了解，這背后涉及很多數(shù)學(xué)問題，因此并不直觀。在我們看來(lái)，傳統(tǒng)的學(xué)術(shù)出版物并不強(qiáng)調(diào)闡明技術(shù)思想所伴隨的直覺——像老師在白板上與學(xué)生分享的那種。

相比之下，Gabe 的這篇文章不僅運(yùn)用了很多直觀的圖形表達(dá)，還分享了作者的一些直覺。在交互性工具的支持下，它讓讀者直接進(jìn)入了一種思維方式。而且更有趣的是，通過(guò)將心智模型歸結(jié)為計(jì)算驅(qū)動(dòng)的界面，作者發(fā)現(xiàn)了思考不完善的地方。

這種界面設(shè)計(jì)和這種思路可能并不新穎，但 Distill 在過(guò)去的一年中的的確確推動(dòng)了這一方式的發(fā)展，我們也將對(duì)它的未來(lái)拭目以待。

深入?yún)⑴c

更令人興奮的一個(gè)發(fā)現(xiàn)是 Distill 上的文章可以讓深入思考變得更加容易。通常情況下，從閱讀一篇論文到進(jìn)行實(shí)驗(yàn)這中間需要很大的跨越，但 Distill 上的論文卻可以讓讀者直接成為論文研究的一份子：

Distill 最近的幾篇文章實(shí)踐了這一想法。它們不僅把重要的概念通過(guò)交互式結(jié)果表現(xiàn)出來(lái)，還提供了 Notebook 讓讀者可以在線重現(xiàn)這一結(jié)果。當(dāng)然這個(gè) Notebook 不僅僅能讓讀者測(cè)試一個(gè)新的想法，更能讓他們無(wú)需任何設(shè)置就可以深入?yún)⑴c到最新的研究中，而且在幾分鐘之內(nèi)就可以完成一個(gè)有趣的實(shí)驗(yàn)。

截至今天，已有超過(guò) 6,000 名讀者使用過(guò)這些 Notebook。

可復(fù)現(xiàn)性一直被認(rèn)為是維持科學(xué)健康發(fā)展的重要組成部分。現(xiàn)在越來(lái)越多的研究人員正在開源他們的工作，甚至將數(shù)據(jù)分析腳本這樣的中間文件放在 GitHub 上。但 Distill 這些在線的Notebook 則允許作者更進(jìn)一步，直接參與我們所謂的“主動(dòng)復(fù)現(xiàn)性”：不僅使文章工作在技術(shù)上可復(fù)現(xiàn)，還使其更為方便。我們希望看到更多的論文作者在這方面投入精力。

科學(xué)出版物的軟件工程最佳實(shí)踐

在過(guò)去的一年中，這種通過(guò)軟件工程最佳實(shí)踐來(lái)運(yùn)營(yíng)科學(xué)期刊的方式還顯示出了另外幾個(gè)優(yōu)勢(shì)：

1.可以讓讀者更加透明地了解出版過(guò)程。Distill 的每篇文章都存儲(chǔ)在 GitHub 的 Repository 中，同行可以通過(guò) GitHub的問題跟蹤器進(jìn)行評(píng)審。（例如，讀者可以看到 Gabriel Goh 那篇文章更新過(guò)程，可以了解到文章創(chuàng)意的起源等等。）

2.讀者甚至可以參與到文章發(fā)布后持續(xù)評(píng)審工作，包括提交修復(fù)拼寫錯(cuò)誤的請(qǐng)求，進(jìn)行更徹底的編輯，甚至與作者進(jìn)行討論。

3.Distill 為科學(xué)論文提供了一系列的集成方案，作者也受益于此設(shè)置。文章在發(fā)布前會(huì)自動(dòng)保存草稿，并通過(guò)受密碼保護(hù)的 URL 進(jìn)行訪問。作者可以自由地分享這些地址來(lái)尋求初步反饋，并確保他們的讀者將始終能夠看到最新版本的草稿。

▌問題與改進(jìn)

獎(jiǎng)項(xiàng)評(píng)選

遺憾的是，我們還沒有評(píng)選出 2018 年的 Distill 獎(jiǎng)。我們總共收到了 59 份研究工作，其中一些是由很多內(nèi)容組成的系列講座。我們沒有預(yù)料到這種內(nèi)容，也沒有一個(gè)很好的流程來(lái)評(píng)估它。還有一方面在于我們有點(diǎn)完美主義。今后，我們的目標(biāo)是通過(guò)快速的評(píng)審流程來(lái)更好地平衡內(nèi)容質(zhì)量和評(píng)審時(shí)間。

我們會(huì)盡力在 2018 年感恩節(jié)之前頒發(fā) Distill 獎(jiǎng)，并以更及時(shí)的方式推進(jìn)這一過(guò)程。

一個(gè)小小的社區(qū)

Distill 旨在培養(yǎng)一種新的科學(xué)傳播方式，并建立一個(gè)支持它的生態(tài)系統(tǒng)。我們希望隨著時(shí)間的推移逐漸壯大這個(gè)社區(qū)，但目前 Distill 的作者和編輯數(shù)量要比傳統(tǒng)學(xué)術(shù)平臺(tái)少得多。

導(dǎo)致的結(jié)果之一是 Distill 的出版量很低（截至目前 12 篇）。盡管我們?yōu)榇烁冻隽撕芏嗯Γ@稍有些慘淡的結(jié)果這不禁讓我們思考：我們是否需要改變 Distill 的投稿標(biāo)準(zhǔn)？論文數(shù)量是 Distill 應(yīng)該關(guān)注的嗎？

當(dāng)然我們相信，只要內(nèi)容非常出色，Distill 在可預(yù)見的未來(lái)一定可以成為一個(gè)小規(guī)模的“定制”期刊。Distill 的特色其實(shí)在于它為那些非傳統(tǒng)的研究工作提供了正規(guī)化的期刊平臺(tái)。所以要更加側(cè)重出版的質(zhì)量，而不是數(shù)量。

小規(guī)模社區(qū)中的另一個(gè)問題是社區(qū)成員之間經(jīng)常存在私下的聯(lián)系。社區(qū)這么緊密當(dāng)然很好，但這也意味著我們必須要處理許多潛在的利益沖突。圍繞這些利益沖突的帶來(lái)的挑戰(zhàn)才剛剛出現(xiàn)，我們希望隨著編輯團(tuán)隊(duì)的發(fā)展，這個(gè)問題在未來(lái)幾年變得不那么成問題。但不得已的是，我們經(jīng)常還需要引入獨(dú)立的代理編輯來(lái)解決利益沖突。

我們之前邀請(qǐng)獨(dú)立編輯的流程是通過(guò) Distill 指導(dǎo)委員會(huì)的成員。（當(dāng)然也非常感謝 Ian Goodfellow 對(duì)此的耐心幫助。）然而為了更長(zhǎng)遠(yuǎn)的發(fā)展，我們更想制定一個(gè)更獨(dú)立的機(jī)制：

如果存在利益沖突，Distill 編輯將選擇研究社區(qū)的成員作為文章的臨時(shí)“代理編輯”。代理編輯應(yīng)該是相關(guān)研究界的成員，并且與作者保持一定的距離。代理編輯的身份將在審稿日志中注明，并在文章發(fā)布時(shí)公布。

評(píng)審流程

鑒于很多研究人員并不具備寫出一篇 Distill 所要求的文章那樣的技能，Distill 在一開始采用了相當(dāng)激進(jìn)的評(píng)審流程。我們對(duì)作者提供了廣泛的指導(dǎo)和幫助，以幫助他們改善文章。

但不幸的是，這一做法雖然產(chǎn)生了讓我們很滿意的一批文章，但由于 Distill 的編輯都是志愿者， 他們有自己的本職工作，而我們需要的那種文章每篇可能需要花費(fèi) 20-80 個(gè)小時(shí)來(lái)進(jìn)行指導(dǎo)。他們?cè)谡撐闹笇?dǎo)者和論文評(píng)審的雙重角色中不停轉(zhuǎn)換，最終不堪重負(fù)。

Distill 應(yīng)該為作者和編輯帶來(lái)更好的使用體驗(yàn)。為此，我們將對(duì)其評(píng)審流程進(jìn)行如下變更：

Distill 的指導(dǎo)過(guò)程將同審稿過(guò)程分離開來(lái)。

Distill 只會(huì)對(duì)完整提交的文章進(jìn)行評(píng)審。

我們創(chuàng)建了一個(gè)公眾評(píng)審表格，明確定義了評(píng)審標(biāo)準(zhǔn)。

Distill 的文章提交頁(yè)面也對(duì)新的審稿規(guī)則進(jìn)行了詳細(xì)描述。這一規(guī)則更改不適用于之前已經(jīng)根據(jù)舊規(guī)則提交的文章。明年，我們希望增加那些主題較小的短篇文章的數(shù)量。

▌其他變化

文章提交政策

對(duì) Distill 來(lái)說(shuō)，遵守 “雙重出版”規(guī)則是非常重要的，并且不能讓大家覺得我們和 arXiv 是類似的。

所以，Distill 只考慮與那些與在其他地方正式發(fā)表的文章存在本質(zhì)不同的文章，而且要對(duì)非正式發(fā)表的文章持謹(jǐn)慎態(tài)度：

特此，我們?cè)O(shè)想了一些特殊情況下的指導(dǎo)意見：

1.先前沒有出版或關(guān)注度低的非正式出版文章：不用擔(dān)心！

2.ArXiv 論文：研究人員有時(shí)需要及時(shí)發(fā)表論文，因此 arXiv 是一個(gè)很好的平臺(tái)，我們完全理解。只要大家認(rèn)識(shí)到 Distill 是一個(gè)正式出版平臺(tái)，想要在上面發(fā)表論文幾乎都要做進(jìn)一步的處理，我們很愿意發(fā)表大家的論文。

3.以前的研討會(huì)、會(huì)議論文：Distill 非常愿意發(fā)表更前沿、更精美的“期刊”論文，但是這些論文必須通過(guò)結(jié)合改進(jìn)闡述，更好地揭示潛在的見解和思維方式，整合一系列論文或?qū)嶒?yàn)等方式，在以前的研究基礎(chǔ)上有實(shí)質(zhì)性的進(jìn)步。

4.備受矚目的非正式論文：與上面提到的第三種情況類似。