編者按：這是一篇即將在ICML 2018研討會(huì)上發(fā)表的文章，它的作者是卡內(nèi)基梅隆大學(xué)助理教授Zachary C. Lipton和斯坦福大學(xué)研究生Jacob Steinhardt。雖然對(duì)于這樣一個(gè)國(guó)際頂會(huì)，這兩名青年學(xué)者只是籍籍無名的小輩，但近日，他們的批評(píng)卻引來大量專家支持，也引發(fā)了學(xué)界的深思。去年8月，Zachary C. Lipton還就“是否該在論文引用中列出arXiv預(yù)印本”作過呼吁，他認(rèn)為即便arXiv預(yù)印本質(zhì)量參差不齊、沒有正式發(fā)表，如果用到了其中的觀點(diǎn)，就該保障預(yù)印本作者的權(quán)益，此事一時(shí)傳為美談。

因?yàn)槲恼逻^長(zhǎng)，本文會(huì)出現(xiàn)意譯和示例刪減，還請(qǐng)讀者包涵。

1 簡(jiǎn)介

機(jī)器學(xué)習(xí)（ML）研究人員的共同目標(biāo)是創(chuàng)建和傳播有關(guān)數(shù)據(jù)驅(qū)動(dòng)算法的知識(shí)。在一篇論文中，他們希望自己能達(dá)成以下目標(biāo)：理論概括、實(shí)驗(yàn)論證，或是構(gòu)建準(zhǔn)確率更高的工作架構(gòu)。雖然在調(diào)研過程中選用什么知識(shí)是主觀的，但一旦形成了成果，論文就應(yīng)該為讀者服務(wù)，解釋清楚基礎(chǔ)概念，方便讀者溝通交流，換言之，它該對(duì)社區(qū)體現(xiàn)完整價(jià)值。

那么，什么樣的論文最能服務(wù)讀者？這里我們列舉一些特征：這些論文應(yīng)該（i）提供幫助讀者理解的直覺——明確區(qū)別于有證據(jù)支持的更強(qiáng)有力的結(jié)論；（ii）介紹之所以排除其他假設(shè)的實(shí)證調(diào)查；（iii）明確理論分析、直覺和經(jīng)驗(yàn)總結(jié)之間的關(guān)系；（iv）使用術(shù)語(yǔ)以避免概念混淆，方便讀者理解。

盡管經(jīng)常偏離上述思想，但近年來機(jī)器學(xué)習(xí)的新成果仍在不斷涌現(xiàn)。本文將關(guān)注論文中常見的4種弊端，借此窺探機(jī)器學(xué)習(xí)學(xué)術(shù)圈的不良趨勢(shì)：

未能區(qū)分解釋（explanation）和推測(cè)（speculation）；

未能明確“進(jìn)步”的來源，比如模型性能提高明明是因?yàn)檎{(diào)參，但有些作者還是會(huì)過分強(qiáng)調(diào)沒什么效果的模型架構(gòu)修改；

數(shù)學(xué)性：在進(jìn)行數(shù)學(xué)論證時(shí)使用模糊的、帶有暗示的描述，比如混淆專業(yè)和非專業(yè)概念；

濫用表述，比如用口語(yǔ)、藝術(shù)性語(yǔ)言描述成果，而不是大家認(rèn)可的專業(yè)術(shù)語(yǔ)。

雖然這些弊端背后的原因尚未可知，但機(jī)器學(xué)習(xí)社區(qū)迅速擴(kuò)張、缺乏論文審查人員、學(xué)術(shù)成就和短期成功之間的錯(cuò)位獎(jiǎng)勵(lì)（論文引用、關(guān)注度和創(chuàng)業(yè)機(jī)會(huì)）等都是可能的誘因。盡管這些弊端都有補(bǔ)救方法，我們還是建議大家不要這么做。

隨著機(jī)器學(xué)習(xí)的影響力越來越大，研究論文的受眾除了學(xué)生，還有媒體記者和政府人員，這些都是論文寫作的考慮因素。通過用清晰的表達(dá)傳遞更準(zhǔn)確的信息，我們可以加快研究進(jìn)度、縮短新研究人員的入職時(shí)間，并在公共話語(yǔ)中發(fā)揮更具建設(shè)性的作用。

有缺憾的學(xué)術(shù)成果可能會(huì)誤導(dǎo)民眾，它們也會(huì)損害機(jī)器學(xué)習(xí)的知識(shí)基礎(chǔ)，進(jìn)而阻礙未來的研究。事實(shí)上，在人工智能的發(fā)展史中，或者更廣泛地說，在科學(xué)研究中，這些問題一直是周而復(fù)始產(chǎn)生的。1976年，Drew McDermott曾指責(zé)人工智能社區(qū)缺乏自律，他預(yù)言“如果我們不批評(píng)自己，別人遲早會(huì)代勞”。類似的討論貫穿整個(gè)80年代、90年代。而現(xiàn)在，它又出現(xiàn)了。對(duì)于心理學(xué)等其他領(lǐng)域，不嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)標(biāo)準(zhǔn)曾大大削弱了這些學(xué)科的學(xué)術(shù)權(quán)威。相比之下，機(jī)器學(xué)習(xí)目前的地位是迄今為止大量嚴(yán)謹(jǐn)研究，包括理論研究和經(jīng)驗(yàn)堆砌起來的。

2 免責(zé)聲明

本文旨在促進(jìn)討論，ICML機(jī)器學(xué)習(xí)辯論研討會(huì)向我們征集論文，這是我們的回應(yīng)。雖然觀點(diǎn)是我們提出的，但這里描述的問題并不是機(jī)器學(xué)習(xí)社區(qū)的通病，我們也不會(huì)討論整體科研論文質(zhì)量，更沒有意愿針對(duì)具體某個(gè)個(gè)人或機(jī)構(gòu)，最后得出什么批斗性結(jié)論。

這是作為內(nèi)行人的關(guān)鍵自省，不是來自外行人的狙擊。我們自己也可能陷入這些弊病，并在未來反復(fù)“病發(fā)”。雖然文中涉及一些具體示例，但我們的原則是（i）以自己作為例證；（ii）優(yōu)先選擇更權(quán)威、更成熟的研究人員和機(jī)構(gòu)。我們?yōu)樽约簩儆谝粋€(gè)自由的社區(qū)感到慶幸，感謝它允許我們表達(dá)批判性觀點(diǎn)。

3 令人不安的趨勢(shì)

在本節(jié)中，我們（i）描述弊端趨勢(shì)；（ii）為趨勢(shì)提供幾個(gè)例子（包括正面例子）；（iii）解釋后果。由于指出個(gè)別論文中的弱點(diǎn)可能是一個(gè)敏感話題，我們會(huì)盡量避免這種情況。

3.1解釋與推測(cè)

對(duì)新領(lǐng)域進(jìn)行探索通常需要基于直覺，但這些直覺并沒有經(jīng)科學(xué)驗(yàn)證形成正式定義。根據(jù)我們的發(fā)現(xiàn)，盡管這些直覺并沒有經(jīng)過科學(xué)審查，但一些研究人員還是會(huì)直接把它當(dāng)成一個(gè)專業(yè)事實(shí)，在上面“擺事實(shí)，講道理”，然后在推測(cè)的基礎(chǔ)上進(jìn)行解釋。最后，閱讀論文的人對(duì)作者的“專業(yè)素養(yǎng)”深信不疑，對(duì)結(jié)果信以為真，這個(gè)直覺就成了具有權(quán)威的“真理”。

例如，[33]這篇Google論文圍繞“內(nèi)部協(xié)變量轉(zhuǎn)換”（internal covariate shift）提出了一個(gè)直觀的理論。從摘要開始，作者就稱：

深層網(wǎng)絡(luò)訓(xùn)練時(shí)，由于模型參數(shù)在不斷修改，所以各層的輸入的概率分布在不斷變化，這使得我們必須使用較小的學(xué)習(xí)率及較好的權(quán)重初值，導(dǎo)致訓(xùn)練很慢，同時(shí)也導(dǎo)致使用saturating nonlinearities 激活函數(shù)時(shí)訓(xùn)練很困難。這種現(xiàn)象加 internal covariate shift ，解決辦法是：對(duì)每層的輸入進(jìn)行歸一化?！g者注：這篇論文被視為“2015年最牛的論文”，影響力頗大

根據(jù)這些描述，這個(gè)現(xiàn)象和歸因似乎成了個(gè)專業(yè)事實(shí)，論文也有理有據(jù)。但它的證明在哪兒？無論現(xiàn)實(shí)是怎樣的，像這樣不夠清晰的關(guān)鍵術(shù)語(yǔ)解釋是不足為信的。

又比如，這篇論文指出Batch Normalization可以在訓(xùn)練過程中通過減少隱藏激活函數(shù)的分布變化來提高模型性能，但文中絲毫沒有提及對(duì)這種變化的量化方法。盡管已經(jīng)有研究表明Batch Normalization的解釋可能不準(zhǔn)確[65]，但[33]給出的推測(cè)性解釋已經(jīng)被一些研究人員認(rèn)做是事實(shí)，“眾所周知，由于內(nèi)部協(xié)變量轉(zhuǎn)換的存在，深層神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)很難優(yōu)化……”[60]。

在[72]中，本文作者之一的Jacob Steinhardt也出現(xiàn)了同樣的問題（累了，不譯），但我們還是來看一個(gè)積極的例子，比如論文[3]。這篇文章是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的實(shí)用指南，但作者并沒有宣揚(yáng)權(quán)威性，而是表示：“雖然這些建議來自……多年實(shí)驗(yàn)，并且在某種程度上有數(shù)學(xué)支撐，但它們應(yīng)該受到挑戰(zhàn)。它們是一個(gè)很好的起點(diǎn)……但沒有經(jīng)過正式驗(yàn)證，留下了許多問題亟待解決。”

3.2未能明確“進(jìn)步”的來源

機(jī)器學(xué)習(xí)同行評(píng)審非常重視技術(shù)新穎性。為了滿足評(píng)委胃口，現(xiàn)在許多論文都會(huì)出現(xiàn)復(fù)雜的模型和花哨的數(shù)學(xué)推斷。雖然復(fù)雜模型本身是合理的，但它不是技術(shù)進(jìn)步的唯一體現(xiàn)方式：巧妙的問題公式、科學(xué)實(shí)驗(yàn)、優(yōu)化、數(shù)據(jù)預(yù)處理、大范圍調(diào)參、將現(xiàn)有算法用于新任務(wù)……有時(shí)候，如果研究人員用許多技術(shù)實(shí)現(xiàn)了一個(gè)突破性成果，那他就有義務(wù)讓讀者明白這個(gè)成果究竟該歸因于哪個(gè)必需的技術(shù)。

很多時(shí)候，作者的確提出了許多改進(jìn)方法，卻因?yàn)闆]有適當(dāng)?shù)叵庋芯?，反而模糊了“進(jìn)步”的來源。而有時(shí)，這些進(jìn)步實(shí)際上只是由一項(xiàng)改進(jìn)帶來的。在這種情況下，作者看起來好像是做了很多工作，但事實(shí)上他們做的還遠(yuǎn)遠(yuǎn)不夠。而這種錯(cuò)誤印象還會(huì)誤導(dǎo)讀者，讓他們以為所有改進(jìn)都是必要的。

最近，Melis等人[54]公布了一項(xiàng)成果，他們用大規(guī)模自動(dòng)黑盒超參數(shù)調(diào)整重新評(píng)估一些流行RNN，發(fā)現(xiàn)它們的進(jìn)步在于更好的超參數(shù)調(diào)整，而不是架構(gòu)上的復(fù)雜創(chuàng)新。如果大家處于同一起跑線，那么自1997年以來幾乎沒有任何修改的原版LSTM還是名列前茅。比起分心去做其他研究，也許社區(qū)能從調(diào)參細(xì)節(jié)中收益更多。對(duì)于深度強(qiáng)化學(xué)習(xí)[30]和生成對(duì)抗網(wǎng)絡(luò)[51]，一些類似的評(píng)估論文也引起過爭(zhēng)議。如果想了解關(guān)于這類問題的更多內(nèi)容，推薦看ICLR 2018研討會(huì)的這篇文章[68]。

相比之下，[41,45,77,82]這幾篇論文對(duì)研究過程進(jìn)行了很好的消解，[10,65]還回顧研究過程，通過分離改進(jìn)找到了新發(fā)現(xiàn)。當(dāng)然，消解對(duì)于理解方法來說既不是必要的，也不是充分的，如果有計(jì)算算力限制，實(shí)現(xiàn)它還可能是不切實(shí)際的。但除此之外，我們也可以通過檢查模型的穩(wěn)健性（魯棒性）和定性誤差分析來找出原因。

對(duì)于旨在理解的實(shí)證研究，它們甚至可以在沒有新算法的情況下得到成果。比如通過探究神經(jīng)網(wǎng)絡(luò)的行為，研究人員可以區(qū)分它對(duì)對(duì)抗性擾動(dòng)的敏感性[74]；通過仔細(xì)研究，他們可以發(fā)現(xiàn)數(shù)據(jù)集對(duì)更強(qiáng)大基線模型的限制；論文[11]研究設(shè)計(jì)用于閱讀理解新聞段落的任務(wù)，發(fā)現(xiàn)其中有73%的問題可以從同一個(gè)句子中找到答案，而只有2%的問題需要查看多個(gè)句子。此外，本著同樣的精神，比起復(fù)雜的神經(jīng)架構(gòu)，更簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)和線性分類器往往表現(xiàn)更好。

3.3數(shù)學(xué)性

博士前期寫論文時(shí)，我們（ZL）曾收到一位經(jīng)驗(yàn)豐富的博士后的反饋：你們的論文需要更多方程。他沒有評(píng)判論文成果，只是建議論文看起來應(yīng)該更清晰一些。即便論文內(nèi)容晦澀難懂，如果里面包含更多計(jì)算方程，評(píng)審員也會(huì)認(rèn)為它有過人的專業(yè)深度。

數(shù)學(xué)是科學(xué)交流的重要工具，如果使用方法正確，它傳遞的信息是高度精確和清晰的。然而，并不是所有想法和主張都適合用數(shù)學(xué)描述，自然語(yǔ)言同樣是一種不可或缺的交流工具，它在表述直覺和經(jīng)驗(yàn)主張時(shí)尤為突出。

當(dāng)我們把數(shù)學(xué)和自然語(yǔ)言結(jié)合在一起，卻沒有明確它們的關(guān)系時(shí)，無論是散文還是理論，我們都表述不好：理論中的問題可能會(huì)用模糊的定義來概述，散文中的情感抒發(fā)卻可以被數(shù)理推斷來“論證”。數(shù)學(xué)是正式和非正式表述的結(jié)合體，就像經(jīng)濟(jì)學(xué)家Paul Romer所說的：就像數(shù)學(xué)理論一樣，數(shù)學(xué)是語(yǔ)言和符號(hào)的混合，但它沒有做緊密聯(lián)系，而是在自然語(yǔ)言和形式語(yǔ)言之間留下一個(gè)充足的平滑空間。

伴隨數(shù)學(xué)性產(chǎn)生的弊端主要表現(xiàn)在以下幾方面：

首先，一些論文會(huì)濫用數(shù)學(xué)來體現(xiàn)文章的深度——強(qiáng)行有深度。假定理其中最常見的形式，通過把定理插進(jìn)論文中，論文有了實(shí)證結(jié)果，看起來也更具權(quán)威性——即便這個(gè)定理和論文完全沒關(guān)系。我們（JS）在[70]里就犯了這個(gè)錯(cuò)，論文中對(duì)“staged strong Doeblin chains”的討論和提出的算法幾乎沒什么關(guān)系，但讀者可能會(huì)覺得很有深度。

Adam這篇論文[35]很好，但也證明這個(gè)問題無處不在。論文中介紹了凸優(yōu)化情況下的收斂定理，然而這不是一篇凸優(yōu)化論文，這是不必要的。后來，[63]也證實(shí)那是錯(cuò)誤的。

其次，一些論文的數(shù)學(xué)表述既不正式，也不非正式。舉個(gè)例子，[18]這篇論文認(rèn)為神經(jīng)網(wǎng)絡(luò)的優(yōu)化困難不是源于局部最小值，而是鞍點(diǎn)。作為證據(jù)，他們引用了一篇關(guān)于高斯隨機(jī)場(chǎng)的統(tǒng)計(jì)物理論文[9]，指出高維“高斯隨機(jī)場(chǎng)的所有局部最小值都可能有一個(gè)非常接近全局最小值的誤差”。這看起來是一個(gè)很正式的主張，但缺乏一個(gè)明確的定理，所以它的結(jié)果很難驗(yàn)證。如果研究人員能給出一個(gè)正式的聲明，這里的疑問就可以被解決了。在[18]中，研究人員發(fā)現(xiàn)局部最小值比鞍點(diǎn)具有更低的損失，也給出了清晰的說明和實(shí)驗(yàn)，內(nèi)容也更有趣。

最后，一些論文引用的理論太寬泛了，是否能在這個(gè)場(chǎng)景下使用這個(gè)定理還存疑。比如一些人喜歡用“天底下沒有免費(fèi)的午餐”來類比使用沒有保證的啟發(fā)式方法，但這句話的本意并沒有說我們不能學(xué)習(xí)啊。

雖然避免使用方程是對(duì)數(shù)學(xué)性問題的最佳補(bǔ)救方法，但一些論文也以身示范，證明數(shù)學(xué)不是“洪水猛獸”。比如最近發(fā)表的論文[8]以扎實(shí)的方式涵蓋大量數(shù)學(xué)基礎(chǔ)，而且這些數(shù)據(jù)計(jì)算還和應(yīng)用問題有明確聯(lián)系。我們?cè)诖藦?qiáng)烈推薦這篇論文，剛?cè)胄械男率忠部梢詤⒖贾芯克麄兊姆较颉?/p>

3.4濫用表述

我們找出了機(jī)器學(xué)習(xí)論文中濫用表述的三種常見形式：暗示性定義、濫用已有術(shù)語(yǔ)、濫用行李箱詞。

3.4.1暗示性定義

暗示性定義指的是新造一個(gè)專業(yè)術(shù)語(yǔ)，它具有暗示性的口語(yǔ)含義，只看字面意思就能理解。這些詞經(jīng)常出現(xiàn)在擬人化任務(wù)（閱讀理解[31]、音樂理解[59]）和技巧型任務(wù)（好奇[66]、害怕[48]）中。許多論文會(huì)以人類認(rèn)知的方式來命名模型的組成部分，比如“思想載體”[36]和“意識(shí)先驗(yàn)”[4]。我們不是說這些詞一定不能用，如果合格，它們和機(jī)器學(xué)習(xí)的關(guān)系可能會(huì)成為創(chuàng)建表述的有效靈感來源。然而，當(dāng)一個(gè)暗示性定義被當(dāng)成專業(yè)術(shù)語(yǔ)時(shí)，今后的論文就沒有選擇余地了，研究人員只能用這個(gè)術(shù)語(yǔ)，否則讀者會(huì)感到困惑。

另一方面，用“人類”表現(xiàn)來描述機(jī)器學(xué)習(xí)成果可能會(huì)產(chǎn)生對(duì)當(dāng)前技術(shù)水平的認(rèn)知錯(cuò)誤。以[21]中的“皮膚病專家級(jí)皮膚癌分類”為例，研究人員通過用分類器和皮膚科專家進(jìn)行比較，掩蓋了兩者執(zhí)行的任務(wù)有本質(zhì)區(qū)別的事實(shí)。真正的皮膚科專家會(huì)遇到各種情況，盡管有不可預(yù)測(cè)的變化，但他們必須給出診斷意見，而分類器只是在測(cè)試數(shù)據(jù)上實(shí)現(xiàn)了低誤差。同樣的，[29]里分類器也稱自己在ImageNet分類任務(wù)上比人類更具優(yōu)勢(shì)。試想一下，在那么多“口無遮攔”[21,57,75]的論文中，即便我們有一篇表述嚴(yán)謹(jǐn)?shù)模茏尮娫捳Z(yǔ)重回正軌嗎？

雖然深度學(xué)習(xí)論文不是唯一的“始作俑者”，但這個(gè)領(lǐng)域?yàn)E用表述的現(xiàn)象確實(shí)影響到了其他機(jī)器學(xué)習(xí)子域的研究。比如[49]研究的是算法“公平性”的問題，它很好地展示了研究人員是怎么用法律術(shù)語(yǔ)搞機(jī)器學(xué)習(xí)研究的，里面最突出的例子是他們把一個(gè)表達(dá)統(tǒng)計(jì)平等概念的簡(jiǎn)單方程命名為“不同的影響”。由此產(chǎn)生的問題就是大家開始參考著用“公平”“機(jī)會(huì)”和“歧視”表示簡(jiǎn)單預(yù)測(cè)模型的統(tǒng)計(jì)數(shù)據(jù)，然后民眾和政府官員就會(huì)誤以為把道德需求納入機(jī)器學(xué)習(xí)是一件很艱難的事。

3.4.2濫用已有術(shù)語(yǔ)

第二種濫用方式包括使用已有的專用術(shù)語(yǔ)，但是會(huì)以不精確，甚至互相矛盾的方式來使用它。比如deconvolution（轉(zhuǎn)置卷積、反卷積、逆卷積、去卷積:astonished:），它描述的是卷積的逆運(yùn)算，但在深度學(xué)習(xí)論文中，尤其是自動(dòng)編碼器和生成對(duì)抗網(wǎng)絡(luò)論文中，這個(gè)詞卻被等同于transpose convolutions（轉(zhuǎn)置卷積，也稱up-convolutions上卷積）。當(dāng)[79]第一次在深度學(xué)習(xí)論文中提到這個(gè)詞時(shí)，它的定義還是準(zhǔn)確的，但[78,50]一引用概括，它就成了任何使用上卷積的神經(jīng)架構(gòu)。這種術(shù)語(yǔ)的濫用會(huì)造成持久的混亂，如果現(xiàn)在有一篇新機(jī)器學(xué)習(xí)論文，里面出現(xiàn)了deconvolution，它的意思可能是（i）原始含義，（ii）上卷積，或（iii）試圖解決這種混淆[28]。

作為另一個(gè)例子，我們來看生成模型（generative model）和判別模型（discriminative model）。從一般定義上來說，如果輸入的分布是p(x)或是聯(lián)合分布p(x,y)，它就是個(gè)生成模型；相反地，判別模型處理的是條件概率分布P(y|x)。然而，在最近的論文中，“生成模型”成了產(chǎn)生逼真結(jié)構(gòu)化數(shù)據(jù)的模型的統(tǒng)稱。從表面上看，這和定義似乎沒有沖突，但它掩蓋了幾個(gè)缺點(diǎn)——例如，GAN和VAE無法執(zhí)行條件推理（x1和x2是兩個(gè)不同的輸入特征，它們無法從p(x2|x1)中采樣）。在這個(gè)曲解的基礎(chǔ)上，一些人也開始把判別模型形容成負(fù)責(zé)生成結(jié)構(gòu)化輸出的生成模型[76]。我們（ZL）在[47]中也犯了這個(gè)錯(cuò)誤。

我們繼續(xù)看之前提到的Batch Normalization，[33]把協(xié)變量轉(zhuǎn)換（covariate shift）描述為模型輸入分布的變化，事實(shí)上，這個(gè)詞指的是特定類型的轉(zhuǎn)換——盡管輸入分布p(x)可能會(huì)發(fā)生變化，但p(y|x)不會(huì)變[27]。此外，由于[33]的誤用，現(xiàn)在谷歌學(xué)術(shù)已經(jīng)把Batch Normalization列為“協(xié)變量轉(zhuǎn)換”的一個(gè)項(xiàng)參考。

像這樣濫用已有術(shù)語(yǔ)的后果之一是我們可以通過“偷換概念”來定義一些未解決任務(wù)，然后方便自己引用以往成果，從而包裝沒什么實(shí)質(zhì)進(jìn)展的“進(jìn)步”。它通常會(huì)和暗示性定義相結(jié)合。語(yǔ)言理解和閱讀理解，這些都曾是AI的巨大挑戰(zhàn)，現(xiàn)在卻成了對(duì)特定數(shù)據(jù)集做出預(yù)測(cè)[31]。

3.4.3行李箱詞

最后，我們來看ML論文中常見的過度使用行李箱詞（Suitcase Words）。這是Minsky在2007年出版的《The Emotion Machine》[56]中創(chuàng)造的新詞，指的是匯集了各種意義的一類詞匯，比如意識(shí)、思維、注意力、情感和感覺，它們的生成機(jī)制和來源也許不同，但我們可以把它們統(tǒng)稱為“心理過程”。機(jī)器學(xué)習(xí)中有很多類似的詞匯，如[46]就指出“可解釋性”這個(gè)詞并沒有一個(gè)普遍認(rèn)可的含義，它常出現(xiàn)在不同方法、不同需求的論文中。因此，雖然論文表述看起來差不多，但它們的也許表達(dá)不同的概念。

再如generalization，這個(gè)詞可以概括一項(xiàng)特定技術(shù)（概括訓(xùn)練到測(cè)試），也可以表示互相接近的兩個(gè)概念之間的轉(zhuǎn)移（從一個(gè)群體推廣到另一個(gè)群體），甚至還能衍生到外部（從實(shí)驗(yàn)環(huán)境推廣到現(xiàn)實(shí)環(huán)境）。如果把這些概念混為一談，我們會(huì)高估當(dāng)前技術(shù)的水平。

當(dāng)暗示性定義和濫用已有術(shù)語(yǔ)相結(jié)合時(shí)，新的行李箱詞往往隨之而生。在涉及“公平性”的論文中，法律、哲學(xué)、統(tǒng)計(jì)語(yǔ)言學(xué)的術(shù)語(yǔ)經(jīng)常被濫用，然后這些詞隨后就會(huì)被一個(gè)叫“偏見”的詞籠統(tǒng)概括[17]。

如果是演講或是談理想，行李箱詞確實(shí)可以起到有效的作用，因?yàn)樗从沉藢⒏鞣N含義統(tǒng)一起來的總體概念。比如人工智能就是一個(gè)理想名詞。另一方面，在技術(shù)論證過程中過多地使用行李箱詞可能會(huì)導(dǎo)致混淆，例如[6]這本書中用術(shù)語(yǔ)和優(yōu)化能力寫了一些等式，非常不嚴(yán)謹(jǐn)?shù)匕阉鼈兗僭O(shè)為同一類東西。

4 趨勢(shì)背后的原因

上述問題是否是ML學(xué)術(shù)圈的一種趨勢(shì)？如果是，那么根本原因是什么？我們進(jìn)行了一些推測(cè)，最后得出了幾個(gè)可能的因果因素：

4.1面對(duì)進(jìn)步開始驕傲自滿

ML的快速發(fā)展會(huì)讓研究人員產(chǎn)生一中錯(cuò)覺，即強(qiáng)有力的結(jié)果可以掩蓋論證過程的弱小。所以他們開始為了支持結(jié)論插入并沒有關(guān)系的東西，開始以結(jié)果為目標(biāo)設(shè)置實(shí)驗(yàn)，開始使用夸張的表述，或者不再盡力避免不嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)推斷。

與此同時(shí)，在大量同質(zhì)化論文面前，論文審稿人別無選擇，只能接受有強(qiáng)大定量結(jié)果的論文。實(shí)際上，即便論文這次被拒了，他們也不能保證下次能注意到其中的缺陷，所以接受有缺陷的論文反而成了一件好事。

4.2成長(zhǎng)的痛苦

自2012年來，深度學(xué)習(xí)大獲成功，人們對(duì)學(xué)界的追捧也日益熱烈，因此ML社區(qū)迅速擴(kuò)張。雖然我們認(rèn)為社區(qū)擴(kuò)大是好事，但它也會(huì)產(chǎn)生副作用。

為了保護(hù)初級(jí)作者，這篇文章內(nèi)我們以引用自己的論文和引用大機(jī)構(gòu)的論文為主，但我們不說不代表不存在，上述問題在他們的論文中更常見。一些初級(jí)作者會(huì)因?yàn)椴磺宄g(shù)語(yǔ)的定義而擅自把它重新定義一遍，當(dāng)然，經(jīng)驗(yàn)豐富的研究人員身上也有這種毛病。

對(duì)于論文審閱，也許提高論文-審稿人比例可以改善這種情況，但問題還是存在的。經(jīng)驗(yàn)不足的審稿人更關(guān)注論文的新穎性，他們往往會(huì)被虛假定理蒙蔽雙眼；經(jīng)驗(yàn)豐富的審稿人往往承擔(dān)更多工作，他們會(huì)相對(duì)保守，更喜歡有很多數(shù)學(xué)公式的論文，會(huì)忽視創(chuàng)新型研究；而剩下的大批過度工作的審稿人連審稿的時(shí)間都不夠，他們注意不到論文的諸多問題。

4.3激勵(lì)措施的錯(cuò)位

審稿人不是唯一一群給論文作者提供不良激勵(lì)的人，隨著ML研究越來越受媒體關(guān)注，ML創(chuàng)業(yè)公司變得司空見慣，在某種程度上，新聞（報(bào)道什么）和投資者（投資什么）才是激勵(lì)的主體。媒體引導(dǎo)著ML研究趨勢(shì)，而ML算法中的擬人化表述則為話題的流行提供源源不斷的素材。以[55]為例，它把自動(dòng)編碼器描述為“模擬大腦”，這種暗示放在新聞?lì)^條上是聳人聽聞的；又如[52]，它把用深度學(xué)習(xí)給圖像生成描述寫成“模仿人類理解水平”。

投資者也對(duì)人工智能研究表現(xiàn)出了強(qiáng)烈興趣，有時(shí)他們甚至?xí)驗(yàn)橐黄撐木徒o創(chuàng)業(yè)公司提供資金。我們（ZL）也曾和投資者有過合作，媒體報(bào)道了哪家初創(chuàng)公司的成果，他們就投資哪家，這種動(dòng)態(tài)的財(cái)務(wù)激勵(lì)和媒體關(guān)注是捆綁的。我們注意到，最近投資界對(duì)聊天機(jī)器人的興趣濃厚，而這是和媒體大肆報(bào)道對(duì)話系統(tǒng)、強(qiáng)化學(xué)習(xí)同時(shí)出現(xiàn)的。

5 建議

面對(duì)這些趨勢(shì)，我們又該如何應(yīng)對(duì)？我們要怎么做才能讓社區(qū)提高實(shí)驗(yàn)實(shí)踐、闡述和理論的水平？我們要怎么做才能更容易地提煉社區(qū)的知識(shí)，并消除廣大公眾對(duì)研究的誤解？（不干了，開偷懶大招了）

5.1對(duì)作者的建議

多問“為什么”和“怎么做”，而不僅僅是“效果有多好”。在實(shí)證論文中多用錯(cuò)誤分析、消解研究和穩(wěn)健性檢查（例如仔細(xì)調(diào)參、選擇理想的數(shù)據(jù)集），多看多讀多引用。

不要強(qiáng)行為了用特定算法而找出它對(duì)研究課題的進(jìn)步貢獻(xiàn)。即便沒有新算法，你也可以在課題上產(chǎn)生一些新見解，比如通過隨機(jī)梯度下降訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以擬合隨機(jī)分配的標(biāo)簽。

在寫論文時(shí)，你要問自己：我提出的這個(gè)系統(tǒng)，我自己是不是很認(rèn)可，會(huì)不會(huì)在實(shí)踐中使用？這可以模擬審稿人看到這篇文章時(shí)的想法，還能檢測(cè)這個(gè)系統(tǒng)是不是真的符合你心目中的智能模型。

明確哪些問題是開放的，那些問題已經(jīng)被解決了，要清晰地了解研究現(xiàn)狀。

5.2對(duì)出版商和審稿人的建議

問自己：如果這個(gè)作者的成果做得更差一點(diǎn)，我還會(huì)接受這篇論文嗎？比如有兩篇文章得出的結(jié)論差不多，但第一篇用一個(gè)簡(jiǎn)單的想法就實(shí)現(xiàn)了改進(jìn)，而且給出了兩個(gè)否定結(jié)果，第二篇結(jié)合三種想法實(shí)現(xiàn)了相同的改進(jìn)（沒有消解），那就應(yīng)該選第一篇。

進(jìn)行回顧性調(diào)查，要求刪去夸張的主張和無關(guān)材料，把擬人表述改成明確的術(shù)語(yǔ)和符號(hào)。

呼吁批判性論文，挑戰(zhàn)傳統(tǒng)思維。

同行評(píng)審體系有待進(jìn)一步討論：公開評(píng)審還是匿名評(píng)審？審稿人如何代表大多數(shù)研究人員的價(jià)值觀？這些改進(jìn)會(huì)對(duì)上述弊端的改善帶來什么后果？

后面還有一些零散內(nèi)容，此處不再翻譯。綜合全文，這些問題確實(shí)是許多論文中常見的問題，小編在啃論文時(shí)，也會(huì)被濫用的術(shù)語(yǔ)、行李箱詞折磨地抓狂，最后可能誤讀，繼而誤導(dǎo)更多讀者。而誤讀的又怎么會(huì)只有小編一人？

如果大家耐心讀到了這里，希望這篇文章能讓我們吸取教訓(xùn)，無論是初學(xué)者、研究人員還是新聞媒體，我們都希望見證機(jī)器學(xué)習(xí)領(lǐng)域的健康發(fā)展，而不想讓夸夸其談毀掉前輩用嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度留給我們的基業(yè)。