近日，關(guān)于“預(yù)注冊(cè)”（Pre-registered）的研究方式在Reddit論壇上引發(fā)了熱烈討論。“預(yù)注冊(cè)”是先向期刊提交理論研究和實(shí)驗(yàn)設(shè)計(jì)方案，在評(píng)審并接受后，再展開進(jìn)一步工作的一種方式。Reddit用戶呼吁在機(jī)器學(xué)習(xí)領(lǐng)域中也采用這種方式，引發(fā)了網(wǎng)友們的熱議。

所謂“預(yù)注冊(cè)”研究，通俗點(diǎn)說(shuō)就是，在實(shí)際著手開始研究之前，先將研究假設(shè)和實(shí)驗(yàn)設(shè)計(jì)方案等前期重要信息，向欲投稿的學(xué)術(shù)期刊進(jìn)行事先注冊(cè)，由期刊先行組織專家進(jìn)行同行評(píng)議。

如果評(píng)議通過(guò)，則期刊一般原則性承諾同意發(fā)表。然后再進(jìn)入正式研究和論文撰寫、投稿等后續(xù)環(huán)節(jié)。

顯然，這一方式與現(xiàn)行的研究和論文發(fā)表流程有很大不同。

英國(guó)卡迪夫大學(xué)的研究人員特別對(duì)“預(yù)注冊(cè)”制度及其影響做了首次分析研究。

研究結(jié)果表明，采用這種模式，最終產(chǎn)生無(wú)效結(jié)果（即研究結(jié)果無(wú)法證明假設(shè)）的情形會(huì)大大增高，尤其是在心理學(xué)領(lǐng)域。這表明“預(yù)注冊(cè)”制度對(duì)一些“削足適履”的假結(jié)果起到了明顯的過(guò)濾作用。

傳統(tǒng)研究流程中，研究人員為了獲得“優(yōu)質(zhì)結(jié)果”，易產(chǎn)生發(fā)表偏見(jiàn)、p值作弊、可重復(fù)性低的嚴(yán)重問(wèn)題

于是，Reddit上今天也掀起機(jī)器學(xué)習(xí)論文也要實(shí)行“預(yù)注冊(cè)”的大討論。

預(yù)注冊(cè)有多好？能夠避免“發(fā)表偏見(jiàn)”

研究人員指出，在傳統(tǒng)的提出假設(shè)——設(shè)計(jì)實(shí)驗(yàn)——驗(yàn)證結(jié)果——投稿發(fā)表的研究流程中，研究人員容易為獲得正面結(jié)果而產(chǎn)生“發(fā)表偏見(jiàn)”，可能會(huì)對(duì)不利于證明研究假設(shè)的結(jié)論有意隱瞞，甚至對(duì)數(shù)據(jù)進(jìn)行篡改等造假作弊手段。

他們認(rèn)為，在進(jìn)行研究之前記錄下研究假設(shè)和實(shí)驗(yàn)方案，確實(shí)可以取得預(yù)期的結(jié)果，能夠減少為獲得正面結(jié)果而產(chǎn)生的“發(fā)表偏見(jiàn)”。

日前，《Nature》網(wǎng)站也撰文稱，“預(yù)注冊(cè)”制度確實(shí)可以起到預(yù)期的“去偽存真”的作用，提高科學(xué)研究的可信度和可重復(fù)性。

在開始收集數(shù)據(jù)之前，先將研究方案進(jìn)行登記和記錄，可能會(huì)改變研究結(jié)果。圖片來(lái)源：Ariana Lindquist / Bloomberg / Getty

文中提到，沒(méi)有獲得正面結(jié)果的研究往往被歸檔，從此不見(jiàn)天日，這會(huì)導(dǎo)致為獲取正面結(jié)果而產(chǎn)生的“發(fā)表偏見(jiàn)”，損害科學(xué)文獻(xiàn)的可信度。

現(xiàn)有分析表明，在進(jìn)行研究之前，對(duì)研究方案進(jìn)行登記和同行評(píng)議，可以改善這個(gè)問(wèn)題，并有助于糾正為獲取正面結(jié)果而產(chǎn)生的發(fā)表偏見(jiàn)問(wèn)題。

來(lái)自英國(guó)卡迪夫大學(xué)的研究人員稱，他們的這一研究是對(duì)“預(yù)注冊(cè)”研究方式是否有效的第一次分析。結(jié)果發(fā)現(xiàn)，事先將研究方案進(jìn)行登記的研究更有可能報(bào)告無(wú)效的結(jié)果。該分析于10月17日發(fā)表在PsyArXiv資源庫(kù)上。

預(yù)注冊(cè)去偽存真：真的能提高研究結(jié)果質(zhì)量

在“預(yù)注冊(cè)”制度下，研究人員需要在研究開始前就向相應(yīng)期刊提交研究方案。如果研究方案通過(guò)了同行評(píng)議，該期刊會(huì)暫時(shí)承諾在研究完成時(shí)將論文發(fā)表，無(wú)論研究結(jié)果如何。

這種做法在過(guò)去幾年中已經(jīng)開始在科學(xué)界出現(xiàn)，這一制度起源于美國(guó)法律強(qiáng)制要求的臨床試驗(yàn)中的“預(yù)登記”制度。目前約有140種期刊使用這種方式，有130份進(jìn)行預(yù)注冊(cè)的研究報(bào)告，其最終研究結(jié)果已經(jīng)發(fā)表。

“預(yù)注冊(cè)”制度的支持者希望，該方式能夠打擊那些可疑的研究活動(dòng)，比如先看結(jié)果，或根本不報(bào)告負(fù)面結(jié)果，然后再回頭提出研究假設(shè)。

為了考察“預(yù)注冊(cè)”方式是否會(huì)增加研究報(bào)告無(wú)效結(jié)果的頻率，心理學(xué)家Chris Allen和David Mehler分析了生物醫(yī)學(xué)和心理學(xué)中113份預(yù)登記報(bào)告的結(jié)果。

在這些研究中，他們考察了296個(gè)彼此獨(dú)立的研究假設(shè)，結(jié)果發(fā)現(xiàn)，總體而言，這些研究后來(lái)發(fā)表的結(jié)果中，有61%不支持最初的假設(shè)。對(duì)于考察可重復(fù)性研究的驗(yàn)證研究，這個(gè)數(shù)字比例要更高一些，為66％，對(duì)于原始研究，這一比例為55％。

來(lái)源：PsyArXiv，https://psyarxiv.com/3czyt(2018）。

這些數(shù)字遠(yuǎn)遠(yuǎn)高于一般科學(xué)文獻(xiàn)中提出的無(wú)效結(jié)果的比例，以前的研究表明，研究人員估計(jì)該比例在5％到20％之間。

預(yù)注冊(cè)報(bào)告的數(shù)量呈指數(shù)級(jí)增長(zhǎng)，但研究的代表性還有待提升

不過(guò)，荷蘭埃因霍溫科技大學(xué)的心理學(xué)研究人員Anne Scheel表示，這項(xiàng)研究可能仍然低估了無(wú)效研究結(jié)果的真實(shí)比例。

據(jù)其他研究估計(jì)，在心理學(xué)中測(cè)試中的假設(shè)實(shí)際上為假的比例可能高達(dá)90％，Scheel說(shuō)。這表明當(dāng)前科學(xué)文獻(xiàn)中的實(shí)際上的無(wú)效結(jié)果“與我們期望中不存在任何發(fā)表偏見(jiàn)的情況”大不相同。

她表示，這一分析是探索性的，而且研究結(jié)果也可以有其他解釋。

比如Scheel說(shuō)，由于采用“預(yù)注冊(cè)”可以或多或少地保證論文發(fā)表，人們可能會(huì)策略性地使用這種制度，提出一些預(yù)期可能無(wú)法通過(guò)驗(yàn)證的研究假設(shè)。

她補(bǔ)充說(shuō)，“預(yù)注冊(cè)”制度誕生不久，有可能迄今為止發(fā)表的研究并不能更廣泛地代表心理學(xué)領(lǐng)域的情況。 “目前還有很多未知因素，”Scheel說(shuō)。 “但對(duì)于科學(xué)家來(lái)說(shuō)，這也是一個(gè)非常激動(dòng)人心的時(shí)刻?！?/p>

目前，預(yù)注冊(cè)報(bào)告的數(shù)量正呈指數(shù)級(jí)增長(zhǎng)，Allen現(xiàn)在希望能夠進(jìn)行樣本量更大的另一項(xiàng)研究，以便回答之前研究提出的一些問(wèn)題，而且計(jì)劃將這項(xiàng)研究也進(jìn)行“預(yù)注冊(cè)”。

Reddit呼吁ML中采用“預(yù)注冊(cè)”：無(wú)效結(jié)果會(huì)比其他領(lǐng)域有用得多

Reddit上便有位用戶拋出了一個(gè)討論：

若是能在機(jī)器學(xué)習(xí)領(lǐng)域中召開預(yù)登記實(shí)驗(yàn)的會(huì)議/期刊就好了。你只要提交理論部分的論文以及實(shí)驗(yàn)的設(shè)計(jì)，然后讓評(píng)審們進(jìn)行評(píng)估，若是他們覺(jué)得OK，你再繼續(xù)做實(shí)驗(yàn)。而且，無(wú)論實(shí)驗(yàn)結(jié)果如何，這篇論文都算是被接受了。

此貼一出，便得到了眾多網(wǎng)友的圍觀與評(píng)論，網(wǎng)友Flag_Red評(píng)論到：

目前很多機(jī)器學(xué)習(xí)的研究都屬于工程學(xué)，我覺(jué)得在這種情況下，無(wú)效結(jié)果會(huì)比其他領(lǐng)域有用得多。我認(rèn)為這主要?dú)w結(jié)于機(jī)器學(xué)習(xí)在工程方面要比理論方面超前很多。

在其他領(lǐng)域中，他們會(huì)說(shuō)：“這是我的假設(shè)”，然后再對(duì)其進(jìn)行測(cè)試。若結(jié)果無(wú)效，仍然是一件非常有意思的事情，“我的假設(shè)”本應(yīng)該有效，卻不知什么原因變得無(wú)效了。

然而，在機(jī)器學(xué)習(xí)中，幾乎沒(méi)有人在測(cè)試假設(shè)之前就說(shuō)，“我認(rèn)為這將會(huì)因?yàn)槟衬吃蚨鹱饔谩?。許多的發(fā)現(xiàn)都是來(lái)自簡(jiǎn)單的實(shí)驗(yàn)。

如果我們能在ML學(xué)術(shù)界培養(yǎng)一種更傳統(tǒng)的科學(xué)文化，那么發(fā)表無(wú)效結(jié)果論文數(shù)的增加，也未嘗不是一件好事。但就目前的狀況而言，我認(rèn)為并不會(huì)有多大幫助。

另一位網(wǎng)友表示：

這可能為時(shí)過(guò)早。無(wú)效結(jié)果在物理學(xué)領(lǐng)域中非常有用，并且具有完善的理論框架。

現(xiàn)在大多數(shù)的深度學(xué)習(xí)是由研究生根據(jù)直覺(jué)和實(shí)證結(jié)果結(jié)合在一起的。 無(wú)效結(jié)果可能是一個(gè)很好的啟發(fā)式方法，但如果沒(méi)有一個(gè)堅(jiān)實(shí)的理論框架，這個(gè)假設(shè)期刊中的信噪比會(huì)非常高。

當(dāng)然，這甚至還沒(méi)有解決大規(guī)模超參數(shù)搜索和隨機(jī)初始化的問(wèn)題，我認(rèn)為這才是真正的問(wèn)題。你的方法失敗是因?yàn)槟愕脑几拍畈唤∪€是因?yàn)槟銦o(wú)法找到超參數(shù)和/或隨機(jī)初始化的正確組合呢?

那么對(duì)于在機(jī)器學(xué)習(xí)領(lǐng)域也采用“預(yù)注冊(cè)”制度，你怎么看呢？