Reddit上掀起機(jī)器學(xué)習(xí)論文也要實(shí)行“預(yù)注冊”的大討論

近日，關(guān)于“預(yù)注冊”（Pre-registered）的研究方式在Reddit論壇上引發(fā)了熱烈討論?！邦A(yù)注冊”是先向期刊提交理論研究和實(shí)驗(yàn)設(shè)計(jì)方案，在評審并接受后，再展開進(jìn)一步工作的一種方式。Reddit用戶呼吁在機(jī)器學(xué)習(xí)領(lǐng)域中也采用這種方式，引發(fā)了網(wǎng)友們的熱議。

所謂“預(yù)注冊”研究，通俗點(diǎn)說就是，在實(shí)際著手開始研究之前，先將研究假設(shè)和實(shí)驗(yàn)設(shè)計(jì)方案等前期重要信息，向欲投稿的學(xué)術(shù)期刊進(jìn)行事先注冊，由期刊先行組織專家進(jìn)行同行評議。

如果評議通過，則期刊一般原則性承諾同意發(fā)表。然后再進(jìn)入正式研究和論文撰寫、投稿等后續(xù)環(huán)節(jié)。

顯然，這一方式與現(xiàn)行的研究和論文發(fā)表流程有很大不同。

英國卡迪夫大學(xué)的研究人員特別對“預(yù)注冊”制度及其影響做了首次分析研究。

研究結(jié)果表明，采用這種模式，最終產(chǎn)生無效結(jié)果（即研究結(jié)果無法證明假設(shè)）的情形會大大增高，尤其是在心理學(xué)領(lǐng)域。這表明“預(yù)注冊”制度對一些“削足適履”的假結(jié)果起到了明顯的過濾作用。

傳統(tǒng)研究流程中，研究人員為了獲得“優(yōu)質(zhì)結(jié)果”，易產(chǎn)生發(fā)表偏見、p值作弊、可重復(fù)性低的嚴(yán)重問題

于是，Reddit上今天也掀起機(jī)器學(xué)習(xí)論文也要實(shí)行“預(yù)注冊”的大討論。

預(yù)注冊有多好？能夠避免“發(fā)表偏見”

研究人員指出，在傳統(tǒng)的提出假設(shè)——設(shè)計(jì)實(shí)驗(yàn)——驗(yàn)證結(jié)果——投稿發(fā)表的研究流程中，研究人員容易為獲得正面結(jié)果而產(chǎn)生“發(fā)表偏見”，可能會對不利于證明研究假設(shè)的結(jié)論有意隱瞞，甚至對數(shù)據(jù)進(jìn)行篡改等造假作弊手段。

他們認(rèn)為，在進(jìn)行研究之前記錄下研究假設(shè)和實(shí)驗(yàn)方案，確實(shí)可以取得預(yù)期的結(jié)果，能夠減少為獲得正面結(jié)果而產(chǎn)生的“發(fā)表偏見”。

日前，《Nature》網(wǎng)站也撰文稱，“預(yù)注冊”制度確實(shí)可以起到預(yù)期的“去偽存真”的作用，提高科學(xué)研究的可信度和可重復(fù)性。

在開始收集數(shù)據(jù)之前，先將研究方案進(jìn)行登記和記錄，可能會改變研究結(jié)果。圖片來源：Ariana Lindquist / Bloomberg / Getty

文中提到，沒有獲得正面結(jié)果的研究往往被歸檔，從此不見天日，這會導(dǎo)致為獲取正面結(jié)果而產(chǎn)生的“發(fā)表偏見”，損害科學(xué)文獻(xiàn)的可信度。

現(xiàn)有分析表明，在進(jìn)行研究之前，對研究方案進(jìn)行登記和同行評議，可以改善這個問題，并有助于糾正為獲取正面結(jié)果而產(chǎn)生的發(fā)表偏見問題。

來自英國卡迪夫大學(xué)的研究人員稱，他們的這一研究是對“預(yù)注冊”研究方式是否有效的第一次分析。結(jié)果發(fā)現(xiàn)，事先將研究方案進(jìn)行登記的研究更有可能報告無效的結(jié)果。該分析于10月17日發(fā)表在PsyArXiv資源庫上。

預(yù)注冊去偽存真：真的能提高研究結(jié)果質(zhì)量

在“預(yù)注冊”制度下，研究人員需要在研究開始前就向相應(yīng)期刊提交研究方案。如果研究方案通過了同行評議，該期刊會暫時承諾在研究完成時將論文發(fā)表，無論研究結(jié)果如何。

這種做法在過去幾年中已經(jīng)開始在科學(xué)界出現(xiàn)，這一制度起源于美國法律強(qiáng)制要求的臨床試驗(yàn)中的“預(yù)登記”制度。目前約有140種期刊使用這種方式，有130份進(jìn)行預(yù)注冊的研究報告，其最終研究結(jié)果已經(jīng)發(fā)表。

“預(yù)注冊”制度的支持者希望，該方式能夠打擊那些可疑的研究活動，比如先看結(jié)果，或根本不報告負(fù)面結(jié)果，然后再回頭提出研究假設(shè)。

為了考察“預(yù)注冊”方式是否會增加研究報告無效結(jié)果的頻率，心理學(xué)家Chris Allen和David Mehler分析了生物醫(yī)學(xué)和心理學(xué)中113份預(yù)登記報告的結(jié)果。

在這些研究中，他們考察了296個彼此獨(dú)立的研究假設(shè)，結(jié)果發(fā)現(xiàn)，總體而言，這些研究后來發(fā)表的結(jié)果中，有61%不支持最初的假設(shè)。對于考察可重復(fù)性研究的驗(yàn)證研究，這個數(shù)字比例要更高一些，為66％，對于原始研究，這一比例為55％。

來源：PsyArXiv，https://psyarxiv.com/3czyt(2018）。

這些數(shù)字遠(yuǎn)遠(yuǎn)高于一般科學(xué)文獻(xiàn)中提出的無效結(jié)果的比例，以前的研究表明，研究人員估計(jì)該比例在5％到20％之間。

預(yù)注冊報告的數(shù)量呈指數(shù)級增長，但研究的代表性還有待提升

不過，荷蘭埃因霍溫科技大學(xué)的心理學(xué)研究人員Anne Scheel表示，這項(xiàng)研究可能仍然低估了無效研究結(jié)果的真實(shí)比例。

據(jù)其他研究估計(jì)，在心理學(xué)中測試中的假設(shè)實(shí)際上為假的比例可能高達(dá)90％，Scheel說。這表明當(dāng)前科學(xué)文獻(xiàn)中的實(shí)際上的無效結(jié)果“與我們期望中不存在任何發(fā)表偏見的情況”大不相同。

她表示，這一分析是探索性的，而且研究結(jié)果也可以有其他解釋。

比如Scheel說，由于采用“預(yù)注冊”可以或多或少地保證論文發(fā)表，人們可能會策略性地使用這種制度，提出一些預(yù)期可能無法通過驗(yàn)證的研究假設(shè)。

她補(bǔ)充說，“預(yù)注冊”制度誕生不久，有可能迄今為止發(fā)表的研究并不能更廣泛地代表心理學(xué)領(lǐng)域的情況。 “目前還有很多未知因素，”Scheel說。 “但對于科學(xué)家來說，這也是一個非常激動人心的時刻。”

目前，預(yù)注冊報告的數(shù)量正呈指數(shù)級增長，Allen現(xiàn)在希望能夠進(jìn)行樣本量更大的另一項(xiàng)研究，以便回答之前研究提出的一些問題，而且計(jì)劃將這項(xiàng)研究也進(jìn)行“預(yù)注冊”。

Reddit呼吁ML中采用“預(yù)注冊”：無效結(jié)果會比其他領(lǐng)域有用得多

Reddit上便有位用戶拋出了一個討論：

若是能在機(jī)器學(xué)習(xí)領(lǐng)域中召開預(yù)登記實(shí)驗(yàn)的會議/期刊就好了。你只要提交理論部分的論文以及實(shí)驗(yàn)的設(shè)計(jì)，然后讓評審們進(jìn)行評估，若是他們覺得OK，你再繼續(xù)做實(shí)驗(yàn)。而且，無論實(shí)驗(yàn)結(jié)果如何，這篇論文都算是被接受了。

此貼一出，便得到了眾多網(wǎng)友的圍觀與評論，網(wǎng)友Flag_Red評論到：

目前很多機(jī)器學(xué)習(xí)的研究都屬于工程學(xué)，我覺得在這種情況下，無效結(jié)果會比其他領(lǐng)域有用得多。我認(rèn)為這主要?dú)w結(jié)于機(jī)器學(xué)習(xí)在工程方面要比理論方面超前很多。

在其他領(lǐng)域中，他們會說：“這是我的假設(shè)”，然后再對其進(jìn)行測試。若結(jié)果無效，仍然是一件非常有意思的事情，“我的假設(shè)”本應(yīng)該有效，卻不知什么原因變得無效了。

然而，在機(jī)器學(xué)習(xí)中，幾乎沒有人在測試假設(shè)之前就說，“我認(rèn)為這將會因?yàn)槟衬吃蚨鹱饔谩?。許多的發(fā)現(xiàn)都是來自簡單的實(shí)驗(yàn)。

如果我們能在ML學(xué)術(shù)界培養(yǎng)一種更傳統(tǒng)的科學(xué)文化，那么發(fā)表無效結(jié)果論文數(shù)的增加，也未嘗不是一件好事。但就目前的狀況而言，我認(rèn)為并不會有多大幫助。

另一位網(wǎng)友表示：

這可能為時過早。無效結(jié)果在物理學(xué)領(lǐng)域中非常有用，并且具有完善的理論框架。

現(xiàn)在大多數(shù)的深度學(xué)習(xí)是由研究生根據(jù)直覺和實(shí)證結(jié)果結(jié)合在一起的。 無效結(jié)果可能是一個很好的啟發(fā)式方法，但如果沒有一個堅(jiān)實(shí)的理論框架，這個假設(shè)期刊中的信噪比會非常高。

當(dāng)然，這甚至還沒有解決大規(guī)模超參數(shù)搜索和隨機(jī)初始化的問題，我認(rèn)為這才是真正的問題。你的方法失敗是因?yàn)槟愕脑几拍畈唤∪?，還是因?yàn)槟銦o法找到超參數(shù)和/或隨機(jī)初始化的正確組合呢?

那么對于在機(jī)器學(xué)習(xí)領(lǐng)域也采用“預(yù)注冊”制度，你怎么看呢？