同行評審的優勢
同行評審是由一個或多個與文章(當然也可能是代碼等其他情況)的撰寫者具有相似能力的人(同行)對文章進行的評價。它作為相關領域內合格專業人士的一種自我監管形式發揮作用。同行評審方法用于維持質量標準、提高性能和提供可信度。在學術界,學術同行評審通常用于確定學術論文是否適合發表。在技術公司,同行評審通過作為過程文檔是否適合基線歸檔發布的前置條件。
長期以來,同行評審是學術出版和文檔基線不可或缺的一環,也是受到科技界高度認可的一種文化和最佳實踐。有調查顯示,絕大多數人(85%)同意 “同行評審極大地幫助科技交流”,甚至更多人(約90%)表示他們自己最近寫的文章通過同行評審得到了改進。但事情真的都是這樣嗎?
同行評審在期刊評審中的缺陷
隨著科學競爭日漸激烈、需要審核的文章數量暴增,傳統同行評審在科技界也暴露了很多的問題。在傳統的期刊同行評審過程中,審稿人對除期刊編輯以外的任何人保持匿名,而作者姓名從一開始就被公開。也就是說,作者是不知道自己文章的評審意見是被誰提的。但是審稿人都知道作者是誰。大家發現問題沒有?這里面存在審稿人打黑槍的機會。所以近些年,對它的爭議越來越明顯,基本上分為以下幾種爭議:
-
同行評審會出現對創新思想感知層面對同質化趨勢。也就是說,傳統想法的審稿人往往會給創新的文章或者觀點打低分,而創新想法的審稿人往往會給創新文章或者觀點打高分。但情況基本上都是前者居多。大部分評審者都不會垂青爭議性很大的文章。很多重大會議的投稿接受率很低,有些甚至不到10%,而往往是這樣,很多標新立異的文章和觀點因為同行評審而被事先淘汰掉了。
-
審稿人往往無法做到對文章和觀點的完全仔細地審核,更不要說投入和撰稿人一樣的精力了。這種狀況往往導致對很多文章理解表面化,提出的評審意見也多隨意性。甚至,很多時候,審稿人的專業性還遠遠低于撰稿人的水平。
-
很多審稿人的評論非常刻薄。一項基于同行評審意見庫的研究發現,通常認為審稿人評論的本應該是數據、論證、研究方法等等,對事不對人,然而殘酷的現實情況是審稿人對撰稿人個人能力的批評占到了評審意見的24.5%。近乎人身攻擊的批評在同行評審里并不少見。辛辛苦苦寫出的文章和做出的研究工作收到這樣的侮辱性評價,撰稿人感覺 “泄氣、被貶低和惱怒” 也是顯而易見的。一項研究調查了來自46個國家和14個學科的1106名科學家。超過一半的受訪者報告說至少收到了一次 “不專業” 的評論,其中大多數人表示他們收到了多條類似問題的評論。從結果上看,這些刻薄評論會傷害到科技人員的產出,尤其是更容易自我懷疑的弱勢群體。
-
同行評議速度慢、效率低下。有調查發現,科研人員對同行評審最不滿的地方是評審周期太長。有67%受訪者如果能在30日內接收到評審意見,會表示滿意,但如果延至3個月至6個月時,這個滿意比例會驟減到10%。
-
撰稿人的妥協。在科技競爭日漸激烈的今天,如果一篇文章被拒被迫轉投其他期刊,不僅僅是延遲發表的事兒,而很可能因為過了保鮮期,必須放棄投稿。所以,一般而言,文章作者都會屈從大多數評審人的意見,而不管自己是否認可這些意見。結果往往一篇觀點鮮明的文章,經過同行評審卻被改得面目全非,補充一堆不是很重要的信息和數據,讓文章變得繁瑣冗長。
那么同行評審有改進空間嗎?當然有,這里有兩種改進方向:一項改進是雙盲評審(Double-blinding),增加神秘感,撰稿人和審稿人雙方都不知道對方是誰。還有一項改進是開放同行評審(Open Peer Review),也就是增加同行評審的流程透明度。下面我們就分別說說這兩項改進。
雙盲同行評審
雙盲同行評審意味著作者和審稿人的身份都被隱藏起來。考慮到開黑槍的情況,所以假設如果審稿人不知道作者的身份,將防止審稿人形成任何偏見和利益沖突。理論上,雙盲法可以更公平地評估研究文章內容和質量。
雙盲法是在藥物科學實驗做對照比較時的標準程序。受試者不清楚自己到底服用的到底是潛在的藥物,還是安慰劑。評估者同樣不知道。這樣做法會將實驗偏差降到最低。
自 2015 年 3 月起,《自然》雜志為作者添加了選擇是否愿意保持匿名的選項。盡管這一改進同行評審的步驟應該受到贊揚,但該過程是可選的這一事實可以說與目的背道而馳。它可能會導致知名度高的研究人員保留他們的姓名和隸屬關系,而審稿人可能會認為所有匿名手稿都來自不知名或低調的研究人員。
另外,審稿人如果是圈內人,也很容易根據作者的論文描述和參考文獻找到線索推導出作者可能是誰。這就形成了一種虛假安全的陷阱。當審稿人根據論文內容推斷出作者時,雙盲程序變成了單盲審查,這種黑槍打出來,審稿人還可以不知道作者是誰來加以推脫。這種情況下,防止偏見的保障消失了,雙盲過程的虛假安全成了一個陷阱,它反而鼓勵了本應防止的偏見。
開放同行評審
德國海德堡大學的岡瑟·艾森巴赫 ( Gunther Eysenbach ) 在1999年創建了一個網絡醫學和電子健康研究單位,并牽頭組織了世界醫學互聯網大會。他也同時搞了一個可以開放獲取的醫學互聯網研究雜志《Journal of Medical Internet Research》(簡稱JMIR),在這個期刊雜志中,他改革了同行評審的策略。從一開始就決定在每篇發表文章的底部公布審稿人姓名。這一做法,立即得到了《英國醫學雜志》的響應,他們也轉向開放式同行評審,向作者而非讀者公開審稿人的身份。
2014年,由世界上期刊文章產量最大的出版商“多學科數字出版研究所”MDPI (Multidisciplinary Digital Publishing Institute)出版的《生命》(Life)雜志,提供了一種開放的同行評審系統。在該系統下,同行評審報告和作者的回復作為每篇文章最終版本的組成部分發表。
總結下來,開放同行評審基本用到了三種策略和手段:
-
公開身份:作者和審稿人知道彼此的身份。揭開審稿人的神秘面紗,讓作者知道評審人是誰。
-
公開評審報告:評審報告與相關文章一起發布(而不是保密),如果想人身攻擊作者,或者隨便寫評審意見的話,審稿人也要掂量掂量。黑槍會公示天下。
-
開放參與:更廣泛的社區(而不僅僅是受邀的審閱者)能夠為審閱過程做出貢獻。這種方式可能會得到更多的專業意見,也會挖掘掃地僧之類的審稿高人。當然,這種方式假設的前提是作者要同意這篇文章在發表前已經公示天下,對外公開了。不過這個開放參與,還有一個審稿人的篩選機制,也就是有限的對外公開。想做審稿人的話,必須先撰寫自己的簡歷和過往同行評審經驗經歷,以及自己的專業領域擅長及其證明等等,然后達到可以作為審稿人的水準的前提下,才能看到文章。
總體而言,公開審稿人身份,會讓評審流程透明化,審稿人比他們在之前匿名狀態評審時“更認真、誠實和更富建設性”,同時讓作者知道到底哪些人對他文章的觀點保持敵意或者持反對意見。
開放同行評審的唯一顯著負面影響是“增加了審稿人拒絕審稿的可能性”。一項對2010至2017年5種期刊上公開發布的同行評議意見的研究發現,只有8.1%的審稿人愿意在公開的評審報告上署上自己的姓名。當然評審意見發表也可以做到隱秘審稿人身份,或者多個審稿人評審意見進行整合,和文章一并發表。這些能做到某種程度的平衡。
2022年10月份,eLife發布了一種新的發布機制。所有經過同行評審的文章和評審意見一起作為 “已評審預印本” (Reviewed Preprint)在eLife的網站上發布。而雜志社不再根據同行評審意見做出接受或者拒絕文章發表的決議。最后,甚至包括作者對這些評審意見的回應,也作為發表的一部分。也就是說,作者才是發表還是不發表的,接受和不接受評審意見是否進行修訂的最終決定人。從 2023 年 1 月 31 日起,所有向 eLife 提交研究論文的作者都將遵循這一新流程。這個流程大致如下:
1.提交
作者提交論文后,會得到論文是否會被邀請進行下一步同行評審的回復。
2. 同行評審
論文將接受該領域專家的咨詢審查,并收取出版費。然后,作者將收到 eLife 評估、公開評論和審稿人關于如何改進論文的機密建議。
3. 出版
作者的論文作為已評審預印本連同 eLife 評估和公眾評論一起發布在 eLife 的網站上。然后它是可引用的。eLife 評估反映了研究結果的重要性以及預印本中報告的證據強度。作者還可以繼續對評估和評論給予回應。
4.作者修改
作者可以決定是否進行進一步修訂,以及是否以及何時重新提交。如果作者修改,eLife將發布一份新的已評審預印本 ,其中包含更新的評論和評估。
5.記錄版本
在同行評審之后的任何時候,作者都可以選擇將評審預印本作為“記錄版本”發布。在作者校對并符合期刊政策后,eLife 會將作者的論文發送到 PubMed (PubMed是一個免費的搜索引擎,主要訪問生命科學和生物醫學主題的參考資料和摘要的MEDLINE 數據庫。)上進行索引。
寫在最后eLife的這種做法是否會成為一種新的期刊同行評審的新的規則呢?這個需要拭目以待。一個規則如果做得好,大家都會去擁抱它。但開放同行評審,由于評審記錄是公開發表的文字,所以可能會引發審稿人更為斟字酌句,無形中也會拉長評審的時間。
還有一種觀點認為,同行評審不是期刊問題的根結,最大的問題是以期刊為中心的學術出版制度:很多期刊被學術界看得過重,導致投稿過于集中,對所謂 “頂刊” 的崇拜越來越厲害。為了提高在“頂刊“上被接納評審通過的概率,投稿人也會鉆空子,他們會故意迎合期刊歷史上審稿人的觀點,而不去寫大膽創新的文章,這就不是簡單同行評審的改革本身能解決得了的了。
原文標題:河套IT TALK 27:同行評審的歷史與未來
文章出處:【微信公眾號:開源技術服務中心】歡迎添加關注!文章轉載請注明出處。
-
開源技術
+關注
關注
0文章
389瀏覽量
7992 -
OpenHarmony
+關注
關注
25文章
3747瀏覽量
16588
原文標題:河套IT TALK 27:同行評審的歷史與未來
文章出處:【微信號:開源技術服務中心,微信公眾號:共熵服務中心】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論