一篇“4, 4, 3”的論文竟被錄取？這屆ICLR評審又出怪事。作者回復理直氣壯，領域主席似乎一手遮天，三位評審據理力爭，還有匿名“偵探”調查貢獻……作者有沒有違反雙盲評審，更重要的是，這篇論文有沒有錄取資格？一起來看。

感謝ICLR，不僅為我們帶來前沿深度學習研究成果，更為我們帶來茶余飯后無盡的談資——你猜對了，又有一出關于論文錄取的好戲在OpenReiew.net上演。

說真的，劇荒的時候，請登錄OpenReiew.net.

事情是這樣的，一篇評分為“4，4，3”的論文 (按理說處于絕對被拒的范疇，滿分是10分)，最終竟被AC一人之令決定錄取，圍觀群眾紛紛表示：

既如此，還要匿名評審干嘛？！

細看rebuttal更不得了，作者和評審你來我往，簡直不能更精彩：

(評審1讓作者補充引用兩篇現有論文，作者回復) 感謝評論，我們理解你的感受。……我們會在定稿中加上這兩條引用(不是評審1提到的那兩篇)。如果還剩有空間的話，我們會考慮加上你提到的那兩篇論文中的一篇。

(評審1指出作者關于某一計算的理解有誤，此前雙方已就這一點有好過幾輪爭辯，這一次評審1的回復類似“參考文獻[2]第69頁5.22節中的定理一可以證明這一點。有關該理論的證明可參見參考文獻[2]第98頁附錄C.3等等等等”，作者回復)麻煩請用你自己的話說明究竟是為什么。

其他還有：

“感謝評論，但很不幸的是，三位評審員都沒有理解或者忽略了我們這項工作的重點。”

“感謝你的詳細評論，但我們完全無法接受。”

Sigh…

是該佩服論文作者有話直說呢，還是該感嘆他們有勇無謀？

一名吃瓜群眾表示，自己一篇“7, 7, 5”的論文都被拒了 (雖然沒什么好奇怪的)，另一個人說，他還發現一篇“4，5，6”的論文也被錄取了。

不論如何，這屆ICLR真是叫人愈發看不懂了……

一篇評分“4, 4, 3”然而最終竟被錄取的論文

細說故事——哦，不，細說論文之前，我們先來看看這篇論文究竟寫了什么。

論文的題目是《使用幾何方法將目錄樹編碼到詞嵌入中》。

在這篇論文中，作者提出了一種新的方法，將樹狀結構的category信息隱式編碼到詞嵌入中，從而得到所謂的“超維球狀表示” (super-dimensional ball representation)，簡稱n-ball embedding。

該方法具有以下兩個標準：

category之間的從屬關系應隱式地表示為對應的n-balls之間的包含關系；

對category關系的樹結構進行精確編碼。也就是說，能量損失應該為零。

作者在論文中寫道，該研究的貢獻如下：

提出了一種構造/訓練n-balls的新幾何方法，將樹狀結構的范疇關系編碼為能量損失為零的n-balls之間的包含關系;

提出了一種新的相似度測量方法，既考慮了n-balls的位置，又考慮了n-balls的大小，與實驗中的余弦相似度相比更加精確；

基于Glove創造了一個新的n-ball embedding基準數據集，從WordNet 3.0中提取目錄樹，可免費訪問。

論文還開放了源代碼和數據集:

https://github.com/gnodisnait/nball4tree.git

https://github.com/gnodisnait/bp94nball.git

到這里為止似乎沒什么問題。公開代碼和數據集原本是很好的舉動，但這也為后面的口水戰埋下了伏筆。

一場意想不到的rebuttal大戰上演了。

三位審稿人“堅決拒絕”，領域主席說“可以錄取”

先來看三位評審員對論文的評價。

審稿人1

更新：注意!!! 此文包含與作者相關帳戶的Github和Google Drive鏈接（請參閱摘要）。我認為這是投稿規則不允許的，不符合標準。為此，我在具體審稿意見中給出“自動拒絕”的意見。

------------------------------------------------

本文提出了一種方法，用于調整category對象（如單詞）的現有向量嵌入，將其轉換為遵循層次結構的球嵌入。每個類別在高維空間中表示為歐幾里得標準球，其中心和半徑可以根據數據實現自適應。接下來，基于分層結構給出對每對球的包含和排除約束。這些約束是通過算法強加上去的。實證研究部分包括觀察表示與層次結構的一致性，并展示了一組單詞的最近臨域。

從積極的方面來說，本文解決了一個重要問題。具有一定可讀性和條理。在相關研究部分，可以增補一些代表性的研究，如本意見末的[3,4]。

該論文的主要關注點是文中提出方法的原創性。使用高維球對層次結構進行編碼，并將包含和排除編碼作為對這些球的約束，從建模角度來看，這是一個簡潔有力的想法。然而，這個方法并不新，在本意見末尾列出的[1和2的第5章]中已經構建了這種方法。

另一個主要問題是關于嵌入質量的評估。經驗評估不足以評估調整后嵌入的質量。相反，定量評估更關心的是嵌入是否與給定的層級結構相一致。特別是，文中并沒有足夠的定量證據表明，所提出的嵌入在語義捕捉或預測任務方面的有效性。

應當注意的是，一方面，在理論上是可以實現可行解決方案與層級的一致性的（參見例[1]）。3.2節的第一段似乎表述不清或存在錯誤。文末的索引[2]中給出了基于梯度的問題解決方案的正確表述。

最后，本文使用算法，而非用于構建嵌入的學習方法，使得該方法與ICLR會議的主題沒有直接關聯。

總之，綜上所述，我的意見是拒絕錄取。（本文在匿名化上做得很糟糕，更是應予拒稿的有力證據。）

[1] Mirzazadeh, F., Ravanbakhsh S., DingN., Schuurmans D., "Embeddinginference for structured multilabel prediction", NIPS 2015.

[2] Mirzazadeh, F."Solving AssociationProblems with Convex Co-embedding", PhD thesis, 2017. (Chapter 5)

[3] Vilnis, Luke, and Andrew McCallum."Word representations via gaussian embedding.", ICLR 2015.

[4] Vendrov, I., Kiros, R., Fidler, S.,Urtasun, R. "Order-embeddings of images and language." ICLR 2016.

評分：4 還可以，但不夠好，拒絕

信心：5 審稿人絕對肯定以上評估是正確的，并且非常熟悉相關文獻

審稿人2

評審意見：本文著重于調整預訓練詞嵌入，以便通過適當的n-ball封裝來解決上位詞/下位詞關系。本文建議通過來自Wordnet等資源，為詞嵌入增補信息，并使用3種幾何變換來強制執行該封裝。

這樣做的動機目前來看并不是很清楚，實驗結果主要是定性的主觀表述，稱通過調整可以預測和保持上位詞關系。由于這項工作依賴于Wordnet的資源，詞匯的覆蓋范圍非常有限，作者在“實驗3：方法2”一節中對結果進行討論時，不得不從標準語義相似性數據集中刪去許多單詞，給文中提出的方法的有用性蒙上了一層陰影。目前尚不清楚這種方法的主要貢獻是什么。

除此之外，該論文難以閱讀，并且文中某些部分（特別是與圖3有關的部分）在將簡單概念進行復雜化表述。

總的來說，我給出4分的評分，因為文中方法的適用范圍有限，因為該方法依賴于Wordnet，而且沒有足夠的經驗證據證明這種方法的有用性。

評分：4 還可以，但不夠好，拒絕

信心：4 審稿人有信心，但并不能絕對肯定以上評估的正確性。

審稿人3

評審意見：本文提出了用于分類數據的N-ball嵌入。N-ball是一對質心向量，距中心的半徑代表一個單詞。

主要評價：

本文的缺點是缺乏與其他重要研究的實驗比較。

最近提出的Poincare嵌入和Lorentz模型，在hypernymy嵌入中表現出良好的預測性能。

實際上，WordNet的概念是在DAG中構建的，最近對結構嵌入的研究可以處理DAG數據。目前尚不清楚如何通過擴展N-ball嵌入來處理DAT結構。

沒有充分描述相關工作。

目前尚不清楚為什么N-ball嵌入適用于分層結構。

評分：3 堅決拒絕

信心：4 審稿人有信心，但并不能絕對肯定以上評估的正確性

看完上述三位評審人的評價，再來看領域主席的決定。

AC：

審稿意見：作者提供了一種有趣的方法，可以將分層信息注入現有的單詞向量中。這可能有助于處理需要知識庫信息和文本共現計數的各種任務。

盡管審稿人指出了本文的一些缺點，但我認為這可能只是沒有將符號信息/集/邏輯/KB與神經網絡聯系起來造成的問題，因此我建議會議接收本文。

信心：4 AC確信本文可以接收，但不完全確定。

意見：接收

對此你有什么看法？

新智元引用Reddit一位用戶的評價：

Area chair decided he/she knows better.

深度學習研究者中的一股清流，還是泥石流？？？

具體的rebuttal在文章開始已經說過，這里就不一一描述了，總之絕對精彩，欲知詳情可點擊“閱讀原文”。

現在，由于錄取結果已定，論文的作者信息也已經公開，如此“直言不諱”的一作，究竟是何方神圣？

Tiansi Dong，波恩大學

論文的第一作者Tiansi Dong博士是德國波恩大學Bonn-Aachen信息技術國際中心(B-IT)人工智能基礎研究小組的成員，主要研究領域包括人工智能、深度學習和知識圖譜。

Tiansi Dong博士是一位高產的作者，2018年以來已在ICLR、AAAI、EMNLP、COLING等AI、NLP的重要會議上發表5篇論文。

Tiansi Dong的最近論文

該論文的其他幾位作者Olaf Cremers、Chrisitan Bauckhage、Armin B. Cremers、Daniel Speicher和Joerg Zimmermann，是Tiansi Dong在波恩大學的同事，另外兩位作者Hailong Jin和Juanzi Li則來自清華大學。

雙盲評審意外盲點：Github代碼庫貢獻用戶名“暴露”論文一作

當然，關于這篇論文的評審和錄取結果已經在Reddit引發了熱議。

除了“4, 4, 3”還能夠被錄取，Reddit上的爭論重點在于，論文作者公開代碼庫時，GitHub上傳貢獻者的用戶名“gnodisnait”，正是一作“Tiansi Dong”反過來寫的結果。

這算違背論文提交匿名機制了嗎？

Reddit用戶Visible_Layer評論說，

我覺得關鍵是作者給出了“非匿名”作者的代碼鏈接。把文章發到arxiv上沒問題，從文章里給出arxiv的鏈接就有問題了。

關鍵是，要確保“誠實”的審稿人通過論文及文中的鏈接資源無法獲知文章的作者。

Reddit用戶geraltofrivia783：

但是，從“誠實”的審稿人到“好奇”的審稿人之間，其實只隔了一個谷歌搜索而已。而審稿人是否使用谷歌搜索不應該對其給出評分產生影響。

不要誤會，我完全支持雙盲審稿。事實上，我最近向NAACL提交了一份意見書，我發現他們關于匿名化政策就很好。

? 他們說，如果你要將提交在arXiv上的論文重新投稿，則該文章在arXiv上的提交日期必須在NAACL摘要截止日期至少前一個月。我認為，這仍然留下了提交給NAACL論文和arXiv上論文作者存在差異的可能性。（ICLR可能也有類似的規定）

? 現在有很多匿名上傳代碼和數據的方法。這一點很有幫助，因為不用在匿名論文版本中添加 github/gdrive的鏈接了。

Visible_Layer：

所以說這篇文章才違反了匿名政策啊，畢竟有許多方法可以匿名上傳代碼和相關材料（幾乎不用費什么事！），而作者還是上傳到了自己的個人賬戶。

無論一項政策的“公平”程度如何，都是政策，而作者確實違反了政策。

說到這里，新智元相信你也已經看累了，就讓我們用Reddit用戶DeusExML的評論收尾吧。

看上去這個審稿流程簡直就是人際溝通技能的一場災難級展示！

一開始作者信誓旦旦地說Github資源庫是匿名的，結果就被人石錘了，原來這個“匿名”資源庫用的是作者自己的真名，之后作者是這么回復的：“你(匿名評論人)偵查工作的成果(指Github庫貢獻者用戶名)是幾個對本研究沒什么署名要求的人，可能是來自本校或合作院校的碩士生，主要是幫著收集數據。”

哈哈，你看露餡了吧。雖然你們干了活，但我們根本沒打算讓你們署名啊！