今天，機(jī)器學(xué)習(xí)頂會(huì)ICML 2019提交論文的評(píng)審結(jié)果出爐，可謂是幾家歡喜幾家愁。但網(wǎng)友們將更多關(guān)注點(diǎn)聚焦在評(píng)審機(jī)制和評(píng)審內(nèi)容上，對(duì)ICML的評(píng)審結(jié)果狠狠的嘲諷了一番。

ICML 2019評(píng)審結(jié)果來(lái)了！

今天，機(jī)器學(xué)習(xí)頂會(huì)ICML的論壇可謂是炸了鍋了——提交論文的作者們陸續(xù)收到了評(píng)審結(jié)果，可謂是幾家歡喜幾家愁。

根據(jù)網(wǎng)友提供的郵件截圖，ICML官方描述如下：

現(xiàn)在，您可以查看ICML 2019提交的論文評(píng)審結(jié)果了。我們已經(jīng)盡力保證每篇論文至少有3條評(píng)審結(jié)果，但是有一部分論文的評(píng)審結(jié)果可能少于3條。有一小部分論文可能會(huì)在未來(lái)一兩天內(nèi)陸續(xù)收到額外的評(píng)審，請(qǐng)?jiān)诮酉聛?lái)的兩天內(nèi)查看更新情況。

但是很多作者們看到評(píng)審結(jié)果后，不禁跑到論壇上開(kāi)始吐槽。Twitter網(wǎng)友Brandon Amos表示：

我ICML評(píng)審結(jié)果里的其中一條評(píng)論真的非常諷刺。審稿人用了幾句極其錯(cuò)誤的句子拒絕了我的論文，說(shuō)我定義了|.|運(yùn)算符僅用于設(shè)置基數(shù)，但在另一處用于絕對(duì)值。

而后網(wǎng)友Shuyu Lin跟帖表示：

ICML評(píng)審質(zhì)量令人放心：一位自稱對(duì)自己高度自信的評(píng)論者不知道如何計(jì)算自動(dòng)編碼器的重構(gòu)錯(cuò)誤......一個(gè)前途光明的社區(qū)。

實(shí)力嘲諷？

當(dāng)然，這種“熱鬧”話題怎么少得了Reddit用戶。

網(wǎng)友MoreDonuts回復(fù)說(shuō)：

我的論文有4個(gè)強(qiáng)烈接受(strong accept)，評(píng)論者自稱是“高度自信”，并且被推薦諾貝爾物理學(xué)獎(jiǎng)、計(jì)算機(jī)科學(xué)獎(jiǎng)和和平獎(jiǎng)。你認(rèn)為它有機(jī)會(huì)進(jìn)入嗎？

不。你至少需要一個(gè)“拒絕”。

該死，看來(lái)我該開(kāi)始為NeurIPS修改論文了。

真可謂是滿滿的諷刺，足足的戲。

ICML 2019如何評(píng)審論文？

為何評(píng)審結(jié)果一出，便遭到了眾網(wǎng)友的諷刺？我們先來(lái)看下ICML 2019的論文評(píng)審機(jī)制：

雙盲評(píng)審

ICML 2019論文評(píng)議采用雙盲模式; 即審稿人不知道作者的身份，作者也不知道審稿人身份。請(qǐng)盡可能以第三人稱的方式引用自己之前的成果，請(qǐng)不要在提交的論文中添加致謝、以及公共github存儲(chǔ)庫(kù)鏈接。如果需要匿名引用，比如參考自己在其他地方正在評(píng)議中的成果，請(qǐng)將此成果作為補(bǔ)充材料上傳。匿名是強(qiáng)制性要求，明確或隱含地揭示作者身份的論文可能會(huì)被拒稿。審稿人可以通過(guò)外部資源來(lái)推斷出作者的身份，比如在網(wǎng)上發(fā)布的技術(shù)報(bào)告。這一點(diǎn)并不違反雙盲審稿政策。

關(guān)于補(bǔ)充材料

本屆ICML大會(huì)支持提交兩種補(bǔ)充材料 - 補(bǔ)充論文和代碼/數(shù)據(jù)，這些補(bǔ)充內(nèi)容可用于提供額外證據(jù)支持。如果作者在論文中進(jìn)行匿名引用，請(qǐng)務(wù)必上傳參考文獻(xiàn)，以便審稿人可以快速查看。請(qǐng)注意不要在補(bǔ)充材料中透露作者的身份。

關(guān)于代碼提交，我們希望作者能夠合理地以匿名形式提交代碼和所在機(jī)構(gòu)。即刪除作者姓名和許可信息。ICML 2019允許通過(guò)匿名github存儲(chǔ)庫(kù)提交代碼。但是，這些代碼必須位于在提交截止日期后不可修改的目錄中。請(qǐng)?jiān)谔峤坏膠ip文件中的獨(dú)立文本文件中輸入github鏈接。

請(qǐng)注意，提交的論文必須完全獨(dú)立。大會(huì)提倡審稿人查看作者提交的補(bǔ)充材料，但審稿人并沒(méi)有此義務(wù)，我們也不希望給審稿人帶來(lái)不必要的負(fù)擔(dān)。作者不得利用輔助材料來(lái)延長(zhǎng)論文長(zhǎng)度。如果作者認(rèn)為該材料對(duì)評(píng)估論文至關(guān)重要，則需要將其包含在論文中。補(bǔ)充材料可以zip文件或pdf格式提交。

補(bǔ)充材料不公布、不存檔。如果要將其包含在論文的最終版本中，則必須將材料放在網(wǎng)站上，并在論文的最終版本中引用該網(wǎng)站。

審稿人匹配

為了找到適合作者提交論文的合適審稿人，我們將使用多倫多論文匹配系統(tǒng)（Toronto Paper Matching System）來(lái)進(jìn)行協(xié)助篩選。

作為提交過(guò)程的一部分，作者需要允許使用“論文匹配服務(wù)”的許可，向ICML2019提交論文的作者應(yīng)允許使用該服務(wù)。

關(guān)于一稿多投

提交與之前已發(fā)布或已接受的相同（或基本相似）的論文，或向其他會(huì)議同時(shí)提交相同論文是不合適的。此種行為違反了我們的一稿多投政策。

這個(gè)規(guī)則有幾個(gè)例外：

允許提交已提交給期刊、但尚未在該期刊上發(fā)表的論文的精簡(jiǎn)版本。

作者有責(zé)任確保相關(guān)期刊允許向本會(huì)議同時(shí)提交相關(guān)論文。

下列情況下的論文允許提交：在未列入Proceeding的情況下，在會(huì)議或研討會(huì)上提交或待提交的論文（例如ICML或NeurIPS研討會(huì)），僅發(fā)表過(guò)摘要部分的論文。

曾作為技術(shù)報(bào)告提交的論文（或在arXiv中已提交的預(yù)印本）允許向本屆ICML提交。在這種情況下，我們建議作者不要引用該報(bào)告，以保持匿名性。

論文作者對(duì)審稿意見(jiàn)的回復(fù)

目前暫定3月9日到3月14日期間，作者可以查看評(píng)議意見(jiàn)，并發(fā)表回復(fù)內(nèi)容。

作者的回復(fù)的目的是改變審稿人對(duì)論文的判斷，回復(fù)內(nèi)容最長(zhǎng)不超過(guò)5000個(gè)字符。論文的任何一位作者都可以輸入/編輯作者回復(fù)，回復(fù)內(nèi)容可以進(jìn)行編輯或還原，直到截止日期為止。

論文審稿是雙盲的。請(qǐng)勿在回復(fù)中包含可識(shí)別出作者/共同作者的任何信息。請(qǐng)勿在回復(fù)中包含任何網(wǎng)址。

作者在擬定回復(fù)內(nèi)容時(shí)應(yīng)該做好判斷。沒(méi)有必要對(duì)每個(gè)小問(wèn)題或改進(jìn)建議逐一回復(fù)。而應(yīng)該將這些回復(fù)視作解決問(wèn)題的好機(jī)會(huì)，比如針對(duì)審稿人對(duì)論文的某一點(diǎn)不確定、審稿人做出的錯(cuò)誤假設(shè)、或者審稿人誤解了論文中的某一部分等問(wèn)題進(jìn)行解釋。我們建議在作者回復(fù)意見(jiàn)中保持禮貌和專業(yè)。

ICML 2018：接收率25%，兩篇最佳論文回顧

機(jī)器學(xué)習(xí)頂會(huì)ICML 2018于7月10日~15日在瑞典首都斯德哥爾摩舉辦，2018年ICML共收到2473篇投稿論文，比2017年的1676篇增加了47.6%。最終入選的論文一共621篇，接收率25%。

ICML 2018最佳論文獎(jiǎng)有兩篇獲獎(jiǎng)?wù)撐模谝黄淖髡叻謩e是來(lái)自 MIT 的 Anish Athalye 以及來(lái)自UC Berkely 的 Nicholas Carlini 和 David Wagner，另一篇的作者則全部來(lái)自UC Berkely。

最佳論文一：

Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

Anish Athalye (MIT), Nicholas Carlini (UCB), David Wagner(UCB)

論文地址：https://arxiv.org/pdf/1802.00420.pdf

GitHub：github.com/anishathalye/obfuscated-gradients

基于神經(jīng)網(wǎng)絡(luò)的分類器通常被用于圖像分類，它們的水平通常接近人類。但是，這些相似的神經(jīng)網(wǎng)絡(luò)特別容易受到對(duì)抗樣本和細(xì)微的干擾輸入的影響。下圖是一個(gè)典型的對(duì)抗樣本，對(duì)原圖增加一些肉眼看不見(jiàn)的擾動(dòng)后，InceptionV3分類器把貓分類成了鱷梨醬。根據(jù)Szegedy等人2013年的研究顯示，這種“愚蠢的圖像”僅用梯度下降法就能合成，這類發(fā)現(xiàn)為物體檢測(cè)研究敲響了警鐘。

在這篇論文中，作者評(píng)估了ICLR 2018接受的9篇論文，并測(cè)試了它們面對(duì)對(duì)抗樣本的穩(wěn)健性。實(shí)驗(yàn)結(jié)果證實(shí)，在8篇有關(guān)對(duì)抗樣本的防御機(jī)制的論文中，有7篇的防御機(jī)制都抵擋不住論文提出的新型攻擊技術(shù)，防御水平有限。

最佳論文二：

Delayed Impact of Fair Machine Learning

Lydia Liu, Sarah Dean, Esther Rolf, Max Simchowitz, Moritz Hardt (全員UCB)

論文地址：https://arxiv.org/pdf/1803.04383

博客：bair.berkeley.edu/blog/2018/05/17/delayed-impact/

機(jī)器學(xué)習(xí)的基礎(chǔ)理念之一是用訓(xùn)練減少誤差，但這類系統(tǒng)通常會(huì)因?yàn)槊舾刑卣鳎ㄈ绶N族和性別）產(chǎn)生歧視行為。其中的一個(gè)原因可能是數(shù)據(jù)中存在偏見(jiàn)，比如在貸款、招聘、刑事司法和廣告等應(yīng)用領(lǐng)域中，機(jī)器學(xué)習(xí)系統(tǒng)會(huì)因?yàn)閷W(xué)習(xí)了存在于數(shù)據(jù)中的歷史偏見(jiàn)，對(duì)現(xiàn)實(shí)中的弱勢(shì)群體造成傷害，因而受到批評(píng)。

那么，你對(duì)于今年的評(píng)審結(jié)果，還算滿意嗎？