ICML 2019的錄取結果昨天已經(jīng)出爐，許多投稿者在Twitter發(fā)表“中了”的消息，新智元摘選了幾篇不錯的ICML中獎論文，包括Ian Goodfellow等人的論文，一起來先睹為快吧！

昨天，ICML 2019的論文入選結果已經(jīng)出爐，你的論文中了嗎？

來自Reddit的討論貼

盡管完整錄取列表尚未公開，不過已經(jīng)有許多投稿者在Twitter發(fā)表“中了”的消息。

下面，新智元摘選了幾篇不錯的ICML中獎論文，一起來先睹為快吧。

5篇ICML 2019論文推薦

首先介紹來自加州大學圣地亞哥分校Yao Qin、Garrison Cottrell和前谷歌大腦Ian Goodfellow等人的論文，在這篇論文中，研究人員提出了語音識別的對抗樣本。

1、Imperceptible, Robust, and Targeted Adversarial Examples for Automatic Speech Recognition

https://arxiv.org/abs/1903.10346

作者：Yao Qin, Nicholas Carlini, Ian Goodfellow, Garrison Cottrell, Colin Raffel

對抗樣本(adversarial examples)是一種專門設計的輸入，其目的是使機器學習模型產(chǎn)生錯誤的輸出。

對抗樣本在圖像領域已經(jīng)得到了廣泛的研究。在圖像領域中，可以通過對圖像進行細微的修改來產(chǎn)生對抗樣本，從而導致分類錯誤，這在物理世界中具有實用價值。

但是，目前應用于語音識別系統(tǒng)的有針對性的對抗樣本卻缺乏這兩種特性：人類可以很容易地識別對抗性干擾，并在通過揚聲器播放時它們并不生效。

本研究在這兩個方面都取得了進展。首先，我們利用聽覺掩碼(auditory masking)的心理聲學原理，在人類聽不到的音頻區(qū)域添加對抗擾動，開發(fā)出有效的、不易察覺的音頻對抗樣本(通過人類研究得到驗證)，同時對任意完整的句子保持100%的針對性成功率。

接下來，我們通過構造在應用于真實的模擬環(huán)境扭曲后仍然有效的擾動，從而在物理世界的無線音頻對抗樣本方面取得了進展。

2、TensorFuzz: Debugging Neural Networks with Coverage-Guided Fuzzing

https://arxiv.org/abs/1807.10875

作者：Augustus Odena, Ian Goodfellow

眾所周知，由于各種原因，機器學習模型難以調試（debug）或解釋。這造成了最近機器學習的 “可重復性危機”（reproducibility crisis）—— 對難以調試的技術做出可靠的實驗結論是很棘手的。

神經(jīng)網(wǎng)絡又特別難以 debug，因為即使是相對直接的關于神經(jīng)網(wǎng)絡的形式問題，解決的計算成本也很高，而且神經(jīng)網(wǎng)絡的軟件實現(xiàn)可能與理論模型有很大的差異。

在這項工作中，我們利用傳統(tǒng)軟件工程中的一種技術 —— 覆蓋引導模糊測試（coverage guided fuzzing，CGF），并將其應用于神經(jīng)網(wǎng)絡的測試。

具體來說，這項工作有以下貢獻：

我們對神經(jīng)網(wǎng)絡引入了 CGF 的概念，并描述了如何用快速近似最近鄰算法（ fast approximate nearest neighbors algorithms）以通用的方式檢查覆蓋率。

我們開源了一個名為 TensorFuzz 的 CGF 軟件庫。

我們使用 TensorFuzz 在已訓練的神經(jīng)網(wǎng)絡中查找數(shù)值問題，在神經(jīng)網(wǎng)絡及其量化版本之間查找分歧，以及在字符級語言模型中查找不良行為。

圖：fuzzing 主循環(huán)的簡略描述。左：模糊測試程序圖，表示數(shù)據(jù)的 flow。右：用算法的形式描述了模糊測試過程的主循環(huán)。

相關閱讀:

谷歌大腦開源 TensorFuzz，自動 Debug 神經(jīng)網(wǎng)絡！

接下來介紹的論文來自羅格斯大學Han Zhang和Dimitris Metaxas，以及谷歌大腦的 Ian Goodfellow 和 Augustus Odena，在這篇論文中，他們提出“自注意力生成對抗網(wǎng)絡”（SAGAN），將自注意力機制（self-attention mechanism）引入到卷積 GAN 中，作為卷積的補充，取得了最優(yōu)的結果。

3、Self-Attention Generative Adversarial Networks

arxiv.org/abs/1805.08318

作者：Han Zhang, Ian Goodfellow, Dimitris Metaxas, Augustus Odena

在這篇論文中，我們提出自注意力生成對抗網(wǎng)絡（ Self-Attention Generative Adversarial Network ，SAGAN）。SAGAN 允許對圖像生成任務進行注意力驅動、長相關性的建模。傳統(tǒng)的卷積 GAN 生成的高分辨率細節(jié)僅作為在低分辨率特征圖上的空間局部點的函數(shù)。在 SAGAN 中，可以使用來自所有特征位置的線索來生成細節(jié)。此外，鑒別器可以檢查圖像的遠端部分的高度詳細的特征彼此一致。此外，最近的研究表明，生成器條件會影響 GAN 的性能。

利用這些發(fā)現(xiàn)，我們將譜歸一化到 GAN 生成器中，并發(fā)現(xiàn)這改進了訓練動態(tài)。我們提出的 SAGAN 達到了最優(yōu)的結果，將 Inception score 從當前最高的 36.8 提高到 52.52，并且在具有挑戰(zhàn)性的 ImageNet 數(shù)據(jù)集上將 Frechet Inception distance 從 27.62 降低到 18.65。注意力層的可視化表明，生成器利用與對象形狀相對應的鄰域，而不是固定形狀的局部區(qū)域。

相關閱讀：

Ian Goodfellow 等提出自注意力 GAN，ImageNet 圖像合成獲最優(yōu)結果！

接下來推薦的論文來自東京大學的Kenta Oono和Taiji Suzuki，這篇論文有41頁，對于會議論文來說確實有點長。

4、Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks

arxiv.org/abs/1903.10047

作者：Kenta Oono, Taiji Suzuki

卷積神經(jīng)網(wǎng)絡(CNNs)在多個函數(shù)類中均能達到最優(yōu)逼近和估計誤差率(在minimax意義上)。然而，由于包括Holder類在內的重要函數(shù)類的稀疏約束，以往分析的最優(yōu)CNN的范圍過于廣泛，難以通過優(yōu)化獲得。

我們證明了一個ResNet類型的CNN可以在更合理的情況下在這些類別中獲得minimax最優(yōu)錯誤率——它可以是密集的，它的寬度、通道大小和過濾器大小相對于樣本大小是恒定的。

其核心思想是，只要神經(jīng)網(wǎng)絡具有 extit{block-sparse}結構，我們就可以通過定制的CNN來復制全連接神經(jīng)網(wǎng)絡(FNN)的學習能力。從某種意義上說，我們的理論是通用的，我們可以自動地將block-sparse FNN所實現(xiàn)的任何近似率轉換成CNN的近似率。作為應用，我們使用相同策略推導出針對Barron類和H?lder類的CNN的近似誤差和估計誤差。

5、Imitation Learning from Imperfect Demonstration

https://arxiv.org/abs/1901.09387

作者：Yueh-Hua Wu, Nontawat Charoenphakdee, Han Bao, Voot Tangkaratt, Masashi Sugiyama

模仿學習(Imitation learning, IL)的目的是通過演示學習最優(yōu)策略。然而，由于收集最優(yōu)示例的成本很高，因此此類演示通常并不完美。為了有效地從不完美的演示中學習，我們提出了一種新的方法，利用置信評分(confidence scores)來描述演示的質量。更具體地說，我們提出了兩種基于confidence的IL方法，即兩步的重要性加權IL (2IWIL)和具有不完美演示和置信度的生成對抗性IL (IC-GAIL)。我們證明了，僅給出一小部分次優(yōu)演示的置信度得分在理論上和經(jīng)驗上都顯著提高了 IL 的性能。

更多ICML 2019錄取論文

1、Heterogeneous Model Reuse via Optimizing Multiparty Multiclass Margin

作者：吳西竹，周志華，柳松

2、Importance Sampling Policy Evaluation with an Estimated Behavior Policy

arxiv.org/abs/1806.01347

作者：Josiah Hanna, Scott Niekum, Peter Stone

3、Extrapolating Beyond Suboptimal Demonstrations via Inverse Reinforcement Learning from Observations

arxiv.org/abs/1904.06387

作者：Daniel S. Brown, Wonjoon Goo, Prabhat Nagarajan, Scott Niekum

4、Global Convergence of Block Coordinate Descent in Deep Learning

arxiv.org/abs/1803.00225

作者：Jinshan Zeng, Tim Tsz-Kit Lau, Shaobo Lin, Yuan Yao

5、Learn-to-Grow for addressing Catastrophic Forgetting in Continual Machine Learning

https://arxiv.org/abs/1904.00310

作者：Xilai Li, Yingbo Zhou, Tianfu Wu, Richard Socher, Caiming Xiong

6、Imitating Latent Policies from Observation

https://arxiv.org/abs/1805.07914

Ashley D. Edwards,Himanshu Sahni,Yannick Schroecker,Charles L. Isbell

7、Using Pre-Training Can Improve Model Robustness and Uncertainty

arxiv.org/abs/1901.09960

作者：Dan Hendrycks, Kimin Lee, Mantas Mazeika

8、Hyperbolic Disk Embeddings for Directed Acyclic Graphs

arxiv.org/abs/1902.04335

作者：Ryota Suzuki, Ryusuke Takahama, Shun Onoda

9、Finding Options that Minimize Planning Time

arxiv.org/abs/1810.07311

作者：Yuu Jinnai, David Abel, D Ellis Hershkowitz, Michael Littman, George Konidaris

10、Discovering Options for Exploration by Minimizing Cover Time

https://arxiv.org/abs/1903.00606

作者：Yuu Jinnai, Jee Won Park, David Abel, George Konidaris