機(jī)器學(xué)習(xí)頂會(huì)ICML 2018將于7月10日在瑞典斯德哥爾摩舉辦，今年會(huì)議共收到2473篇投遞論文，比去年的1676篇提高47.6%，增幅顯著。最終入圍的論文一共621篇，接受率25%，和去年的26%基本持平。

今天，會(huì)議官網(wǎng)公布了2018年的“最佳論文獎(jiǎng)”和“最佳論文提名獎(jiǎng)”：

最佳論文獎(jiǎng)（Best Paper Awards）

Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

Anish Athalye (MIT), Nicholas Carlini (UCB), David Wagner(UCB)

Delayed Impact of Fair Machine Learning

Lydia Liu, Sarah Dean, Esther Rolf, Max Simchowitz, Moritz Hardt (全員UCB)

最佳論文提名獎(jiǎng)（Best Paper Runner Up Awards）

The Mechanics of n-Player Differentiable Games

David Balduzzi (DeepMind), Sebastien Racaniere (DeepMind), James Martens (DeepMind), Jakob Foerster (Oxford), Karl Tuyls (DeepMind), Thore Graepel (DeepMind)

Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices

Zengfeng Huang (復(fù)旦大學(xué))

Fairness Without Demographics in Repeated Loss Minimization

Tatsunori Hashimoto (Stanford), Megha Srivastava (Stanford), Hongseok Namkoong (Stanford), Percy Liang (Stanford)

其中，復(fù)旦大學(xué)的論文Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices十分引人注目，這篇斬獲“最佳提名獎(jiǎng)”的論文由大數(shù)據(jù)學(xué)院副教授黃增峰獨(dú)立完成，研究的是流模型（streaming model）中的協(xié)方差情況。文章提出了一種新型空間優(yōu)化算法，把流模型運(yùn)行時(shí)間縮短到極致。

下面是對(duì)兩篇最佳論文的編譯概述：

最佳論文：Obfuscated Gradients Give a False Sense of Security

GitHub：github.com/anishathalye/obfuscated-gradients

基于神經(jīng)網(wǎng)絡(luò)的分類器通常被用于圖像分類，它們的水平通常接近人類。但是，這些相似的神經(jīng)網(wǎng)絡(luò)特別容易受到對(duì)抗樣本和細(xì)微的干擾輸入的影響。下圖是一個(gè)典型的對(duì)抗樣本，對(duì)原圖增加一些肉眼看不見的擾動(dòng)后，InceptionV3分類器把貓分類成了鱷梨醬。根據(jù)Szegedy等人2013年的研究顯示，這種“愚蠢的圖像”僅用梯度下降法就能合成，這類發(fā)現(xiàn)為物體檢測(cè)研究敲響了警鐘。

在這篇論文中，作者評(píng)估了ICLR 2018接受的9篇論文，并測(cè)試了它們面對(duì)對(duì)抗樣本的穩(wěn)健性。實(shí)驗(yàn)結(jié)果證實(shí)，在8篇有關(guān)對(duì)抗樣本的防御機(jī)制的論文中，有7篇的防御機(jī)制都抵擋不住論文提出的新型攻擊技術(shù)，防御水平有限。

簡(jiǎn)介

雖然人們對(duì)對(duì)抗樣本已經(jīng)有了更多了解，甚至找到了抵御攻擊的方法，但卻還沒有一個(gè)徹底的解決方案能讓神經(jīng)網(wǎng)絡(luò)不受對(duì)抗樣本的干擾。據(jù)我們所知，目前發(fā)表的對(duì)抗樣本防御系統(tǒng)在強(qiáng)大的優(yōu)化攻擊面前同樣非常脆弱

經(jīng)過研究，我們認(rèn)為防御系統(tǒng)能在受到迭代攻擊時(shí)仍然保持較強(qiáng)的魯棒性的共同原因是“混淆梯度”（obfuscated gradients）的存在。沒有良好的梯度信號(hào)，基于優(yōu)化的方法就不能成功。我們定義了三種混淆梯度——破碎梯度（shattered gradients）、隨機(jī)梯度（stochastic gradients）以及消失/爆炸梯度（vanishing/exploding gradients），同時(shí)針對(duì)這三種現(xiàn)象分別提出了解決方案。

混淆梯度

上文中我們提到了防御機(jī)制造成混淆梯度的三種方式，接下來讓我們一一介紹各種情況。

破碎梯度（shattered gradients）是當(dāng)防御不可微分時(shí)產(chǎn)生的，它會(huì)引起數(shù)值不穩(wěn)定或者導(dǎo)致真正的梯度信號(hào)發(fā)生錯(cuò)誤。造成梯度破碎的防御措施往往是通過引入可微分的操作無意產(chǎn)生的，但實(shí)際上剃度并不指向最大化分類損失的方向。

隨機(jī)梯度（stochastic gradients）是由隨機(jī)防御引起的，其中要么網(wǎng)絡(luò)本身是隨機(jī)的，要么輸入的內(nèi)容是隨機(jī)的。多次評(píng)估梯度會(huì)得到不同的結(jié)果，這可能會(huì)產(chǎn)生單步方法（single-step methods）以及優(yōu)化方法，即利用單個(gè)隨機(jī)樣本錯(cuò)誤地估計(jì)真正的梯度方向，并且無法收斂到隨機(jī)分類器的最小值。

爆炸和消失梯度（Exploding & Vanishing gradients）通常是由多次迭代的神經(jīng)網(wǎng)絡(luò)評(píng)估構(gòu)成的防御造成的。因?yàn)檫@可以看作是一個(gè)非常深的神經(jīng)網(wǎng)絡(luò)評(píng)估，很容易看出為什么梯度會(huì)爆炸或消失。

找到混淆梯度（identifying obfuscated gradients）

在一些情況下，防御機(jī)制包含著不可微的操作，但是在其他情況下，可能不會(huì)立即找到。以下是幾種檢查混淆機(jī)制的幾種方法，也許不一定適用于每種情況，但是我們發(fā)現(xiàn)每個(gè)含有混淆梯度的防御機(jī)制都至少有一個(gè)無法通過的測(cè)試。

檢查迭代攻擊比單步方法更好。在白盒中應(yīng)用基于優(yōu)化的迭代攻擊應(yīng)明顯強(qiáng)于單步攻擊，并且表現(xiàn)得必須相當(dāng)好。如果單步方法的性能優(yōu)于多不方法，那么多步攻擊有可能陷入局部最小值的最優(yōu)搜索中。

證明白盒攻擊比黑盒效果好。黑盒威脅模型是白盒威脅模型的子集，所以百合設(shè)置中的攻擊應(yīng)該表現(xiàn)得更好。然而，如果防御正在混淆梯度，那么不需要梯度信號(hào)的黑盒通常比白盒攻擊的效果好。

確保攻擊達(dá)到100%的成功。如果對(duì)圖片無限進(jìn)行干擾，任何分類器應(yīng)該對(duì)對(duì)抗樣本有0%的魯棒性（只要分類器不是一個(gè)常數(shù)函數(shù)）。如果攻擊沒有達(dá)到100%的成功率，這表明防御機(jī)制正在以微妙的方式打敗攻擊，實(shí)際上可能不會(huì)增加魯棒性。

暴力隨機(jī)抽樣。識(shí)別混淆梯度的最后一個(gè)簡(jiǎn)單方法是在每張圖像的某個(gè)ε-球內(nèi)暴力搜索對(duì)抗樣本。如果用優(yōu)化方法進(jìn)行的隨機(jī)搜索沒有找到對(duì)抗樣本，防御很可能是混淆梯度。

攻擊混淆梯度的技術(shù)

既然已經(jīng)找到了混淆梯度，那么應(yīng)該用什么方法解除樣本的防御系統(tǒng)呢？通過基于優(yōu)化的方法產(chǎn)生對(duì)抗樣本的例子需要通過反向傳播獲取有用的梯度。因此，許多防御有意或無意地造成梯度下降，最終失敗。我們討論了一些技術(shù)，能解決混淆梯度的問題。

后向傳遞可微近似（Backward Pass Differentiable Approximation）：破碎的梯度可能是無意產(chǎn)生的（如數(shù)值不穩(wěn)定）或者有意產(chǎn)生的（使用不可微分的操作）。為了攻擊那些梯度不易獲得的防御，我們引入后向傳遞可微近似（BPDA）的技術(shù)。

對(duì)隨機(jī)性求導(dǎo)：使用隨機(jī)分類器之前對(duì)輸入使用隨機(jī)變換時(shí)會(huì)產(chǎn)生隨機(jī)梯度，當(dāng)對(duì)采用這些技術(shù)的防御系統(tǒng)進(jìn)行基于優(yōu)化的攻擊時(shí)，有必要估計(jì)隨機(jī)函數(shù)的梯度。

重新調(diào)整參數(shù)：針對(duì)梯度消失或爆炸，我們通過重新調(diào)整參數(shù)來解決。

案例研究：ICLR 2018中的防御機(jī)制

為了了解混淆梯度的影響，我們研究了ICLR 2018接收的論文中研究白盒威脅模型中魯棒性（穩(wěn)健性）的成果。我們發(fā)現(xiàn)除了一篇之外，其他論文中的防御機(jī)制都依賴于這一現(xiàn)象來保證對(duì)抗樣本的魯棒性，而且我們的技術(shù)可以使那些依賴于混淆梯度的技術(shù)失效。下表總結(jié)了實(shí)驗(yàn)結(jié)果：

雖然Madry等人的方法不會(huì)生成混淆梯度的三種情況。但是，我們發(fā)現(xiàn)了這種方法的兩個(gè)重要特征：

對(duì)抗性在訓(xùn)練在ImageNet上有困難；

只在l∞對(duì)抗樣本上進(jìn)行的訓(xùn)練只在其他干擾的度量下對(duì)對(duì)抗樣本提供有限的魯棒性。

除此之外，其他七篇論文或多或少地都依賴于混淆梯度。

最佳論文：Delayed Impact of Fair Machine Learning

機(jī)器學(xué)習(xí)的基礎(chǔ)理念之一是用訓(xùn)練減少誤差，但這類系統(tǒng)通常會(huì)因?yàn)槊舾刑卣鳎ㄈ绶N族和性別）產(chǎn)生歧視行為。其中的一個(gè)原因可能是數(shù)據(jù)中存在偏見，比如在貸款、招聘、刑事司法和廣告等應(yīng)用領(lǐng)域中，機(jī)器學(xué)習(xí)系統(tǒng)會(huì)因?yàn)閷W(xué)習(xí)了存在于數(shù)據(jù)中的歷史偏見，對(duì)現(xiàn)實(shí)中的弱勢(shì)群體造成傷害，因而受到批評(píng)。

在這篇論文中，我們探討了近期BAIR將機(jī)器學(xué)習(xí)系統(tǒng)決策和長(zhǎng)期社會(huì)福利目標(biāo)結(jié)合起來的工作。和銀行的信用評(píng)分系統(tǒng)類似，這些系統(tǒng)通常會(huì)生成一個(gè)統(tǒng)計(jì)個(gè)人信息的分?jǐn)?shù)，然后依據(jù)這個(gè)分?jǐn)?shù)對(duì)他們做出決策。我們提出了一種名為“結(jié)果曲線”的模型，它為系統(tǒng)的公平性提供了直觀的檢測(cè)手段，下面是以銀行貸款為例的說明。

如下圖所示，任何一批人在信用評(píng)分上都有特定分布。每個(gè)圓點(diǎn)代表一個(gè)客戶，深色的按時(shí)還貸，淺色的有違約記錄；信用分越高，客戶還貸幾率越高。

圖一 信用評(píng)分和還貸分布

通過定義一個(gè)閾值，信用評(píng)分可被用來執(zhí)行決策，比如銀行會(huì)為超過分?jǐn)?shù)閾值的客戶發(fā)放貸款，而拒絕低于閾值的客戶的貸款申請(qǐng)。這種決策規(guī)則被稱為閾值策略（threshold policy）。

從機(jī)器學(xué)習(xí)角度看，這個(gè)分值可以被看作是對(duì)客戶違約概率的編碼。例如，在信用評(píng)分為650的群體中，客戶愿意按時(shí)貸款的比例高達(dá)90%，銀行就能通過向這批人貸款來預(yù)測(cè)自己期望獲得的利潤(rùn)。同理，信用評(píng)分越高，銀行利率的預(yù)測(cè)越準(zhǔn)確，風(fēng)險(xiǎn)也越小。

圖二 貸款閾值和營(yíng)收結(jié)果

如果沒有其他考慮因素，銀行總是把利潤(rùn)最大化放在第一位的。就貸款來看，銀行的利潤(rùn)取決于它從按時(shí)還貸中得到的利息和在拖欠貸款中損失的金額之比。在上圖中，這個(gè)利息和損失的比率范圍是1到-4，由于客戶違約帶來的損失比客戶守約帶來的利息更高，銀行發(fā)放貸款會(huì)更謹(jǐn)慎，貸款閾值也更高。我們把這部分信用評(píng)分高于貸款閾值的客戶比例稱為選擇率（selection rate）。

結(jié)果曲線

貸款決策影響的不只是金融機(jī)構(gòu)，它對(duì)個(gè)人也有一定影響。如果借款人未能償還貸款，這類違約事件不僅降低了銀行利潤(rùn)，也惡化了借款人信用評(píng)分。相反地，如果借款人按時(shí)還貸，對(duì)人對(duì)己這是種雙贏的選擇。在我們的示例中，借款人信用評(píng)分的變化區(qū)間是-2到1，-2表示拖欠貸款，1表示已還貸。

閾值策略的結(jié)果，也就是客戶信用評(píng)分預(yù)期變化，可以被作為選擇率函數(shù)中的一個(gè)參數(shù)。我們把這個(gè)函數(shù)稱為結(jié)果曲線（outcome curve）。不同的選擇率會(huì)導(dǎo)致不同的結(jié)果，而這個(gè)結(jié)果不僅取決于客戶還款的可能性（閾值），也取決于銀行貸款決策的成本和收益（選擇率）。

圖三

上圖顯示的是典型人群的結(jié)果曲線。如果一批人中有足夠多的人獲得了銀行貸款，并且能按時(shí)還款，這批人的信用評(píng)分會(huì)增加，這是由銀行利潤(rùn)最大化驅(qū)動(dòng)的（實(shí)線黃色區(qū)域）。如果這時(shí)我們開始偏離利潤(rùn)最大化而向更多人發(fā)放貸款，這批人的平均信用評(píng)分會(huì)達(dá)到一個(gè)最高值，也就是曲線最高點(diǎn)，我們把這個(gè)點(diǎn)稱為利他最優(yōu)（altruistic optimum）（藍(lán)色區(qū)域）。

我們也可以調(diào)整選擇率，讓平均信用評(píng)分保持在低于最高值，但同樣可以獲得貸款的水平（虛線黃色區(qū)域）。因?yàn)榉謹(jǐn)?shù)確實(shí)是降低了，我們稱這里的選擇率正在導(dǎo)致相對(duì)危害（relative harm）。最后，如果太多借款人沒有能力還貸，這批人的信用評(píng)分會(huì)一起下降（紅色區(qū)域）。

圖四 貸款閾值和結(jié)果曲線

不同群體

那么這些給定的閾值策略是怎么影響到不同群體中的個(gè)人的呢？信用評(píng)分分布不同的兩組人會(huì)有不同的結(jié)果。

設(shè)存在兩個(gè)信用評(píng)分分布不同的小組，其中第一組人數(shù)少，我們可以認(rèn)為這個(gè)群體是一個(gè)歷史上處于弱勢(shì)地位的少數(shù)群體。我們把它表示為藍(lán)色，目標(biāo)是確保銀行貸款策略不會(huì)對(duì)它構(gòu)成歧視。

圖五 不同群體的貸款策略

可以看出，為了公平起見，銀行可以為這兩個(gè)小組劃分不同的貸款閾值，但這其實(shí)產(chǎn)生了另一種歧視，而且涉嫌違法。

剩下的方法是改進(jìn)藍(lán)色小組的信用評(píng)分分布。正如我們之前提到的，如果不加約束，銀行策略肯定會(huì)朝著利潤(rùn)最大化發(fā)展：計(jì)算一個(gè)盈虧持平的閾值，超過閾值發(fā)放貸款，低于閾值拒絕貸款。事實(shí)上，兩組的利潤(rùn)最大化閾值（信用評(píng)分580）是相同的。

公平標(biāo)準(zhǔn)

對(duì)于具有不同分布的小組，它們的結(jié)果曲線也不同。作為利潤(rùn)最大化的替代方案，我們可以考慮添加公平性約束（fairness constraints），使小組間的決策相對(duì)于某個(gè)目標(biāo)函數(shù)相等，從而保護(hù)弱勢(shì)群體。通過結(jié)果模型，我們現(xiàn)在可以具體回答這些公平性約束是否真的造成了實(shí)際上的積極影響。

圖六 用公平性約束模擬貸款決策

在貸款問題中，一個(gè)最常見的公平標(biāo)準(zhǔn)是人口平等（demographic parity）。它要求銀行以同樣的選擇率向兩個(gè)小組提供貸款。根據(jù)這一要求，銀行將盡可能地繼續(xù)實(shí)現(xiàn)利潤(rùn)最大化。另一個(gè)公平標(biāo)準(zhǔn)則是機(jī)會(huì)均等（equality of opportunity），即使兩個(gè)組的真實(shí)盈利率（true positive rates）相等，要求銀行依據(jù)每個(gè)組按時(shí)償還貸款的客戶比例分別制定選擇率。

盡管這些公平標(biāo)準(zhǔn)是考慮均衡靜態(tài)決策的一種自然方式，但他們經(jīng)常忽略這些策略對(duì)人口結(jié)果的未來影響。與最大利潤(rùn)相比，人口平等和機(jī)會(huì)均等都降低了銀行利率，同時(shí)也沒有真正改善藍(lán)色小組的弱勢(shì)地位。

利潤(rùn)最大化

人口平等

機(jī)會(huì)均等

如果采用公平標(biāo)準(zhǔn)的目標(biāo)是增加或平衡所有人群的長(zhǎng)期福祉，上述圖已經(jīng)表明，有時(shí)候公平標(biāo)準(zhǔn)實(shí)際上違背了這一目標(biāo)。換句話說，公平性限制也會(huì)減少已經(jīng)處于不利地位的人群的福利。構(gòu)建一個(gè)準(zhǔn)確的模型來預(yù)測(cè)決策對(duì)人口結(jié)果的影響可能有助于緩解應(yīng)用公平標(biāo)準(zhǔn)可能造成的未預(yù)料到的危害。