近日，一個(gè)來(lái)自麻省理工學(xué)院（MIT）的團(tuán)隊(duì)公開(kāi)了他們的研究成果。該文章指出，對(duì)抗樣本(Adversarial Sample)導(dǎo)致圖像識(shí)別（Image Classification）失效的現(xiàn)象，或許只是人類的一種“自以為是”。識(shí)別模型捕捉的，其實(shí)是那些不能被人眼察覺(jué)的“非穩(wěn)健特征”（Non-robust Feature）。如果只是基于這些像素層面的特征，模型對(duì)對(duì)抗樣本的識(shí)別就不能被認(rèn)為是失敗的。

幾乎所有圖像識(shí)別算法都存在一個(gè)弱點(diǎn)——對(duì)抗樣本問(wèn)題。對(duì)抗樣本是指在一張自然圖片中，對(duì)少部分像素點(diǎn)的數(shù)值進(jìn)行修改,即使修改不足以被人眼察覺(jué)，但識(shí)別算法卻做出完全錯(cuò)誤的判斷，比如把小狗識(shí)別成鴕鳥(niǎo)。這可能成為致命的安全漏洞，比如讓自動(dòng)駕駛的汽車偏離車道，或者讓監(jiān)控探頭無(wú)法發(fā)現(xiàn)罪犯的身影。《給 T 恤印上一個(gè)圖案，就能在監(jiān)控下實(shí)現(xiàn)“隱身”？》

圖|左為自然圖片，識(shí)別為“小狗”。右為刻意修改后的對(duì)抗樣本，識(shí)別為“鴕鳥(niǎo)”。（來(lái)源：Christian Szegedy/Google Inc.）

目前許多研究機(jī)構(gòu)（如谷歌公司、麻省理工學(xué)院和騰訊科恩實(shí)驗(yàn)室）都在嘗試解決對(duì)抗樣本問(wèn)題。其中主要的難題存在于三個(gè)方面，首先是視覺(jué)世界的復(fù)雜性，比如一張圖片中通常存在上百萬(wàn)個(gè)像素點(diǎn)。其次，我們并沒(méi)有徹底地理解卷積神經(jīng)網(wǎng)絡(luò)模型（CNN）實(shí)現(xiàn)圖像識(shí)別的機(jī)制。此外，科學(xué)家不知道識(shí)別模型失效的原因是訓(xùn)練方式的問(wèn)題還是訓(xùn)練數(shù)據(jù)量不夠大？

麻省理工學(xué)院的科研團(tuán)隊(duì)發(fā)現(xiàn)，目前常用的識(shí)別模型其實(shí)是通過(guò)關(guān)注圖片中，人眼無(wú)法察覺(jué)的細(xì)節(jié)來(lái)實(shí)現(xiàn)圖像識(shí)別。就如同人類會(huì)對(duì)比耳朵的不同，而將狗和貓的照片區(qū)分出來(lái)一樣。但是AI模型卻是在像素的層面進(jìn)行區(qū)分。

論文的第一作者，麻省理工學(xué)院在讀博士生 Andrew Ilyas 說(shuō)道：“對(duì)于那些像素層面的特征，它們最大的特點(diǎn)就是不會(huì)被人眼察覺(jué)?！?/p>

想要弄明白 AI 到底是依據(jù)什么特征來(lái)識(shí)別圖像并不容易。Andrew Ilyas等人首先定義了一整套理論框架。他們把圖片中的特征分成兩類：“穩(wěn)健特征”(Robust Features)，指即使做了像素層面的修改也不會(huì)影響識(shí)別結(jié)果的特征（如耳朵、胡須），和 “非穩(wěn)健特征”(Non-robust Features)，即會(huì)被像素修改而影響的特征（通常無(wú)法被人類識(shí)別）。

其次，他們又定義了兩種訓(xùn)練模型的方法，“標(biāo)準(zhǔn)訓(xùn)練”（Standard Training）和“穩(wěn)健訓(xùn)練”（Robust Training）。穩(wěn)健訓(xùn)練的損失方程額外考慮了對(duì)抗樣本的存在，使得模型在訓(xùn)練中可以強(qiáng)化對(duì)穩(wěn)健特征識(shí)別。

圖|標(biāo)準(zhǔn)訓(xùn)練和穩(wěn)健訓(xùn)練的損失方程。穩(wěn)健訓(xùn)練中劃線的部分表示修改原始數(shù)據(jù)，使之成為對(duì)抗樣本。（來(lái)源：Andrew Ilyas/MIT）

他們假設(shè)穩(wěn)健特征和非穩(wěn)健特征同時(shí)存在。并且使用和生成對(duì)抗網(wǎng)絡(luò)（GAN）相似的方法，將原始的訓(xùn)練數(shù)據(jù)集（D）中的圖片進(jìn)行重新加工，生成了兩個(gè)新的數(shù)據(jù)集：將非穩(wěn)健特征洗刷掉、只含穩(wěn)健特征的 D_R，和在人類看來(lái)錯(cuò)誤標(biāo)注、但非穩(wěn)健特征符合其標(biāo)注的 D_NR。

圖|左：原始訓(xùn)練數(shù)據(jù) D，只含穩(wěn)健特征的 D_R，和失去特征一致性的 D_NR。右：三種數(shù)據(jù)集在不同訓(xùn)練方式下的準(zhǔn)確率。（來(lái)源：Andrew Ilyas/MIT）

研究人員指出，由于只有穩(wěn)健特征，D_R 所含的信息量少于原始數(shù)據(jù) D。實(shí)驗(yàn)發(fā)現(xiàn)，再以 D_R 為基礎(chǔ)，以標(biāo)準(zhǔn)訓(xùn)練的方法得到的識(shí)別模型，同樣可以抵御對(duì)抗樣本。以此證明像素層面的修改（人眼無(wú)法分辨），并不影響圖片中的穩(wěn)健特征。

另一方面，研究人員對(duì)訓(xùn)練數(shù)據(jù)（D）進(jìn)行像素層面的修改，并且不斷優(yōu)化，讓標(biāo)準(zhǔn)模型盡可能地把圖片識(shí)別成另一個(gè)類型。比如，穩(wěn)健特征（人眼觀察）是“狗”，而非穩(wěn)健特征和標(biāo)注（模型認(rèn)為）則是“貓”。

研究人員將經(jīng)過(guò)修改的圖片集計(jì)作 D_NR，并找來(lái)一張訓(xùn)練數(shù)據(jù)之外的自然中“貓”圖片進(jìn)行測(cè)試。識(shí)別器成功把這張外來(lái)的圖片也識(shí)別成了“貓”。說(shuō)明這張自然的“貓”，和 D_NR 中的“貓”具有可以被模型識(shí)別的相同屬性，而這個(gè)屬性就是我們看不到的“非穩(wěn)健特征”。

圖|圖中右側(cè)“狗”的圖像，和下方“貓”的圖像，都被識(shí)別成了“貓”，他們有相同的非穩(wěn)健特征。（來(lái)源：Andrew Ilyas/MIT）

通過(guò)實(shí)驗(yàn)，Andrew Ilyas 和他的團(tuán)隊(duì)確定：穩(wěn)健特征和非穩(wěn)健特征都存在于圖片之中，并且一般的識(shí)別模型只會(huì)通過(guò)非穩(wěn)健特征進(jìn)行圖像識(shí)別，而非穩(wěn)健特征不能被人眼察覺(jué)。所以，對(duì)抗樣本本身并不是圖像識(shí)別的漏洞，只是另外一種無(wú)法被我們看到的特征而已。

“這并不是模型本身有什么問(wèn)題，只是那些真正決定識(shí)別結(jié)果的東西并不能被看到。”該論文第二作者、麻省理工學(xué)院在讀博士生 Shibane Santurkar 補(bǔ)充道：“如果我們只知道算法的決策取決于一些我們看不見(jiàn)的東西，那我們又怎么能理所當(dāng)然地以為它做的決定就是正確的？”如果一個(gè)人需要在法庭上證明監(jiān)控視頻中的人不是自己就會(huì)非常麻煩，因?yàn)槲覀儾恢辣O(jiān)控識(shí)別的錯(cuò)誤結(jié)果是怎么得來(lái)的 。

科學(xué)家始終需要面對(duì)一個(gè)抉擇，模型究竟是應(yīng)該做出“準(zhǔn)確”的決定，還是應(yīng)該做出“人類”的決定？如果模型只是識(shí)別穩(wěn)健特征，它或許就不會(huì)那么準(zhǔn)確。然而如果決策機(jī)制偏向不能被看到的非穩(wěn)健特征，那么對(duì)抗樣本就會(huì)成為潛在的漏洞。如今，圖像識(shí)別技術(shù)已廣泛應(yīng)用在日常生活中，我們需要在這兩個(gè)選擇之間找到某種平衡。