人工智能的快速發(fā)展的確值得欣喜，但快速發(fā)展的背后還有各種不完善的地方。比如，前不久麻省理工學(xué)院的一些學(xué)生，利用3D打印出來的烏龜，成功地讓谷歌的InceptionV3圖像分類器認(rèn)為其是一個(gè)步槍。烏龜=步槍？這個(gè)差距還是非常巨大的。如果正在行駛的無(wú)人汽車，把一個(gè)停車標(biāo)志看成了限速標(biāo)志呢？這將會(huì)帶來多大的危險(xiǎn)？

一輛自動(dòng)列車在軌道上飛速行駛，它的攝像頭不斷地掃描著各種信號(hào)，以預(yù)測(cè)它的行駛速度應(yīng)該有多快。它注意到了一個(gè)似乎需要提高速度的信號(hào)，然后照做了。幾秒鐘之后，火車險(xiǎn)些出軌。后來，當(dāng)一名人類調(diào)查員檢查出問題的標(biāo)志時(shí)，他們得到的是一種截然相反的信號(hào)——是放慢速度，而不是加快速度。

這是一種極端的比喻，但它表明了當(dāng)今機(jī)器學(xué)習(xí)面臨的最大挑戰(zhàn)之一。神經(jīng)網(wǎng)絡(luò)能做的只能和它們所接受的信息一樣好。這導(dǎo)致了一些引人注目的例子，說明基于錯(cuò)誤數(shù)據(jù)訓(xùn)練的人工智能是有偏見的。但這些技術(shù)也容易受到另一種被稱為“對(duì)抗性的例子”的弱點(diǎn)的影響。當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)將圖像識(shí)別為一件事物時(shí)，就會(huì)出現(xiàn)一個(gè)對(duì)抗性的例子——人類看到的是另外一種東西。

這一現(xiàn)象是在2013年發(fā)現(xiàn)的，當(dāng)時(shí)一群來自谷歌和OpenAI的研究人員意識(shí)到，他們可以稍微改變圖像中的像素，使其看起來和人看到的一樣，但機(jī)器學(xué)習(xí)算法會(huì)將其歸類為完全不同的東西。例如，一個(gè)圖像可能看起來像一只貓，但是當(dāng)一個(gè)計(jì)算機(jī)視覺程序看到它時(shí)，它是一只狗。

為什么這種巧合如此重要——而且有潛在的風(fēng)險(xiǎn)？想象一下，如果一輛自動(dòng)駕駛汽車正沿著街道行駛，它可能把停車標(biāo)志看成限速標(biāo)志。如果有人能設(shè)計(jì)出一種財(cái)務(wù)文件，當(dāng)一個(gè)人看到它時(shí)，它是一種樣子，但當(dāng)它被掃描進(jìn)電腦時(shí)，卻顯示出完全不同的數(shù)字，這意味著什么呢？或者，如果某個(gè)充滿惡意的人發(fā)明了一種武器，當(dāng)美國(guó)運(yùn)輸安全管理局的攝像頭掃描、使用深度學(xué)習(xí)來處理圖像的時(shí)候，這種武器似乎是無(wú)害的——比如說，一只烏龜？

當(dāng)它們剛被發(fā)現(xiàn)的時(shí)候，對(duì)抗性的例子并不是令人擔(dān)憂的。許多研究人員認(rèn)為這是一個(gè)極端案例，一個(gè)隨機(jī)的理論巧合。畢竟，在需要完全訪問算法內(nèi)部的時(shí)候創(chuàng)建一個(gè)敵對(duì)的例子，它會(huì)欺騙用戶。研究人員只能用數(shù)字圖像來構(gòu)建這些例子——如果你試圖打印出數(shù)字形式的圖像，那么你對(duì)圖像的超精確控制會(huì)立即被扭曲，因?yàn)榇蛴C(jī)的分辨率無(wú)法在如此詳細(xì)的水平上捕捉像素的變化。例如，盡管你可以成功地騙過一種算法，讓你以為是狗的圖片在它看來是只貓，但如果你把圖像打印出來，并要求算法識(shí)別它時(shí)，它就不會(huì)被騙了。在現(xiàn)實(shí)世界中改變一個(gè)物體似乎更加困難。這似乎是一個(gè)不可能的挑戰(zhàn)，要?jiǎng)?chuàng)造出一個(gè)物體，在形狀方面有如此細(xì)微的變化，以至于人工智能會(huì)把它誤認(rèn)為是別的東西。另外，即使你做到了，一旦改變了角度也不會(huì)奏效。

或者說，學(xué)界的想法就是這樣的。但本月早些時(shí)候，麻省理工學(xué)院的一組學(xué)生成功用3D打印做了一個(gè)看起來像一只可愛的小烏龜?shù)奈矬w——但被機(jī)器學(xué)習(xí)算法當(dāng)作步槍來分類。麻省理工學(xué)院的博士生AnishAthalye說：“我們已經(jīng)證明了它們不是利用奇怪的角落或奇怪部件。實(shí)際上，你可以在現(xiàn)實(shí)生活中偽造這些物體，從而騙過機(jī)器學(xué)習(xí)算法?！?/p>

學(xué)生們創(chuàng)建了自己的算法，無(wú)論模糊，旋轉(zhuǎn)，縮放，還是角度的任何變化（無(wú)論是打印出的2D圖像還是3D模型），都可以產(chǎn)生物理對(duì)抗性的例子。換句話說，他們的烏龜式步槍不只是一次性的。例如，他們用3D打印出的棒球，被電腦認(rèn)為是濃縮咖啡。它可以可靠地騙過谷歌的InceptionV3圖像分類器——可以識(shí)別1000個(gè)不同的物體的圖像。這些算法已經(jīng)存在于我們的手機(jī)和電腦上，使得照片庫(kù)可以被搜索到，并使得在網(wǎng)上可以很容易對(duì)圖片中對(duì)朋友進(jìn)行標(biāo)記。

在被問到如何應(yīng)對(duì)敵對(duì)的例子時(shí)，谷歌指出，谷歌的研究人員已經(jīng)在著手解決這個(gè)問題，該公司正在進(jìn)行一項(xiàng)競(jìng)賽，目的是創(chuàng)建一種圖像分類算法，不會(huì)被對(duì)抗性例子所愚弄。

這個(gè)3D打印的棒球，在電腦看起來就像是一杯濃縮咖啡。

麻省理工學(xué)院的學(xué)生們的工作給將原本只存在于理論上的擔(dān)憂變成了現(xiàn)實(shí)。“風(fēng)險(xiǎn)很高，”Athalye說，他有計(jì)算機(jī)安全方面的背景?！拔覀冞€沒有打破真正的系統(tǒng)，但我們已經(jīng)比人們想象的更接近這一步了?！?/p>

并不是只有Athalye和他的同事們?cè)谶@方面進(jìn)行努力。來自華盛頓大學(xué)、密歇根大學(xué)、石溪大學(xué)和加州大學(xué)伯克利分校的一組學(xué)者能夠打印出貼紙，并將其附著在停止標(biāo)記上，從而使圖像分類神經(jīng)網(wǎng)絡(luò)將它們識(shí)別為別的東西。對(duì)停車標(biāo)志的微小改動(dòng)可能看起來像是給司機(jī)（或乘客）的涂鴉，但自動(dòng)駕駛汽車會(huì)看到一個(gè)讓車標(biāo)志或限速標(biāo)志。除了擾亂交通，這可能是危險(xiǎn)的：如果一輛車沒有看到停車標(biāo)志，并穿過十字路口，它就會(huì)撞上另一輛車，讓人們的生命處于危險(xiǎn)之中。

Athalye說：“在實(shí)際系統(tǒng)中，對(duì)抗性的例子應(yīng)該是一個(gè)真正值得的問題。如果我們能做到這一點(diǎn)，壞人也能做到?！?/p>

部分問題在于，研究人員并不完全理解為什么會(huì)出現(xiàn)對(duì)抗性的例子——盡管很多人能自己創(chuàng)造出這方面的例子。如果沒有對(duì)這一現(xiàn)象的深刻理解，就很難建立起防御機(jī)制，使圖像分類器神經(jīng)網(wǎng)絡(luò)不容易受到機(jī)器學(xué)習(xí)中最令人費(fèi)解的特性的影響。

但這并不意味著研究人員沒有嘗試。據(jù)加州大學(xué)伯克利分校的博士后研究員BoLi說，目前已經(jīng)有60多篇論文致力于在各種不同的語(yǔ)境中尋找對(duì)抗性的例子。他曾致力于制作貼紙，以改變算法對(duì)街頭標(biāo)識(shí)的看法。

一些人樂觀地認(rèn)為，最終研究人員將能夠找到一個(gè)解決方案，并找到一種方法來預(yù)防這種對(duì)抗性。對(duì)于安全研究人員來說，將能夠通過特定的軟件解決方案來抵御特定的威脅，這一點(diǎn)仍然是積極的。這可能不是一個(gè)能保護(hù)所有攻擊的萬(wàn)能工具，而是防范特定類型威脅的防御措施。

NicolasPapernot是賓夕法尼亞州立大學(xué)計(jì)算機(jī)科學(xué)研究生，他指出，研究人員正開始尋找解決方案，無(wú)論成果多么有限。他在電子郵件中告訴我：“我非常樂觀地認(rèn)為，我們可以取得進(jìn)步，最終實(shí)現(xiàn)強(qiáng)大的機(jī)器學(xué)習(xí)?！卑踩蜋C(jī)器學(xué)習(xí)社區(qū)也進(jìn)行了卓有成效的交流。例如，今年3個(gè)不同的研究小組報(bào)告了對(duì)視覺模型進(jìn)行基準(zhǔn)測(cè)試的三個(gè)關(guān)鍵任務(wù)：手寫數(shù)字識(shí)別、街景房屋號(hào)碼識(shí)別，以及對(duì)象和動(dòng)物的彩色圖像分類。

其他人則不那么肯定。NicholasCarlini是加州大學(xué)伯克利分校計(jì)算機(jī)安全專業(yè)的一名博士生，他想要攻破其他學(xué)者對(duì)對(duì)抗性例子的防御機(jī)制。“我有點(diǎn)像壞人，”他說。“我說對(duì)不起，不，這沒用?！弊鳛楣粽?，我可以根據(jù)你的防御來調(diào)整波長(zhǎng)以進(jìn)行攻擊?！?/p>

Carlini已經(jīng)發(fā)表了幾篇關(guān)于他的攻擊的文章，在2017年5月的一篇文章中，他廢除了10個(gè)不同的防御計(jì)劃，并正在進(jìn)行更多的工作。他認(rèn)為，他的研究是一種扼殺研究思路的方法，他認(rèn)為這些研究不會(huì)帶來任何領(lǐng)域的進(jìn)步，學(xué)者需要將研究的火力集中在更有前途的方法上。在有限的情況下，這樣的一種方法會(huì)迫使攻擊者歪曲對(duì)手的樣例照片，以致于人眼能明顯察覺到。盡管如此，為了抵御特定的、有限的攻擊，少數(shù)有效的防御手段還是無(wú)法在數(shù)據(jù)集之間進(jìn)行轉(zhuǎn)換。

至少根據(jù)Carlini的說法，這是一個(gè)光明的一面。他說：“在一般安全社區(qū)，我們遇到了這樣一個(gè)問題，在人們開始真正試圖攻擊他們之前，系統(tǒng)已經(jīng)被使用了20年，我們意識(shí)到攻破它們已經(jīng)太晚了，我們已經(jīng)被問題困住了。令人興奮的是，在這些東西真正被投入使用之前，人們正在努力解決這個(gè)問題，因?yàn)檫@意味著我們有希望解決問題，至少有一點(diǎn)，或者至少在我們付諸實(shí)踐之前就能理解這個(gè)問題?！?/p>

即使是3D打印的海龜也只能工作，因?yàn)锳thalye和他的同事們能夠接觸到他們能夠愚弄的神經(jīng)網(wǎng)絡(luò)的內(nèi)部機(jī)制——一個(gè)“白盒子”的情況。研究人員是否能夠在不知情的情況下創(chuàng)造出物理對(duì)抗的例子還有待觀察，即所謂的“黑匣子”情況。這就是真實(shí)世界的攻擊者的處境，因?yàn)槊绹?guó)運(yùn)輸安全管理局肯定不會(huì)把代碼發(fā)布到任何可以用來掃描行李的神經(jīng)網(wǎng)絡(luò)上。Athalye說，在不考慮圖像分類器的代碼的情況下，找出如何做出對(duì)抗性的例子是他的下一個(gè)目標(biāo)。

盡管這看起來很可怕，但Athalye并不認(rèn)為我們需要擔(dān)心——至少現(xiàn)在還沒有出現(xiàn)?！皼]有理由恐慌。”他說：“我認(rèn)為我們的工作是及時(shí)的，而且有可能損害系統(tǒng)。但我們還沒有發(fā)現(xiàn)能夠撞到別人的特斯拉?！?/p>