見識過刀劍與毒藥

癡迷于火藥和武器

與他人說話時常懷著恐懼

在每一處景象里看到了災(zāi)禍

每一次時鐘響起，都會戰(zhàn)栗不安

但卻未厭惡那不可抗拒的壓迫

——波德萊爾《惡之花》

不能偏廢的用與防，是人類在馴服技術(shù)這頭猛獸時永恒的主題。于是我們有了無比復(fù)雜的電力保護系統(tǒng)，有了交通規(guī)則與無數(shù)交通安全設(shè)備，有了宏大的互聯(lián)網(wǎng)安全產(chǎn)業(yè)。

我們不會因為閃電的猙獰與觸電的危險，就決定給城市斷電，而是要去一層層限制它，保護它，讓技術(shù)安全地為人類服務(wù)。

這樣的邏輯，今天正在AI面前重新上演。大概就像人類第一次面對火焰時的恐慌一樣，一百多年的科幻文化，讓大眾在面對AI時，首先想起的是機器人統(tǒng)治地球的恐懼。其實這事兒就像行星撞地球一樣，是個確實可能發(fā)生但誰也不知道多久后才能發(fā)生的狀況。

然而隨著AI的發(fā)展與應(yīng)用，這門新技術(shù)所暴露出來的危險與不確定性確實也漸漸浮出水面。那么針對AI的“絕緣膠布”和“空氣開關(guān)”在哪呢？

不久之前，Deepmind在博客中透露了這樣一個消息，針對AI模型可能表現(xiàn)出的混亂和失控，他們準(zhǔn)備研發(fā)一種“AI保險機制”，在緊要關(guān)頭給AI“斷電”。一旦發(fā)現(xiàn)AI的惡意傾向，就主動終止AI的活動。

目前這個領(lǐng)域的研究，更多還是處在方向性的探索上。但是還是有一些問題需要我們來探索：假如真的有AI保險電閘這種裝置，它要在哪些情況下終止AI工作？類似領(lǐng)域還有哪些方法在嘗試保證AI安全？給AI裝上安全鎖這種想法，又有哪些困難，甚至不靠譜的地方？

要防范的，是哪些“AI之惡”？

首先，還是要堅定地給“AI之惡”打上引號。這就像火的使用，大概是人類歷史上造成損失最嚴(yán)重的一種技術(shù)應(yīng)用，但至少今天沒有人討論“火之惡”或者“普羅米修斯的原罪”。

而AI有點不同的是，深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜性構(gòu)成了AI運行邏輯在某些環(huán)境下的不可解，也就是廣受關(guān)注的AI黑箱問題。美國小說家霍華德·洛夫克拉夫特堅定的認(rèn)為，人類最大的恐懼，就是對未知的恐懼。

而深度學(xué)習(xí)作為今天AI技術(shù)的主要實踐方式，確實還蒙有太多面紗。姚期智院士就曾判斷，今天深度學(xué)習(xí)中有很多東西是非科學(xué)的。對其神秘性的破解，已經(jīng)成為AI學(xué)科的主要問題。

那么依舊神秘的AI，在應(yīng)用中帶來了哪些危險可能性呢？

關(guān)于AI的負(fù)面報道雖然遠低于正面案例數(shù)量，但其實數(shù)量也已經(jīng)不少。歸結(jié)起來，有三個方面的危險，是我們今天主要需要面對的：

一、從數(shù)據(jù)到歧視

AI是能學(xué)會罵人和種族歧視的，這事兒想必大家都知道。最出名的案例，就是2016年3月，微軟上線了名為Tay 的聊天機器人，但是上線不到一天，Tay 就從一個單純可愛的19歲女孩變成了一個滿口臟話與種族歧視言論的“AI瘋子”，于是微軟緊急下架了這款產(chǎn)品。這種情況，已經(jīng)在多個AI聊天應(yīng)用與語音助手中顯現(xiàn)了出來，甚至很多導(dǎo)購、安全識別類的AI應(yīng)用，也都悄然學(xué)會了看人下菜碟的本來。

其本質(zhì)問題在于，AI會去學(xué)習(xí)吸收社交網(wǎng)絡(luò)上的對話數(shù)據(jù)，然而一頓操作下來，學(xué)到的都是不堪入目的東西。深度學(xué)習(xí)是建立在大數(shù)據(jù)基礎(chǔ)上的，但如果數(shù)據(jù)中夾雜了不那么美好的數(shù)據(jù)，AI就可能將這些內(nèi)容帶入為行為模式。

但是如何分辨什么才是好內(nèi)容呢？這個模棱兩可的問題依舊沒什么好的答案。

二、作為武器與黑產(chǎn)工具的AI

人不止可以教壞AI，還可以直接運用AI作惡。這個領(lǐng)域的案例屢見不鮮，英國在2015年就開始發(fā)現(xiàn)利用AI模型模仿用戶語氣來進行的郵件與電信詐騙；很多黑客展現(xiàn)了利用AI來盜取密碼和破解安全鎖的能力；甚至在國內(nèi)，很多不法分子已經(jīng)開始使用AI識別技術(shù)來刷電商賬戶和訂單，從而支撐黑產(chǎn)的運行。

三、不靠譜的機器直覺

AI作為一種算法，顯然是不以人的常識為常識的，但是很多時候無論普通人還是科研人員都會忽視這一點。著名的案例是Deepmind在一個賽艇游戲中訓(xùn)練AI時，發(fā)現(xiàn)深度學(xué)習(xí)模型最終得出的結(jié)論不是一般人類玩家選擇的路線，而是在游戲中瘋狂轉(zhuǎn)圈。雖然是個游戲，但卻發(fā)人深醒，比如AI在無人駕駛場景里，或許是不按照人類交通規(guī)則來思考問題的，它可能直接從高架橋上飛下去，或者選擇逆行來獲得更好的通過效率。

這也不是危言聳聽，今天的研究已經(jīng)發(fā)現(xiàn)，在路牌上做一點點手腳，就可能對計算機視覺產(chǎn)生干擾。畢竟機器即使能看，也不是人類的“看法”。

顯然，這些問題在未來的AI應(yīng)用中都足夠復(fù)雜與危險。那么問題來了之后，解決方案有哪些呢？

檢察官、行刑者與道德家：我們用什么給AI上鎖？

AI本身的失控可能與安全隱患，或許是不同于人類歷史上任何技術(shù)風(fēng)險的。它吸納大量數(shù)據(jù)，又進行了復(fù)雜的內(nèi)部轉(zhuǎn)換，所以留給人類的困難之處在于，它不是像汽油或電力那樣具有簡單的安全規(guī)律，而是難以捉摸的隱秘bug。

我們經(jīng)常聽AI開發(fā)者講述這樣一個情況：模型跑了一遍，OK挺好的，再跑一遍，出問題了，哪出的問題，不知道……再多來兩遍，好像又好了？

顯然在工業(yè)這樣的關(guān)鍵生產(chǎn)領(lǐng)域，部署這樣天馬行空的員工是不合適的。那么如何給AI裝上安全保險裝置呢？可以看到今天業(yè)界有這樣幾種思路。需要注意的是，這不是涇渭分明的流派之爭，真正在實踐AI安全的時候，是需要綜合解決方案共同努力的。

一、行刑者

話題回到我們最開始提到的DeepMind。他們正在研發(fā)的AI安全技術(shù)，形象一點形容就是在復(fù)雜AI任務(wù)的背后，站立一位隨時待命的“AI行刑者”。通過再研發(fā)一個功能強悍，有一套自身安全邏輯的AI系統(tǒng)，基于強化學(xué)習(xí)機制，來隨時監(jiān)控其他AI模型的工作。一旦有出格舉動，立馬跳閘斷電。

事實上，“可中斷”概念一直都是DeepMind在AI安全領(lǐng)域的核心理念。去年12月，他們就發(fā)布了名為《安全可中斷智能體》的研究成果，展示了如何保證在中斷再啟動的環(huán)境下，智能體的運行效果不會受損。

讓AI去監(jiān)視AI，雖然技術(shù)上非常前沿，也留有若干問題，但大概是未來AI安全鎖的主要研究方向，因為面對越來越復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)，其他問題追溯模式可能會消耗難以承擔(dān)的人工成本。

然而這種新技術(shù)帶來的首要疑惑，顯然是“誰來監(jiān)督監(jiān)督者”？

二、檢察官

無論是歧視還是錯誤的機器直覺，在本質(zhì)上都可歸因于深度學(xué)習(xí)的黑箱性。那么是不是有方法可以去透視黑箱，讓人類研發(fā)者找到問題AI的出錯點，從而去修正而不是魯莽地中斷它呢？

事實上，解決黑箱才是AI安全領(lǐng)域與應(yīng)用場景的主要努力方向。我們今天已經(jīng)可以看到越來越多的黑箱解釋工具出現(xiàn)在科研甚至產(chǎn)業(yè)領(lǐng)域。

今天解釋黑箱的主要方式有兩種，一種是用AI來檢索AI，比如利用注意力機制，訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)模型專門去復(fù)制追蹤其他AI模型的運行軌跡，從而找出錯誤訓(xùn)練結(jié)果的訓(xùn)練來源，幫助研發(fā)者進行修正。

另一個思路是通過一些工具，達成深度學(xué)習(xí)模型的結(jié)構(gòu)可視化，也就是說讓黑箱變成玻璃箱。從而當(dāng)AI出錯，研發(fā)人員可以相對簡單的自行查詢每一層的訓(xùn)練過程，找到問題所在。

然而無論是AI檢察官，還是人類檢察官，今天這些黑箱可解釋性技術(shù)普遍都只能應(yīng)對不那么復(fù)雜的深度學(xué)習(xí)模型。而且普遍需要大量人工來參與其中，又把人工智能變成了“人工＋智能”，而且所耗費的人力必須具備相當(dāng)?shù)募夹g(shù)水準(zhǔn)。

三、道德家

無論從何種方向上看，阻止AI作惡在今天都不僅僅是一個技術(shù)問題。比如訓(xùn)練數(shù)據(jù)的三觀夠不夠正，很多程度取決于開發(fā)者的三觀；再比如能否克制對開發(fā)AI武器、AI監(jiān)視工具的渴望，應(yīng)該是一個社會與國際責(zé)任的問題；而很多AI歧視問題，出自于背后開發(fā)者希望提高商業(yè)效率的目的，這也是個道德問題。

為了預(yù)防這些問題泛濫，AI的安全鎖顯然不僅應(yīng)該是一把技術(shù)之鎖，而應(yīng)該引入廣泛的社會機制。今年2月，OpenAI、牛津大學(xué)、劍橋大學(xué)等14家機構(gòu)和高校發(fā)布了一份名為《人工智能惡意使用》的研究報告。報告指出，應(yīng)該承認(rèn)今天人工智能的研究成果是一把雙刃劍。而為了控制人工智能帶來的風(fēng)險，政策制定者應(yīng)該與技術(shù)人員密切合作，調(diào)查、預(yù)防和緩解人工智能可能的惡意使用方式。并且應(yīng)該在人工智能領(lǐng)域優(yōu)先形成規(guī)范和道德框架；討論這些人工智能挑戰(zhàn)時所涵蓋的利益相關(guān)者和專家范圍應(yīng)該擴大。

防止AI的惡意問題，應(yīng)該從技術(shù)、法律、道德、研究習(xí)慣等領(lǐng)域進行綜合防治，這已經(jīng)成為了一個國際社會共識。但是顯然這把鎖看上去最簡單，實際鑄造起來的難度高到無法想象。

無論是“斷電”、大檢查還是社會共同監(jiān)督，這些AI安全鎖的背后，都隱藏著在AI倫理問題面前，今天人類共有的彷徨：人性的本質(zhì)是矛盾的，但我們卻想要模仿人類的AI具備統(tǒng)一規(guī)則。

可是，誰來擔(dān)保安全鎖的清白？

無論任何AI安全保護措施，歸根結(jié)底就是一句話：希望AI能明辨善惡，善則從之，惡則止矣。

而這談何容易？在AI需要越來越多人類社會產(chǎn)出的訓(xùn)練數(shù)據(jù)時，人類的種種價值判斷也映射其中。一些人類社會中的倫理障礙也不免裹挾進了AI的世界。

比如說，我們已經(jīng)開始探索，能不能讓AI系統(tǒng)在其他AI犯錯時終止它的行為。但這就涉及什么才是錯誤AI行為的定義邊界問題。誰來標(biāo)注錯誤行為呢？

我們都知道，谷歌AI曾經(jīng)把黑人識別成猩猩，這顯然是一種歧視行為。但如果AI判斷應(yīng)該在某個治安不好的街區(qū)加強警力部署，那這是不是也是一種歧視，應(yīng)該被終端呢？這個問題確實已經(jīng)在洛杉磯警察局所使用的系統(tǒng)中展現(xiàn)了出來，在加州當(dāng)?shù)匾l(fā)了激烈爭論。

更進一步，國家間的AI規(guī)則是否應(yīng)該一致？今天越來越多的AI公司與國際產(chǎn)業(yè)組織，甚至政府組織開始呼吁重視AI的倫理道德問題，制定國際統(tǒng)一的AI道德規(guī)范。但統(tǒng)一的AI規(guī)范會不會侵犯某些國家的風(fēng)俗與習(xí)慣？是不是會對一些國家地區(qū)的AI研究造成阻礙？比如說歐盟的AI研究隱私保護政策真的適合全世界嗎？

這些AI倫理層面近乎悖論的問題，是一切AI安全鎖技術(shù)與產(chǎn)業(yè)行為面對的最深處敵人。甚至向更長遠的未來看去，人類的行為判斷真的就比AI好嗎？某些時候，用技術(shù)來中斷不可預(yù)測的機器學(xué)習(xí)行為，是否其實展露著人類的無知？或者終止了用技術(shù)創(chuàng)造技術(shù)的全新可能？

好吧，這些問題在今天都沒有什么真正的答案。這也意味著，今天想要給AI戴上一把嚴(yán)格意義上的安全鎖，還是一個不可能的任務(wù)。然而破解AI黑箱性和AI自我監(jiān)督的技術(shù)進展，確實正在讓AI應(yīng)用的安全指數(shù)快速提升。很多今天浮現(xiàn)在媒體中的AI安全問題，應(yīng)該都可以被快速解決掉。

問題和解決方案，永遠是交替往復(fù)的狀態(tài)向前奔跑。

最后讓我們“科幻”一下來結(jié)束這個話題。