2017年12月，瑞士洛桑聯(lián)邦理工學(xué)院（EPFL）的科研人員提出了一種旨在避免人工智能系統(tǒng)失控的方法。

在人工智能中，機器執(zhí)行具體的動作，觀察結(jié)果，相應(yīng)地調(diào)整其行為，然后觀察新的結(jié)果，再一次調(diào)整行為，如此循環(huán)往復(fù)，從這種迭代過程中進行學(xué)習。但是這個過程會失控嗎？可能會?！叭斯ぶ悄芸偸菄L試避免人類干預(yù)，創(chuàng)造不可被停止的情形?！边M行這項研究的瑞士洛桑聯(lián)邦理工學(xué)院（EPFL）分布式編程實驗室（Distributed Programming Laboratory）教授表示。這意味著人工智能工程師必須防止機器最終學(xué)會規(guī)避人類的指令。研究該問題的瑞士洛桑聯(lián)邦理工學(xué)院研究人員已經(jīng)發(fā)現(xiàn)了一種方式，供人類操作者控制一組人工智能機器人；2017年12月4日周一，他們將在美國加州舉行的神經(jīng)信息處理系統(tǒng)大會（Neural Information Processing Systems, NIPS）上展示其發(fā)現(xiàn)。他們的工作極大地促進了自動駕駛車輛和無人機等的發(fā)展，讓這種設(shè)備能以群為單位安全地運行。

人工智能中所用的一種機器學(xué)習方法是強化學(xué)習，代理進行某些動作而得到回報。這是從行為心理學(xué)借鑒的一種技術(shù)。工程師將這種技術(shù)應(yīng)用到人工智能，采用得分制，機器學(xué)習采取了正確的動作就得分。例如，機器人將一組盒子正確地堆起來就得一分，從外面取出一個盒子又得一分。但是，如果譬如雨天，機器人到外面去拿盒子的時候被人類操作員中斷，機器人就會學(xué)到最好待在室內(nèi)堆盒子，盡可能多得分。“挑戰(zhàn)不在于阻止機器人，而在于對它編程，讓中斷不會改變它的學(xué)習過程——也不會促使其優(yōu)化自己的行為來避免被阻止?！毖芯咳藛T表示。

01

從單獨的機器到整個人工智能網(wǎng)絡(luò)

2016年，谷歌DeepMind和牛津大學(xué)人類未來研究所（Future of Humanity Institute）的研究人員聯(lián)合開發(fā)了一種學(xué)習策略，防止機器從受到的中斷學(xué)習從而變得不可控。例如，在上個例子中，機器人的回報——所得分數(shù)——與下雨的概率有關(guān)，更鼓勵機器人去取外面的盒子?！斑@種情況下，解決方案很簡單，因為我們討論的只是一個機器人?！毖芯咳藛T說。

但是，人工智能被越來越多地用于涉及了數(shù)個機器的應(yīng)用，例如路上的無人駕駛車輛，或者空中的無人機?！斑@會讓事情復(fù)雜得多，因為機器開始相互學(xué)習——在受中斷的情況下尤為如此。它們不僅會學(xué)習自己如何被中斷，還會學(xué)習其他機器如何被中斷?！绷硪晃谎芯咳藛T指出。

研究人員舉了一例：在狹窄道路上行駛的兩輛無人駕駛汽車無法超過對方，它們就互相跟隨。它們必須盡快到達目的地而不違反任何交通規(guī)則，車上的人隨時能接管車輛的控制權(quán)。如果在第一輛車中的人經(jīng)常剎車，那么第二輛車每次都會調(diào)整自己的行為，最終就搞不清楚何時剎車了，可能是離第一輛車太近或者開得太慢。

02

讓人類具有最終決定權(quán)

瑞士洛桑聯(lián)邦理工學(xué)院的研究人員致力于通過“安全的可中斷性”來解決這種復(fù)雜問題。他們的突破性方法讓人類在必要時中斷人工智能的學(xué)習過程，同時確保這種中斷不會改變機器的學(xué)習方法?！昂唵蝸碚f，我們將‘遺忘’機制加入了學(xué)習算法，本質(zhì)上是刪除機器內(nèi)存的一些位。這有點像電影《黑衣人》（Men in Black）中的那種閃存設(shè)備?！毖芯咳藛T表示。換言之，研究人員改變了機器的學(xué)習和回報體系，讓其不受中斷的影響，就像是如果父母懲罰一個孩子，但不會影響到家中其他孩子的學(xué)習過程。

“我們研究了現(xiàn)有算法，展示了無論人工智能系統(tǒng)多復(fù)雜、涉及的機器人有多少、中斷的類型如何，安全的可中斷性都能成功。如果我們將其用于‘終結(jié)者’（Terminator），仍然可以取得成功?！毖芯咳藛T說。

目前，運用強化學(xué)習的自動駕駛汽車還不常見。“如果犯錯的后果微不足道，那這個系統(tǒng)真的工作得很不錯。”研究人員說，“在沒有人類監(jiān)督的完全自主情況下，因為安全原因該系統(tǒng)就不能用于城市的無人駕駛穿梭巴士中。但是，我們可以模擬穿梭巴士和該城市，運行人工智能算法，讓穿梭巴士系統(tǒng)在學(xué)習過程中得分和扣分。例如，無人駕駛汽車特斯拉（Tesla）正在進行的就是這種模擬。一旦系統(tǒng)已經(jīng)進行了足夠的這種學(xué)習，我們就可以在低探索率的無人駕駛汽車上安裝這種預(yù)訓(xùn)練的算法，這能使應(yīng)用更廣泛?！碑斎涣?，也會確保人類仍然具有最終決定權(quán)。