基辛格在《大西洋月刊》發(fā)表的一篇題為《How the Enlightenment Ends》的文章中指出，從哲學(xué)、理性，以及各個方面來說，人類社會對人工智能的興起都毫無準(zhǔn)備。人類現(xiàn)在必須要開始做出努力了，不久我們就會發(fā)現(xiàn)我們開始得太晚了。

前美國國家安全顧問和國務(wù)卿亨利·A·基辛格

壹

三年前，在一次跨大西洋問題會議上，人工智能的主題出現(xiàn)在議程上。我當(dāng)時正準(zhǔn)備跳過那次會議——這畢竟不是我通常關(guān)心的問題——但是演講開始了，我只好坐在我的座位上。

演講者描述了一個很快就會挑戰(zhàn)圍棋國際冠軍的計算機程序。我很驚訝一臺計算機能夠掌握圍棋，它比象棋還要復(fù)雜。根據(jù)圍棋的規(guī)則，每個玩家分別持有180或181個棋子(取決于他或她選擇的顏色)，交替放置在最初空白的棋盤上；想要取得勝利，就要通過做出更好的戰(zhàn)略決策，控制棋盤上更多的領(lǐng)土。

演講者堅持認(rèn)為，這種能力不能預(yù)先編程。他說，他的機器學(xué)會了通過實踐來訓(xùn)練自己掌握圍棋?？紤]到圍棋的基本規(guī)則，計算機與自己進行了無數(shù)次對弈，從錯誤中吸取教訓(xùn)并不斷完善算法。在這個過程中，它超越它的人類導(dǎo)師所掌握的技能。的確，在演講之后的幾個月里，一個叫AlphaGo的人工智能項目就擊敗了世界上頂級的圍棋選手。

我聽到演講者慶祝這一技術(shù)進步的時候，我作為一名歷史學(xué)家和偶爾從事政治活動的經(jīng)驗，讓我有些躊躇。自我學(xué)習(xí)機器——通過特定過程獲得的知識機器——并將這些知識應(yīng)用于超出人類理解范疇的終結(jié)，會對歷史會產(chǎn)生什么樣的影響？這些機器會學(xué)會彼此交流嗎？如何在新出現(xiàn)的選擇中作出選擇？人類歷史是否有可能走上印加人的道路，面對著一種不可理解的、甚至令人敬畏的“西班牙”文化？我們現(xiàn)在是處于人類歷史新階段的邊緣嗎？

由于意識到我在這一領(lǐng)域缺乏技術(shù)能力，我組織了一系列關(guān)于這一主題的非正式對話，并得到了技術(shù)和人文科學(xué)專家的建議。這些討論使我的擔(dān)憂有所增加。

迄今為止，對現(xiàn)代歷史進程改變最大的技術(shù)是在十五世紀(jì)發(fā)明的印刷術(shù)，這種發(fā)明使人們能夠?qū)で髮嵶C知識來取代禮拜儀式，并使理性時代則逐漸取代了宗教時代。個人洞察力和科學(xué)知識取代了信仰作為人類意識的主要準(zhǔn)則。信息被存儲在不斷擴大的圖書館中，并被系統(tǒng)化。理性時代起源于塑造當(dāng)代世界秩序的思想和行動。

但是，這種秩序現(xiàn)在正處于動蕩之中，因為一場新的、甚至更為廣泛的技術(shù)革命出現(xiàn)了，我們并沒有對其帶來的后果有充分的考慮，最終的結(jié)果，可能會誕生一個依靠數(shù)據(jù)和算法驅(qū)動、充滿機器的世界，受倫理或哲學(xué)準(zhǔn)則約束的世界將會消亡。

貳

在互聯(lián)網(wǎng)時代，我們已經(jīng)生活在了一些問題之中，而人工智能只會使這些問題更加尖銳。啟蒙運動試圖將傳統(tǒng)的真理交給人類理性。互聯(lián)網(wǎng)的目的，是通過積累和操縱不斷擴大的數(shù)據(jù)對知識進行評級。人類的認(rèn)知失去了它的個性。個體轉(zhuǎn)變成了數(shù)據(jù)，而數(shù)據(jù)則成了規(guī)范。

互聯(lián)網(wǎng)用戶強調(diào)檢索和處理信息，而不是其意義置于背景或概念上。他們很少會質(zhì)疑歷史或哲學(xué)；一般來說，他們需要的信息與他們當(dāng)前的實際需要相關(guān)。在這一過程中，搜索引擎算法獲得了預(yù)測個人用戶偏好的能力，使得算法能夠自定義結(jié)果，并使其可供其他當(dāng)事方用于政治或商業(yè)目的。真理變成了相對的。信息威脅著智慧。

在社交媒體上，用戶被多種觀點淹沒，他們不再自省。實際上，許多技術(shù)愛好者使用互聯(lián)網(wǎng)來避免他們害怕的孤獨。所有的這些壓力都削弱了發(fā)展和維持信念所需的堅韌，而這種堅韌只能通過一條孤獨的道路來實現(xiàn)，這就是創(chuàng)造力的本質(zhì)。

互聯(lián)網(wǎng)技術(shù)對政治的影響特別明顯。針對微型群體的能力，通過專注于某些目的或者不滿的情緒上，可以打破了先前關(guān)于優(yōu)先事項的共識。政治領(lǐng)導(dǎo)人受到這些細分群體的壓力，被剝奪了思考或反映場景的時間，以及他們用來發(fā)展愿景的空間。

數(shù)字世界對速度的強調(diào)抑制了反思；它的激勵使激進分子勝過了深思熟慮的人；它的價值觀是由分組共識塑造的，而不是內(nèi)省形成的。盡管它取得了種種成就，但由于它的不足壓倒了它的便利性，它仍有可能自食其果。

叁

隨著互聯(lián)網(wǎng)的發(fā)展和計算能力的增強，促進了海量數(shù)據(jù)的積累和分析，關(guān)于人類理解的前所未有的前景出現(xiàn)了。也許最重要的是制造人工智能的項目，這種技術(shù)能夠通過復(fù)制人類思維的過程，來發(fā)明和解決復(fù)雜的、看似抽象的問題。

這遠遠超出了我們所知道的自動化。自動化處理意味著：通過使實現(xiàn)這些目標(biāo)的手段合理化或機械化來實現(xiàn)規(guī)定的目標(biāo)。相反，人工智能處理的是目的；它確定了自己的目標(biāo)。在某種程度上，它的成就是由它自己決定的，人工智能本身就是不穩(wěn)定的。人工智能系統(tǒng)通過其自身的操作，在獲取和即時分析新數(shù)據(jù)時，不斷發(fā)生變化，然后在分析的基礎(chǔ)上尋求自我改進。通過這個過程，人工智能發(fā)展了一種以前被認(rèn)為是為人類保留的能力。它會對未來做出戰(zhàn)略判斷，有些基于作為代碼接收的數(shù)據(jù)(例如游戲規(guī)則)，有些基于它自己收集的數(shù)據(jù)(例如，通過玩100萬次游戲進行迭代)。

自動駕駛汽車展示了傳統(tǒng)的由人控制的，軟件驅(qū)動的計算機和人工智能尋求導(dǎo)航之間的區(qū)別。駕駛汽車需要在不可能預(yù)料到的多種情況下進行判斷，因此需要提前編程。以一個眾所周知的假設(shè)例子來說，如果這種汽車因突發(fā)情況被迫在殺害祖父母和殺害兒童之間作出選擇，會發(fā)生什么情況？它會選擇誰？為什么？它將嘗試優(yōu)化其選項中的哪些因素？它能解釋它的基本原理嗎？面對挑戰(zhàn)，如果它能夠溝通，它的真實答案可能是：“我不知道(因為我遵循的是數(shù)學(xué)，而不是人的原則)，”或“你不會理解(因為我受過訓(xùn)練，以某種方式行動，但沒有解釋它)。”然而，自動駕駛汽車很可能在10年內(nèi)在公路上普及。

迄今為止，人工智能仍局限于特定的活動領(lǐng)域，現(xiàn)在的研究正在尋求實現(xiàn)能夠在多個領(lǐng)域執(zhí)行任務(wù)的“通用智能”人工智能。在可測量的時間段內(nèi)，越來越多的人類活動將由人工智能算法驅(qū)動。但這些算法是對觀測數(shù)據(jù)的數(shù)學(xué)解釋，并不能解釋產(chǎn)生這些數(shù)據(jù)的潛在現(xiàn)實。矛盾的是，隨著世界變得更加透明，它也將變得越來越神秘。新世界和我們所知道世界有什么區(qū)別？我們將如何生活在其中？我們將如何管理人工智能、改進人工智能，或者至少防止人工智能造成傷害，并最終導(dǎo)致最不祥的擔(dān)憂：人工智能通過比人類更快和更明確地掌握某些能力，隨著時間的推移，在將人工智能轉(zhuǎn)化為數(shù)據(jù)時會削弱人類的能力和人類狀況本身。

肆

人工智能將及時給醫(yī)學(xué)、清潔能源供應(yīng)、環(huán)境問題和許多其他領(lǐng)域帶來非凡的好處。但正因為人工智能是對一個不斷發(fā)展、尚未確定的未來做出判斷，其結(jié)果中也必然會有不確定性和模糊性。有三個特別令人關(guān)切的領(lǐng)域：

首先，人工智能可能會帶來意想不到結(jié)果。科幻小說已經(jīng)想象出了人工智能轉(zhuǎn)向創(chuàng)造者的情景。更有可能的是，人工智能會因為其缺乏場景化的能力而誤解人類指令。最近一個著名的例子是叫做Tay的人工智能聊天機器人，旨在用一個19歲女孩的語言模式產(chǎn)生友好的對話。但事實證明，該機器無法定義訓(xùn)練員所說的“友好”和“合理”語言的必要性，反而被種族主義、性別歧視和煽動性言論綁架。技術(shù)界的一些人聲稱，這個實驗構(gòu)思不當(dāng)，執(zhí)行不力，但它說明了一個潛在的模糊性：在多大程度上可以讓人工智能理解其指令的背景？有什么媒介可以幫助Tay在面對一些人們理解并不一致的詞語時，定義自己的攻擊性？我們能否在早期階段發(fā)現(xiàn)并糾正一個超出預(yù)期的人工智能程序？還是說，如果任由人工智能自行其是，它會不可避免地出現(xiàn)微小的偏差，隨著時間的推移，這些偏差會演變成災(zāi)難性的偏離？

第二，在實現(xiàn)預(yù)期目標(biāo)的過程中，人工智能可能會改變?nèi)祟惖乃季S過程和價值觀。AlphaGo通過采取戰(zhàn)略上前所未有的舉措擊敗了世界圍棋冠軍——這些舉措是人類尚未構(gòu)思出來、也尚未成功學(xué)會克服的。這些舉措是否超出了人腦的能力？或者說，既然它們已經(jīng)被一位新的大師證明了，人類能學(xué)習(xí)它們嗎？

在人工智能開始玩圍棋之前，這個游戲有著多種多樣、層次分明的目的：玩家不僅要想贏，還要學(xué)習(xí)可能適用于生活其他方面的新策略。相比之下，人工智能只有一個目的：取勝。它不是從概念上而是從數(shù)學(xué)上通過對算法的邊緣調(diào)整來“學(xué)習(xí)”。因此，在學(xué)習(xí)如何通過與人類不同的方式來贏得比賽時，人工智能改變了比賽的性質(zhì)和影響。這種一心一意地堅持，是否是所有人工智能的特征？

其他人工智能項目，致力于通過開發(fā)能夠生成一系列人類查詢答案的設(shè)備，來改變?nèi)祟愃季S。除了事實問題(“外面的溫度是多少？”)，關(guān)于現(xiàn)實的性質(zhì)或生命的意義的問題，引發(fā)了更深層次的問題。我們想讓孩子們通過無約束算法的對話來學(xué)習(xí)價值觀嗎？我們應(yīng)該通過限制人工智能對其提問者的了解來保護隱私嗎？如果是，我們?nèi)绾螌崿F(xiàn)這些目標(biāo)？

如果人工智能的學(xué)習(xí)速度比人類快，那么我們必須指望人工智能會以指數(shù)級的速度加速人類決策的試錯過程：比人類犯錯誤的速度更快，程度更大。正如人工智能研究人員經(jīng)常建議的那樣，通過在程序中加入要求“合乎道德”或“合理”結(jié)果的警告，可能無法緩和這些錯誤。整個學(xué)科都是由于人類無法就如何定義這些術(shù)語達成一致而產(chǎn)生的。因此，人工智能應(yīng)該成為他們的仲裁者嗎？

第三，人工智能可能達到預(yù)期目標(biāo)，但無法解釋其得出這一結(jié)論的理由。在某些領(lǐng)域——模式識別、大數(shù)據(jù)分析、游戲——人工智能的能力已經(jīng)超過了人類。如果它的計算能力繼續(xù)快速復(fù)合，人工智能可能很快就能以與人類優(yōu)化環(huán)境的方式略有不同、甚至可能顯著不同的方式優(yōu)化環(huán)境。但到了那個時候，人工智能能否以一種人類可以理解的方式解釋為什么它的行為是最優(yōu)的？或者說，人工智能的決策會超越人類語言和理性的解釋力嗎？在整個人類歷史中，文明創(chuàng)造了解釋他們周圍世界的方法——在中世紀(jì)，宗教；在啟蒙運動中，理性；19世紀(jì)的歷史；20世紀(jì)的意識形態(tài)。關(guān)于我們正在走向的世界，最困難但最重要的問題是：如果人工智能超越了人類意識本身的解釋能力，而社會不再能夠用對他們有意義的語言來解釋他們所居住的世界，那么人類意識會變成什么樣子？

在一個機器的世界里，機器把人類的經(jīng)驗減少為數(shù)學(xué)數(shù)據(jù)，由他們自己的記憶來解釋，意識是如何被定義的？誰對人工智能的行為負責(zé)？他們的錯誤應(yīng)如何確定責(zé)任？一個由人類設(shè)計的法律體系能跟上人工智能所產(chǎn)生的活動嗎？

伍

最后，人工智能這個術(shù)語可能用詞不當(dāng)?？梢钥隙ǖ氖牵@些機器可以解決復(fù)雜的、看似抽象的問題，而這些問題以前只產(chǎn)生于人類的認(rèn)知。但它們所做的獨一無二的事情。并不是迄今為止所構(gòu)思和經(jīng)歷的那樣，而是史無前例的記憶和計算。由于人工智能在這些領(lǐng)域的固有優(yōu)勢，它很可能贏得分配給它的任何游戲。但是對于我們?nèi)祟悂碚f，游戲不僅僅是關(guān)于勝利的；也是關(guān)于思考的。把一個數(shù)學(xué)過程當(dāng)作一個思維過程來對待，或者試圖模仿這個過程，或者僅僅接受結(jié)果，我們就有失去作為人類認(rèn)知本質(zhì)的能力的危險。

最近設(shè)計的一個程序AlphaZero展示了這種演變的含義，它以一種國際象棋史上前所未有的風(fēng)格，在比國際象棋大師更高級的水平上下棋。僅僅在幾個小時的自我游戲中，它就達到了人類用1500年時間才能達到的技術(shù)水平。在整個過程中，只給AlphaZero提供了游戲的基本規(guī)則 。人類和人類生成的數(shù)據(jù)都不是其自學(xué)過程的一部分。如果AlphaZero能夠如此迅速地達到這個目標(biāo)，那么未來五年的人工智能會在哪里呢？對人類認(rèn)知的影響是什么？當(dāng)這個過程的實質(zhì)是加速選擇時，倫理道德在這個過程中的作用是什么？

這些問題通常留給技術(shù)人員和相關(guān)科學(xué)領(lǐng)域的知識分子來解決。人文學(xué)科領(lǐng)域的哲學(xué)家和其他人幫助塑造了以前的世界秩序概念，但缺乏對人工智能機制的了解，或者被人工智能的能力所嚇倒，他們往往處于不利地位。相比之下，科學(xué)界不得不探索其成就的技術(shù)可能性，而科技界則專注于規(guī)模驚人的商業(yè)前景。這兩個世界的動機是推動發(fā)現(xiàn)的極限，而不是理解它們。而治理，就其涉及的主題而言，更有可能調(diào)查人工智能在安全和情報方面的應(yīng)用，而不是探索它已經(jīng)開始產(chǎn)生的人類狀況的變化。

啟蒙運動始于一項新技術(shù)傳播的基本哲學(xué)見解。我們的時代正朝著相反的方向發(fā)展。它產(chǎn)生了一種潛在的主導(dǎo)技術(shù)，尋找一種指導(dǎo)哲學(xué)。其他國家已將人工智能作為一項重大的國家項目。美國作為一個國家，尚未系統(tǒng)地探索其全部范圍，研究其影響，或開始最終的學(xué)習(xí)進程。最重要的是，從人工智能與人文傳統(tǒng)相關(guān)的角度來看，這應(yīng)成為國家高度優(yōu)先的事項。

人工智能開發(fā)人員在政治和哲學(xué)方面，和我在技術(shù)方面一樣缺乏經(jīng)驗，他們應(yīng)該問自己一些我在這里提出的問題，以便在他們的工程工作中找到答案。美國政府應(yīng)該考慮成立一個由杰出思想家組成的委員會，以幫助制定國家愿景。這一點是肯定的：如果我們不盡快開始這項努力，不久我們就會發(fā)現(xiàn)我們開始得太晚了。