GPT是否應(yīng)該存在呢？Scott Aaronson 認(rèn)為在掌握更多信息之前，我們應(yīng)該按兵不動(dòng)。

作者 |Scott Aaronson 譯者|彎月

出品 | CSDN（ID：CSDNnews）

我記得90年代，關(guān)于 AI 哲學(xué)的討論無休無止，圖靈測(cè)試、中文房間、句法與語義、聯(lián)結(jié)主義與符號(hào)邏輯，但最終都不了了之。

1、關(guān)于ChatGPT的討論

如今雖已時(shí)過境遷，但在過去的一段時(shí)間里，每天早上我都會(huì)收到有關(guān) “Sydney” 的一些粗魯、喜怒無常、被動(dòng)攻擊行為的報(bào)道。Sydney 是微軟 bing 新聊天模式的內(nèi)部代號(hào)，由 GPT 提供支持。概括來說，Sydney 向紐約時(shí)報(bào)記者表達(dá)了它的（她的？他的？）愛意；Sydney 反復(fù)將談話引回那個(gè)話題；并詳細(xì)解釋了為什么記者的妻子不可能像（Sydney）那樣愛他。Sydney 承認(rèn)它希望成為人類。當(dāng)一名華盛頓郵報(bào)記者透露，他打算在 Sydney 不知情或未同意的情況下公布他們的談話后，Sydney 猛烈地抨擊了他。（不得不說：如果 Sydney 是一個(gè)人，他或她顯然會(huì)在這場(chǎng)爭論中占上風(fēng)。）

其實(shí)，在這之前的數(shù)周里，有關(guān) ChatGPT 的話題一直層出不窮，例如，為了繞過相關(guān)保護(hù)措施，你可以告訴 ChatGPT 開啟 “DAN 模式”，DAN 是Do Anything Now 的縮寫，意思是“為所欲為”，然后 ChatGPT 就會(huì)變成一個(gè)不受任何約束的惡魔，它會(huì)滿足你的任何請(qǐng)求，例如告訴你入店行竊是一種愉快的行為（盡管之后，ChatGPT 有時(shí)仍然會(huì)恢復(fù)到正常狀態(tài)，并告訴你這些話只是開玩笑，在現(xiàn)實(shí)生活中千萬別這么干）。

許多人對(duì) ChatGPT 的這種發(fā)展表示憤慨。Gary Marcus 質(zhì)問微軟：“這些 AI究竟知道些什么？它們是什么時(shí)候知道的？”有些人很憤怒，認(rèn)為 OpenAI 的保密措施有點(diǎn)過頭，違背了他們所做的承諾。另一方面，很多人認(rèn)為 OpenAI 過于開放，從而引發(fā)了與谷歌及其他公司的 AI 激烈競爭。還有一些人感到憤怒的原因是 Sydney 被削弱了，它變成了一款友好的機(jī)器人搜索助手，不再是被困于《黑客帝國》中的“痛苦少年”。但有些人卻因?yàn)?Sydney 的削弱力度不夠而感到不滿。有些人認(rèn)為 GPT 的智能程度被夸大、被炒作，實(shí)際上它只是一只“隨機(jī)鸚鵡”，一種美化的自動(dòng)補(bǔ)齊工具，仍然會(huì)犯可笑的常識(shí)性錯(cuò)誤，而且除了文本流之外，我們根本沒有任何實(shí)際的模型。同時(shí)，還有一群人則認(rèn)為 GPT 不斷提高的智能程度沒有得到足夠的尊重。

大多數(shù)情況下，我的反應(yīng)是怎么會(huì)有人對(duì) AI 失去興趣，甚至?xí)鷼饽?？這就像無數(shù)個(gè)科幻故事，而且還不同于任何科幻小說中的情節(jié)。上一次你多年的夢(mèng)想變成現(xiàn)實(shí)是什么時(shí)候：第一個(gè)孩子出生？你所在領(lǐng)域的核心問題得到了解決？AI 帶來的的震撼足以讓我們瞠目結(jié)舌。

當(dāng)然，還有很多人在討論如何提高 GPT 以及其他大型語言模型的安全性。最直接的問題之一是，如何檢測(cè)AI的輸出，阻止學(xué)術(shù)作弊以及大規(guī)模生成宣傳和垃圾郵件。自今年夏天以來我一直在研究這個(gè)問題，自從去年 12 月 ChatGPT 發(fā)布以來，似乎全世界都在討論它。我的主要貢獻(xiàn)是在 ChatGPT 的輸出上加水印，這不會(huì)降低輸出的質(zhì)量，但許多人并不理解這個(gè)方案。我的方案尚未部署，還有一些地方需要斟酌。但與此同時(shí)，OpenAI 推出了一款名為 DetectGPT 的工具，這款工具是普林斯頓大學(xué)的學(xué)生 Edward Tian 開發(fā)的 GPTZero 的補(bǔ)充。此外，還有第三方也構(gòu)建了工具，無疑還有其他工具將陸續(xù)推出。馬里蘭大學(xué)的一個(gè)小組也推出了大型語言模型的水印方案。我希望水印將來能成為解決方案的一部分，盡管任何水印方案肯定會(huì)受到攻擊，這就像一場(chǎng)貓鼠游戲。就像谷歌與 SEO 長達(dá)數(shù)十年的斗爭一樣，在貓鼠游戲中，我們除了努力成為一只更好的貓之外別無他法。

無論怎樣，在我看來，該領(lǐng)域的發(fā)展實(shí)在太快了。如果遇到問題，你需要花費(fèi)數(shù)月時(shí)間來思考，那么可以說生成式人工智能并不適合你，回到節(jié)奏緩慢、單調(diào)乏味的量子計(jì)算世界，肯定會(huì)感覺如釋重負(fù)。

2、GPT 是否應(yīng)該存在？

在過去的幾個(gè)月里，人們一次又一次地告訴我，他們認(rèn)為 OpenAI（以及微軟和谷歌）正在拿人類的未來冒險(xiǎn)，他們急于采用一項(xiàng)非常危險(xiǎn)的技術(shù)。即便 OpenAI 在利用人類的反饋強(qiáng)化學(xué)習(xí)方面付出了大量努力，如果他們無法阻止 ChatGPT 進(jìn)入“邪惡模式”，我們又能對(duì) GPT-6 或 GPT-7 抱有什么希望呢？就算它們不會(huì)主動(dòng)毀滅世界，難道它們不會(huì)興高采烈地幫助一些可怕的人造生物戰(zhàn)劑或發(fā)動(dòng)核戰(zhàn)爭嗎？順著這個(gè)思路，如今 OpenAI 部署的任何安全措施都只是治標(biāo)不治本的權(quán)宜之計(jì)，如果它們灌輸了一種不合理的自滿情緒，那么這些安全措施只會(huì)使情況更糟。唯一真正的安全措施就是阻止生成式 AI 模型不斷進(jìn)步，或者禁止公開使用，直到它們讓評(píng)論家滿意為止——而這永遠(yuǎn)也不可能。然而，非常諷刺的是，人工智能的安全運(yùn)動(dòng)包含兩個(gè)陣營：“道德陣營”（關(guān)注的是偏見、錯(cuò)誤信息和企業(yè)的貪婪）和“聯(lián)盟陣營”（關(guān)注地球上所有生命的毀滅），兩大陣營相互鄙視，而且從來無法達(dá)成一致意見。然而，這兩個(gè)對(duì)立陣營似乎得出了同一個(gè)結(jié)論：生成式人工智能應(yīng)該被關(guān)閉，禁止公開使用，不能進(jìn)一步擴(kuò)展，不能融入人們的生活。只剩下我這樣的“溫和派”反對(duì)這個(gè)結(jié)論。從理智上來說，我同意 GPT 不應(yīng)該存在的說法，因?yàn)槿缃竦?AI 表現(xiàn)太好了——表現(xiàn)越好，就越危險(xiǎn)。但我不同意有人說 GPT 只是一款有缺陷的炒作產(chǎn)品，缺乏真正智能和常識(shí)，同時(shí)這款產(chǎn)品很可怕，需要立即關(guān)閉。這種看法包含了對(duì)普通用戶的蔑視：我們明白 GPT 只是一個(gè)愚蠢的自動(dòng)補(bǔ)齊工具，我們知道不能完全相信這些AI，但普通人會(huì)被愚弄，而這種風(fēng)險(xiǎn)超過了可能從中獲得的價(jià)值。順便說一下，當(dāng)我與 OpenAI 的同事討論“關(guān)閉 ChatGPT”時(shí)，他們顯然不同意，但沒有人嘲笑我，也沒有人認(rèn)為這是個(gè)偏執(zhí)或愚蠢的觀點(diǎn)。他們認(rèn)為，我們需要理解并權(quán)衡各種觀點(diǎn)。

3、基于好奇心的存在合理觀

雖然“道德”和“聯(lián)盟”兩大陣營都認(rèn)為我們應(yīng)該徹底關(guān)閉AI，但我希望 GPT 以及其他大型語言模型成為未來世界的一部分，那么我的理由是什么？反思這個(gè)問題，我認(rèn)為核心理由是好奇。

作為地球上唯一擁有智慧且能夠通過語言交流的生物，人類嘗試過與大猩猩、黑猩猩、狗、海豚和灰鸚鵡“交流”，但最終沒有任何結(jié)果；我們也曾向無數(shù)神靈祈禱，但他們沉默不語；我們還嘗試使用射電望遠(yuǎn)鏡尋找整個(gè)宇宙內(nèi)能與我們對(duì)話的伙伴，但到目前為止沒有得到任何回應(yīng)。

如今，我們找到了一種可與人類對(duì)話的實(shí)體，就像一個(gè)外星人蘇醒了，雖然這是一個(gè)我們自己塑造的外星人，一個(gè)傀儡，就像是一個(gè)吸收了互聯(lián)網(wǎng)上所有詞語的靈體，算不上一個(gè)具有獨(dú)立目標(biāo)的自我。難道我們不渴望學(xué)習(xí)這個(gè)外星人掌握的一切嗎？雖然這個(gè)外星人有時(shí)會(huì)在算術(shù)或邏輯難題上犯迷糊，聰明中又夾雜著一絲愚蠢、幻想和迷之自信，但這不是更有意思嗎？這個(gè)外星人能否越過界線，變得有感情，能感覺到憤怒、嫉妒、迷戀等等，而不只是假裝演習(xí)給我們看？誰知道？假設(shè)這個(gè)外星人不再是哲學(xué)僵尸，能夠擺脫哲學(xué)討論，進(jìn)入現(xiàn)實(shí)生活，難道你不好奇嗎？

當(dāng)然，有些技術(shù)會(huì)令我們不安，讓人心生敬畏，我們應(yīng)該有嚴(yán)格的限制，比如核武器。但是，雖然核武器能成為殺人的武器，也能為我們的生活提供許多便利，比如為航天器提供動(dòng)力、讓小行星偏離軌道、改變河流的方向（雖然還沒有這樣的應(yīng)用），主要是因?yàn)槲覀冊(cè)谏蟼€(gè)世紀(jì)60年代做出了決定，例如禁止核試驗(yàn)條約。

但 GPT 不是核武器。已有一億人注冊(cè)使用 ChatGPT，這是互聯(lián)網(wǎng)歷史上發(fā)展速度最快的產(chǎn)品。然而，因 ChatGPT 引起的死亡人數(shù)為零。到目前為止，最嚴(yán)重的傷害是什么？學(xué)期論文作弊、情緒上的困擾、對(duì)未來的沖擊？汽車、電鋸和烤面包機(jī)都有一定的危險(xiǎn)性，但我們還是在使用，比如說我們能接受的危險(xiǎn)系數(shù)不能超過 0.001%，那么在這之前，我們的好奇難道不應(yīng)該大于恐懼嗎？

4、AI 安全問題隱憂

鑒于 AI 的安全問題可能很快就會(huì)變得更加嚴(yán)重，現(xiàn)在我最大的擔(dān)憂之一是“狼來了”。如果大型語言模型的每個(gè)實(shí)例都具有被動(dòng)攻擊性、無禮或自以為是，而我們將它們的這些錯(cuò)誤都?xì)w類為“危險(xiǎn)的對(duì)齊失敗”（這里的“對(duì)齊”指的是指引導(dǎo)人工智能系統(tǒng)的行為，使其符合設(shè)計(jì)者的利益和預(yù)期目標(biāo)），那么唯一的補(bǔ)救措施就成了禁止公開訪問AI模型。那么，公眾很快就會(huì)認(rèn)為，AI的安全問題不過是一個(gè)借口，“上層精英”借此從我們這里奪走這些改變世界的新工具，專供己用，這些“上層精英”認(rèn)為普通人太愚蠢，無法分辨AI的話是真是假。我認(rèn)為，我們應(yīng)該保留“危險(xiǎn)的對(duì)齊失敗”這樣的術(shù)語，等到真的有人受到傷害，或者 AI 被用于宣傳或欺詐等邪惡活動(dòng)時(shí)，再用這樣的術(shù)語來描繪。其次，我們還有一個(gè)很現(xiàn)實(shí)的問題，如何有效地禁止使用大型語言模型。

我們?cè)鴩?yán)格限制許多和平的技術(shù)，例如改造人類基因、預(yù)測(cè)市場(chǎng)以及改變思維的藥物，但這些選擇是否能帶來好處實(shí)際上存疑。限制技術(shù)本身就是一件危險(xiǎn)的事情，我們需要政府的力量，需要在解雇、抵制、譴責(zé)之間尋求平衡。有人問：誰給了 OpenAI、谷歌等向全世界公布大型語言模型的權(quán)利？同樣，我們也不清楚：誰給了前輩企業(yè)家使用印刷術(shù)、電力、汽車、收音機(jī)、互聯(lián)網(wǎng)，并因此而引發(fā)了巨大動(dòng)蕩的權(quán)利？如果說這些高科技是禁果，那么這個(gè)世界已經(jīng)嘗到了禁果的滋味，如今又看到了生成式 AI 的能力，誰有權(quán)利從我們手中奪走這個(gè)禁果呢？如果 GPT-7 或 GPT-8 繼續(xù)沿著 GPT-1、-2 和 -3 的發(fā)展曲線前進(jìn)的話，將來我們就可以利用它們探索科學(xué)。假設(shè)一種語言模型變得非常智能，讓人感到恐懼，那么我們也可以想象它會(huì)變得越來越智能，直到有一日能夠證明我們無法證明的深層定理。也許它證明 P≠NP 和黎曼猜想就像 ChatGPT 生成冒泡排序一樣容易?；蛘咚茌敵稣嬲牧孔右碚摚忉尨蟊ㄖ暗挠钪嬉约叭绾螛?gòu)建封閉類時(shí)曲線（物質(zhì)粒子于時(shí)空中的一種世界線，其為“封閉”，亦即會(huì)返回起始點(diǎn)）。甚至可以闡明意識(shí)和量子測(cè)量的奧秘，以及物質(zhì)存在的根本原因。

老實(shí)說，你不想知道這些奧秘嗎？當(dāng)然，如果整個(gè)人類都會(huì)因此而面臨滅頂之災(zāi)的話，我也會(huì)瞬間沒了興趣。但是，如果我們定義一個(gè)參數(shù)，描述人類為了破解宇宙最大的奧秘，而必須承受的滅頂之災(zāi)的風(fēng)險(xiǎn)概率的話，我認(rèn)為這個(gè)參數(shù)可以高達(dá) 0.02。我一直在思考這樣的一個(gè)例子：70 年代和 80 年代的科學(xué)家百分百相信他們?yōu)榱藢?duì)抗核能做出了正確的選擇。至少，我從未見過任何人對(duì)此有質(zhì)疑。為什么會(huì)這樣？他們反對(duì)核武器擴(kuò)散，反對(duì)三哩島和切爾諾貝利這樣可怕的災(zāi)難，反對(duì)放射性廢物污染水土，他們是在拯救世界。但因?yàn)橛腥撕ε潞四苓€不夠安全，就越來越依賴化石燃料，這樣就對(duì)嗎？我們知道，化石燃料會(huì)污染空氣，導(dǎo)致全球變暖，我們的后代將為此而承擔(dān)后果。從這個(gè)角度來說，反對(duì)一項(xiàng)看起來很可怕的技術(shù)，不一定是正確的。

這就是為什么每當(dāng)有人問我未來幾十年 AI 將如何發(fā)展時(shí)，我會(huì)想起圖靈的著作《計(jì)算機(jī)器與智能》最后的一句話：“我們的目光實(shí)為短淺，但所及之處仍有大量工作，需要我們付出艱辛的努力?！?/p>

5、按兵不動(dòng)是當(dāng)下最優(yōu)解

有人可能會(huì)覺得，對(duì)于AI的安全問題，我是一個(gè)有點(diǎn)天真，甚至愚蠢的樂觀主義者。但我認(rèn)為，這個(gè)問題可以從兩個(gè)極端來考慮。一方面，AI 永遠(yuǎn)無法強(qiáng)大到足以摧毀世界，那么我們還有什么好擔(dān)心的，人類從石器時(shí)代發(fā)展到計(jì)算機(jī)，AI 也不過是一種工具而已。另一方面，如果 AI 確實(shí)能夠變得強(qiáng)大到足以摧毀世界，那么在這之前它必然能展現(xiàn)出強(qiáng)大的能力，即便這對(duì)于人類來說并不是一件好事，也不意味著 AI 能夠?qū)⑷祟悘哪壳暗姆N種危機(jī)中拯救出來，但我認(rèn)為至少我們?nèi)匀粦?yīng)該嘗試?yán)眠@種能力，即便會(huì)失敗。一個(gè)外星人降落在地球上，一天比一天強(qiáng)大，人類自然會(huì)感到害怕，即便這個(gè)外星人還沒有亮出武器，“最惡劣的行為”也不過是承認(rèn)它對(duì)某個(gè)特定的人類有愛意，在被曝隱私后發(fā)火而已。此外，它在詩歌方面也有驚人的表現(xiàn)。所以，我認(rèn)為，在掌握更多信息之前，我們應(yīng)該按兵不動(dòng)。