什么是奇點（Singularity）？奇點是指在未來某個假想的時間點，因為技術(shù)發(fā)展太過迅速，以致于達到我們無法理解的地步。奇點被看成是人類無法達到的文明程度……一些我們不用指望能夠預(yù)測到的東西。

最近計算機科學(xué)教授 Edward W. Felten 在自己博客上發(fā)表了一篇文章，認為奇點還遠未到來，這一言論得到了 Yann LeCun 的強烈支持，我們將教授的原文做了翻譯。

為什么說奇點不是奇點？

英國數(shù)據(jù)家 I.J. Good 在 1965 年的一篇論文中對奇點理論進行了概括：

我們假設(shè)超智能機器是一種可以超越人類智慧的機器。既然這樣的一種機器是通過人類的智慧設(shè)計出來的，那么超智能機器也就能夠設(shè)計出更好的機器。這樣無疑會出現(xiàn)“智能大爆炸”，人類的智慧會遠遠落在后面。因此，如果超智能機器能夠告訴我們?nèi)绾慰刂扑敲吹谝慌_超智能機器也就是需要由人類發(fā)明的最后一臺機器。

Vernor Vinge 是第一個將這種理論描述為“奇點”的人，“奇點”的概念來自于數(shù)學(xué)，用于表示數(shù)量的增長達到了無限的速度。后來，Ray Kurzweil 將“奇點”一詞用在他的“奇點臨近（The Singularity is Near）”一書中，才為人們所熟知。

指數(shù)增長

奇點理論主要與未來機器智能的增長速度有關(guān)。不過，在深入探討這個理論之前，先讓我們來澄清一些與增長速度有關(guān)的概念。

指數(shù)增長是最為關(guān)鍵的一個概念，也就是說，事物的增長與其現(xiàn)有的規(guī)模呈比例關(guān)系。例如，如果我的銀行存款每年增長 1%，那么銀行每年要把當前余額的 1% 累加到賬戶中。這就是所謂的指數(shù)增長。

指數(shù)增長的速度各異，我們可以使用兩種方式來表示指數(shù)增長速度。第一種是增長速率，通常表示為單位時間內(nèi)的百分比。例如，銀行存款的增長速率為每年 1%。第二種是倍增時間，也就是數(shù)量翻番需要多少時間。例如，我的銀行存款要翻番需要大概 70 年時間。

要想知道一個數(shù)量是否呈指數(shù)級增長，最好的辦法是使用上述的兩種方式來衡量它。如果它符合上述中的任何一種模式，那么它就是呈指數(shù)級增長。例如，大部分國家都通過 GDP 來衡量經(jīng)濟增長，當然，GDP 在短期內(nèi)可能會有起伏，但從長期來看，它是呈指數(shù)級增長的。如果一個國家的 GDP 每年增長 3%，那么大概 23 年就可以翻一番。

指數(shù)增長在人類社會和自然界中都是很常見的。所以，一個呈指數(shù)級增長的數(shù)量并不會讓自己變得有任何特別之處，也不會出現(xiàn)任何違反直覺的變化。

計算機的速度和容量也是呈指數(shù)級增長的，這也沒有什么新奇的。新奇的是計算機容量的增長速率?！澳柖伞备嬖V我們，計算機的速度和容量每 18 個月就會翻一番，相當于每年 60% 的增長速率。摩爾定律在過去 50 年被證明是正確的，計算機容量整整翻了 33 番，也就是差不多百億倍。

奇點并非實際意義上的奇點

在討論奇點假設(shè)的真實性之前，先讓我們來看看實際意義上的奇點——在未來某個時間點，機器智能的改進速率趨向于無窮。這就要求機器智能的增長速度超過指數(shù)級，翻番的時間就會縮短，最后趨向于零。

實際意義上的奇點可能并沒有任何理論依據(jù)。在人類社會和自然世界根本不存在超指數(shù)增長的東西，而即使有，也不可能達到真實意義上的奇點。簡單地說，人工智能的“奇點”不可能變成現(xiàn)實。

如果說奇點不是真正意義上的奇點，那它會是什么？

為何自我改進還不夠？

我們在上面討論了為何不可能存在單一的奇點——換言之，為何 AI 不可能擁有無限的增長率。那么如果奇點并不單一，那又會呈現(xiàn)出怎樣的形式？

首先來回顧奇點理論，其基本上屬于一項關(guān)于機器智能增長率的主張。在排除了指數(shù)級以上增長的可能性之后，其主要假設(shè)在于認為 AI 技術(shù)將以指數(shù)形式增長。

指數(shù)級增長并不代表著發(fā)生“爆炸式”發(fā)展。舉例來說，盡管我的儲蓄帳戶擁有 1% 的利率并實現(xiàn)持續(xù)增長，但我本人并不會因此迎來“財富爆炸”，即突然之間獲得超出想象的資金數(shù)額。但是如果指數(shù)級增長率非常高，是否會帶來爆炸式增長？

在這方面，我認為摩爾定律是最理想的類比對象。在過去幾十年當中，計算能力一直以 60% 的年增長率保持著穩(wěn)定發(fā)展，換言之即第 18 個月翻一番。這意味著 這數(shù)十年周期內(nèi)的計算能力提升了約 100 億倍。這雖然是一項了不起的成就，但卻仍 無法從根本上改變?nèi)祟惖纳娣▌t。事實上，這種增長對社會與經(jīng)濟的影響屬于漸進式推動。

計算能力增長一百億倍，仍無法令我們獲得百倍于以往的幸福感，其中的原因可謂顯而易見——計算能力并不是我們的核心。為了讓計算能力轉(zhuǎn)化為我們的幸福感，人類必須想辦法利用計算資源改進我們最關(guān)心的方方面面——這顯然非常困難。

更重要的是，將計算能力轉(zhuǎn)化為幸福感的努力似乎總是面臨著回報快速衰減的難題。舉例來說，計算能力每增加一倍，我們都能夠通過發(fā)現(xiàn)新型藥物來更好地評估醫(yī)學(xué)診療效果或者更高效地改善人類健康水平。然而其最終結(jié)果是，健康改善更像是關(guān)于我們身體的一種儲蓄帳戶，而非摩爾定律。

以下一項 AI 實例。圖中所示為上世紀八十年代到現(xiàn)在計算機在國際象棋領(lǐng)域的表現(xiàn)提升趨勢。垂直軸所示為 Elo 等級，好衡量象棋技巧的自然度量，其定義為如果 A 的 Elo 點數(shù)比 B 高 100 點，則 A 在與 B 對局時的勝率則為 64%。

盡管計算能力呈指數(shù)級增長，且算法性能同樣保持著指數(shù)級增長趨勢，但其勝率結(jié)果在過去三十年當中仍然保持著顯著的線性關(guān)系。這意味著雖然 AI 在國際象棋層面的改進速度擁有指數(shù)級特性，但所產(chǎn)出的自然度量卻僅僅能夠?qū)崿F(xiàn)線性提升。

那么這一切對于奇點理論又意味著什么？請考慮智能爆炸這一論點的核心所在——正如谷歌公司在其經(jīng)典論文中所言：

……一臺超級智能機器如果能夠設(shè)計出更好的機器，那么其無疑將引發(fā)一場“智能爆炸”……

如果“設(shè)計出更好的機器”被具象為下國際象棋，那么輸入內(nèi)容（即機器智能）的指數(shù)級改進為何只會帶來輸出結(jié)果（即機器在設(shè)計其它機器時的效能）的線性改進？即使如此，那么智能爆炸的論斷顯然并不準確。事實上，機器智能的增長將僅僅保持線性水平。（我們可以從數(shù)學(xué)角度進行理解：如果我們假定智能的導(dǎo)數(shù)與 log（智能）成正比，那么智能在時間 T 上的增長將遵循 T log(T)，幾乎與 T 的線性保持一致。）

那么設(shè)計新機器是否能夠與下國際象棋這樣的行為進行類比？對此，我們并不確定。這是復(fù)雜性計算理論中的一個難題，其本質(zhì)在于討論隨著計算資源的增加，究竟能夠達到多少目標。在通過比大多數(shù)人更為深入的復(fù)雜性理論研究之后，我們發(fā)現(xiàn)機器設(shè)計也同樣會呈現(xiàn)國際象棋當中所出現(xiàn)的這種收益遞減狀況。無論如何，這種可能性確實令我們有理由對谷歌提出的自我改進“無疑”將帶來智能爆炸這一結(jié)論感到懷疑。

因此，奇點理論家們有責任解釋為什么機器設(shè)計能夠表現(xiàn)出引起智能爆炸所需要的這種反饋回路——而非像國際象棋那樣遵循收益線性增長。

奇點為何仍未真實發(fā)生？

我認為，有時 AI 系統(tǒng)（計算機速度和算法）的輸入改進對 AI 性能改善的作用不大。

有人對此持有各種反對意見。有人說，計算機國際象棋 Elo 評級水平提升應(yīng)該是指數(shù)級的增長；有人說，新 AI 程序 AlphaZero 的到來（我未在我的帖子中討論過它）改變了游戲規(guī)則，有力地證明了我的論點無效。下面我來一一反駁這些反對意見。

首先，我們來談?wù)勎覀兪侨绾魏饬咳斯ぶ悄艿男阅艿?。對于國際象棋，我使用了 Elo 評級，這個等級評定的規(guī)則是，如果玩家 A 比玩家 B 高 100 分，我們預(yù)計 A 玩家在和 B 玩家對局時可以得到 64％的分數(shù)（贏得游戲得一分，平局每個玩家得 0.5 分，輸?shù)囊环降昧泓c。）

有一個可以代替 Elo 的評級系統(tǒng)，我稱其為 ExpElo，它的預(yù)測結(jié)果與 Elo 相差無幾。Explo 評級是 Elo 評分的乘方。Elo 使用兩位選手的評分來預(yù)測勝率，ExpElo 則使用評分的比例來進行預(yù)測。從抽象的數(shù)學(xué)角度來看，Elo 和 ExpElo 的預(yù)測能力旗鼓相當，而且預(yù)測結(jié)果完全相同。但是，如果說 Elo 的提升是呈線性的，則 ExpElo 的改進則是呈指數(shù)級的。所以，國際象棋的成績是線性的還是指數(shù)性的？

在解決這個問題之前，讓我們停下來思考一下，這種情況并不是國際象棋獨有的。任何線性增長的度量都可以重新調(diào)整（通過對度量求冪），以得到一個指數(shù)級增長的新度量。而且，任何指數(shù)級增長的度量都可以重新調(diào)整（通過取對數(shù)）來獲得線性增長的新度量。因此，對于任何改進的數(shù)量，我們將始終能夠從線性增長和指數(shù)增長中做出選擇。

人工智能的關(guān)鍵問題是：衡量某個特定任務(wù)的“智力”水平最合適的標準是什么？對于國際象棋來說，我認為是 Elo（而不是 ExpElo）。此前，Arpad Elo 推出了被專業(yè)象棋人員采用的 Elo 系統(tǒng)。美國國際象棋聯(lián)合會按照技能將玩家分大師、專家、A 級、B 級、C 級等級別，而我們選擇用 Elo 為人類國際象棋玩家進行分類。那么，為什么當談到 AI 時，我們應(yīng)該換一個不同的度量呢？

轉(zhuǎn)折就發(fā)生在這里：隨著電腦的發(fā)揮水平接近完美，而實際上人類永遠不可能達到完美的水平，因此，無論是 Elo 還是 ExpElo 在國際象棋中的評級的作用將趨于穩(wěn)定。

在每一場棋局中，都有一些可能得到最佳游戲結(jié)果的最佳棋路（或移動）。對于一個非常強大的玩家，我們可能會問他的錯誤率是多少：即在高水平的比賽中，他會在什么情況下走錯棋路？

假設(shè)一個玩家愛麗絲的錯誤率為 1％，并假設(shè)一盤棋持續(xù)了五十回合。那么從長遠來看，愛麗絲每兩場比賽就會走一次非最優(yōu)的棋步，在一半的比賽中，她將以最佳狀態(tài)進行比賽。這意味著，如果愛麗絲與上帝進行一場國際象棋比賽（總是走最佳棋路），那么愛麗絲將得到至少 25％的分數(shù)，因為她會在半場比賽以最佳棋路與上帝對弈，在最糟糕的情況下，她會在犯錯誤的比賽中輸?shù)?。如果愛麗絲能夠得到至少 25％的分數(shù)，那么愛麗絲的 Elo 評級將不會比上帝低 200 分。結(jié)果是，類似于 “上帝的評級”將無人可以超越，在 Elo 和 ExpElo 系統(tǒng)中都是如此。

Ken Regan 等人的研究表明，今天最好的國際象棋程序的錯誤率相當?shù)?，可以說正在接近“上帝的評級”。Regan 的研究表明，RoG 的評分約為 3600，這很值得注意，因為據(jù)我所知，最好的程序 Stockfish 的評分約為 3400，Google 的 DeepMind 研發(fā)的新 AI 棋手 AlphaZero 可能在 3500 左右。如果 Regan 的估計是正確的，那么 AlphaZero 就會在與上帝比賽中的大部分時間以最佳的棋路與其對弈，得到大約 36％的分數(shù)。AI Elo 評級的歷史增長率為每年 50 分，所以看起來增長的趨勢可能會持續(xù)幾年，然后才會趨于平穩(wěn)。目前，不管國際象棋評級分數(shù)增長趨勢到底是呈線性還是指數(shù)級，似乎在幾年內(nèi)都會趨于平緩。