我們分析了16625篇論文，以洞察AI下一步的發(fā)展方向

我們深入研讀了25年來的AI研究論文，結(jié)果表明深度學(xué)習(xí)的時代即將結(jié)束。

如今你聽到的關(guān)于AI的幾乎所有內(nèi)容都?xì)w功于深度學(xué)習(xí)。這類算法的工作原理是使用統(tǒng)計方法來查找數(shù)據(jù)中的模式；事實證明，深度學(xué)習(xí)在模仿人類技能（比如我們的視覺和聽覺能力）方面功能異常強(qiáng)大，它甚至可以模仿我們推理的能力。這些功能在幕后支持谷歌的搜索、Facebook的新聞源和Netflix的推薦引擎，并正在徹底改變醫(yī)療保健和教育等行業(yè)。

不過雖然深度學(xué)習(xí)憑一己之力將AI推入了公眾視野，但它只是全人類竭力復(fù)制自身智慧的歷史長河中的一小朵浪花。它在不到10年的時間里處于這方面的最前沿。如果你綜觀這個領(lǐng)域的整個歷史，很容易意識到深度學(xué)習(xí)可能很快行將消失。

華盛頓大學(xué)的計算機(jī)科學(xué)教授、《終極算法》一書的作者Pedro Domingos說：“要是有人在2011年撰文稱，深度學(xué)習(xí)很快消失的言論幾年后會出現(xiàn)在報刊雜志的頭版，我們可能會這么說‘哇，你是不是吃錯藥了?！?/p>

他表示，長期以來，不同技術(shù)的突然興衰起落已成為AI研究領(lǐng)域的特征。每隔十年，不同想法之間就會出現(xiàn)一番激烈的競爭。之后，偶爾會出現(xiàn)大反轉(zhuǎn)，這個圈子中的每個人就某一種特定的想法達(dá)成共識。

《麻省理工學(xué)院科技評論》雜志（MIT Technology Review）想要直觀地呈現(xiàn)這些變化。于是，我們將目光投向最龐大的科學(xué)論文開源數(shù)據(jù)庫之一：arXiv。我們下載了2018年11月18日之前歸屬“AI”部分的所有16625篇論文的摘要，跟蹤分析了這些年來提及的單詞，看看這個領(lǐng)域是如何演變的。

從arXiv下載的論文數(shù)量

我們通過一番分析，發(fā)現(xiàn)了三個主要的趨勢：20世紀(jì)90年代末和21世紀(jì)初向機(jī)器學(xué)習(xí)轉(zhuǎn)變，2010年初開始神經(jīng)網(wǎng)絡(luò)日漸普及，以及近幾年強(qiáng)化學(xué)習(xí)大行其道。

有幾個地方需要注意。首先，arXiv的AI部分只追溯到1993年，而“AI”這個術(shù)語可以追溯到20世紀(jì)50年代，所以這個數(shù)據(jù)庫只代表該領(lǐng)域發(fā)展史的幾個最新章節(jié)。其次，每年添加到數(shù)據(jù)庫中的論文只代表當(dāng)時該領(lǐng)域所做工作的一小部分。不過，arXiv還是提供了出色的資源，便于匯集一些較大的研究趨勢，并了解不同想法的角力。

一種機(jī)器學(xué)習(xí)范式

我們發(fā)現(xiàn)的最大轉(zhuǎn)變是21世紀(jì)初期離基于知識的系統(tǒng)漸行漸遠(yuǎn)。這種計算機(jī)程序基于這個想法：你可以使用規(guī)則來編碼所有的人類知識。研究人員求助于機(jī)器學(xué)習(xí)，這個大類的算法包括深度學(xué)習(xí)。

在提及的前100個單詞中，與基于知識的系統(tǒng)相關(guān)的那些單詞（比如“邏輯”、“約束”和“規(guī)則”）跌勢最猛。而與機(jī)器學(xué)習(xí)有關(guān)的那些單詞（比如“數(shù)據(jù)”、“網(wǎng)絡(luò)”和“性能”）增勢最猛。

機(jī)器學(xué)習(xí)讓基于知識的推理相形見絀

每1000個單詞的單詞頻率

這種巨大變化的原因相當(dāng)簡單。在80年代，由于試圖在機(jī)器中重現(xiàn)常識的雄心勃勃的項目激動人心，基于知識的系統(tǒng)積累了一大批擁躉。但隨著那些項目逐漸展開來，研究人員遇到了一大問題：如果一個系統(tǒng)要做任何有用的事情，需要編寫的規(guī)則實在太多了。這增加了成本，并嚴(yán)重阻礙了后期的日常工作。

機(jī)器學(xué)習(xí)成為了解決這個問題的答案。這種方法不是要求人們手動編碼成千上萬條規(guī)則，而是對機(jī)器編程，以便從一堆數(shù)據(jù)中自動提取那些規(guī)則。正因為如此，這個領(lǐng)域擯棄了基于知識的系統(tǒng)，改而轉(zhuǎn)向完善機(jī)器學(xué)習(xí)。

神經(jīng)網(wǎng)絡(luò)的繁榮期

在新的機(jī)器學(xué)習(xí)范式下，并沒有立即出現(xiàn)向深度學(xué)習(xí)轉(zhuǎn)變的一幕。相反，正如我們對關(guān)鍵術(shù)語的分析顯示的那樣，除了深度學(xué)習(xí)的核心機(jī)制神經(jīng)網(wǎng)絡(luò)外，研究人員還測試了眾多方法。另外一些流行的技術(shù)包括貝葉斯網(wǎng)絡(luò)、支持向量機(jī)和進(jìn)化算法，所有這些技術(shù)都采用了不同的方法來查找數(shù)據(jù)中的模式。

神經(jīng)網(wǎng)絡(luò)取代其他機(jī)器學(xué)習(xí)方法

在20世紀(jì)90年代和2000年代，所有這些方法之間存在著穩(wěn)定的競爭。然后在2012年，一項關(guān)鍵的突破導(dǎo)致了另一次巨大變化。在旨在推動計算機(jī)視覺發(fā)展的一年一度的ImageNet比賽期間，一位名叫Geoffrey Hinton的研究人員及其在多倫多大學(xué)的同事在圖像識別方面獲得了最佳準(zhǔn)確度，整整高出10個百分點。

他使用的技術(shù)即深度學(xué)習(xí)引發(fā)了一波新的研究：先是在視覺領(lǐng)域內(nèi)部，然后擴(kuò)大到另外的領(lǐng)域。隨著越來越多的研究人員開始使用深度學(xué)習(xí)來獲得令人印象深刻的結(jié)果，深度學(xué)習(xí)的受歡迎程度急劇提高，神經(jīng)網(wǎng)絡(luò)隨之走紅。

加強(qiáng)學(xué)習(xí)方興未艾

我們的分析表明，在深度學(xué)習(xí)崛起后的幾年里，AI領(lǐng)域出現(xiàn)了第三次也是最后一次轉(zhuǎn)變。

除了機(jī)器學(xué)習(xí)中的不同技術(shù)外，還有三種不同的類型：監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。監(jiān)督學(xué)習(xí)是最常用的一種，也是迄今為止最實用的應(yīng)用，它需要為機(jī)器饋送經(jīng)過標(biāo)記的數(shù)據(jù)。然而在過去幾年，強(qiáng)化學(xué)習(xí)在論文摘要中的提及率迅速增加，它模仿通過獎懲機(jī)制訓(xùn)練動物的過程。

強(qiáng)化學(xué)習(xí)發(fā)展勢頭正猛

這并不是什么新想法，但幾十年來它其實沒有真正奏效過。Domingos說：“搞監(jiān)督學(xué)習(xí)的人會取笑搞強(qiáng)化學(xué)習(xí)的人?！钡钦缟疃葘W(xué)習(xí)一樣，一個關(guān)鍵時刻突然讓強(qiáng)化學(xué)習(xí)家喻戶曉。

那個時刻發(fā)生在2015年10月，當(dāng)時DeepMind研發(fā)的AlphaGo用強(qiáng)化學(xué)習(xí)經(jīng)過訓(xùn)練后，在古老的圍棋比賽中擊敗了世界冠軍。這立即對研究界產(chǎn)生了影響。

下一個十年

我們的分析只不過對AI研究領(lǐng)域的幾種主要想法之間的激烈競爭給出了最近寫照，但它表明了竭力復(fù)制智慧這條道路上的變幻莫測。Domingos說：“認(rèn)識到?jīng)]有人知道如何解決這個問題很重要?！?/p>

過去25年中使用的許多技術(shù)起源于大概同一個時期，即20世紀(jì)50年代，因每十年的挑戰(zhàn)和成功而失寵和受寵。比如說，神經(jīng)網(wǎng)絡(luò)在60年代達(dá)到頂峰，80年代回光返照、奄奄一息，但隨后因深度學(xué)習(xí)而重新獲得了目前的人氣。

換句話說，每十年實際上看到不同技術(shù)輪流唱主角：50年代末和60年代的神經(jīng)網(wǎng)絡(luò)，70年代的各種象征方法，80年代基于知識的系統(tǒng)，90年代的貝葉斯網(wǎng)絡(luò)，2000年代的支持向量機(jī)，以及2010年代的神經(jīng)網(wǎng)絡(luò)。

Domingos表示，20世紀(jì)20年代應(yīng)該沒什么不同，這意味著深度學(xué)習(xí)時代可能很快就會結(jié)束。但研究界對于接下來會發(fā)生什么莫衷一是、眾說紛紜——到底一種舊技術(shù)重新獲得青睞，還是這個領(lǐng)域會創(chuàng)造一種全新的范式。

Domingos說：“如果你回答了這個問題，我想為這個答案申請專利?！?/p>