自20世紀(jì)80年代興起的神經(jīng)網(wǎng)絡(luò)熱潮已經(jīng)退去，神經(jīng)網(wǎng)絡(luò)再次成為常規(guī)科學(xué)。托馬斯·庫(kù)恩（Thomas Kuhn）曾將科學(xué)革命之間的時(shí)間間隔描述為，科學(xué)家在一個(gè)已經(jīng)確定的范式或解釋框架內(nèi)進(jìn)行理論推定、觀察和試驗(yàn)的常規(guī)工作階段。1987 年，杰弗里·辛頓去了多倫多大學(xué)，并繼續(xù)著漸進(jìn)式改進(jìn)，雖然這些改進(jìn)都沒(méi)有像曾經(jīng)的玻爾茲曼機(jī)那樣展現(xiàn)出魔力。辛頓在21 世紀(jì)頭十年成為加拿大高等研究院（Canadian Institute for Advanced Research，簡(jiǎn)稱CIFAR）神經(jīng)計(jì)算和自適應(yīng)感知項(xiàng)目（Neural Computation andAdaptive Perception，簡(jiǎn)稱 NCAP）的帶頭人。該項(xiàng)目由來(lái)自加拿大和其他國(guó)家的約25 位研究人員組成，專注于解決機(jī)器學(xué)習(xí)的難題。我是由楊立昆擔(dān)任主席的NCAP 顧問(wèn)委員會(huì)的成員，會(huì)在每年 NIPS 會(huì)議召開之前參加該項(xiàng)目的年會(huì)。神經(jīng)網(wǎng)絡(luò)的先驅(qū)們?cè)诰徛€(wěn)定的過(guò)程中探索了機(jī)器學(xué)習(xí)的許多新策略。雖然他們的網(wǎng)絡(luò)有許多有價(jià)值的應(yīng)用，但卻一直沒(méi)有滿足20 世紀(jì) 80 年代對(duì)該領(lǐng)域抱有的很高的期望。不過(guò)這并沒(méi)有動(dòng)搖先驅(qū)者們的信念?；叵肫饋?lái)，他們一直是在為飛躍性的突破奠定基礎(chǔ)。

機(jī)器學(xué)習(xí)的穩(wěn)步發(fā)展

NIPS 會(huì)議是 20 世紀(jì) 80 年代神經(jīng)網(wǎng)絡(luò)的孵化器，為其他可處理大型高維數(shù)據(jù)集的算法打開了大門。弗拉基米爾·瓦普尼克的支持向量機(jī)于1995 年引發(fā)了轟動(dòng)，為 20 世紀(jì) 60 年代就被遺棄的感知器網(wǎng)絡(luò)開辟了一個(gè)新篇章。使支持向量機(jī)成為功能強(qiáng)大的分類器，并出現(xiàn)在每個(gè)神經(jīng)網(wǎng)絡(luò)工作者工具包中的，是“內(nèi)核技巧”（kernel trick），這是一種數(shù)學(xué)轉(zhuǎn)換，相當(dāng)于將數(shù)據(jù)從其采樣空間重新映射到使其更容易被分離的超空間。托馬索·波吉奧開發(fā)了一種名為“HMAX”的分級(jí)網(wǎng)絡(luò)，可以對(duì)有限數(shù)量的對(duì)象進(jìn)行分類。這表明，網(wǎng)絡(luò)的性能會(huì)隨著其深度的增加而提高。

在21 世紀(jì)的頭幾年里，圖形模型被開發(fā)出來(lái)，并與被稱為“貝葉斯網(wǎng)絡(luò)”（Bayes networks）的豐富的概率模型相結(jié)合，后者是基于18 世紀(jì)英國(guó)數(shù)學(xué)家托馬斯·貝葉斯（Thomas Bayes）提出的一個(gè)定理，該定理允許使用新的證據(jù)來(lái)更新先前的信念。加州大學(xué)洛杉磯分校的朱迪亞·珀?duì)?，在早些時(shí)候曾將基于貝葉斯分析的“信念網(wǎng)絡(luò)”（belief networks）引入人工智能，通過(guò)開發(fā)能夠利用數(shù)據(jù)在網(wǎng)絡(luò)中學(xué)習(xí)概率的方法，對(duì)貝葉斯分析進(jìn)行了加強(qiáng)和擴(kuò)展。這些網(wǎng)絡(luò)以及其他網(wǎng)絡(luò)的算法為機(jī)器學(xué)習(xí)研究人員打造出了強(qiáng)大的工具。

隨著計(jì)算機(jī)的處理能力繼續(xù)呈指數(shù)增長(zhǎng)，訓(xùn)練更大規(guī)模的網(wǎng)絡(luò)成為可能。大家曾普遍認(rèn)為，具有更多隱藏單元、更寬的神經(jīng)網(wǎng)絡(luò)，比具有更多層數(shù)、更深的網(wǎng)絡(luò)的效果更好，但是對(duì)于逐層訓(xùn)練的網(wǎng)絡(luò)來(lái)說(shuō)并非如此，并且誤差梯度的消失問(wèn)題（the vanishing error gradientproblem）被發(fā)現(xiàn)減慢了輸入層附近的學(xué)習(xí)速度。然而，當(dāng)這個(gè)問(wèn)題最終被克服的時(shí)候，我們已經(jīng)可以對(duì)深度反向傳播網(wǎng)絡(luò)進(jìn)行訓(xùn)練了，而且該網(wǎng)絡(luò)在基準(zhǔn)測(cè)試中表現(xiàn)得更好。隨著深度反向傳播網(wǎng)絡(luò)開始在計(jì)算機(jī)視覺(jué)領(lǐng)域挑戰(zhàn)傳統(tǒng)方法，2012 年的NIPS 大會(huì)上出現(xiàn)了這樣一句話：“神經(jīng)信息處理系統(tǒng)”里的“神經(jīng)”又回來(lái)了。

在20 世紀(jì)的最后10 年以及21 世紀(jì)前10 年的計(jì)算機(jī)視覺(jué)領(lǐng)域，在識(shí)別圖像中的對(duì)象方面取得的穩(wěn)步進(jìn)展，使得基準(zhǔn)測(cè)試（用于比較不同方法）的性能每年能提高百分之零點(diǎn)幾。方法改進(jìn)的速度十分緩慢，這是因?yàn)槊總€(gè)新類別的對(duì)象，都需要有關(guān)專家對(duì)能夠?qū)⑺鼈兣c其他對(duì)象區(qū)分開來(lái)所需的與姿態(tài)無(wú)關(guān)的特征進(jìn)行甄別。隨后，在2012年，杰弗里·辛頓和他的兩名學(xué)生艾力克斯·克里澤夫斯基（AlexKrizhevsky）和伊利婭·蘇特斯科娃向 NIPS 會(huì)議提交了一篇論文，關(guān)于使用深度學(xué)習(xí)訓(xùn)練AlexNet 識(shí)別圖像中的對(duì)象，AlexNet 是本章要重點(diǎn)討論的深度卷積網(wǎng)絡(luò)。以擁有22 000 多個(gè)類別，超過(guò)1 500 萬(wàn)個(gè)標(biāo)記過(guò)的高分辨率圖像的ImageNet 數(shù)據(jù)庫(kù)作為基準(zhǔn)，AlexNet 史無(wú)前例地將識(shí)別錯(cuò)誤率降低到了18%。這次性能上的飛躍在計(jì)算機(jī)視覺(jué)社區(qū)中掀起了一股沖擊波，加速推動(dòng)了更大規(guī)模網(wǎng)絡(luò)的發(fā)展，現(xiàn)在這些網(wǎng)絡(luò)幾乎已經(jīng)達(dá)到了人類的水平。到2015 年，ImageNet 數(shù)據(jù)庫(kù)的錯(cuò)誤率已降至3.6%。當(dāng)時(shí)還在微軟研究院的何愷明及其同事使用的低錯(cuò)誤率深度學(xué)習(xí)網(wǎng)絡(luò)，在許多方面都與視覺(jué)皮層十分相似；這類網(wǎng)絡(luò)由楊立昆最早提出，并最初把它命名為“Le Net”。

20 世紀(jì) 80 年代，杰弗里·辛頓和我第一次見到這個(gè)法國(guó)學(xué)生楊立昆（見圖9–1，右）。他9 歲時(shí)，就深受1968 年史詩(shī)級(jí)的科幻電影《2001 太空漫游》（2001: A Space Odyssey）中的任務(wù)計(jì)算機(jī) HAL 9000的啟發(fā)，想要開發(fā)人工智能。他曾獨(dú)立發(fā)明了反向傳播誤差算法的一種版本，并記錄在他1987 年的博士論文中，10 之后他就搬到多倫多，加入了杰弗里的團(tuán)隊(duì)。后來(lái)，他轉(zhuǎn)去了美國(guó)電話電報(bào)公司（AT&T）在新澤西州霍姆德爾（Holmdel）的貝爾實(shí)驗(yàn)室，在那里他創(chuàng)造了一個(gè)可以讀取信件上的手寫郵政編碼的網(wǎng)絡(luò)，采用修訂的美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院（Modified National Institute of Standards and Technology，簡(jiǎn)稱MNIST）數(shù)據(jù)庫(kù)作為一種標(biāo)記數(shù)據(jù)基準(zhǔn)。每天有數(shù)百萬(wàn)封信件需要遞送到信箱里；而今天，這個(gè)過(guò)程是完全自動(dòng)化的。同樣的技術(shù)也可以用來(lái)自動(dòng)讀取ATM 機(jī)上銀行支票的金額。有趣的是，最難的部分其實(shí)是查找支票上數(shù)字的位置，因?yàn)槊繌堉倍加胁煌母袷?。早?0 世紀(jì) 80 年代，楊立昆就顯露出了證明原理（學(xué)者們擅長(zhǎng)的事情）并將之應(yīng)用在現(xiàn)實(shí)世界中的非凡天賦。后者要求實(shí)際產(chǎn)品必須經(jīng)過(guò)嚴(yán)格的測(cè)試，且表現(xiàn)穩(wěn)健。

卷積網(wǎng)絡(luò)的漸進(jìn)式改進(jìn)

楊立昆在2003 年去了紐約大學(xué)后，仍繼續(xù)開發(fā)他的視覺(jué)網(wǎng)絡(luò)，現(xiàn)在被稱為卷積網(wǎng)絡(luò)（ConvNet）（見圖9–2）。這個(gè)網(wǎng)絡(luò)的基本結(jié)構(gòu)是基于卷積的，卷積可以被想象成一個(gè)小的滑動(dòng)濾波器，在滑過(guò)整張圖像的過(guò)程中創(chuàng)建一個(gè)特征層。例如，過(guò)濾器可以是一個(gè)定向邊緣檢測(cè)器，就像第5 章中介紹的那樣，只有當(dāng)窗口對(duì)準(zhǔn)圖像中具有正確方向或紋理的對(duì)象的邊緣時(shí)，才會(huì)產(chǎn)生大數(shù)值輸出。盡管第一層上的窗口只是圖像中的一小塊區(qū)域，但由于可以有多個(gè)濾波器，因此在每個(gè)圖塊中都能得到許多特征信息。第一層中與圖像卷積的濾波器，與大衛(wèi)·休伯爾和托斯坦·威澤爾在初級(jí)視覺(jué)皮層中發(fā)現(xiàn)的“簡(jiǎn)單細(xì)胞”類似（見圖9–3）。更高層次的濾波器則對(duì)更復(fù)雜的特征做出響應(yīng)。在卷積網(wǎng)絡(luò)的早期版本中，每個(gè)濾波器的輸出都要通過(guò)一個(gè)非線性的Sigmoid 函數(shù)（輸出從 0 平穩(wěn)地增加到 1），這樣可以抑制弱激活單元的輸出（見方框7.2 中的Sigmoid 函數(shù)）。第二層接收來(lái)自第一層的輸入，第二層的窗口覆蓋了更大的視野區(qū)域，這樣經(jīng)過(guò)多層之后，就會(huì)存在一些能接收整個(gè)圖像輸入的單元。這個(gè)最頂層就類似于視覺(jué)層級(jí)的頂層，在靈長(zhǎng)類動(dòng)物中被稱為“下顳葉皮層”，并且具有覆蓋大部分視野的感受野。接著，頂層的單元被送入分類層，與其中的所有分類單元連接，再采用反向傳播誤差的方式訓(xùn)練整個(gè)網(wǎng)絡(luò)，對(duì)圖像中的對(duì)象進(jìn)行分類。

（上圖）（a，b）視覺(jué)皮層中的層級(jí)結(jié)構(gòu)，從視網(wǎng)膜輸入到初級(jí)視覺(jué)皮層（V 1），經(jīng)過(guò)丘腦（RGC， LGN）到下顳葉皮層（PIT，CIT，AIT），展示了視覺(jué)皮層區(qū)域和卷積網(wǎng)絡(luò)中層次的對(duì)應(yīng)關(guān)系。（下圖）（c）左側(cè)圖像作為輸入映射到第一個(gè)卷積層，后者由幾個(gè)特征平面組成，每個(gè)特征平面代表一個(gè)濾波器，類似在視覺(jué)皮層中發(fā)現(xiàn)的定向簡(jiǎn)單單元。這些濾波器的輸出經(jīng)過(guò)閾值處理并匯集到第一層，再進(jìn)行歸一化處理，以便在小塊區(qū)域中產(chǎn)生不變的響應(yīng)，類似于視覺(jué)皮層中的復(fù)雜細(xì)胞（圖中方框：線性—非線性層中的操作)。以上操作在網(wǎng)絡(luò)的每個(gè)卷積層上重復(fù)。輸出層與來(lái)自上一個(gè)卷積層的全部輸入具有全面的連接（每個(gè)輸出單元都有上一層全部單元的輸入）。

每個(gè)濾波器都作用于視野中的一小塊圖像區(qū)域。頂部三排中濾波器的優(yōu)選刺激像視覺(jué)皮層中的簡(jiǎn)單細(xì)胞一樣具有定向性。底部三排顯示的優(yōu)選刺激經(jīng)過(guò)了擴(kuò)展，并具有復(fù)雜的形狀。

卷積網(wǎng)絡(luò)多年來(lái)一直在經(jīng)歷許多漸進(jìn)式改進(jìn)。一個(gè)重要的補(bǔ)充，是將一個(gè)區(qū)域上的每個(gè)特征聚合起來(lái)，叫作“池化”（pooling）。這種操作提供了一種平移不變性（translation invariance）的量度，類似于由休伯爾和威澤爾在初級(jí)視覺(jué)皮層中發(fā)現(xiàn)的復(fù)雜細(xì)胞，能夠通過(guò)一個(gè)圖塊對(duì)整個(gè)視野中相同方向的線做出響應(yīng)。另一個(gè)有用的操作是增益歸一化（gain normalization），就是調(diào)整輸入的放大倍數(shù)，使每個(gè)單元都在其操作范圍內(nèi)工作，在皮層中是通過(guò)反饋抑制（feedbackinhibition）實(shí)現(xiàn)的。Sigmoid 輸出函數(shù)也被線性整流函數(shù)（rectifiedlinear units，簡(jiǎn)稱ReLUs）取代。在輸入達(dá)到一個(gè)閾值之前這些單元的輸出都為零，超過(guò)閾值之后則輸出和輸入呈線性增長(zhǎng)。該操作的優(yōu)點(diǎn)在于：低于閾值的單元被有效地排除在網(wǎng)絡(luò)外，這更接近真實(shí)神經(jīng)元中閾值的作用。

卷積網(wǎng)絡(luò)的每一個(gè)性能的改進(jìn)，其背后都有一個(gè)工程師可以理解的計(jì)算理由。但有了這些變化，它越來(lái)越接近20 世紀(jì) 60 年代我們所了解的視覺(jué)皮層的體系結(jié)構(gòu)，盡管當(dāng)時(shí)我們只能去猜測(cè)簡(jiǎn)單和復(fù)雜單元的功能是什么，或者層級(jí)結(jié)構(gòu)頂部的分布式表征的存在意味著什么。這說(shuō)明了生物學(xué)與深度學(xué)習(xí)之間存在相得益彰的共生關(guān)系的潛力。

當(dāng)深度學(xué)習(xí)遇到視覺(jué)層級(jí)結(jié)構(gòu)

加州大學(xué)圣迭戈分校的帕特里夏·丘奇蘭德不僅是心靈哲學(xué)家，同時(shí)也研究神經(jīng)哲學(xué)。知識(shí)最終取決于大腦如何表達(dá)知識(shí)的說(shuō)法，顯然沒(méi)有人阻止哲學(xué)家認(rèn)為知識(shí)是獨(dú)立于世界而存在的一種東西，用伊曼努爾·康德（Immanuel Kant）的話來(lái)說(shuō)，就是“Ding an sich”（物自身）。但同樣清楚的是，如果我們（和其他動(dòng)物一樣）要在現(xiàn)實(shí)世界中生存，背景知識(shí)就是必不可少的。經(jīng)過(guò)訓(xùn)練的多層神經(jīng)網(wǎng)絡(luò)的隱藏單元之間的活動(dòng)模式，與被逐次記錄下的大量生物神經(jīng)之間的活動(dòng)模式存在顯著的相似性。受到這種相似性的驅(qū)動(dòng)，帕特里夏和我在1992 年編寫了《計(jì)算腦》（The Computational Brain）一書，為基于大量神經(jīng)元的神經(jīng)科學(xué)研究開發(fā)了一個(gè)概念框架。（該書現(xiàn)在已經(jīng)出到第二版了，如果你想更多地了解大腦式的運(yùn)算，這會(huì)是一本很好的入門參考。）麻省理工學(xué)院的詹姆斯·狄卡羅（James DiCarlo）最近比較了猴子視覺(jué)皮層層級(jí)結(jié)構(gòu)中不同神經(jīng)元和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的單元，訓(xùn)練它們識(shí)別相同圖片中的對(duì)象，分別觀察它們的響應(yīng)。他得出結(jié)論：深度學(xué)習(xí)網(wǎng)絡(luò)中每層神經(jīng)元的統(tǒng)計(jì)特性，與皮層層級(jí)結(jié)構(gòu)中神經(jīng)元的統(tǒng)計(jì)特性非常接近。

深度學(xué)習(xí)網(wǎng)絡(luò)中的單元與猴子視覺(jué)皮層中神經(jīng)元性能存在相似性，但其原因仍然有待研究，尤其是考慮到猴子的大腦不太可能使用反向傳播方式來(lái)進(jìn)行學(xué)習(xí)。反向傳播需要將詳細(xì)的錯(cuò)誤信號(hào)反饋給神經(jīng)網(wǎng)絡(luò)每層中的每個(gè)神經(jīng)元，其精度比生物神經(jīng)網(wǎng)絡(luò)中已知反饋連接的精度要高得多。但其他學(xué)習(xí)算法在生物學(xué)上似乎更合理，例如玻爾茲曼機(jī)學(xué)習(xí)算法，該算法使用了已經(jīng)在皮層中被發(fā)現(xiàn)的赫布突觸可塑性。這引出了一個(gè)有趣的問(wèn)題，是否存在一種深度學(xué)習(xí)的數(shù)學(xué)理論，能夠適用于一大類學(xué)習(xí)算法（包括皮層中的那些）呢？在第7 章中，我提到了對(duì)視覺(jué)層級(jí)結(jié)構(gòu)的上層分類表面的分析，其決策表面比更低層級(jí)的表面更平坦。對(duì)決策表面的幾何分析可能會(huì)引出對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)和大腦更深入的數(shù)學(xué)理解。

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的一個(gè)優(yōu)點(diǎn)是，我們可以從網(wǎng)絡(luò)中的每個(gè)單元提取“記錄”，并追蹤信息流從一層到另一層的轉(zhuǎn)變。然后可以將分析這種網(wǎng)絡(luò)的策略用于分析大腦中的神經(jīng)元。關(guān)于技術(shù)的一個(gè)奇妙之處在于，技術(shù)背后通常都有一個(gè)很好的解釋，并且有強(qiáng)烈的動(dòng)機(jī)來(lái)得到這種解釋。第一臺(tái)蒸汽發(fā)動(dòng)機(jī)是由工程師根據(jù)他們的直覺(jué)建造的；解釋發(fā)動(dòng)機(jī)如何工作的熱力學(xué)理論隨后出現(xiàn)，并且?guī)椭嵘税l(fā)動(dòng)機(jī)的效率。物理學(xué)家和數(shù)學(xué)家對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)的分析也正在順利進(jìn)行著。

有工作記憶的神經(jīng)網(wǎng)絡(luò)

自20 世紀(jì) 60 年代以來(lái)，神經(jīng)科學(xué)已經(jīng)走過(guò)了漫長(zhǎng)的道路，從我們目前對(duì)大腦的了解中可以獲得很多東西。1990 年，帕特里夏·高德曼–拉奇克（Patricia Goldman-Rakic）訓(xùn)練了一只猴子來(lái)記住一個(gè)地點(diǎn)，作為提示，該地點(diǎn)會(huì)短暫地被一盞燈照亮；她還訓(xùn)練這只猴子在一段時(shí)間的延遲之后，把眼睛移動(dòng)到被記住的地點(diǎn)。在記錄了猴子前額葉皮層的活動(dòng)后，她在報(bào)告中提到，一些最初對(duì)提示做出回應(yīng)的神經(jīng)元在延遲期間仍然保持活躍狀態(tài)。心理學(xué)家把人類的這種活動(dòng)稱為“工作記憶”，也正因?yàn)橛辛斯ぷ饔洃?，我們?cè)趫?zhí)行任務(wù)（比如撥打電話號(hào)碼）時(shí)，能夠記住7±2 項(xiàng)內(nèi)容。

傳統(tǒng)的前饋網(wǎng)絡(luò)將輸入傳到網(wǎng)絡(luò)中，一次傳播一層網(wǎng)絡(luò)。結(jié)合工作記憶，可以使后續(xù)的輸入與之前的輸入在網(wǎng)絡(luò)中留下的痕跡進(jìn)行交互。例如，把法語(yǔ)句子翻譯成英文時(shí)，網(wǎng)絡(luò)中的第一個(gè)法語(yǔ)單詞會(huì)影響后續(xù)英語(yǔ)單詞的順序。在網(wǎng)絡(luò)中實(shí)現(xiàn)工作記憶的最簡(jiǎn)單方法，是添加人類皮層中常見的循環(huán)連接。神經(jīng)網(wǎng)絡(luò)中某一層內(nèi)的循環(huán)連接和之前那些層的反饋連接，使得輸入的時(shí)間序列可以在時(shí)間上整合起來(lái)。

這種網(wǎng)絡(luò)在20 世紀(jì) 80 年代被探索并廣泛應(yīng)用于語(yǔ)音識(shí)別。在實(shí)踐中，它在具有短程依賴性的輸入方面效果很好，但當(dāng)輸入之間的時(shí)間間隔很長(zhǎng)，輸入的影響會(huì)隨著時(shí)間的推移發(fā)生衰減，網(wǎng)絡(luò)性能就會(huì)變差。1997 年，賽普·霍克萊特（Sepp Hochreiter）和尤爾根·施密德胡博（Jürgen Schmidhuber）找到了一種方法來(lái)克服衰變問(wèn)題，他們稱之為“長(zhǎng)短期記憶”（long short-term memory，簡(jiǎn)稱 LSTM）。默認(rèn)情況下，長(zhǎng)短期記憶會(huì)傳遞原始信息，而不會(huì)發(fā)生衰減（這就是猴子前額葉皮層的延遲期中發(fā)生的事情），并且它也有一個(gè)復(fù)雜的方案來(lái)決定如何將新的輸入信息與舊信息整合。于是，遠(yuǎn)程依賴關(guān)系可以被選擇性地保留。神經(jīng)網(wǎng)絡(luò)中這種工作記憶版本沉寂了長(zhǎng)達(dá)20 年之久，直到它在深度學(xué)習(xí)網(wǎng)絡(luò)中再次被喚醒和實(shí)現(xiàn)。長(zhǎng)短期記憶和深度學(xué)習(xí)的結(jié)合在許多依賴輸入輸出序列的領(lǐng)域都取得了令人矚目的成功，例如電影、音樂(lè)、動(dòng)作和語(yǔ)言。

施密德胡博是位于瑞士南部提契諾州（Ticino）曼諾小鎮(zhèn)的 Dalle Molle 人工智能研究所的聯(lián)合主任。該小鎮(zhèn)靠近阿爾卑斯山，周圍有一些絕佳的徒步地點(diǎn)。神經(jīng)網(wǎng)絡(luò)領(lǐng)域的這位頗具創(chuàng)造性、特立獨(dú)行的“羅德尼·丹澤菲爾德”相信他的創(chuàng)造力并沒(méi)有得到足夠的贊譽(yù)。

因此，在蒙特利爾舉辦的2015 年NIPS 會(huì)議的一次小組討論會(huì)上，他再次向與會(huì)人員介紹了自己，“我，施密德胡博，又回來(lái)了”。而在巴塞羅那舉行的2016 年 NIPS 大會(huì)上，他因培訓(xùn)宣講人沒(méi)有對(duì)自己的想法給予足夠的關(guān)注，而打亂對(duì)方的演講長(zhǎng)達(dá)5 分鐘。

2015 年，Kelvin Xu 及其同事在用一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)識(shí)別圖像中對(duì)象的同時(shí)，還連接了一個(gè)長(zhǎng)短期記憶循環(huán)網(wǎng)絡(luò)來(lái)標(biāo)注圖片。使用來(lái)自深度學(xué)習(xí)網(wǎng)絡(luò)第一遍識(shí)別的場(chǎng)景中所有對(duì)象作為輸入，他們訓(xùn)練長(zhǎng)短期記憶循環(huán)網(wǎng)絡(luò)輸出一串英文單詞，能夠形容一個(gè)標(biāo)注中的場(chǎng)景。他們還訓(xùn)練了長(zhǎng)短期記憶網(wǎng)絡(luò)來(lái)識(shí)別圖像中的位置，使其對(duì)應(yīng)于標(biāo)注中的每個(gè)單詞。該應(yīng)用令人印象深刻的地方在于，長(zhǎng)短期記憶網(wǎng)絡(luò)從未被訓(xùn)練來(lái)理解標(biāo)注中句子的含義，只是根據(jù)圖像中的對(duì)象及其位置輸出一個(gè)語(yǔ)法正確的單詞串。通過(guò)分析長(zhǎng)短期記憶網(wǎng)絡(luò)也許會(huì)引出一種新的語(yǔ)言理論，它將闡明網(wǎng)絡(luò)的工作原理和自然語(yǔ)言的性質(zhì)。

深度學(xué)習(xí)為圖片做標(biāo)注。頂部的一組圖片說(shuō)明了分析照片的步驟。ConvNet（ CNN）在第一步中標(biāo)記了照片中的對(duì)象，并將其傳遞給循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。RNN 被訓(xùn)練輸出適當(dāng)?shù)挠⑽膯卧~串。底部的四組圖片則闡明了進(jìn)一步細(xì)化的過(guò)程，即使用注意力（白色云）來(lái)表示照片中單詞的指示對(duì)象。

生成式對(duì)抗網(wǎng)絡(luò)

在第7章中，玻爾茲曼機(jī)被當(dāng)作一個(gè)生成模型進(jìn)行了介紹，當(dāng)輸出被鉗制到一個(gè)它已訓(xùn)練識(shí)別的類型中，并且其活動(dòng)模式向下滲透到輸入層時(shí)，就可以產(chǎn)生新的輸入樣本。伊恩·古德費(fèi)洛（Ian Goodfellow）、約書亞·本吉奧（Yoshua Bengio）和他們?cè)诿商乩麪柎髮W(xué)的同事們表示，可以訓(xùn)練前饋網(wǎng)絡(luò)，在對(duì)抗的背景（adversarialcontext）下生成更好的樣本。一個(gè)生成卷積網(wǎng)絡(luò)可以通過(guò)嘗試欺騙另一個(gè)卷積神經(jīng)網(wǎng)絡(luò)來(lái)訓(xùn)練生成優(yōu)質(zhì)的圖像樣本，后者必須決定一個(gè)輸入的圖像是真實(shí)的還是虛假的。生成網(wǎng)絡(luò)的輸出被用來(lái)作為一個(gè)經(jīng)過(guò)訓(xùn)練的判別卷積網(wǎng)絡(luò)（discriminative convolutional network）的輸入，后者只給出一個(gè)單一的輸出：如果輸入是真實(shí)圖像，就返回1，否則返回0。這兩個(gè)網(wǎng)絡(luò)會(huì)相互競(jìng)爭(zhēng)。生成網(wǎng)絡(luò)試圖增加判別網(wǎng)絡(luò)的錯(cuò)誤率，而判別網(wǎng)絡(luò)則試圖降低自身的錯(cuò)誤率。由這兩個(gè)目標(biāo)之間的緊張關(guān)系產(chǎn)生的圖像，擁有令人難以置信的照片級(jí)的真實(shí)感。

生成式對(duì)抗網(wǎng)絡(luò)（GAN）。頂部的示意圖展示了一個(gè)卷積網(wǎng)絡(luò)，用于生成一組樣本圖像，經(jīng)過(guò)訓(xùn)練后可以欺騙判別卷積網(wǎng)絡(luò)。左邊的輸入是100 維的隨機(jī)選取的連續(xù)值向量，用來(lái)生成不同的圖像；輸入的向量隨后激活空間尺度逐層變大的濾波器層。下方的圖顯示了通過(guò)訓(xùn)練來(lái)自單個(gè)類別照片的生成式對(duì)抗網(wǎng)絡(luò)產(chǎn)生的樣本圖像。

別忘了，這些生成的圖像是合成的，它們中的對(duì)象并不存在。它們是訓(xùn)練集中未標(biāo)記圖像的泛化版本。請(qǐng)注意，生成式對(duì)抗網(wǎng)絡(luò)是無(wú)監(jiān)督的，這使得它們可以使用無(wú)限的數(shù)據(jù)。這些網(wǎng)絡(luò)還有許多其他應(yīng)用，包括清除具有超高分辨率的星系天文圖片中的噪聲，以及學(xué)習(xí)表達(dá)富有情感的言語(yǔ)。

用面部圖片訓(xùn)練的生成式網(wǎng)絡(luò)的輸入混合后，產(chǎn)生了輸出（左圖），然后通過(guò)添加或減去選定的輸入向量進(jìn)行輸出，就創(chuàng)建出了混合后的圖像（右圖）。因?yàn)榛旌鲜窃谧罡叩谋碚鲗油瓿傻?，所以部位和姿?shì)是無(wú)縫接合的，并不會(huì)經(jīng)過(guò)變形過(guò)程中那樣的平均處理。

通過(guò)慢慢地改變生成式網(wǎng)絡(luò)的輸入向量，有可能逐漸改變圖像，使得部件或零碎物品（如窗戶）逐漸顯現(xiàn)或變成其他物體（如櫥柜）。更值得關(guān)注的是，有可能通過(guò)添加和減去表示網(wǎng)絡(luò)狀態(tài)的向量以獲得圖像中對(duì)象的混合效果，如圖9–6 所示。這些實(shí)驗(yàn)的意義在于，生成網(wǎng)絡(luò)對(duì)圖像中空間的表征，正如我們?nèi)绾蚊枋鰣?chǎng)景的各個(gè)組成部分。這項(xiàng)技術(shù)正在迅速發(fā)展，其下一個(gè)前沿領(lǐng)域是生成逼真的電影。通過(guò)訓(xùn)練一個(gè)反復(fù)演繹的生成式對(duì)抗網(wǎng)絡(luò)，與類似瑪麗蓮·夢(mèng)露這樣的演員參演的電影進(jìn)行對(duì)比，應(yīng)該有可能創(chuàng)造出已過(guò)世的演員出演的新作品。

這是米蘭的時(shí)裝周，衣著光鮮的模特們帶著超凡脫俗的表情在T臺(tái)上走秀。時(shí)尚界正在經(jīng)歷暗潮涌動(dòng)：“‘很多工作正在消失，’西爾維婭·文圖里尼·芬迪（Silvia Venturini Fendi）在她的時(shí)裝秀開場(chǎng)前說(shuō)道，‘機(jī)器人會(huì)承擔(dān)舊的工作，但它們唯一無(wú)法取代的就是我們的創(chuàng)造力和思維?！爆F(xiàn)在想象一下經(jīng)過(guò)訓(xùn)練的新一代對(duì)抗網(wǎng)絡(luò)，它們可以生產(chǎn)新款式和高級(jí)時(shí)裝，式樣幾乎無(wú)窮無(wú)盡。時(shí)尚界可能正處于一個(gè)新時(shí)代的邊緣，而許多其他依賴創(chuàng)意的行業(yè)也面臨著相同的處境。

應(yīng)對(duì)現(xiàn)實(shí)社會(huì)的復(fù)雜性

當(dāng)前的大多數(shù)學(xué)習(xí)算法是在25 年前開發(fā)的，為什么它們需要那么長(zhǎng)的時(shí)間才能對(duì)現(xiàn)實(shí)世界產(chǎn)生影響呢？20 世紀(jì) 80 年代的研究人員使用的計(jì)算機(jī)和標(biāo)記數(shù)據(jù)，只能證明玩具問(wèn)題的原理。盡管取得了一些似乎頗有前景的成果，但我們并不知道網(wǎng)絡(luò)學(xué)習(xí)及其性能如何隨著單元和連接數(shù)量的增加而增強(qiáng)，以適應(yīng)現(xiàn)實(shí)世界問(wèn)題的復(fù)雜性。人工智能中的大多數(shù)算法縮放性很差，從未跳出解決玩具級(jí)別問(wèn)題的范疇。我們現(xiàn)在知道，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的縮放性很好，隨著網(wǎng)絡(luò)規(guī)模和層數(shù)的不斷增加，其性能也在不斷增強(qiáng)。特別是反向傳播技術(shù)，它的縮放性非常好。

我們應(yīng)該對(duì)此感到驚訝嗎？大腦皮層是哺乳動(dòng)物的一項(xiàng)發(fā)明，在靈長(zhǎng)類動(dòng)物，尤其是人類中得到了高度發(fā)展。隨著它的擴(kuò)展，更多的功能慢慢出現(xiàn)，并且更多層次被添加到了關(guān)聯(lián)區(qū)域，以實(shí)現(xiàn)更高階的表征。很少有復(fù)雜系統(tǒng)可以實(shí)現(xiàn)如此高級(jí)的縮放?；ヂ?lián)網(wǎng)是為數(shù)不多的已經(jīng)被擴(kuò)大了100 萬(wàn)倍的工程系統(tǒng)之一。一旦通信數(shù)據(jù)包協(xié)議建立起來(lái)，互聯(lián)網(wǎng)就會(huì)開始進(jìn)化，正如DNA 中的遺傳密碼使細(xì)胞演化成為可能一樣。

使用相同的一組數(shù)據(jù)訓(xùn)練許多深度學(xué)習(xí)網(wǎng)絡(luò)，會(huì)導(dǎo)致生成大量不同的網(wǎng)絡(luò)，它們都具有大致相同的平均性能水平。我們想知道的是，所有這些同等優(yōu)秀的網(wǎng)絡(luò)有哪些共同之處，而對(duì)單個(gè)網(wǎng)絡(luò)進(jìn)行分析并不能揭示這一點(diǎn)。理解深度學(xué)習(xí)原理的另一種方法是進(jìn)一步探索學(xué)習(xí)算法的空間；我們只在所有學(xué)習(xí)算法的空間中對(duì)幾個(gè)位置進(jìn)行了抽樣嘗試。從更廣泛的探索中可能會(huì)出現(xiàn)一種學(xué)習(xí)計(jì)算理論，該理論與其他科學(xué)領(lǐng)域的理論一樣深?yuàn)W，可能為從自然界中發(fā)現(xiàn)的學(xué)習(xí)算法提供更多的解釋。

蒙特利爾大學(xué)的約書亞·本吉奧，和楊立昆一起，接替杰弗里·辛頓，成為CIFAR 神經(jīng)計(jì)算和NCAP 項(xiàng)目的主任，該項(xiàng)目在通過(guò)十年評(píng)估后更名為“機(jī)器學(xué)習(xí)和大腦學(xué)習(xí)”項(xiàng)目（Learning in Machines and Brains）。約書亞率領(lǐng)蒙特利爾大學(xué)的一個(gè)團(tuán)隊(duì)，致力于應(yīng)用深度學(xué)習(xí)來(lái)處理自然語(yǔ)言，這將成為“機(jī)器學(xué)習(xí)和大腦學(xué)習(xí)”項(xiàng)目新的研究重點(diǎn)。在十多年的會(huì)議中，這個(gè)由20 多名教師和研究員組成的小組開啟了深度學(xué)習(xí)的研究。過(guò)去5 年來(lái)，深度學(xué)習(xí)在過(guò)去難以解決的許多問(wèn)題上取得了實(shí)質(zhì)性進(jìn)展，這些進(jìn)展歸功于小組成員的努力，他們當(dāng)然只是一個(gè)更龐大社區(qū)中的一小部分人。

約書亞·本吉奧是 CIFAR“機(jī)器學(xué)習(xí)和大腦學(xué)習(xí)”項(xiàng)目的聯(lián)合主任。這位在法國(guó)出生的加拿大籍計(jì)算機(jī)科學(xué)家，一直是應(yīng)用深度學(xué)習(xí)處理自然語(yǔ)言問(wèn)題這個(gè)領(lǐng)域的領(lǐng)導(dǎo)者。杰弗里·辛頓、楊立昆和約書亞·本吉奧所取得的進(jìn)展，為深度學(xué)習(xí)的成功奠定了基礎(chǔ)。圖片來(lái)源：約書亞·本吉奧。

盡管深度學(xué)習(xí)網(wǎng)絡(luò)的能力已經(jīng)在許多應(yīng)用中得到了證明，但如果單靠自身，它們?cè)诂F(xiàn)實(shí)世界中永遠(yuǎn)都無(wú)法存活下來(lái)。29 它們受到了研究者的青睞，后者為其提供數(shù)據(jù)，調(diào)整超參數(shù)，例如學(xué)習(xí)速度、層數(shù)和每層中的單元數(shù)量，以改善收斂效果，還為其提供了大量計(jì)算資源。另一方面，如果沒(méi)有大腦和身體的其他部分提供支持和自主權(quán)，大腦皮層也無(wú)法在現(xiàn)實(shí)世界中存活。在一個(gè)不確定的世界中，這種支持和自主權(quán)是一個(gè)比模式識(shí)別更難解決的問(wèn)題。