在二十世紀五十年代就存在深度學習的概念了。麥肯錫全球研究院發(fā)文簡要回顧了深度學習是如何從概念發(fā)展為現(xiàn)實的，而使之實現(xiàn)的關(guān)鍵人物又是誰。

文章表示，要書寫深度學習的完整歷史還為時過早，有些細節(jié)尚存在爭議，但是我們已經(jīng)能追尋其公認的起源概貌，雖然還不完整，也能確定一些先驅(qū)者了。沃倫·麥卡洛克（WarrenMcCulloch）和沃爾特·皮茨（Walter Pitts）就名列其中。他們早在1943年就提出了人工神經(jīng)元，這是大腦中“神經(jīng)網(wǎng)絡”的計算模型。還有美國斯坦福大學（Stanford University）的伯納德·威德羅（BernardWidrow）和泰德·霍夫(Ted Hoff)，他們在二十世紀五十年代末期開發(fā)了一種神經(jīng)網(wǎng)絡應用，降低電話線中的噪音。

同一時期，美國心理學家弗蘭克·羅森布拉特（Frank Rosenblatt）引入了“感知器”這種設備的概念，模擬大腦的神經(jīng)結(jié)構(gòu)，并展現(xiàn)出學習的能力。后來，美國麻省理工學院（MIT）的馬文·明斯基（Marvin Minsky）和西摩·帕普特（SeymourPapert）在其1969年出版的書《感知器》中，用數(shù)學的方法展示了感知器只能進行很基礎的任務，所以這項研究暫停。他們的書還討論了訓練多層神經(jīng)網(wǎng)絡的難點。

1986年，加拿大多倫多大學（University of Toronto）的杰弗里·辛頓（Geoffrey Hinton）與同事大衛(wèi)·魯姆哈特（DavidRumelhart）和羅納德·威廉姆斯（Ronald Williams）發(fā)表了目前很著名的反向傳播訓練算法，解決了這一訓練難題，但有些業(yè)內(nèi)人士指出芬蘭數(shù)學家賽普·林納因馬（SeppoLinnainmaa）早在二十世紀六十年代就已經(jīng)發(fā)明了反向傳播。美國紐約大學（New York University）的楊立昆（Yann LeCun）率先將神經(jīng)網(wǎng)絡應用于圖像識別任務，他在1998年發(fā)表的文章中定義了卷積神經(jīng)網(wǎng)絡，這種神經(jīng)網(wǎng)絡模擬人類的視覺皮層。同期，約翰·霍普菲爾德(JohnHopfield)推廣了“霍普菲爾德”網(wǎng)絡，這是首個循環(huán)神經(jīng)網(wǎng)絡。1997年，爾根·施米德休伯(JürgenSchmidhuber)和賽普·霍克賴特（Sepp Hochreiter）進一步擴展了該網(wǎng)絡，他們引入了長短期記憶模型（long-short termmemory, LSTM），極大地提高了循環(huán)神經(jīng)網(wǎng)絡的效率和實用性。2012年，辛頓和他的學生在著名的 ImageNet 競賽中取得了突出的結(jié)果，彰顯了深度學習的強大。該競賽以李飛飛等人整理的數(shù)據(jù)集為基礎。與此同時，杰弗里·迪恩（JeffDean）和吳恩達（Andrew Ng）正在谷歌大腦（Google Brain）進行大規(guī)模圖像識別方面的突破性工作。

深度學習也增強了強化學習這一已存在的領(lǐng)域，理查德·薩頓（Richard Sutton）就是其中一位頂尖的研究人員，他牽頭讓谷歌DeepMind開發(fā)的系統(tǒng)取得了多次棋類比賽的勝利。2014年，伊恩·古德費洛（IanGoodfellow）發(fā)表了一篇關(guān)于生成式對抗網(wǎng)絡的文章，這種網(wǎng)絡與強化學習已成為了該領(lǐng)域近期多個研究的焦點。

人工智能（AI）能力的持續(xù)進步讓斯坦福大學啟動了“人工智能百年研究”（One Hundred Year Study on Artificial Intelligence）項目。該項目由微軟研究院院長埃里克·霍維茨（EricHorvitz）發(fā)起，是基于他和微軟研究院的同事所進行的長期研究。過去幾年里，眾多研究先驅(qū)的研究結(jié)果和指導讓我們受益良多。