Gary Marcus再次撰文批判深度學習，這次，他回應了Bengio實驗室關于語言理解的研究，認為該研究與他的觀點不謀而合，即當前的深度學習技術無法處理語言的復雜性。他強調混合模型，與深度學習相結合。

Gary Marcus是紐約大學心理學與神經(jīng)科學教授，但在AI領域，他更知名的是一直高調參與人工智能辯論。

Marcus稱自己是“AI contrarian”。什么是“contrarian”？就是專門反對或批評流行觀點的人。在AI領域，流行觀點就是“深度學習”。

今年初，Marcus撰文批判深度學習，與Yann Lecun、AAAI前主席Thomas Dietterich等一眾AI研究者展開激辯。

在批判深度學習的文章中，Marcus概括了深度學習的十大挑戰(zhàn)，直言深度學習本身雖然有用，但它不可能實現(xiàn)通用人工智能。他建議把深度學習視為“一種非普遍的解決方法，而只是一種工具?！?/p>

他說：“相比純粹的深度學習，我呼吁混合模型，不僅包括深度學習的監(jiān)督形式，還包括其他技術，例如符號處理（symbol-manipulation），以及無監(jiān)督學習（它本身也可能被重新概念化）。我也敦促社區(qū)考慮將更多的內在結構納入AI系統(tǒng)。”

近日，Marcus在medium上發(fā)表文章《Bengio vs Marcus，以及神經(jīng)網(wǎng)絡語言模型的過去、現(xiàn)在和未來》 ，在這篇文章里，Marcus回應了Bengio實驗室最近關于“當前的深度學習技術不足以應對自然語言的復雜性”的研究，認為該研究與他的觀點不謀而合。

新智元對該文章編譯如下：

過去

長期以來，很多研究人員擔心神經(jīng)網(wǎng)絡是否能夠有效地泛化（generalize），以捕捉語言的豐富性。這一直是我的工作的一個主題，從20世紀90年代以來就是如此。在我之前，認知科學領域的Fodor，Pylyshyn，Pinker以及Prince等人1988年就提出了非常類似的觀點。Brenden Lake和他的合著者在今年早些時候也提出了類似的觀點。

我在今年一月寫了一篇關于這個話題的文章：

當可用的訓練數(shù)據(jù)量有限時，或者當測試集與訓練集的區(qū)別很大時，或者當示例空間非常大且充滿新示例時，深度學習系統(tǒng)的表現(xiàn)就不那么好了。鑒于現(xiàn)實世界的局限性，有些問題根本不能被視為分類問題。比如說，開放式的自然語言理解就不應被認為是兩個大型有限句子集間的映射，而是一個潛在的無限的輸入句子范圍和一個同樣大的含義范圍的映射，而且這里面很多是以前從來沒有遇到過的。

現(xiàn)在

最近，Yoshua Bengio和他實驗室的研究人員就寫了一篇論文，從神經(jīng)網(wǎng)絡社區(qū)內部認同了認知科學界的一群外人（包括我自己）長期以來的觀點：當前的深入學習技術實際上無法處理語言的復雜性。

這篇論文題為“BabyAI: First Steps Towards Grounded Language Learning With a Human In the Loop”，論文摘要里寫道：

我們提出了強有力的證據(jù)，表明當前的深度學習方法在學習一門具有構式特征（compositional properties）的語言時，缺乏足夠的樣本效率。

這是一個非常普遍的問題，然而之前的文獻完全沒有討論過。

無論如何，我很高興Bengio的實驗室跟我一直以來的觀點是一致的，如我在Twitter上說：

關于深度學習及其局限性的大新聞：Yoshua Bengio的實驗室證實了Marcus在2001年和2018年得出的一個關鍵結論：深度學習在數(shù)據(jù)處理方面不夠有效，無法應對語言的構式本質。

論文地址如下：arxiv.org/abs/1810.08272

我的言論經(jīng)常引起深度學習界許多人的反感。但Bengio回復的一條Facebook帖子引起了我的注意，他說：

這里的結論似乎有些迷惑性。根據(jù)我們的實驗，我們是說目前的DL+RL在學習理解構式語言所需的樣本復雜性方面還不能令人滿意。但這與Gary的結論大不相同，因為我們相信我們可以繼續(xù)取得進步，并在現(xiàn)有的深度學習和強化學習的科學基礎上進行擴展。Gary明確地認為“深度學習的數(shù)據(jù)效率不足以處理語言的構式本質”，而我們認為當前的DL技術還可以增強，可以更好地應付的構式，這是系統(tǒng)泛化所必須的。這正是我們正在進行的研究，可以參考我的論文“The Consciousness Prior”。（https://arxiv.org/abs/1709.08568）

實際上，Bengio的意思是：我們還沒有到達那個技術水平。

也許是這個意思。話又說回來，也許不是這個意思。也許深度學習就是永遠無法讓我們達成目標。我們至少需要考慮這種可能性。

20年前，我首次提出了這個觀點——從反向傳播工作的方式出發(fā)提的。在那時，出現(xiàn)了很多關于未知機制和未來成功的承諾。

這些承諾至今仍未兌現(xiàn)——20年過去了。投入進這些研究的資金達數(shù)十億美元，而深度學習在語義合成性（compositionality）方面沒有取得任何顯著的進展。

在過去20年里唯一真正改變的是，神經(jīng)網(wǎng)絡社區(qū)終于開始注意到這個問題了。

未來

Bengio和我在很多方面都有共識。我們都認為現(xiàn)有的模型不會取得成功。我們都同意深度學習必須增強（augmented）。

然而問題是，增強是什么呢。

Bengio可以自由地闡述他的觀點。

我的觀點與我過去20年來的預測毫無二致：深度學習必須增強，借鑒經(jīng)典符號系統(tǒng)的一些操作，也就是說我們需要混合模型，充分利用最好的經(jīng)典AI（允許顯式地表示階級性結構和抽象的規(guī)則），并將其與深度學習的優(yōu)勢相結合。

許多（不是所有）神經(jīng)網(wǎng)絡的擁護者都試圖避免在他們的網(wǎng)絡中添加這樣的東西。這并不是不可能的；這是普遍觀念的問題。當然，僅靠深度學習目前還無法解決這個問題。也許是時候嘗試別的方法了。

我不認為深度學習無法在自然理解方面發(fā)揮作用，只是我認為深度學習本身無法成功。

我的預測不變：如果沒有固有的組合性工具來表示規(guī)則和結構化表示，語言理解的神經(jīng)網(wǎng)絡模型仍然幾乎無法取得進展。