強(qiáng)化學(xué)習(xí)之父Richard Sutton總結(jié)AI研究“苦澀教訓(xùn)”，認(rèn)為利用算力才是王道，不應(yīng)依靠人類知識(shí)。對(duì)此，著名機(jī)器人專家Rodney Brooks 撰文反駁，闡述了Sutton觀點(diǎn)錯(cuò)誤的六大原因。

The Bitter Lesson還是A Better Lesson？

近日，強(qiáng)化學(xué)習(xí)之父、加拿大計(jì)算機(jī)科學(xué)家 Richard S. Sutton 在其個(gè)人網(wǎng)站上發(fā)文The Bitter Lesson，指出了過去 70 年來 AI 研究方面的苦澀教訓(xùn)：我們過于依靠人類知識(shí)了。

參考閱讀：

強(qiáng)化學(xué)習(xí)之父：AI研究70年教訓(xùn)深刻，未來探索要靠智能體自己

他認(rèn)為，過去 70 年來，AI 研究走過的最大彎路，就是過于重視人類既有經(jīng)驗(yàn)和知識(shí)，研究人員在訓(xùn)練 AI 模型時(shí)，往往想將人類知識(shí)灌輸給智能體，而不是讓智能體自己去探索。這實(shí)際上只是個(gè)記錄的過程，并未實(shí)現(xiàn)真正的學(xué)習(xí)。

Sutton說，事實(shí)證明，這種基于人類知識(shí)的所謂 “以人為本” 的方法，并未收到很好的效果，尤其是在可用計(jì)算力迅猛增長(zhǎng)的大背景下，在國(guó)際象棋、圍棋、計(jì)算機(jī)視覺等熱門領(lǐng)域，智能體本身已經(jīng)可以自己完成 “規(guī)模化搜索和學(xué)習(xí)”，取得的效果要遠(yuǎn)好于傳統(tǒng)方法。

由此，Sutton認(rèn)為利用算力才是王道，過去的教訓(xùn)必須總結(jié)，未來的研究中，應(yīng)該讓 AI 智能體自己去發(fā)現(xiàn)，而不是將我們發(fā)現(xiàn)的東西記下來。

這番言論引來許多反對(duì)的聲音，比如，牛津大學(xué)計(jì)算機(jī)科學(xué)教授 Shimon Whiteson 寫道：“Sutton 說 AI 的發(fā)展歷程告訴我們，利用計(jì)算力要?jiǎng)龠^利用人類知識(shí)。我認(rèn)為這是對(duì)歷史的一種很奇怪的解釋。AI 的成功不僅取決于豐富的計(jì)算資源，還取決于沒有被拋棄的人類知識(shí)?！?/p>

近日，著名 AI 專家 Rodney Brooks 也加入反對(duì)Sutton的隊(duì)伍，他撰文 “A Better Lesson”，闡述Rich Sutton的觀點(diǎn)錯(cuò)誤的六大原因。

Rodney Brooks 被譽(yù)為機(jī)器人教父，機(jī)器人領(lǐng)域祖師爺級(jí)別的學(xué)者，他還是澳洲科學(xué)院院士，美國(guó)國(guó)家工程院院士，前 MIT 計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室主任。

Rodney Brooks

新智元對(duì) Rodney Brooks 的評(píng)論文章翻譯如下：

Sutton觀點(diǎn)錯(cuò)誤的六大原因

就在上周，Rich Sutton 發(fā)表了一篇題為《苦澀的教訓(xùn)》(The Bitter Lesson) 的短文。我打算盡量把這篇評(píng)論寫得比他的帖子更短。Sutton 在強(qiáng)化學(xué)習(xí)領(lǐng)域有著長(zhǎng)期而持續(xù)的貢獻(xiàn)。

在他的文章中，Sutton 用了很多很好的例子來論證，在人工智能 70 年的歷史中，更多的計(jì)算和更少的內(nèi)置知識(shí)總是構(gòu)建 AI 系統(tǒng)的最佳方式。這與許多新進(jìn)入 AI 領(lǐng)域的人們目前的思維模式產(chǎn)生了共鳴，他們認(rèn)為，設(shè)計(jì)學(xué)習(xí)網(wǎng)絡(luò)并投入大量計(jì)算能力，要比為某個(gè)任務(wù)專門設(shè)計(jì)一個(gè)計(jì)算架構(gòu)更好。然而，我必須要說的是，上周在美國(guó)國(guó)家科學(xué)院 (National Academy of Science) 舉辦的為期兩天的深度學(xué)習(xí)研討會(huì)上，后一種觀點(diǎn)更為流行，某種程度上這與 Sutton 的觀點(diǎn)正好相反。

我認(rèn)為 Sutton 錯(cuò)了，原因有很多。

1.深度學(xué)習(xí)最著名的成功之一就是圖像標(biāo)注 (image labeling)，使用 CNN，即卷積神經(jīng)網(wǎng)絡(luò)，但 CNN 的本質(zhì)是網(wǎng)絡(luò)的前端由人類設(shè)計(jì)來處理平移不變性，即對(duì)象可以出現(xiàn)在框架的任何地方。使用深度學(xué)習(xí)網(wǎng)絡(luò)也必須學(xué)習(xí)那些看起來學(xué)究氣十足的東西，并且會(huì)使學(xué)習(xí)的計(jì)算成本提高許多個(gè)數(shù)量級(jí)。

2.在圖像標(biāo)記方面，還有其他一些東西受到了極大的影響，因?yàn)槟壳暗?CNN 中缺乏某些眾所周知對(duì)人類表現(xiàn)很重要的內(nèi)置功能。例如，顏色恒常性 (color constancy)。

有這么一個(gè)著名的例子：一個(gè)停車標(biāo)志上被貼了一些膠帶，就被一個(gè)為自動(dòng)駕駛訓(xùn)練的 CNN 誤認(rèn)為是一個(gè) “限速 45 英里” 的限速標(biāo)志了。

人類不會(huì)犯這樣的錯(cuò)誤，因?yàn)樗麄冎劳＼嚇?biāo)志是紅色的，限速標(biāo)志是白色的。CNN 并不知道這一點(diǎn)，因?yàn)橄鄼C(jī)中的像素顏色和物體的實(shí)際顏色之間的關(guān)系是一種非常復(fù)雜的關(guān)系，而這種關(guān)系并沒有被訓(xùn)練算法使用的區(qū)區(qū)數(shù)千萬張訓(xùn)練圖像所闡明。

未來可行的訓(xùn)練集可以是將人類的工作負(fù)載轉(zhuǎn)移為創(chuàng)建大量的訓(xùn)練集，并編碼我們希望系統(tǒng)學(xué)習(xí)的標(biāo)簽。這就像直接構(gòu)建一個(gè)顏色恒常性階段一樣需要內(nèi)置知識(shí)。這是把人類的智力工作轉(zhuǎn)移到其他地方的花招。

3.事實(shí)上，對(duì)于今天的大多數(shù)機(jī)器學(xué)習(xí)問題，都需要人來設(shè)計(jì)一個(gè)特定的網(wǎng)絡(luò)架構(gòu)才能使學(xué)習(xí)順利進(jìn)行。所以，我們現(xiàn)在期望的不是由人類構(gòu)建特定的知識(shí)，而是由人類構(gòu)建特定的、適當(dāng)?shù)木W(wǎng)絡(luò)，以及構(gòu)建需要使用的特定訓(xùn)練機(jī)制。再說一次，說 AI 在沒有人類參與的情況下取得成功，這是一種花招。相反，我們要求人類將他們的智慧以一種不同的形式注入算法中。

4. 大量的數(shù)據(jù)集根本不是人類學(xué)習(xí)東西所需要的，所以這里缺失了某些東西。今天的數(shù)據(jù)集可以有數(shù)十億個(gè)樣本，但一個(gè)人可能只需要少數(shù)幾個(gè)樣本就能學(xué)會(huì)同樣的東西。但更糟糕的是，訓(xùn)練我們今天所看到的大多數(shù)網(wǎng)絡(luò)所需的計(jì)算量只能由預(yù)算非常龐大的大公司提供，AI 的成本過高使得個(gè)人甚至大學(xué)院系難以推動(dòng)。對(duì)于智能系統(tǒng)，這不是一個(gè)可持續(xù)發(fā)展的模式。對(duì)于一些機(jī)器學(xué)習(xí)問題，由于在訓(xùn)練過程中需要消耗大量能耗，我們已經(jīng)開始看到一些明顯節(jié)約的方法。

5. 摩爾定律 (Moore’s Law) 正在放緩，因此，一些計(jì)算機(jī)架構(gòu)師報(bào)告稱，單個(gè)芯片上計(jì)算量倍增的時(shí)間正在從一年延長(zhǎng)到 20 年。此外，登納德縮放定律 (Dennard scaling) 在 2006 年的崩潰意味著機(jī)器的功耗隨著性能提升而提高，因此我們甚至可能無法承受在小型機(jī)器上提高機(jī)器學(xué)習(xí)的結(jié)果 (更不用說實(shí)際的學(xué)習(xí))，例如，自動(dòng)駕駛汽車可能需要 2500 瓦的電力來進(jìn)行計(jì)算 —— 而人腦只需要 20 瓦。因此，Sutton 的觀點(diǎn)只會(huì)讓情況變得更糟，讓 AI 和 ML 的使用變得不切實(shí)際。

6.計(jì)算機(jī)架構(gòu)師現(xiàn)在正試圖通過為訓(xùn)練好的網(wǎng)絡(luò)構(gòu)建專用芯片來解決這些問題。但他們需要將硬件鎖定到特定的網(wǎng)絡(luò)結(jié)構(gòu)，并利用人工分析，在不改變計(jì)算結(jié)果的情況下大幅降低電力預(yù)算。這有兩個(gè)缺點(diǎn)。首先，它鎖定了特定于特定解決方案的硬件，因此每當(dāng)我們遇到新的 ML 問題，我們都需要設(shè)計(jì)新的硬件。其次，它只是簡(jiǎn)單地轉(zhuǎn)移了應(yīng)用人類智能的地方，而不是完全消除人類參與設(shè)計(jì)的需要。

因此，我對(duì) Rich Sutton 這篇文章的看法是，我們應(yīng)該從過去 70 年的 AI 研究中吸取的教訓(xùn)，根本不是只要使用更多的計(jì)算力就總能成功。相反，我認(rèn)為應(yīng)該吸取的更好的教訓(xùn)是，我們必須考慮任何解決方案的總成本，而且到目前為止，這些都需要大量的人類智慧。

這篇評(píng)論，包括這句話，比 Sutton 的帖子短了 78 個(gè)詞。