地處加拿大埃德蒙頓的阿爾伯塔大學(xué)（UAlberta）可謂是強化學(xué)習(xí)重鎮(zhèn)，這項技術(shù)的締造者之一薩頓（Rich Sutton）在這里任教。

△薩頓

薩頓常被稱為“強化學(xué)習(xí)之父”，他對強化學(xué)習(xí)的重要貢獻包括時序差分學(xué)習(xí)和策略梯度方法。

如果你研究過強化學(xué)習(xí)，可能對他和巴爾托（Andrew Barto）合著的一本書很熟悉：《強化學(xué)習(xí)導(dǎo)論》（Reinforcement Learning, an introduction）。這本書被引用了2.5萬多次，如今，第二版即將出版，全書草稿也已經(jīng)在網(wǎng)上公開。

△Reinforcement Learning, an introduction草稿http://incompleteideas.net/book/bookdraft2017nov5.pdf

巴爾托是薩頓的博士論文導(dǎo)師，薩頓的博士論文《強化學(xué)習(xí)的時間學(xué)分分配》（Temporal Credit Assignment in Reinforcement Learning）中，引入了一種評價器結(jié)構(gòu)和“時間信用分配”。他們把“顯而易見”的強化學(xué)習(xí)理念，變成了一個以數(shù)學(xué)為基礎(chǔ)的可行理論。

薩頓獲得了斯坦福大學(xué)心理學(xué)學(xué)士學(xué)位(1978年)和碩士學(xué)位(1980)，以及馬薩諸塞大學(xué)安姆斯特分校計算機博士學(xué)位(1984)。

從1985年到1994年，Sutton擔任GTE實驗室的首席技術(shù)員。之后，他在麻省大學(xué)安姆斯特分校做了3年的高級研究員，然后又到AT&T香農(nóng)實驗室做了5年的首席技術(shù)員。2003年以來，他一直在阿爾伯塔大學(xué)計算機系擔任教授兼iCORE主席，領(lǐng)強化學(xué)習(xí)和人工智能實驗室。

2003年以來，薩頓在阿爾伯塔大學(xué)計算機系任教授、iCORE主席，領(lǐng)導(dǎo)著強化學(xué)習(xí)和人工智能實驗室。今年6月，DeepMind在埃德蒙頓和阿爾伯塔大學(xué)聯(lián)合設(shè)立首個海外研究院，薩頓也是這個研究院的領(lǐng)導(dǎo)者之一。

最近，機器學(xué)習(xí)和數(shù)據(jù)科學(xué)社區(qū)KDnuggets董事長，數(shù)據(jù)科學(xué)會議KDD和ACM SIGKDD的聯(lián)合發(fā)起者Gregory Piatetsky專訪了薩頓。

薩頓在專訪中（再次）科普了強化學(xué)習(xí)、深度強化學(xué)習(xí)，并談到了這項技術(shù)的潛力，以及接下來的發(fā)展方向：預(yù)測學(xué)習(xí)。

量子位將專訪內(nèi)容搬運如下：

△典型的強化學(xué)習(xí)過程

我在上世紀80年代遇到了Rich Sutton，我和他當時都剛開始在波士頓地區(qū)的GTE實驗室讀博士。我研究智能數(shù)據(jù)庫，他在強化學(xué)習(xí)部門，但是我們在GTE實驗室的項目還遠沒有實際應(yīng)用。我們經(jīng)常下象棋，我們倆在這方面勢均力敵，但在機器學(xué)習(xí)方面，Rich遠遠領(lǐng)先于我。

Q：強化學(xué)習(xí)的主要思想是什么？它與監(jiān)督學(xué)習(xí)有何不同？

薩頓：在與世界的正?；舆^程中，強化學(xué)習(xí)會通過試錯法利用獎勵來學(xué)習(xí)。因此，它跟自然學(xué)習(xí)過程非常相似，而與監(jiān)督學(xué)習(xí)不同。

在監(jiān)督學(xué)習(xí)中，學(xué)習(xí)只發(fā)生在一個特殊的訓(xùn)練階段，這個階段中會出現(xiàn)一個正常情況下不會出現(xiàn)的監(jiān)督或教學(xué)信號。

例如，語音識別目前通過監(jiān)督學(xué)習(xí)來完成，需要使用大量的語音數(shù)據(jù)集和正確的文本內(nèi)容。這些文本內(nèi)容就是一種監(jiān)督信號，等系統(tǒng)開始工作、輸入了新的語音時，就沒有這個監(jiān)督信號了。

而AI打游戲，通常就是通過強化學(xué)習(xí)來實現(xiàn)的，需要利用游戲的結(jié)果作為獎勵。即使你玩了一個新游戲，也會看到自己是贏是輸，并且可以用強化學(xué)習(xí)算法來提高你的游戲技術(shù)。

監(jiān)督式游戲?qū)W習(xí)方法則需要借助一些“正確”的動作來實現(xiàn)，這些動作可以來自人類專家。這很方便，但在正常的游戲中是不可用的，而且會導(dǎo)致學(xué)習(xí)系統(tǒng)的技能局限在人類專家的技能范疇內(nèi)。在強化學(xué)習(xí)中，你可以用較少的訓(xùn)練信息，這樣做的優(yōu)勢是信息更充足，而且不受監(jiān)督者的技能限制。

Q：你跟Andrew Barto合著的經(jīng)典著作《強化學(xué)習(xí)導(dǎo)論》的第二版很快就要出版，具體什么時候？第二版的主要修訂了哪些內(nèi)容？你能跟我們講講新章節(jié)里關(guān)于強化學(xué)習(xí)與心理學(xué)之間有趣聯(lián)系嗎（第14章）？還有跟神經(jīng)科學(xué)之間的有趣聯(lián)系（第15章）？

薩頓：第二版的完整草稿目前已經(jīng)可以在richsutton.com上看到。Andy Barto和我正在定稿：驗證所有的參考文獻，諸如此類。印刷版將于明年初發(fā)行。

從第一版發(fā)行以來的20年里，強化學(xué)習(xí)領(lǐng)域發(fā)生了很多事情。其中最重要的或許是強化學(xué)習(xí)思想對神經(jīng)科學(xué)的巨大影響，現(xiàn)在，大腦獎勵系統(tǒng)的標準理論是，它們是一種時間差異學(xué)習(xí)的實例（這是強化學(xué)習(xí)的基本學(xué)習(xí)方法之一）。

特別地，現(xiàn)在的理論認為，神經(jīng)遞質(zhì)多巴胺的主要作用是攜帶時間差異誤差，也稱為獎勵預(yù)測誤差。這是一個巨大的發(fā)展，有許多來源、影響和測試，我們只能在書中進行概括。15和14章中介紹的這項發(fā)展和其他的發(fā)展概括了它們在心理學(xué)中的重要前提。

總的來說，第二版比第一版多了三分之二內(nèi)容。函數(shù)逼近的內(nèi)容從一章擴充到五章。還有關(guān)于心理學(xué)和神經(jīng)科學(xué)的兩個新章節(jié)。在強化學(xué)習(xí)的前沿也有一個新章節(jié)，有一節(jié)專門介紹它的社會影響。所有的東西都在這本書中不斷更新和擴展。例如，新的應(yīng)用程序章節(jié)涵蓋了Atari游戲和AlphaGo Zero。

Q：什么是深度強化學(xué)習(xí)？它與強化學(xué)習(xí)有何不同?

薩頓：深度強化學(xué)習(xí)是深度學(xué)習(xí)和強化學(xué)習(xí)的結(jié)合。這兩種學(xué)習(xí)方式在很大程度上是正交問題，二者結(jié)合得很好。

簡而言之，強化學(xué)習(xí)需要通過數(shù)據(jù)逼近函數(shù)的方法來部署其所有的組件——值函數(shù)、策略、世界模型、狀態(tài)更新——而深度學(xué)習(xí)是最近開發(fā)的函數(shù)逼近器中最新、最成功一個。

我們的教科書主要介紹線性函數(shù)逼近器，并給出一般情況下的方程。我們在應(yīng)用一章和一節(jié)中介紹了神經(jīng)網(wǎng)絡(luò)，但要充分了解深度強化學(xué)習(xí)，就必須用Goodfellow、Bengio、和Courville的《深度學(xué)習(xí)》來補充我們的書。

Q：強化學(xué)習(xí)在游戲中取得了巨大的成功，例如AlphaGo Zero。你預(yù)計強化學(xué)習(xí)還將在哪些方面有優(yōu)異表現(xiàn)？

薩頓：當然，我相信，從某種意義上講，強化學(xué)習(xí)是人工智能的未來。有人認為，智能系統(tǒng)必須能夠在不接受持續(xù)監(jiān)督的情況下自主學(xué)習(xí)，而強化學(xué)習(xí)正是其中的最佳代表。一個AI必須能夠自己判斷對錯，只有這樣才能擴展到大量的知識和一般技能。

Q：Yann LeCun評論說，AlphaGo Zero的成功很難推廣到其他領(lǐng)域，因為它每天都玩數(shù)百萬局游戲，但是你不能在現(xiàn)實世界里跑得更快。強化學(xué)習(xí)在哪些方面目前還沒有成功(例如，當反饋稀疏時)？如何能夠解決？

薩頓：Yann應(yīng)該會認同這個觀點：關(guān)鍵是要從普通的無監(jiān)督數(shù)據(jù)中學(xué)習(xí)。我和Yann也都會認同這樣一個觀點：在短期內(nèi)，這將通過專注于“預(yù)測學(xué)習(xí)”來實現(xiàn)。

預(yù)測學(xué)習(xí)可能很快就會成為一個流行詞。它的意思是預(yù)測將要發(fā)生的事情，然后根據(jù)實際情況進行學(xué)習(xí)。因為你從發(fā)生的事情中學(xué)習(xí)，沒有一個監(jiān)督員告訴你應(yīng)該預(yù)測什么。但因為你通過等待發(fā)現(xiàn)了結(jié)果，你就有了一個監(jiān)督信號。預(yù)測學(xué)習(xí)是無監(jiān)督的監(jiān)督式學(xué)習(xí)。預(yù)測學(xué)習(xí)可能會在應(yīng)用中取得重大進展。

唯一的問題是，你希望把預(yù)測學(xué)習(xí)看成是監(jiān)督學(xué)習(xí)還是強化學(xué)習(xí)的產(chǎn)物？強化學(xué)習(xí)的學(xué)生知道強化學(xué)習(xí)有一個主要的子問題，稱為“預(yù)測問題”，如何有效地解決這個問題正是大部分算法工作的重點。事實上，第一篇討論時間差異學(xué)習(xí)的論文題目是《學(xué)會用時間差異的方法來預(yù)測》。

Q：20世紀80年代，當研究強化學(xué)習(xí)時，你認為它會取得這樣的成功嗎?

薩頓：20世紀80年代，強化學(xué)習(xí)根本沒有流行。它本質(zhì)上并不是一個科學(xué)或工程的概念。但卻是一個顯而易見的想法。對心理學(xué)家來說很明顯，對普通人來說也很明顯。所以我認為，這顯然是一件值得研究的事情，最終會得到認可。

Q：強化學(xué)習(xí)的下一個研究方向是什么？你現(xiàn)在在做什么?

薩頓：除了預(yù)測學(xué)習(xí)之外，我想說的是，當我們有用訓(xùn)練過的世界模型來做規(guī)劃的系統(tǒng)時，下一個重大進步就會到來。

我們目前擁有優(yōu)秀的規(guī)劃算法，但只有當有模型提供給它們時才行，就像所有游戲系統(tǒng)中所看到的那樣，模型是由游戲規(guī)則（和自我對局）提供的。但我們在現(xiàn)實世界中并沒有跟游戲規(guī)則類似的東西。我們需要物理定律，沒錯，但我們也需要知道很多其他的事情，從如何走路和觀察到別人如何回應(yīng)我們所做的事情。

我們在第八章的Dyna系統(tǒng)中描述了一個完整的規(guī)劃和學(xué)習(xí)系統(tǒng)，但卻局限為幾種方式。第17章闡述了可能克服這種局限的方法。我將從那里入手。

Q：強化學(xué)習(xí)可能是通用人工智能(AGI)發(fā)展的核心。你的觀點是什么——在可預(yù)見的未來，研究人員會開發(fā)AGI嗎？如過會，這將會對人類產(chǎn)生巨大的好處，還是像埃隆·馬斯克(Elon Musk)警告的那樣，會對人類構(gòu)成威脅？

薩頓：我認為人工智能是試圖通過制造與人類思想類似的東西來理解人類的思想。正如費曼所說，“我無法創(chuàng)造的東西，我就不理解它”。在我看來，會發(fā)生的重大事件是我們即將第一次真正理解意識。這種認識本身將產(chǎn)生巨大的影響。

這將是我們這個時代最偉大的科學(xué)成就，其實任何時候都是如此。它也將是有史以來人文學(xué)科最偉大的成就——深刻地理解我們自己。如果這樣來看待，那就不會把它看成是一件壞事。雖然是挑戰(zhàn)，但并不是壞事。我們將揭示哪些東西是真實的。那些不想讓它成為現(xiàn)實的人會把我們的工作看成是壞事，就像科學(xué)拋棄了靈魂的概念一樣，那些珍視這些想法的人認為是壞的。

毫無疑問，當我們更深入地了解大腦如何運作時，我們今天所珍視的一些觀點也會面臨同樣的挑戰(zhàn)。

Q：當你遠離電腦和智能手機的時候，你喜歡做什么？你最近讀過什么書？你喜歡什么書？

薩頓：我是自然的愛好者，也喜歡哲學(xué)、經(jīng)濟學(xué)和科學(xué)的思辨思想。我最近讀了尼爾·斯蒂芬森的《Seveneves》、尤瓦爾·赫拉利的《人類簡史》，以及G.愛德華·格里芬的《美聯(lián)儲傳》。