自從上個(gè)世紀(jì)八十年代起，“AI 教父”杰弗里?辛頓（Geoffrey Hinton）就一直在從事有關(guān)深度學(xué)習(xí)的研究。然而，研究成果卻受到缺乏數(shù)據(jù)以及計(jì)算機(jī)功能不足的限制。不過，他對這項(xiàng)技術(shù)的執(zhí)著態(tài)度最終還是給人類帶來了巨大的益處。在第四屆 ImageNet 大賽上，幾乎每支團(tuán)隊(duì)都用上了深度學(xué)習(xí)技術(shù)，并且達(dá)到了驚人的準(zhǔn)確率。不久之后，深度學(xué)習(xí)不僅在圖像識(shí)別任務(wù)中得到了應(yīng)用，還被廣泛地應(yīng)用于其它領(lǐng)域。

30 年前，人們都覺得提出的神經(jīng)網(wǎng)絡(luò)的想法是離經(jīng)叛道。但辛頓表示，現(xiàn)在幾乎所有人都認(rèn)同了他的想法。

對于人工智能領(lǐng)域短板的看法，辛頓說：“很多概念性的突破必將接踵而至，但我們同樣也需要進(jìn)行大規(guī)模且有成效的性能提升?！?/p>

對于神經(jīng)網(wǎng)絡(luò)不足之處的看法，辛頓說：“含有大量突觸的神經(jīng)網(wǎng)絡(luò)非常善于處理數(shù)據(jù)量較小的任務(wù)，但是人類自己在這方面更勝一籌?！?/p>

對于人類大腦工作方式的看法，辛頓說：“人的大腦內(nèi)遍布神經(jīng)活動(dòng)的重要載體?！?/p>

現(xiàn)代人工智能革命起源于一場不起眼的研究競賽。在 2012 年的第三屆 ImageNet 大賽上，參賽團(tuán)隊(duì)要設(shè)計(jì)出一種能夠識(shí)別 1000 種事物的計(jì)算機(jī)視覺系統(tǒng)，這些事物包括動(dòng)物、自然景觀以及人類等。

在最初的兩屆比賽中，最優(yōu)秀團(tuán)隊(duì)的準(zhǔn)確率也達(dá)不到 75%。但在第三年，一名教授和他的兩個(gè)學(xué)生卻在短時(shí)間內(nèi)突破了技術(shù)的天花板。他們以令人震驚的 10.8 個(gè)百分點(diǎn)贏得了比賽。這名教授就是杰弗里?辛頓，而他們所使用的技術(shù)被稱作深度學(xué)習(xí)。

去年，鑒于辛頓對人工智能領(lǐng)域的開創(chuàng)性貢獻(xiàn)，他與揚(yáng)?勒丘恩、約書亞?本吉奧等人工智能先驅(qū)一道被授予圖靈獎(jiǎng)。10 月 20 日，本文作者 Karen Hao（凱倫·郝）與辛頓在《麻省理工科技評(píng)論》雜志的全球新興科技峰會(huì)上，就人工智能領(lǐng)域的現(xiàn)狀以及未來的發(fā)展方向進(jìn)行了交流。

Karen Hao：您為何如此確信深度學(xué)習(xí)將會(huì)復(fù)制人類的智慧？

Geoffrey Hinton：我確實(shí)相信深度學(xué)習(xí)能做任何事，但目前還需要取得一些概念性突破才能實(shí)現(xiàn)這一點(diǎn)。例如，2017 年阿施施?瓦斯瓦尼等人的論文介紹了一種轉(zhuǎn)換器，它可以很好地表達(dá)詞語的意思。這就是一種概念性突破?，F(xiàn)在，幾乎所有功能較為強(qiáng)大的自然語言處理系統(tǒng)都在使用這種技術(shù)。我們需要更多像這樣的突破性技術(shù)。

Karen Hao：如果我們?nèi)〉昧诉@樣的技術(shù)突破，那么深度學(xué)習(xí)會(huì)接近于人類的智能嗎？

Geoffrey Hinton：是的。當(dāng)神經(jīng)活動(dòng)的重要載體可以進(jìn)行像推理這樣的行為時(shí)，意味著我們已經(jīng)取得了非常重要的突破。但在規(guī)模上，我們?nèi)匀恍枰@得巨大的提升。人腦約有 100 萬億個(gè)參數(shù)，或者說神經(jīng)突觸。而現(xiàn)在像 GPT-3 這樣的可以被稱作大型模型的程序，只有 1750 億個(gè)神經(jīng)突觸。人腦神經(jīng)突觸的數(shù)量是它的上千倍。目前，GPT-3 可以生成看起來十分合理的話語。但與人腦相比，其生成量依然微不足道。

Karen Hao：當(dāng)您談到規(guī)模這個(gè)概念時(shí)，您指的是更龐大的神經(jīng)網(wǎng)絡(luò)，還是更多的數(shù)據(jù)，又或者是兩者兼具？

Geoffrey Hinton：兩者都有。計(jì)算機(jī)科學(xué)和人類行為之間存在著某種差異。相比他們所接收到的數(shù)據(jù)量而言，人類擁有大量的神經(jīng)突觸，而含有大量神經(jīng)突觸的神經(jīng)網(wǎng)絡(luò)卻更善于處理數(shù)據(jù)量較小的任務(wù)。不過，在這一方面，人類更勝一籌。

Karen Hao：人工智能領(lǐng)域的許多專家都認(rèn)為，具備常識(shí)是下一個(gè)需要解決的問題。您同意這種觀點(diǎn)嗎？

Geoffrey Hinton：我同意他們的觀點(diǎn)，這是一項(xiàng)非常重要的問題。我還認(rèn)為電機(jī)控制是一個(gè)非常重要的領(lǐng)域，而現(xiàn)在深度神經(jīng)網(wǎng)絡(luò)在這一方面能做的非常好。尤其在谷歌最近的研究中，你可以將精準(zhǔn)的電機(jī)控制與語言結(jié)合起來，這樣就能完成打開抽屜并從中取出一個(gè)積木的動(dòng)作，而且系統(tǒng)還會(huì)用自然語言告訴你它正在做什么。

對于 GPT-3 這樣的可以生成完美語句的模型來說，想要生成語句就必須先理解大量語句的含義，但是它到底能理解多少，我們并不是十分清楚。然而，如果某個(gè)東西打開了抽屜并取出了一個(gè)積木，同時(shí)還說道，“我剛剛打開了一個(gè)抽屜，取出了一個(gè)積木”，那么它很有可能明白自己在干什么。

Karen Hao：人工智能領(lǐng)域一直將人腦當(dāng)作其最大的靈感來源，而且人工智能技術(shù)的不同方法也源于認(rèn)知科學(xué)中的不同理論。您認(rèn)為人腦構(gòu)建出外部世界的表現(xiàn)，是為了去理解它，還是這只是一種去思考它的有用方法？

Geoffrey Hinton：在很久之前，認(rèn)知科學(xué)領(lǐng)域里的兩個(gè)思想學(xué)派之間發(fā)生了一場辯論。其中一派以斯蒂芬?科斯林為代表，認(rèn)為當(dāng)人類在腦中操縱視覺圖像時(shí)，會(huì)得到一組可以任意移動(dòng)的像素陣列。而另一派的思想則更加接近于傳統(tǒng)的人工智能方向。他們認(rèn)為，“不不不，這純屬胡說八道。它應(yīng)該是一種具有層次性和結(jié)構(gòu)性的描述。人的意識(shí)中會(huì)形成一個(gè)符號(hào)性的結(jié)構(gòu)，而它才是被意識(shí)所操控的東西?！?/p>

我認(rèn)為他們都犯了相同的錯(cuò)誤。科斯林認(rèn)為，由于外部圖像是由像素構(gòu)成的，而它們反應(yīng)了我們所理解的內(nèi)容，所以我們就可以操縱這些像素。而符號(hào)表征派學(xué)者認(rèn)為，因?yàn)槲覀兺瑯涌梢杂梅?hào)表征的方法來表現(xiàn)我們所理解的事物，所以我們就可以操縱這些符號(hào)。但他們其實(shí)都犯了一樣的錯(cuò)誤。人的大腦內(nèi)其實(shí)充滿了神經(jīng)活動(dòng)的重要載體。

Karen Hao：許多人依然認(rèn)為符號(hào)性表征是人工智能技術(shù)所采用的方法之一。對此您怎么看？

Geoffrey Hinton：你說的沒錯(cuò)。我的好朋友赫克托?萊維斯克就認(rèn)為符號(hào)性方法在人工智能領(lǐng)域發(fā)揮了重要作用。我雖然并不認(rèn)同他的看法，但非常合理的符號(hào)性方法確實(shí)值得一試。然而，我的最終猜想是，我們會(huì)認(rèn)識(shí)存在于外部世界中的符號(hào)，而且還會(huì)使用重要載體進(jìn)行內(nèi)部的運(yùn)算。

Karen Hao：對于未來人工智能的發(fā)展，您認(rèn)為您最與眾不同的觀點(diǎn)是什么？

Geoffrey Hinton：我想我的叛逆觀點(diǎn)將會(huì)在五年之后成為主流觀點(diǎn)。我在八十年代所提出的大多數(shù)離經(jīng)叛道的想法現(xiàn)在已經(jīng)被大家接受了，而且很難找到不認(rèn)同這些想法的人。所以說，現(xiàn)在我覺得我那些觀點(diǎn)已經(jīng)沒那么與眾不同了

原文標(biāo)題：“AI教父”Geoffrey Hinton：GPT-3遠(yuǎn)不如人類大腦

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq