近日，知名AI專家Ilya Sutskever在硅谷園區(qū)舉行的NVIDIA年度NTECH工程座談會中暢談了最新的Dota 2賽事。該活動吸引了數(shù)百名工程師以及上千名在線參與者，其中不乏游戲發(fā)燒友。

操作敏捷、創(chuàng)意十足、機智聰明，這些都是優(yōu)秀游戲玩家的代名詞。相比之下，機器就需要人向其傳授如何趕超人類玩家，而這些人指的就是Ilya Sutskever和他的OpenAI團隊。

今年8月，由五個神經(jīng)網(wǎng)絡組成的OpenAI Five戰(zhàn)隊在Dota 2這個廣為流行的多人在線競技游戲中，與全球數(shù)位頂級職業(yè)玩家對抗。

對于OpenAI Five來說，能夠參加這個游戲領域的專業(yè)級比賽已經(jīng)是一次飛躍。

Dota 2是一款極為復雜的游戲。為了贏得勝利，玩家可以隨意使用戰(zhàn)術，還可以自由交互。該游戲僅可見部分布局，這就要求玩家在每場持續(xù)45分鐘的對決中將眼前的戰(zhàn)術和長遠的戰(zhàn)略配合使用?！皩I(yè)玩家們將自己的生活全部都獻給了Dota 2，”Sutskever說道，“玩這款游戲可不是件容易的事。”

Dota 2抬高了AI參與游戲的門檻

OpenAI Five在Dota 2比賽中取得的成績標志著人類與AI的競技對戰(zhàn)達到了一個全新的水平。在國際象棋和圍棋這些同樣是熱門的AI挑戰(zhàn)中，其平均走法分別為35和250。而相比之下Dota 2的游戲規(guī)則則更為復雜，每步約有17萬種可能的走法，而每場比賽又需要走2萬步。

Sutskever表示，鑒于Dota 2的復雜性，與AI此前挑戰(zhàn)過的其他游戲相比，Dota 2更接近于現(xiàn)實世界。那么，他們是如何做到的呢？答案是大規(guī)模的增強學習（reinforcement learning）。

無論是對于人類還是機器而言，增強學習都很重要。我們在游戲中因為某種走法獲得獎勵積分，或因為另一種走法而功虧一簣，這些時刻都會被記錄下來，為下一輪游戲提供增強學習的信息。

增強學習對于AI的重要性在于，這是一種非常自然的方式，可以訓練神經(jīng)網(wǎng)絡做出行動以達成目標，而這也是構建智能系統(tǒng)所必須的。

OpenAI Five取得了相當喜人的成績，這要歸功于其大規(guī)模地運用了一套可靠的增強學習算法（近端策略優(yōu)化），其運行于Google云平臺中的1000個NVIDIA Tesla P100 GPU上。

從很早開始，NVIDIA就一直在為OpenAI提供支持，黃仁勛先生曾親自為其贈送了第一臺DGX-1 AI超級計算機。

GPU挑戰(zhàn)的歷史

在利用GPU應對AI重大挑戰(zhàn)方面，Sutskever早已輕車熟路。他是贏得著名的ImageNet競賽的多倫多大學三位研究人員之一（其他兩位分別是Alex Krizhevsky和導師Geoffrey Hinton），幫助他們斬獲大獎的是其所開創(chuàng)的一款基于GPU的卷積神經(jīng)網(wǎng)絡。

該網(wǎng)絡將錯誤率猛降近50%，并因此載入史冊，開啟了當代AI的熱潮。

這就是現(xiàn)在的AlexNet，無數(shù)深度學習模型均以此為基礎打造。在GTC 2018 上，黃仁勛先生提及了AlexNet對數(shù)以萬計的AI模型的影響：“神經(jīng)網(wǎng)絡正以驚人的速度增長和發(fā)展?！?/p>

Sutskever表示，AI技術的飛躍與處理能力的提升密不可分。“值得一提的是，從最初的AlexNet到后來的AlphaGo Zero，計算量提升到了原來的30萬倍。僅僅五年的時間，增量可以說十分可觀?！?/p>

OpenAI的“登月”雄心

OpenAI成立于2015年，是一家非營利性機構，致力于通過開發(fā)和利用通用AI造福全人類。其創(chuàng)始成員包括Tesla首席執(zhí)行官Elon Musk、Y Combinator總裁Sam Altman和其他技術行業(yè)的杰出人物。為了完成該組織的使命，他們共投入了10億美元。

OpenAI的研究人員正在投身于一項名為Dactyl的項目，旨在增強機械手的靈活性。還有一支團隊在研究域名隨機化（domain randomization）這一古老概念，也取得了令人矚目的成果。他們已經(jīng)能夠在模擬環(huán)境下訓練機械手操控物體，并計劃隨后將此成果投入實際應用。這一點非常重要，因為模擬是讓這些機械手獲得足夠訓練經(jīng)驗的唯一方式?！斑@種想法實施的結果非常好，”Sutskever說道。

責任編輯：彭菁