用AI攻占了國際象棋和圍棋高地之后，DeepMind在第一人稱射擊游戲（FPS）上也有了新進展。

1997年5月“深藍”擊敗國際象棋世界冠軍卡斯巴羅夫，有玩家在慶幸，我不下象棋，只下圍棋。

2017年5月AlphaGo打敗圍棋世界冠軍柯潔，有玩家慶幸，還好，我不下棋。

2018年6月，OpenAI 人工智能在dota2 5V5模式中以4000分水平擊敗人類玩家，依舊有玩家慶幸，我不玩RPG（角色扮演）對戰(zhàn)，我只玩FPS（第一人稱射擊）。

如今，F(xiàn)PS也被AI攻陷。

近日，DeepMind的研究人員在本周的《科學(xué)》雜志上發(fā)表了一篇論文，描述描述了一個完全無監(jiān)督的自學(xué)程序，不僅能夠?qū)W習(xí)如何玩“ Quake III Arena ”（雷神之錘III競技場，一款第一人稱射擊游戲），還能設(shè)計出勝過人類團隊的新穎戰(zhàn)略。

國際象棋和圍棋最初是用來模擬戰(zhàn)爭游戲的，但卻對戰(zhàn)爭復(fù)盤的不好。因為這類游戲通常涉及一個或多個隊友和敵人。而且一個優(yōu)秀的戰(zhàn)爭游戲必然是三維展開。

DeepMind使用的AI叫For The Win（FTW），本質(zhì)是用卷積神經(jīng)網(wǎng)絡(luò)直接通過屏幕上進行訓(xùn)練，屏幕數(shù)據(jù)會被傳遞到兩個LSTM網(wǎng)絡(luò)或能夠?qū)W習(xí)長期依賴性的網(wǎng)絡(luò)。這兩個LSTM一個是在快速時間尺度上，另一個是在慢速時間尺度上運行。它們通過目標(biāo)耦合，能夠?qū)τ螒蚴澜邕M行預(yù)測并通過模擬游戲控制器輸出動作。

FTW總共訓(xùn)練了30個游戲角色，為他們提供了一系列隊友和對手，并隨機選擇游戲階段，以防止他們通過記憶慣性做出選擇。每個角色都明確自己的獎勵信號，從而擁有自己獨特的目標(biāo)（比如奪取旗幟）。此外，他們利用雙層流程（two-tier process）來優(yōu)化內(nèi)部獎勵，通過這些獎勵加強學(xué)習(xí)，來制定最重要的游戲策略。每個角色都單獨玩了大約450,000場比賽，相當(dāng)于擁有大約四年的經(jīng)驗。

訓(xùn)練過后的FTW在地圖，團隊名單和團隊規(guī)模選擇方面都可以作出有利的選擇。他們學(xué)習(xí)了類似人類的行為，例如跟隨隊友，在對手的基地露營，以及在一波攻擊中捍衛(wèi)他們自己的基地。而隨著訓(xùn)練的進行，他們還學(xué)會避免人類玩家的一些弱點，比如過于關(guān)注隊友的行為。

在一場有40名人類參加的比賽中，人類和AI在比賽中隨機匹配（對手或隊友），結(jié)果，AI大勝人類玩家，F(xiàn)TW的Elo評級（相當(dāng)于獲勝的概率）為1600，而最好的人類玩家也只有1300，人類玩家平均評級為1050。

倫敦全球大學(xué)計算機科學(xué)教授，DeepMind科學(xué)家Thore Graepel表示，這項工作顯示了多智能體培訓(xùn)（multiagent）推動人工智能發(fā)展的潛力。這是人機交互和系統(tǒng)相互補充或協(xié)同工作的研究的一個重大進步。

AI訓(xùn)練思路

游戲分為兩個陣營，兩方的大本營在游戲時候開會隨機設(shè)置在地圖的兩端。游戲中的玩家可以在游戲地圖中“瞎逛”，借助地圖中的建筑物、數(shù)目以及其他物品與玩家進行互動。

在游戲中，如果一方用激光擊敗了其他玩家，被擊中的玩家丟掉旗幟，回大本營重生。

DeepMind采用的AI玩家會和人類有同樣的視角，AI不知道其他玩家的信息，包括位置、狀態(tài)等。另外這款游戲比其他棋牌游戲更能接近真實的戰(zhàn)場。AI玩家從零開始，用強化學(xué)習(xí)訓(xùn)練，在游戲的開始，真實加入戰(zhàn)場的AI角色是隨機選擇的，這會使得智能體的行為更能接近最初設(shè)置的策略目標(biāo)。

每個智能體都能夠為自己制定策略，這意味著不同角色會采用不同的戰(zhàn)術(shù)，即不同AI玩家有不同的專攻方向。

當(dāng)然，也會有限制，即在每1000次迭代后，系統(tǒng)會比較策略并評估整個團隊在模仿與學(xué)習(xí)能力。如果一個智能體的獲勝機會低于另一個智能體的70％，那么較弱的智能體會復(fù)制較強的智能體。同時，強化學(xué)習(xí)還要求AI通過其他指標(biāo)的對比進行調(diào)整。

AI玩家在一開始就像一張白紙，研究人員給他們的目標(biāo)不僅是游戲結(jié)束時候的得分，還要關(guān)注在游戲前期的得分。研究人員指出，如果獎勵機制只和游戲結(jié)果有關(guān)（輸/贏/平局），顯然限制太少，導(dǎo)致學(xué)習(xí)效果非常不好，所以需要考慮動態(tài)的獎勵機制，即根據(jù)游戲的點數(shù)流來變動。

當(dāng)初始位置是隨機生成時，AI通常擊敗人類玩家。即使人類已經(jīng)練習(xí)了12個小時，他們?nèi)匀荒軌蜈A得25％的比賽，平局6%，剩下的是負。

然而，當(dāng)兩名職業(yè)游戲測試人員得到一張?zhí)貏e復(fù)雜的地圖時，這張地圖AI并沒有見過。重新讓AI在這張地圖上訓(xùn)練的話，只需要6個小時的訓(xùn)練就能脫穎而出。

這一結(jié)果沒有在論文說明，而是在向新聞界提供的一份補充文件中作了說明。

目前人們?nèi)匀豢梢栽诮?jīng)過精心設(shè)計的定位戰(zhàn)中擊敗AI，因為現(xiàn)實生活很少提供這樣復(fù)盤重來的機會，畢竟淮海戰(zhàn)役只能打一次！