本文編譯自semiengineering

神經網絡負責圖形渲染，AI智能體指導玩法，而‘幻覺’則用于填補缺失的細節(jié)，讓游戲世界更加完整。

隨著處理性能和內存的大幅提升，以及數據傳輸速度的顯著加快，電子游戲正在借助人工智能創(chuàng)造出越來越逼真的場景和交互體驗。

GPU不再僅僅局限于圖形渲染，如今已廣泛應用于多種AI任務，包括生成更真實的非玩家角色（NPC）、動態(tài)世界、個性化玩法，以及關卡設計、內容生成和更精細的游戲機制。同時，系統(tǒng)也在利用機器學習工具，以更低的功耗執(zhí)行諸如環(huán)境光遮蔽（ambient occlusion）之類的任務。

“過去玩家與游戲角色的互動主要是基于腳本的，”Imagination產品管理副總裁Kristof Beets表示?！澳阏f一句，他們回一句，整個流程非常線性?，F(xiàn)在借助AI的智能化，你可以和角色進行真正的對話。動畫也因AI而有了顯著提升。比如新的人形機器人是如何行走的？這是神經網絡的功勞。同樣的技術可以應用到游戲的物理和體驗中。通過AI可以帶來更多動態(tài)效果和更高的真實感。但這在很大程度上仍需要時間，因為越多的功能依賴AI，就意味著需要更多的計算資源。這始終是一種平衡?？梢哉f正在出現(xiàn)一種持續(xù)的趨勢：把過去依賴蠻力和高昂成本的方式，轉化為借助神經網絡實現(xiàn)的模糊近似解——效果足夠好，而且非常有說服力?！?/span>

這種轉變在很大程度上得益于GPU不再需要每次都逐像素計算?！岸鄶涤螒驎M行預測性分析，基本上是預先計算接下來的處理步驟，” Arteris首席營銷官Michal Siwinski表示。“這帶來了巨大的功耗開銷。”

為了抵消光線追蹤等特效帶來的高功耗（它能在游戲中生成逼真的陰影），業(yè)界引入了類似超分辨率（super resolution）的工具，其原理類似于AI網絡的“幻覺”機制。“你問它一個問題，它會給出一個看似合理但并非真實的答案，” Beets解釋道。“在AI助手中，你不希望出現(xiàn)幻覺，它不能憑空捏造。但在圖形渲染中情況幾乎相反。如果你想到圖形渲染和細節(jié)補全，這正是你希望神經網絡去做的。它能補全一些合理的細節(jié)。這是關鍵所在——通過低分辨率渲染，避免做全部光線追蹤和高成本的計算，再用AI來填補空白?！?/span>

當然，AI也可能會出錯，比如生成條紋圖案，而真實圖像中并不存在?！暗绻雌饋砗侠恚⑶以跁r間上保持穩(wěn)定，那么就是合格的，” Beets說道?！皥D形渲染中最難的就是時間穩(wěn)定性。你不希望AI在每一幀都編造不同的內容，否則畫面會閃爍和抖動。AI圖形超分辨率其實早于我們今天看到的AI搜索引擎和助手的爆發(fā)式發(fā)展?！?/span>

幀生成（Frame Generation）是另一項正在快速發(fā)展的功能?！巴婕彝嬗螒驎r，我們希望它能運行在60幀/秒（FPS），”Imagination產品與戰(zhàn)略合作總監(jiān)Tyrran Ferguson表示?！叭绻挥?0幀/秒，雖然肉眼勉強能接受，但感覺像在拖泥帶水。達到60幀或更高時，畫面才會流暢和美觀。幀生成的做法是在真實幀之間插入新幀，也就是‘偽造’畫面，從30幀提升到60幀。這里同樣會涉及幻覺問題。幀生成最早出現(xiàn)在桌面端，這是新興技術。業(yè)界正在探索如何優(yōu)化它，讓玩家在幀與幀之間不會看到奇怪的畫面，就像光線追蹤最初也從桌面端開始一樣。一旦玩家習慣了這種功能，就會希望在移動端或GPU資源極其有限的場景中也能使用。未來在移動設備上做幀生成只是時間問題?！?/span>

“過去很多效果，比如景深或環(huán)境光遮蔽，都是通過非常復雜的著色器程序來實現(xiàn)的，” Beets表示。“現(xiàn)在我們可以訓練一個小得多的神經網絡，以近似相同的質量完成任務，而且在數據流方面的開銷要低得多。這就是NVIDIA所稱的‘神經著色器（neural shaders）’，即開始讓神經網絡接手這類工作?！?/span>

為游戲任務設計芯片

要設計適用于游戲的GPU，工程師必須在架構階段就深入理解存儲器的吞吐需求。

“設計人員需要明確他們將使用何種存儲器，以及該存儲器的吞吐能力，”Cadence驗證軟件產品管理高級總監(jiān)Matthew Graham表示。“我們必須確保系統(tǒng)設計能夠充分利用這種吞吐。消費者花錢買了顯卡或游戲主機上最快的存儲器，我們就要確保芯片架構能發(fā)揮其最大效用。設計工具能夠分析復雜算法，從PCI Express獲取數據到圖形核心，再到存儲器——無論是用于圖形的DDR，還是用于AI的HBM——然后回到核心進行處理，再回傳到存儲器，最后到接口等一系列過程?！?/span>

關鍵在于確保數據端到端的功能正確性和一致性，同時傳輸速度要恰到好處。Graham形象地比喻道：“這不像是把一枚硬幣放進一個桶里，再把它取出來。而更像是把硬幣切成50片，放進10個不同的桶，再取出來，還要保證能把硬幣重新拼回去。這就是復雜系統(tǒng)的真實工作方式。比如一個4K視頻幀，玩家希望以120Hz（每秒120次）刷新率運行，這就是海量的數據。你不可能一次處理完所有數據，而是要切分處理，同時確保一致性和數據完整性。”

光線追蹤這類任務甚至可以在GPU內單獨設置計算核心。Imagination產品與戰(zhàn)略合作總監(jiān)Tyrran Ferguson指出：“這樣能把任務分開處理，當運行光線追蹤工作負載時，就能通過GPU的獨立部分更高效地完成。”

GPU工作負載的分配方式取決于具體應用場景。Imagination產品管理副總裁Kristof Beets解釋說：“以游戲為例，一般先進行經典的圖形渲染，再用AI進行超分辨率放大。這意味著GPU的算力分配會從100%用于經典渲染，轉變?yōu)?00%用于AI放大。這是一種基于時間的切片方式，能夠自然適配更高級的用例——也就是把傳統(tǒng)和AI技術深度融合。我們的重點是如何讓這種方式更高效，如何在芯片內部共享和留存數據。任務交錯是最有前景的方向。理論上你可以把GPU分成多個子單元，但最有效的方式還是給予客戶完全的靈活性：想100%做AI，就可以這么用；想100%做經典渲染，也能這么用?！?/span>

Synaptics技術與創(chuàng)新副總裁Dave Garrett補充說，GPU完全有能力應對這兩類任務?！耙慌_手機SoC可以先快速瀏覽相冊做人臉識別，然后立即切換到運行AI游戲或光線追蹤。‘暗硅’（dark silicon）的概念在其中發(fā)揮重要作用。過去我們常為不同任務專門設計硬件，后來AI提供了一種可編程框架，數據變化就能帶來不同結果，但底層引擎是相同的。”

ChipAgents創(chuàng)始工程師Daniel Rose則強調并行化和指令優(yōu)化的重要性：“我們幫助AI加速器公司優(yōu)化單顆GPU芯片的功耗利用率。當功耗更優(yōu)化、面積更小，就能做出更強大的游戲芯片。在設計中，PPA（功耗、性能、面積）的取舍至關重要?！?/span>

未來，NPU（神經網絡處理單元）也可能在游戲中承擔更多AI/ML工作負載。Beets指出：“GPU的靈活性很強，現(xiàn)在已經能提供大量AI性能，但我們也在與NPU引擎深度協(xié)作。通常會在GPU和NPU之間加入一部分SRAM，這樣它們就能在芯片內共享和交換數據，有助于降低功耗。雖然仍有大量數據需要傳輸，但這是兩種處理單元協(xié)作的最佳方式。延遲尤為關鍵，你肯定不希望所有任務都繞過CPU和復雜的軟件棧?！?/span>

不過，定制芯片在可訪問性方面也面臨挑戰(zhàn)。Beets解釋道：“這個領域非常分散，每家廠商都有不同的實現(xiàn)方式。但游戲需要生態(tài)系統(tǒng)支持。最初PC顯卡市場有十幾家廠商，各自使用不同的編程模型，結果大部分都被淘汰，只剩下少數幾家巨頭，因為生態(tài)無法支撐。AI也會經歷類似的整合過程。尤其是AAA大作的開發(fā)成本極高，開發(fā)者不可能為不同平臺重復投入?，F(xiàn)在你能看到PlayStation、Xbox、PC和移動游戲之間已經有很多交集，桌面游戲正在向移動端遷移，移動廠商也在進入桌面市場。大家都在努力擴展生態(tài)，而AI正是關鍵?！?/span>

在性能方面，主機與掌機的挑戰(zhàn)各不相同，原因在于硬件、功耗和設計上的差異。

Cadence Tensilica DSP產品管理與營銷總監(jiān)Amol Borkar表示：“主機注重原始性能，能提供4K畫質、高幀率和光線追蹤等高級特性，但需要強大的散熱系統(tǒng)，功耗也很高。相比之下，掌機如Steam Deck和任天堂Switch則要在性能與便攜性之間找到平衡，受到電池續(xù)航、散熱管理和屏幕尺寸的限制。它們通常使用面向移動優(yōu)化的芯片，并通過動態(tài)分辨率縮放來保證流暢體驗?！?/span>

無論是移動端還是主機，功耗和存儲都是關鍵。Rambus研究員兼首席發(fā)明家Steven Woo指出：“游戲的挑戰(zhàn)在于為用戶提供更加沉浸式的環(huán)境，提升真實感和情感共鳴。AI將助力實現(xiàn)這一目標，但同時會顯著增加性能、功耗和散熱需求。存儲架構對AI至關重要，必須演進以支持更快的訪問和更高的吞吐，同時不突破功耗預算?！?/span>

總結

電子游戲產業(yè)正在快速發(fā)展，擴展到世界的每一個角落和各種類型的設備。芯片創(chuàng)新將繼續(xù)支撐玩家所追求的最新特性——在體驗中獲得盡可能高的保真度和盡可能低的延遲。

Baya Systems首席商務官Nandan Nayampally表示：“游戲始終與用戶體驗和計算效率的提升息息相關。因為你越能真實地還原物理和視覺效果，就越能避免在增強現(xiàn)實和虛擬現(xiàn)實中常見的眩暈感。這些就是正在發(fā)生的變化，而數據流動是其根本所在。真正推動這一切的，是沉浸式游戲，而這歸根結底與形態(tài)有關，也就是進入各種設備的東西，而不僅僅是硅片性能。理想的情況是，任何交互都能變得更加自然和直觀，而不是機械化。增強現(xiàn)實的第四波浪潮將是游戲找到其定位的地方。然后你再加入agentic AI，讓它成為你的伙伴或對手。所以在游戲和agentic AI這兩個方向，都有大量創(chuàng)新正在發(fā)生。

作者：LIZ ALLAN