NVIDIA 在 GDC 2024 大會(huì)上宣布，Inworld AI 等領(lǐng)先的 AI 應(yīng)用程序開(kāi)發(fā)者，正在使用 NVIDIA 數(shù)字人技術(shù)加速部署生成式 AI 驅(qū)動(dòng)的游戲角色。此外，NVIDIA 還更新了 RTX SDK，以簡(jiǎn)化高質(zhì)量游戲世界的創(chuàng)建。

NVIDIA 數(shù)字人技術(shù)助力新一代游戲角色

用戶可將全套 NVIDIA 數(shù)字人技術(shù)或單個(gè)微服務(wù)整合到其產(chǎn)品中：

NVIDIA Avatar Cloud Engine (ACE)：通過(guò) NVIDIA Audio2Face (A2F) 提供面部動(dòng)畫(huà)，以及由 NVIDIA Riva 自動(dòng)語(yǔ)音識(shí)別 (ASR) 和文本轉(zhuǎn)語(yǔ)音 (TTS) 提供的語(yǔ)音支持，可以讓數(shù)字人更加栩栩如生。

NVIDIA NeMo：一個(gè)用于開(kāi)發(fā)自定義生成式 AI 的端到端框架。NeMo 使用戶能夠通過(guò)精確數(shù)據(jù)管護(hù)、先進(jìn)自定義功能、檢索增強(qiáng)生成和加速性能來(lái)完成企業(yè)就緒型模型。

NVIDIA RTX：RTX 全局照明（RTXGI）和 DLSS 3.5 等渲染技術(shù)的集合，可在游戲和應(yīng)用中實(shí)現(xiàn)實(shí)時(shí)的路徑追蹤。

這些創(chuàng)新在由 Inworld AI 與 NVIDIA 合作完成的 Covert Protocol（秘密協(xié)議）演示中得到了展示。在該演示中，玩家可以扮演一個(gè)經(jīng)驗(yàn)豐富的私人偵探，并在游戲中體驗(yàn)突破常規(guī)的 NPC 交互。

該演示使用了 OpenAI 的 ChatGPT 3.5 、ElevenLabs 文本轉(zhuǎn)語(yǔ)音 (TTS)、Riva ASR 和 A2F 微服務(wù)，以增強(qiáng) Inworld 的語(yǔ)言、語(yǔ)音和動(dòng)畫(huà)制作流程。Inworld 的 AI 引擎采用了多模態(tài)方法來(lái)提升 NPC 的表現(xiàn)，它將認(rèn)知、感知和行為系統(tǒng)相結(jié)合，同時(shí)利用其 Unreal Engine 插件進(jìn)行集成，讓使用 MetaHumans 變得快速且簡(jiǎn)單。

用戶可以通過(guò)申請(qǐng)搶先體驗(yàn)計(jì)劃來(lái)開(kāi)啟 NVIDIA ACE 的旅程，并獲取正在開(kāi)發(fā)的 AI 模型。有關(guān)可用模型的更多信息，請(qǐng)參閱 NVIDIA 的 API Catalog。在該網(wǎng)站上，用戶會(huì)發(fā)現(xiàn)一套易于使用、旨在加速生成式 AI 部署的微服務(wù)——NVIDIA NIM，其適用于 Riva ASR (模型名稱為 Parakeet) 和 A2F。用戶可以直接通過(guò)瀏覽器或通過(guò)運(yùn)行完全加速堆棧的 API 端點(diǎn)來(lái)體驗(yàn)和評(píng)估這些微服務(wù)。如果用戶擁有 NVIDIA AI Enterprise 許可證，請(qǐng)下載 NIM 并在 DGX 云或任何 CSP 和私有云上部署。

由 AI 驅(qū)動(dòng)的照明改進(jìn)和更輕松的渲染集成

NVIDIA 推出了 RTX 全局照明（RTXGI）2.0 SDK，其可通過(guò) AI 實(shí)現(xiàn)光線追蹤的間接照明。RTXGI 的推出進(jìn)一步豐富了目前已有的神經(jīng)渲染技術(shù)選項(xiàng)：

NVIDIA DLSS 超分辨率技術(shù)

DLSS 3 Frame Generation

DLSS 光線重建

DLAA

最新的算法神經(jīng)輻射緩存（NRC）是一種由 AI 驅(qū)動(dòng)的解決方案，它能夠?qū)崟r(shí)訓(xùn)練場(chǎng)景的輻射緩存，并使用反應(yīng)式照明來(lái)處理全動(dòng)態(tài)場(chǎng)景。這種技術(shù)不需要事先為幾何圖形和材質(zhì)烘焙靜態(tài)照明，從而為要求嚴(yán)苛的場(chǎng)景提供了更出色的性能和更準(zhǔn)確的全局照明。

關(guān)閉 NRC (左) 和開(kāi)啟 NRC (右) 時(shí)的原始降噪緩存可視化

為提供可擴(kuò)展性，NVIDIA 推出了空間哈希輻射緩存(SHaRC)，該版本無(wú)需使用神經(jīng)網(wǎng)絡(luò)即可提供與 NRC 類似的優(yōu)勢(shì)。它與任何支持 DirectX 或 Vulkan 光線追蹤的 GPU 兼容。這是一種基于空間哈希數(shù)據(jù)結(jié)構(gòu)構(gòu)建的輻射緩存，專為用于路徑追蹤的快速且可擴(kuò)展的全局照明技術(shù)而設(shè)計(jì)。

“傳送門 (Portal)” NVIDIA RTX 版中采用的 SHaRC

審核編輯：劉清