本文將要介紹的一項(xiàng)黑科技叫做NVIDIA DLSS，它始于 3D 游戲，又被廣大游戲玩家戲稱(chēng)為“大力水手”。如今它已更新發(fā)展到了 DLSS 3.5，并已登陸包括 NVIDIA Omniverse、D5、Chaos Vantage 在內(nèi)的專(zhuān)業(yè) GPU 渲染器，開(kāi)始進(jìn)軍專(zhuān)業(yè)圖形領(lǐng)域。

那么，這個(gè) NVIDIA DLSS 究竟有何神奇之處？其“大力”又何以體現(xiàn)？

1?

什么是 NVIDIA DLSS？

NVIDIA DLSS，全稱(chēng)叫做 Deep Learning Super Sampling（深度學(xué)習(xí)超級(jí)采樣）。由 NVIDIA RTX GPU 上的專(zhuān)用 AI 處理器（即 Tensor Core）提供支持，是一個(gè)經(jīng)過(guò)改進(jìn)的全新深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，能夠在提高幀數(shù)的同時(shí)生成精美、清晰的實(shí)時(shí)渲染圖像。

用最簡(jiǎn)單的話(huà)來(lái)說(shuō)，DLSS 就像大力水手一般，靠吃 AI 算法這顆“菠菜”開(kāi)掛，“腦補(bǔ)”出實(shí)時(shí)渲染中缺失的像素，從而提升實(shí)時(shí)渲染的幀數(shù)。開(kāi)啟 DLSS 之后，GPU 只需要先輸出一個(gè)或多個(gè)低分辨率的畫(huà)面，DLSS 就能調(diào)用 GPU 的 Tensor Core 進(jìn)行 AI 運(yùn)算，“腦補(bǔ)”出高分辨率畫(huà)面并輸出，以達(dá)到高分辨率下提升實(shí)時(shí)渲染幀數(shù)的效果。

展開(kāi)來(lái)說(shuō) NVIDIA DLSS 深度學(xué)習(xí)超級(jí)采樣這項(xiàng)技術(shù)的話(huà)，在 3D 游戲中，渲染的幀并非直接顯示，而是先對(duì)其執(zhí)行后期處理圖像增強(qiáng)步驟。在此步驟中，將來(lái)自多個(gè)渲染幀的輸入組合在一起，以在保留細(xì)節(jié)的同時(shí)，消除諸如鋸齒等視覺(jué)失真現(xiàn)象。例如，時(shí)域抗鋸齒 (TAA) 是目前最常用的圖像增強(qiáng)算法之一，這是一種基于著色器的算法，使用運(yùn)動(dòng)矢量組合兩幀，以確定在何處對(duì)前一幀進(jìn)行采樣。然而，這種圖像增強(qiáng)過(guò)程從根本上來(lái)說(shuō)很難正確實(shí)行。而這類(lèi)沒(méi)有清晰算法解決方案的圖像分析和優(yōu)化問(wèn)題可通過(guò)應(yīng)用 AI 來(lái)完美解決。為解決這一難題而開(kāi)發(fā)的深度神經(jīng)網(wǎng)絡(luò) (DNN) 模型被稱(chēng)為深度學(xué)習(xí)超級(jí)采樣 (DLSS)。

DLSS 針對(duì)一組給定輸入樣本所產(chǎn)生的輸出質(zhì)量要比 TAA 高得多，雖然 TAA 以最終目標(biāo)分辨率渲染，然后組合幀，而 DLSS 通過(guò)消除細(xì)節(jié)，能夠以更低的輸入樣本數(shù)更快地渲染，這意味著以目標(biāo)分辨率得到的結(jié)果與 TAA 結(jié)果的質(zhì)量不相上下，但是只需執(zhí)行大約一半的著色工作。在 DLSS 的訓(xùn)練過(guò)程中，DLSS 將有機(jī)會(huì)學(xué)習(xí)如何根據(jù)大量超高質(zhì)量的示例生成所需的輸出。為了訓(xùn)練網(wǎng)絡(luò)，需要收集成千上萬(wàn)的“真值”參考圖像，這些圖像均采用黃金標(biāo)準(zhǔn)方法渲染，具有出色的圖像質(zhì)量，即 64 倍超級(jí)采樣。

64 倍超級(jí)采樣 (64xSS)是指我們?cè)谙袼貎?nèi)以 64 個(gè)不同的偏移量進(jìn)行著色，然后將輸出組合在一起，生成具有理想細(xì)節(jié)并抗鋸齒的優(yōu)質(zhì)圖像，而不是對(duì)每個(gè)像素進(jìn)行一次著色處理。同時(shí)還會(huì)捕捉與之相匹配的正常渲染的原始輸入圖像。接下來(lái)，開(kāi)始訓(xùn)練 DLSS 網(wǎng)絡(luò)來(lái)匹配 64xSS 輸出幀，通過(guò)遍歷每個(gè)輸入，要求 DLSS 產(chǎn)生一個(gè)輸出，測(cè)量其輸出與 64xSS 目標(biāo)之間的差值，并根據(jù)差值調(diào)節(jié)網(wǎng)絡(luò)中的權(quán)重，這個(gè)過(guò)程稱(chēng)為反向傳播。經(jīng)過(guò)多次迭代后，DLSS 可以自行學(xué)習(xí)生成接近 64xSS 質(zhì)量的圖像，同時(shí)還避免出現(xiàn)影響 TAA 等傳統(tǒng)方法的模糊、不清晰和透明問(wèn)題。

總之，DLSS 是利用深度神經(jīng)網(wǎng)絡(luò)來(lái)提取所渲染場(chǎng)景的多維特征，并通過(guò)智能地組合多幀中的細(xì)節(jié)來(lái)構(gòu)造高質(zhì)量的最終圖像，畫(huà)質(zhì)與傳統(tǒng)渲染方式相差無(wú)幾，但性能更高。

而利用專(zhuān)用的 Tensor Core 的 AI 渲染技術(shù)，可提供令人驚嘆的強(qiáng)大性能，不僅能提升幀率，還能提供足夠的性能優(yōu)化空間，從而以較低的消耗增強(qiáng)了圖形顯示性能，提高了分辨率，甚至可以將分辨率提升至 8K。

2?

NVIDIA DLSS 的發(fā)展過(guò)程

▲ DLSS 各版本特性對(duì)比

目前，NVIDIA DLSS 已更新迭代到 DLSS 3.5 版本。下面就一起梳理下 DLSS 發(fā)展史中幾次重大的更新。

DLSS 1

2018 年 8 月，隨著 NVIDIA RTX 20 系列顯卡的正式發(fā)布，NVIDIA DLSS 技術(shù)首次問(wèn)世，并引入到了 NVIDIA Turing 架構(gòu)的 GPU 顯卡。NVIDIA 推出 NVIDIA DLSS 的初衷，是利用基于 AI 的超高分辨率技術(shù)重新定義實(shí)時(shí)渲染，在減少像素渲染的基礎(chǔ)上，使用 AI 構(gòu)建更清晰、更高分辨率的圖像。

DLSS 2

2020 年 3 月，NVIDIA 發(fā)布了 NVIDIA DLSS 2， DLSS 也成為了 NVIDIA RTX 顯卡的一項(xiàng)獨(dú)立功能。

DLSS 2 也是由 RTX GPU 上的專(zhuān)用 AI 處理器 Tensor Core 提供支持，是一個(gè)經(jīng)過(guò)改進(jìn)的全新深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，能夠提高幀速率，同時(shí)生成精美、清晰的實(shí)時(shí)渲染圖像。DLSS 2 為實(shí)時(shí)渲染提供了充足的性能，有助于在開(kāi)啟光線(xiàn)追蹤的效果下，提高輸出的高分辨率幀數(shù)。

DLSS 2 在原始版本的基礎(chǔ)上進(jìn)行了以下增強(qiáng)：

出色的圖像質(zhì)量：DLSS 2 可在僅渲染四分之一到半數(shù)像素的前提下，提供與原始分辨率相媲美的畫(huà)質(zhì)。其采用全新時(shí)間反饋技術(shù)，能夠?qū)崿F(xiàn)更清晰的圖像細(xì)節(jié)，同時(shí)提高幀與幀之間的穩(wěn)定性。

在不同 RTX 顯卡和分辨率上均具有出色的擴(kuò)展性：全新 AI 網(wǎng)絡(luò)能夠更高效地使用 Tensor Cores，執(zhí)行速度比原始版本快一倍。這不僅有助于提高幀率，還可消除以前顯卡、設(shè)置和分辨率上的限制。

一個(gè)適用于所有游戲的網(wǎng)絡(luò)：原始 DLSS 需要針對(duì)每個(gè)新游戲訓(xùn)練 AI 網(wǎng)絡(luò)。DLSS 2 則使用非特定于某一游戲的內(nèi)容開(kāi)展訓(xùn)練，從而能夠提供一個(gè)跨游戲使用的通用網(wǎng)絡(luò)。這意味著游戲集成更快，最終將能支持更多 DLSS 游戲。

自定義化選項(xiàng)：DLSS 2 為用戶(hù)提供“質(zhì)量”(Quality)、“平衡”(Balanced) 和“性能”(Performance) 這 3 種畫(huà)質(zhì)模式來(lái)控制游戲的內(nèi)部渲染分辨率；啟用“性能”(Performance) 模式后，可實(shí)現(xiàn)高達(dá) 4 倍的超高分辨率（即從 1080p 到 4K）。這意味著用戶(hù)選擇更豐富，性能提升更顯著。

DLSS 3

2022 年 10 月，NVIDIA 再次突破性地推出了 DLSS 3，開(kāi)啟了新的幀生成 (Frame Generation) 功能。

DLSS 3 以 DLSS 2 超分辨率技術(shù)為基礎(chǔ)，結(jié)合使用光學(xué)多幀生成技術(shù)來(lái)生成全新幀，并運(yùn)用 NVIDIA Reflex 低延遲技術(shù)來(lái)優(yōu)化響應(yīng)速度。DLSS 3 由基于 NVIDIA Ada Lovelace 架構(gòu)的全新第四代 Tensor Core 和光流加速器 (Optical Flow Acceleration) 提供支持。

啟用 DLSS 3 后，AI 會(huì)使用 DLSS 超分辨率技術(shù)重建第一幀的四分之三，并使用 DLSS 幀生成技術(shù)重建完整的第二幀。綜合來(lái)看，DLSS 3 會(huì)重建所有顯示幀的八分之七，使性能顯著提升！

DLSS 3.5

2023 年 8 月，NVIDIA 發(fā)布了 DLSS 3.5。在繼承了深度學(xué)習(xí)超采樣 (DLSS)、深度學(xué)習(xí)抗鋸齒 (DLAA) 以及隨著 DLSS 3 上線(xiàn)的幀生成 (Frame Generation) 技術(shù)之外，DLSS 3.5 還引入了針對(duì)性改善實(shí)時(shí)光線(xiàn)追蹤視覺(jué)表現(xiàn)的新特性：光線(xiàn)重建 (Ray Reconstruction) 技術(shù)。

DLSS 光線(xiàn)重建技術(shù)，這也是進(jìn)階版 AI 驅(qū)動(dòng)的神經(jīng)渲染器的一部分，通過(guò)將需要人工設(shè)計(jì)的降噪器替換為 NVIDIA 超級(jí)計(jì)算機(jī)訓(xùn)練的 AI 網(wǎng)絡(luò)（在采樣光線(xiàn)之間生成更高質(zhì)量的像素），從而提升 RTX GPU 的光線(xiàn)追蹤圖像質(zhì)量。

該功能可改善光線(xiàn)反射、全局光照和陰影等光線(xiàn)效果，打造更加身臨其境、真實(shí)可感的實(shí)時(shí)渲染體驗(yàn)；同時(shí)，它還能對(duì)光線(xiàn)追蹤計(jì)算機(jī)圖形進(jìn)行降噪，通過(guò)填補(bǔ)缺失的像素來(lái)更高效地合成最終圖像。與 DLSS 3 相比，NVIDIA DLSS 3.5 的訓(xùn)練數(shù)據(jù)量增加了 5 倍，因此它能識(shí)別不同的光線(xiàn)追蹤效果，并在何時(shí)使用時(shí)域累積和空間差值數(shù)據(jù)方面做出更明智的決策。

DLSS 3.5 還能提高實(shí)時(shí) 3D 創(chuàng)作應(yīng)用的圖像質(zhì)量，并讓專(zhuān)業(yè) 3D 創(chuàng)作者無(wú)需花費(fèi)數(shù)分鐘或數(shù)小時(shí)進(jìn)行最終渲染，就能立即展示更優(yōu)質(zhì)的圖像。

那么，大力水手 DLSS 的實(shí)時(shí)渲染實(shí)戰(zhàn)表現(xiàn)究竟如何?持續(xù)關(guān)注，下期內(nèi)容帶您觀戰(zhàn)、為您解密！

審核編輯：黃飛