NVIDIA 和康奈爾大學的科學家們引入了一種混合的無監(jiān)督神經(jīng)渲染管道，以有效地表示體素世界中的大型復雜場景。從本質上講， 3D 藝術家只需要構建最小值，剩下的部分將由算法來構建照片級真實感世界。研究人員將這種混合神經(jīng)渲染管道應用于 Minecraft 區(qū)塊世界，以生成更逼真的 Minecraft 場景。

NVIDIA 和更廣泛的研究團體（ pix2pix 、 pix2pixHD 、 MUNIT 、 SPADE ）以前的工作已經(jīng)解決了圖像到圖像轉換（ im2im ）的問題——將圖像從一個域轉換到另一個域。乍一看，這些方法似乎為將一個世界轉換為另一個世界的任務提供了一個簡單的解決方案—一次翻譯一幅圖像。但是， im2im 方法不保持視點一致性，因為它們不了解 3D 幾何體，并且每個 2D 幀都是獨立生成的。從下面的圖像中可以看出，這些方法的結果會產生抖動和突然的顏色和紋理變化。

輸入 GANcraft ，這是一種直接在 3D 輸入世界上操作的新方法。

研究人員在 study 中解釋說：“由于用戶創(chuàng)建的塊世界根本不存在地面真實照片級真實感渲染，我們必須通過間接監(jiān)督來訓練模型?！?。

該方法的工作原理是在輸入塊世界中隨機采樣攝影機視圖，然后想象該視圖的真實照片版本是什么樣子。這是在 SPADE 的幫助下完成的，這是 NVIDIA 先前在圖像到圖像轉換方面的工作，也是流行的 GauGAN 演示中的關鍵組件。 GANcraft 通過使用樣式調節(jié)網(wǎng)絡克服了這些生成的“偽真實”的視圖不一致性，該網(wǎng)絡可以消除世界結構與渲染樣式之間的歧義。這使 GANcraft 能夠生成與視圖一致的輸出視頻，并且具有不同的風格。

雖然研究結果在 Minecraft 中得到了驗證，但該方法適用于其他 3D 塊體世界，如體素。縮短構建高清世界所需的時間和專業(yè)知識的潛力增加了這項研究的價值。它可以幫助游戲開發(fā)者、 CGI 藝術家和動畫產業(yè)縮短構建這些巨大而令人印象深刻的世界所需的時間。

GANcraft 是在 Imaginaire 庫中實現(xiàn)的。該庫針對生成模型和生成對抗網(wǎng)絡的訓練進行了優(yōu)化，支持多 GPU 、多節(jié)點和自動混合精度訓練。 NVIDIA 制作的 10 多種不同研究成果以及預訓練模型已經(jīng)發(fā)布。隨著時間的推移，此庫將繼續(xù)使用更新的作品進行更新。

關于作者

Nathan Horrocks 是 NVIDIA Research 的內容營銷經(jīng)理。他重點強調了 NVIDIA 實驗室在世界各地進行的驚人研究。

審核編輯：郭婷