隨著 Web 3.0 的發(fā)展，以及 3D 內容行業(yè)應用與消費需求的日益增長，2D 向 3D 內容的升維是大勢所趨。作為游戲、元宇宙以及數(shù)字孿生持續(xù)發(fā)展的基石，3D 內容生產(chǎn)力至關重要。

AIGC（AI Generated Content），基于 AI 技術進行圖文、視頻乃至 3D 模型的泛內容生成，正在引發(fā) Web 3.0 時代的技術浪潮，引領著 3D 內容生產(chǎn)方式變革。通過圖片、視頻、點云等多模態(tài)數(shù)據(jù)自動生成 3D 內容，快速實現(xiàn)現(xiàn)實場景的數(shù)字化，成為當前理論研究和行業(yè)實踐的重大命題。

網(wǎng)易瑤臺是網(wǎng)易伏羲旗下新一代沉浸式活動平臺，致力于用人工智能和科技創(chuàng)新打造數(shù)字空間新模式，對 3D 內容生產(chǎn)有著豐富的實踐積累與持續(xù)需求。

在 NVIDIA 2023 春季 GTC 大會的 China AI Day 特別活動，網(wǎng)易伏羲視覺計算負責人李林橙將在 3 月 22 日下午 530 帶來《NVIDIA CUDA 技術助力網(wǎng)易瑤臺神經(jīng)隱式曲面建模 20 倍加速》專題演講，分享項目過程中的實踐經(jīng)驗與心得。手機微信掃碼或點擊閱讀原文即可直達注冊頁面。

//

NVIDIA CUDA 技術助力網(wǎng)易瑤臺

神經(jīng)隱式曲面建模 20 倍加速

演講嘉賓：

李林橙，網(wǎng)易伏羲視覺計算負責人

會議代碼：[SE52360]

演講時間：3 月 22 日 5:00 PM

掃描二維碼直達注冊頁面

圖1 網(wǎng)易瑤臺和河南文旅廳合作推出“元豫宙”

——河南省黃帝故里3D建模案例

（圖片來源于網(wǎng)易瑤臺）

如何快速、便捷、批量的建模數(shù)字化場景？

當前流程通常采用照片輔助人工建模的方式，將線下物體或者原畫制作為 3D 模型，但該方式嚴重依賴建模師的經(jīng)驗與效率，整體制作周期長且成本高。

以 NeRF 為代表的神經(jīng)渲染技術為 3D 內容生成提供了廣闊想象空間?；?AIGC-3D 神經(jīng)渲染技術，讓用戶手機拍攝物體，自動快速數(shù)字化建模，不需要大量人工干預，能夠應用于更廣泛的 3D 內容生產(chǎn)。

神經(jīng)渲染 3D 重建技術存在效率和精度無法兼顧的問題，難以滿足實際應用。高質量的重建算法需要耗費很長時間，例如 NeRF 結合隱式曲面的 NeuS 算法可以重建出完整的 3D mesh，但需要 10 小時之久。而快速重建算法則精度較低，例如 NVIDIA instant-ngp 技術可分鐘級快速合成高質量的 2D 視角，但導出的 Mesh 質量仍然受限。經(jīng)典的多視角深度圖融合技術也存在空洞問題。

? ??

針對相關挑戰(zhàn)，網(wǎng)易瑤臺與 NVIDIA 合作，利用 NVIDIA instant-npg 中的 tiny-cuda-nn 技術，基于 NeRF 和隱式曲面的神經(jīng)渲染重建算法并結合預訓練 CasMVSNet 的 3D 點云先驗，實現(xiàn)了業(yè)內先進的快速 3D 場景重建方案：

首先，使用 tiny-cuda-nn 網(wǎng)絡優(yōu)化，采用多尺度 hash 編碼結合傅里葉編碼、球諧編碼以及高效 MLP 重構隱式曲面SDF網(wǎng)絡，進行層數(shù)與隱層壓縮。相比基準算法，同 batchsize 設置下，單次迭代加速 1.98 倍，總耗時降到 25 分鐘左右。其次，使用多尺度與多視角訓練策略，包括多尺度圖像監(jiān)督、單步多視角監(jiān)督的訓練策略等。最后，改進了 SDF 體渲染方法，通過視線與法線夾角來加權 SDF 場，使用預訓練的 CasMVSNet 獲取 3D 點云進行幾何先驗監(jiān)督，提升了重建精度，加速了收斂過程。同時，在位姿估計、物體邊框估計、2D 以及 3D 采樣、紋理貼圖等方面進行了多項技術與工程優(yōu)化。

多個物體的多視角圖像通過快速隱式曲面重建方案進行自動重建效果如下圖，并可直接導入網(wǎng)易瑤臺元宇宙空間。

在 NVIDIA 2023 春季 GTC 大會的 China AI Day 特別活動，網(wǎng)易伏羲視覺計算負責人李林橙將在 3 月 22 日下午 530 帶來《NVIDIA CUDA 技術助力網(wǎng)易瑤臺神經(jīng)隱式曲面建模 20 倍加速》專題演講，分享項目過程中的實踐經(jīng)驗與心得。手機微信掃碼或點擊閱讀原文即可直達演講頁面。

NVIDIA CUDA 技術助力網(wǎng)易瑤臺

神經(jīng)隱式曲面建模 20 倍加速

會議代碼：[SE52360]

演講時間：3 月 22 日 5:00 PM

演講嘉賓：

李林橙，網(wǎng)易伏羲視覺計算負責人

演講概要：

網(wǎng)易瑤臺提供大型的沉浸式會展服務。在與客戶的溝通中我們了解到，客戶期望將線下物體生成 3D 模型，導入瑤臺，從而降低定制化制作的成本.

2020 年以來神經(jīng)渲染 3D 建模技術快速發(fā)展，重建精度有了顯著的提升，但耗時卻限制了實際的應用。網(wǎng)易瑤臺充分利用了 NVIDIA 的 tiny-cuda-nn 與 CUDA 渲染技術，對神經(jīng)隱式曲面建模進行了 20 多倍加速，實現(xiàn)了高效、高質量的 3D mesh 重建。本場演講將分享項目過程中的實踐經(jīng)驗與心得。

掃描二維碼直達注冊頁面

預約感興趣的會議和座談

想要預約以上精彩內容？成功注冊 GTC23 后，搜索相關會議代碼，如下圖所示。例如：搜索 GTC23 專題演講代碼 [SE52360] ，點擊“Add To Schedule”或右上角“五角星”即可將會議添加至日程，大會開始后登錄即可觀看會議。

歡迎加入 GTC23，交流、了解和幫助塑造未來發(fā)展趨勢！點擊即可查看 GTC23 注冊教程！

掃描下方海報二維碼，鎖定 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的 GTC 主題演講！北京時間 3 月 21 日 23:00 全球首播，3 月 22 日 10:00 中國重播。深度解讀 NVIDIA 加速計算平臺如何推動人工智能、元宇宙、云技術和可持續(xù)計算的下一波浪潮。加入 GTC23，切勿錯過 AI 的決定性時刻！