Moment Factory 是一家全球多媒體娛樂工作室。該工作室結(jié)合視頻、燈光、建筑、音響、軟件和交互等領(lǐng)域的專業(yè)技術(shù)，為世界各地的觀眾打造沉浸式體驗(yàn)。從現(xiàn)場表演、多媒體秀到互動裝置，Moment Factory 憑借令人嘆為觀止和極具娛樂性的體驗(yàn)名聲大噪，比如 Billie Eilish 的 Happier Than Ever 世界巡演中炫目的視覺效果、在全球各地自然景點(diǎn)舉辦的 Lumina Night Walks、AT&T Discovery District 的數(shù)字場景建設(shè)等。

Moment Factory 擁有一支 400 多人的專業(yè)團(tuán)隊，在蒙特利爾、東京、巴黎、紐約和新加坡設(shè)有辦事處。該工作室已成為娛樂行業(yè)的領(lǐng)導(dǎo)者。

圖 1. Moment Factory 負(fù)責(zé) Billie Eilish 的 Happier Than Ever 世界巡演的創(chuàng)意指導(dǎo)、舞臺設(shè)計和內(nèi)容創(chuàng)作。

使用 OpenUSD 簡化沉浸式體驗(yàn)開發(fā)

將這些體驗(yàn)變?yōu)楝F(xiàn)實(shí)需要龐大的團(tuán)隊，擁有不同專長的高技能專家各自使用著獨(dú)特的工具。為了在高度復(fù)雜的制作流程中實(shí)現(xiàn)最佳的效率，Moment Factory 希望使用一種可互操作的開放數(shù)據(jù)格式和開發(fā)平臺，以便無縫集成從概念到實(shí)施的所有環(huán)節(jié)。

Moment Factory 使用通用場景描述（OpenUSD）作為解決方案。OpenUSD 是一個用于在 3D 世界中進(jìn)行描述、合成、仿真和協(xié)作的可擴(kuò)展框架和生態(tài)系統(tǒng)。NVIDIA Omniverse 軟件平臺可以幫助團(tuán)隊開發(fā)基于 OpenUSD 的 3D 工作流和應(yīng)用，它提供了一個統(tǒng)一環(huán)境，通過與 Moment Factory 工具的實(shí)時連接，實(shí)現(xiàn)數(shù)字孿生的實(shí)時可視化和協(xié)作。

利用 OpenUSD 與 Omniverse，Moment Factory 可以統(tǒng)一不同數(shù)字內(nèi)容創(chuàng)建（DCC）工具的數(shù)據(jù)，構(gòu)建真實(shí)世界環(huán)境的數(shù)字孿生。團(tuán)隊中的每個成員都可以與該數(shù)字孿生進(jìn)行交互，并在不影響其他元素的情況下迭代自己負(fù)責(zé)的項目部分。

例如，場景設(shè)計師可以使用 3D 設(shè)計軟件 Vectorworks 制作基本布局和獨(dú)特的場景片段。同時，在同一場景中，視聽和燈光設(shè)計師可以使用 Moment Factory 自主開發(fā)的現(xiàn)場娛樂操作系統(tǒng)和虛擬投影映射軟件 X-Agora 處理燈光和投影儀。

藝術(shù)家和設(shè)計師可以同步使用 Epic Games 虛幻引擎、Blender 和 Adobe Photoshop 等工具在場景中渲染和創(chuàng)建吸睛的視覺效果，而且不會影響仍在進(jìn)行中的項目層。

Moment Factory 創(chuàng)新團(tuán)隊的解決方案架構(gòu)師兼項目負(fù)責(zé)人 Arnaud Grosjean 表示：“USD 的獨(dú)特之處在于它可以被分割成更小的片段，使大家在保持連接的同時，能夠各自處理項目中自己負(fù)責(zé)的部分。憑借其靈活性和互操作性，我們能夠創(chuàng)建出強(qiáng)大的自定義 3D 管線。”

圖 2. USD 場景由場地、場景設(shè)計、視聽和來自不同數(shù)據(jù)源的傳感器數(shù)據(jù)等無損層組成。

數(shù)字孿生模擬真實(shí)世界的體驗(yàn)

為了在沉浸式活動被部署到現(xiàn)實(shí)世界之前先對其進(jìn)行模擬，Moment Factory 正在 NVIDIA Omniverse 中開發(fā)其裝置的數(shù)字孿生。Omniverse 是一個計算平臺，可幫助團(tuán)隊開發(fā)基于 OpenUSD 的 3D 工作流和應(yīng)用。Omniverse 提供了一個統(tǒng)一環(huán)境，通過與 DCC 工具實(shí)時連接，實(shí)現(xiàn)數(shù)字孿生的實(shí)時可視化和協(xié)作。

他們創(chuàng)建的第一個數(shù)字孿生 Blackbox 是一個可以在部署到現(xiàn)實(shí)世界前預(yù)覽沉浸式體驗(yàn)片段的實(shí)驗(yàn)和原型設(shè)計空間。從概念構(gòu)思和設(shè)計到集成和運(yùn)行，它幾乎成為了項目生命周期每個階段的關(guān)鍵空間。

為了構(gòu)建 Blackbox 的數(shù)字孿生，Moment Factory 使用了基于 NVIDIA Omniverse 的完全可自定義基礎(chǔ)應(yīng)用 USD Composer。

圖 3. 如右邊屏幕所示，Blackbox 中的實(shí)時視頻投影和燈光實(shí)時反映在其數(shù)字孿生中。

通過該裝置的虛擬復(fù)制品，團(tuán)隊能夠?qū)椖窟M(jìn)行無數(shù)次迭代，測試各項不同的因素。客戶可以提前在虛擬環(huán)境中觀看演出，因此該團(tuán)隊還可以更好地向潛在客戶推銷沉浸式體驗(yàn)的概念。

在構(gòu)建大規(guī)模沉浸式體驗(yàn)的過程中，主要的挑戰(zhàn)之一是在各利益相關(guān)方之間達(dá)成共識并處理好變化。

Grosjean 解釋說：“每個人對場景的結(jié)構(gòu)都有自己的想法，因此我們需要一種能夠在一個統(tǒng)一、動態(tài)的環(huán)境中，協(xié)調(diào)每個項目貢獻(xiàn)者的方法。有了數(shù)字孿生，我們就可以與各個核心專業(yè)領(lǐng)域的利益相關(guān)者一起測試和模擬潛在的想法。”

CAD 制圖員、視聽設(shè)計師、交互設(shè)計師等都為 Blackbox 的數(shù)字孿生做出了貢獻(xiàn)，藝術(shù)家和 2D/3D 設(shè)計師可以渲染并嘗試該沉浸式體驗(yàn)的實(shí)際效果。

開發(fā) Omniverse 連接器和擴(kuò)展程序

Moment Factory 不斷開發(fā)和測試 Omniverse 的擴(kuò)展程序，為其數(shù)字孿生帶來新的功能和可能性。

他們?yōu)?X-Agora 開發(fā)了一個 Omniverse 連接器。X-Agora 是 Moment Factory 自主開發(fā)的一款多視窗軟件，具有設(shè)計、規(guī)劃和操作演出的功能。目前，該軟件已能實(shí)現(xiàn) Nucleus 連接、USD 導(dǎo)入/導(dǎo)出功能以及早期實(shí)時模式。

視頻投影是沉浸式活動的關(guān)鍵要素。該團(tuán)隊經(jīng)常嘗試將視覺內(nèi)容映射和投射到建筑表面、場景元素，有時甚至是移動物體上，從而將靜態(tài)空間轉(zhuǎn)化成充滿動感的迷人環(huán)境。

NDI 是網(wǎng)絡(luò)設(shè)計接口（Network Design Interface）的縮寫，它是由 NewTek 開發(fā)的一種流行的 IP 視頻協(xié)議，可在互聯(lián)設(shè)備和系統(tǒng)之間實(shí)現(xiàn)高效的實(shí)時視頻制作和流式傳輸。在沉浸式體驗(yàn)中，Moment Factory 通常使用視頻線將媒體系統(tǒng)連接到物理投影儀。通過 NDI，他們就可以在虛擬場地內(nèi)復(fù)制這種連接，以數(shù)字方式有效模擬整個體驗(yàn)。

為了實(shí)現(xiàn) Omniverse RTX 渲染器與創(chuàng)意內(nèi)容之間的無縫連接，Moment Factory 開發(fā)了一個用于 Omniverse 的 NDI 擴(kuò)展程序。該擴(kuò)展程序不僅支持視頻投影，還使該團(tuán)隊能夠模擬 LED 墻、屏幕和像素場，從而在數(shù)字孿生中反映現(xiàn)實(shí)世界中的布置。

使用 Omniverse Kit 開發(fā)的這一擴(kuò)展程序還允許用戶使用視頻源作為動態(tài)紋理。Moment Factory 的開發(fā)人員使用 kit-cv-video-example 和 kit-dynamic texture-example 開發(fā)了該擴(kuò)展程序。

任何人都可以在 GitHub 上訪問和使用 Moment Factory 的 Omniverse-NDI-extension，并將其安裝到 Omniverse Launcher 上或使用以下命令啟動：

$ ./link_app.bat --app create
$ ./app/omni.create.bat --/rtx/ecoMode/enabled=false --ext-folder exts --enable mf.ov.ndi

Omniverse 中的擴(kuò)展程序是可重復(fù)使用的組件或工具，開發(fā)者可利用它們加速 3D 工作流以及添加新功能。它們既可以用于隨機(jī)化對象等簡單任務(wù)，也可以用于實(shí)現(xiàn)可視化腳本等更加復(fù)雜的工作流。

該團(tuán)隊還開發(fā)了一個將 MPDCI（一種描述多投影儀設(shè)備的 VESA 標(biāo)準(zhǔn)）轉(zhuǎn)換為 USD 的擴(kuò)展程序——Omniverse-MPCDI-converter。團(tuán)隊目前正在測試 MVR（My Virtual Rig）和 GDTF（通用設(shè)備類型格式）轉(zhuǎn)換器的擴(kuò)展程序，以便將照明裝置和設(shè)備導(dǎo)入數(shù)字孿生。

更引人注目的是正在開發(fā)中的激光雷達(dá) UDP 模擬器擴(kuò)展程序，它可以在 Omniverse 中實(shí)現(xiàn)傳感器模擬，并將合成數(shù)據(jù)連接到激光雷達(dá)兼容軟件。

點(diǎn)擊“閱讀原文”，了解更多關(guān)于NVIDIA Omniverse的信息并免費(fèi)試用。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。掃描下方海報二維碼，立即注冊 GTC 大會。