物理 AI (Physical AI）涵蓋機器人技術(shù)、智能汽車等領(lǐng)域，需要大量真實世界數(shù)據(jù)、專用基礎(chǔ)設(shè)施以及嚴格的測試。

51Sim 利用NVIDIA Cosmos的生成式世界基礎(chǔ)模型，對現(xiàn)有的合成數(shù)據(jù)進行大規(guī)模泛化，在確保物理真實性的前提下，大幅提升了數(shù)據(jù)的豐富度。同時依托 NVIDIA Issac Sim，將輔助駕駛領(lǐng)域的經(jīng)驗成功拓展到了具身智能領(lǐng)域，為端到端輔助駕駛仿真測試與具身智能機器人訓(xùn)練提供了海量高置信度的合成數(shù)據(jù)，目前相關(guān)成果已在多個主機廠和智能裝備企業(yè)中實現(xiàn)落地應(yīng)用。

合成數(shù)據(jù)的“多樣性”和“真實性”痛點

合成數(shù)據(jù)的泛化性和模擬-現(xiàn)實差距（Sim-to-Real Gap）是包括輔助駕駛仿真在內(nèi)的具身智能領(lǐng)域的核心難題。

端到端輔助駕駛模型測試區(qū)別于傳統(tǒng)的模塊化測試方式，需要同時包含感知與規(guī)控環(huán)節(jié)，因此高置信度的感知仿真的重要性大幅提升，這也對仿真場景的真實性和數(shù)據(jù)置信度提出了更高的要求。同時泛化性也是重要的影響因素，高階輔助駕駛的進化深度依賴數(shù)據(jù)多樣性，海量、多維度，且覆蓋極端場景的長尾數(shù)據(jù)可以有效提升算法針對突發(fā)事件的應(yīng)對能力。

相比于智能汽車，港口、礦山、工廠等場景的工礦則更加復(fù)雜，真實數(shù)據(jù)的采集成本更高、數(shù)據(jù)更為稀缺。同時由于裝備本身的復(fù)雜性，需要依托高質(zhì)量的仿真環(huán)境和高度真實的物理仿真引擎才能完成閉環(huán)仿真測試與訓(xùn)練數(shù)據(jù)合成，這為安全性驗證提出了更艱巨的任務(wù)。

利用 NVIDIA Cosmos 提升輔助駕駛合成數(shù)據(jù)場景的泛化性

NVIDIA Cosmos是一個生成式世界基礎(chǔ)模型（WFMs）平臺，包含先進的視覺標記器、護欄以及加速視頻數(shù)據(jù)處理工具管線。它專為加速輔助駕駛汽車和機器人領(lǐng)域的合成數(shù)據(jù)生成、AI 模型訓(xùn)練與評估而設(shè)計，能夠為世界模型訓(xùn)練提供支持，并加速輔助駕駛汽車和機器人的物理 AI 開發(fā)。

基于高真實感動靜態(tài)場景仿真和物理級傳感器仿真，51Sim 的輔助駕駛與機器人仿真測試平臺 SimOne 能夠輸出豐富的傳感器原始數(shù)據(jù)和真值數(shù)據(jù)類型，包括攝像頭視頻流、2D/3D 包圍盒、語義分割、實例分割、深度圖、法線圖等。這些真值可進一步作為Cosmos Transfer的控制輸入，通過不同的 Prompt，生成大規(guī)模、高真實感的合成數(shù)據(jù)集。

NVIDIA Cosmos為 51Sim 多種合成數(shù)據(jù)技術(shù)路線的融合帶來了更多可能性。圖形和 3DGS 混合渲染引擎的輸出可以直接作為 Cosmos 世界基礎(chǔ)模型的輸入。Cosmos Transfer可基于結(jié)構(gòu)輸入或來自NVIDIA Omniverse的真實數(shù)據(jù)，可根據(jù)提示，生成不同場景風(fēng)格的視頻?？稍?Hugging Face 和 GitHub 上開放使用。在 Cosmos Transfer 的支持下，通過初期的基礎(chǔ)場景搭建以及云端 GPU 集群的加速生成，用戶可在有限資源投入的前提下，快速生成兼具真實性與多樣性的合成數(shù)據(jù)，顯著提升了生成效率，降低合成數(shù)據(jù)的整體成本。

借助 Cosmos，51Sim 將基于自研方案生產(chǎn)的合成數(shù)據(jù)的泛化性，實現(xiàn)了跨數(shù)量級的提升。一次構(gòu)建，可生成海量的泛化場景，大幅提升了數(shù)據(jù)的復(fù)用性，節(jié)省了重建成本。這些合成數(shù)據(jù)幫助車企算法研發(fā)部門實現(xiàn)了極端數(shù)據(jù)的“飽和式”覆蓋，為應(yīng)對極端場景提供了更強大的數(shù)據(jù)保障，加速高階輔助駕駛算法的快速迭代。

51Sim 專注打造強大落地能力的合成數(shù)據(jù)方案

憑借多年利用圖形引擎對真實世界進行數(shù)字孿生重建的經(jīng)驗，51Sim 積累了海量的高質(zhì)量 3D 資產(chǎn)庫，并擁有包括物理仿真及圖形渲染、3DGS 輻射場的重建、世界模型在內(nèi)的行業(yè)內(nèi)全面的合成數(shù)據(jù)技術(shù)路徑。

依托自研的 3DGS 混合引擎，51Sim 大幅提升了虛擬環(huán)境的視覺真實度和多樣化，并大幅降低了重建成本。這些虛擬場景產(chǎn)生的合成數(shù)據(jù)，嚴格遵循真實世界的物理規(guī)律，包括光照變化、材質(zhì)特性、碰撞反饋及物體間的動態(tài)交互。

51Sim 的合成數(shù)據(jù)方案已在端到端輔助駕駛領(lǐng)域?qū)崿F(xiàn)落地應(yīng)用，憑借高置信度且多樣性的仿真場景、真實傳感器標定的物理級傳感器建模能力及一致性經(jīng)驗，實現(xiàn)了攝像頭、激光雷達、毫米波雷達等物理級多傳感器仿真，滿足了車企算法測試部門對于端到端仿真對置信度的極致要求。

為了進一步滿足在輔助駕駛算法對于數(shù)據(jù)的真實性與多樣性的要求，縮小真實與仿真之間的領(lǐng)域差異，SimOne 還引入了實時光線追蹤渲染、3DGS 場景及動靜態(tài)資產(chǎn)的重建技術(shù)。同時，為了增強數(shù)據(jù)的多樣性，SimOne 還構(gòu)建了基于域隨機化的靜態(tài)場景生成系統(tǒng)、基于大語言模型（LLM）的動態(tài)場景生成工具，并增加了海量的 SOTIF 資產(chǎn)庫，結(jié)合天氣與光照的泛化能力，從而實現(xiàn)了高質(zhì)量、多樣化的合成數(shù)據(jù)生成。

未來展望：推動物理AI安全、高效地進入物理世界

基于 NVIDIA Cosmos 與 Isaac Sim 的強大能力，51Sim 進一步為端到端輔助駕駛提供了海量高置信度的仿真數(shù)據(jù)，全面提升了輔助駕駛系統(tǒng)的安全性與泛化性能，助力車企端到端輔助駕駛技術(shù)的落地。

目前，51Sim 目前應(yīng)用領(lǐng)域已從輔助駕駛仿真，向智能裝備、低空飛行器、通用機器人等眾多行業(yè)進行了拓展。依托 NVIDIA Isaac 開放生態(tài)，將多年積累的仿真與合成數(shù)據(jù)經(jīng)驗，和海量的高質(zhì)量數(shù)據(jù)資產(chǎn)，成功拓展到了智能裝備、機器人等具身智能的仿真訓(xùn)練領(lǐng)域，為更多行業(yè)提供有力數(shù)據(jù)和仿真能力支撐，推動物理 AI 安全、高效地進入物理世界。

51Sim 于今年加入了 NVIDIA 初創(chuàng)加速計劃，并參加了 2025 NVIDIA 創(chuàng)業(yè)企業(yè)展示活動，后續(xù)將在 NVIDIA 的助力下，在技術(shù)和市場方面進行更多交流與聯(lián)動。