案例簡(jiǎn)介

蘇州湯元科技有限公司（以下簡(jiǎn)稱“湯元科技”）是一家專注于三維重建與世界模型的科技公司，為自動(dòng)駕駛與具身智能提供高質(zhì)量、多樣化的訓(xùn)練數(shù)據(jù)。通過(guò)將自研的世界模型技術(shù)與NVIDIA Cosmos結(jié)合，實(shí)現(xiàn)真實(shí)物理世界的三維重建、場(chǎng)景泛化，并提升數(shù)據(jù)生成的效率與擬真度。

本案例主要應(yīng)用NVIDIA GPU和 NVIDIA Cosmos 平臺(tái)。

湯元科技成立于 2024 年 3 月，是一家專注于“世界模型 + AI”的創(chuàng)新型科技公司，致力于實(shí)現(xiàn)真實(shí)物理世界的三維重建與數(shù)據(jù)生成，推動(dòng)物理 AI 的發(fā)展。公司核心業(yè)務(wù)是利用路側(cè)傳感器信息，將物理世界的全要素?cái)?shù)字化重建，并以此構(gòu)建高質(zhì)量、可泛化的訓(xùn)練數(shù)據(jù)，服務(wù)于自動(dòng)駕駛和具身智能等前沿領(lǐng)域。

在智能駕駛方向，湯元科技推出了自研的“Yootta 數(shù)據(jù)平臺(tái)”，基于“Real2Sim2Real”的三維重建與視頻擴(kuò)散生成框架，將城市級(jí)多源感知數(shù)據(jù)自動(dòng)化轉(zhuǎn)化為多樣化、高保真、結(jié)構(gòu)一致的車側(cè)視角訓(xùn)練數(shù)據(jù)。該框架能夠涵蓋不同天氣、光照、道路結(jié)構(gòu)等復(fù)雜場(chǎng)景。

傳統(tǒng)三維重建受限于視角和環(huán)境，往往存在天空信息缺失及復(fù)雜場(chǎng)景泛化不足等問(wèn)題。湯元科技通過(guò)引入 Cosmos，實(shí)現(xiàn)了缺失信息補(bǔ)全、多樣化視角生成與復(fù)雜環(huán)境的泛化，為“感知在環(huán)”訓(xùn)練奠定了技術(shù)基礎(chǔ)。

湯元科技基于 Cosmos 對(duì)交通場(chǎng)景的光照、天氣、環(huán)境等進(jìn)行重構(gòu)。

智能駕駛數(shù)據(jù)獲取與生成面臨的挑戰(zhàn)

數(shù)據(jù)是智能駕駛訓(xùn)練的燃料。在端到端和 VLA 等新一代技術(shù)體系推動(dòng)下，智能駕駛對(duì)高質(zhì)量、多樣化、物理一致的訓(xùn)練數(shù)據(jù)提出了更高要求。當(dāng)前，數(shù)據(jù)獲取與生成面臨多重挑戰(zhàn)，成為制約技術(shù)突破的關(guān)鍵瓶頸。

1. 數(shù)據(jù)采集方式

傳統(tǒng)依賴車隊(duì)實(shí)采的方式存在高成本、低效率問(wèn)題，且難以覆蓋長(zhǎng)尾場(chǎng)景；而純生成式數(shù)據(jù)雖然成本低，但其物理一致性與行為真實(shí)度難以保障，難以滿足模型對(duì)真實(shí)性和泛化能力的雙重要求。通過(guò)路側(cè)傳感器采集數(shù)據(jù)并重建真實(shí)世界模型的方案，可以在滿足智能駕駛對(duì)數(shù)據(jù)需求的同時(shí)，大幅降低采集成本。

2. 數(shù)據(jù)格式

智能駕駛的主流算法（如：端到端模型和 VLA 模型）需要“感知在環(huán)”的方式進(jìn)行模型訓(xùn)練和測(cè)試。傳統(tǒng)的智能駕駛數(shù)據(jù)集（如：nuScenes）是由自動(dòng)駕駛車輛事先采集的日志數(shù)據(jù)，而非實(shí)時(shí)模擬環(huán)境。傳感器信息一旦固定，當(dāng)自動(dòng)駕駛模型生成新的行駛軌跡后，傳感器數(shù)據(jù)無(wú)法改變。因此，需要引入 4D場(chǎng)景數(shù)據(jù)，以便在車輛位姿變化時(shí)，能夠重新渲染傳感器視角下的數(shù)據(jù)。

3. 數(shù)據(jù)源本身

無(wú)論是路側(cè)還是車載采集都存在物理限制。路側(cè)設(shè)備受部署密度和視角范圍影響，生成數(shù)據(jù)常缺乏天空等關(guān)鍵環(huán)境要素；而車載視角則受遮擋影響較大，存在重建障礙物幾何信息缺失、姿態(tài)估計(jì)不準(zhǔn)等問(wèn)題。

左圖為通過(guò)路側(cè)相機(jī)重建后渲染的車端視角視頻，天空因視角受限而缺失；右圖為經(jīng)Cosmos補(bǔ)全天空等缺失信息后，呈現(xiàn)完整場(chǎng)景。

面對(duì)上述挑戰(zhàn)，湯元科技自研“Real2Sim2Real”三維重建與視頻擴(kuò)散生成框架，構(gòu)建了以 3D Gaussian Splatting 為核心、動(dòng)靜分離建模為支撐的四維動(dòng)態(tài)重建能力。通過(guò)對(duì)靜態(tài)背景與動(dòng)態(tài)物體的時(shí)序建模與融合，確保重建結(jié)果具備空間一致性與時(shí)間連續(xù)性。同時(shí)，結(jié)合 Cosmos，實(shí)現(xiàn)了缺失信息補(bǔ)全、多樣化視角生成和復(fù)雜環(huán)境泛化，突破了傳統(tǒng)數(shù)據(jù)生成的瓶頸。相較于傳統(tǒng)采集方式，湯元科技的解決方案在三個(gè)維度實(shí)現(xiàn)了顯著提升：

技術(shù)上，通過(guò)路側(cè)傳感器信息實(shí)現(xiàn)真實(shí)物理世界的還原，具備更優(yōu)的紋理、幾何與光照一致性以及新視角的時(shí)空一致性；

業(yè)務(wù)上，提升了對(duì)場(chǎng)景密度、行為模態(tài)、長(zhǎng)尾交互的還原能力；

效率與成本上，依托路側(cè)數(shù)據(jù)采集與自動(dòng)生成，數(shù)據(jù)采集效率提升 5 倍，綜合成本下降超 80%。

NVIDIA Cosmos 助力突破 4D 重建瓶頸

為了突破三維生成與四維重建在效率、質(zhì)量及泛化能力上的瓶頸，湯元科技引入了 NVIDIA 最新的軟硬件產(chǎn)品，包括多卡 GPU 集群、Cosmos 引擎與擴(kuò)散模型，構(gòu)建出一套高效、真實(shí)、穩(wěn)定的 4D 數(shù)據(jù)生成與增強(qiáng)系統(tǒng)。其在自動(dòng)駕駛及具身智能的數(shù)據(jù)供給中表現(xiàn)出顯著優(yōu)勢(shì)，具體包括：

基于 Cosmos 的物理級(jí)光影建模，提升視覺(jué)真實(shí)感

利用 Cosmos 引擎，湯元科技在構(gòu)建 4D 動(dòng)態(tài)場(chǎng)景時(shí)實(shí)現(xiàn)了跨時(shí)間幀一致的光照與材質(zhì)表現(xiàn)，顯著解決了傳統(tǒng) 4D 合成中光影不自然與材質(zhì)漂移的問(wèn)題，極大增強(qiáng)了視覺(jué)擬真度。

4D資產(chǎn)重建常因相機(jī)參數(shù)誤差、稀疏視圖和曝光不一致而導(dǎo)致質(zhì)量下降。為此，湯元科技在初始車輛模型的360 度環(huán)視范圍內(nèi)采樣虛擬視角，并借鑒NVIDIA擴(kuò)散模型思路進(jìn)行修復(fù)；修復(fù)后的視角圖像進(jìn)一步用于訓(xùn)練3D Gaussian Splatting（3DGS），從而提升車輛重建的幾何精度與外觀一致性。

2. 修復(fù)時(shí)空漂移，顯著提升重建質(zhì)量

針對(duì) 4D 重建中的跨幀結(jié)構(gòu)漂移與紋理不一致問(wèn)題，湯元科技結(jié)合 Cosmos-Transfer1-7B-Sample-AV 模型與擴(kuò)散模型，進(jìn)行了校正優(yōu)化。在實(shí)際評(píng)估中，圖像質(zhì)量指標(biāo)實(shí)現(xiàn)了大幅提升：

PSNR（峰值信噪比，Peak Signal-to-Noise Ratio）從 25.6 提升至 35.9

SSIM（結(jié)構(gòu)相似性指標(biāo)，Structural Similarity Index Measure）從 0.68 提升至 0.91

NTA-IoU（用于評(píng)估新視角的時(shí)空一致性，Novel Trajectory Agent IoU）從 0.613 提升至 0.804

LPIPS（感知相似性指標(biāo)，Learned Perceptual Image Patch Similarity）從 0.137 降低至 0.021

FID（衡量生成圖像與真實(shí)圖像整體分布差異的指標(biāo)，F(xiàn)rechet Inception Distance）從 130.4 降低至 23.1

這一提升在視覺(jué)質(zhì)量、結(jié)構(gòu)保真度與感知一致性方面均體現(xiàn)出突破性效果。

3. 高質(zhì)量大規(guī)模風(fēng)格遷移，實(shí)現(xiàn)數(shù)據(jù)泛化

通過(guò) Cosmos 的風(fēng)格遷移能力，湯元科技在保持空間結(jié)構(gòu)穩(wěn)定的前提下，生成了多樣性極高的圖像樣本，實(shí)現(xiàn)超過(guò) 10 倍的數(shù)據(jù)增強(qiáng)效率。該能力有效覆蓋了雨天、雪天、黃昏等邊緣駕駛場(chǎng)景，極大拓展了模型的風(fēng)格學(xué)習(xí)空間，顯著提升了感知模型的泛化性能。

4. 打破“感知訓(xùn)練不在環(huán)”傳統(tǒng)限制，實(shí)現(xiàn)“數(shù)據(jù)與模型”協(xié)同進(jìn)化

傳統(tǒng)感知模型的訓(xùn)練通常依賴于預(yù)先采集的靜態(tài)離線數(shù)據(jù)集，這種離線訓(xùn)練方案難以適配VLA（Vision-Language-Action）、RL（Reinforcement Learning）等需“感知在環(huán)”的模型。對(duì)此，湯元科技基于Cosmos構(gòu)建的可交互式訓(xùn)練數(shù)據(jù)平臺(tái)，提出了針對(duì)性解決方案：通過(guò)對(duì)真實(shí)物理世界進(jìn)行4D重建，可實(shí)時(shí)渲染生成任意新視角的傳感器數(shù)據(jù)，從而精準(zhǔn)滿足“感知在環(huán)”對(duì)動(dòng)態(tài)、多維度感知輸入的核心需求。該方案突破了傳統(tǒng)離線數(shù)據(jù)的局限，推動(dòng)了需要與動(dòng)態(tài)環(huán)境持續(xù)交互的智能駕駛相關(guān)模型（如VLA、RL）的研發(fā)進(jìn)程。

借助 Cosmos 平臺(tái)，湯元科技極大地提升了物理世界重建與泛化過(guò)程中的效率與精度。湯元科技還是 NVIDIA 初創(chuàng)加速計(jì)劃的成員企業(yè)，得到了該項(xiàng)目的全方位支持。在技術(shù)方面，通過(guò)對(duì) NVIDIA OpenUSD 課程的學(xué)習(xí)，提升了生成式模型構(gòu)建與模塊化 3D 資產(chǎn)利用能力。在市場(chǎng)與生態(tài)層面，通過(guò)參與 NVIDIA 初創(chuàng)加速計(jì)劃的活動(dòng)與演講，不僅展示了技術(shù)實(shí)力，還拓展了合作伙伴網(wǎng)絡(luò)，進(jìn)一步提升了在世界模型與自動(dòng)駕駛訓(xùn)練數(shù)據(jù)領(lǐng)域的影響力。

湯元科技聯(lián)合創(chuàng)始人兼首席執(zhí)行官任冬淳表示：“物理 AI 是未來(lái)最大的方向，所有的智能體都需具備感知、理解和執(zhí)行的能力。在智能駕駛上，通過(guò) Cosmos 的能力，我們可以更好、更快地交付客戶所需的數(shù)據(jù)。同時(shí)，感謝 NVIDIA 初創(chuàng)加速計(jì)劃，為我們開(kāi)放了一個(gè)優(yōu)秀的技術(shù)與市場(chǎng)平臺(tái)，幫助我們連接產(chǎn)業(yè)資源、快速成長(zhǎng)。”