一、引言

在自動(dòng)駕駛與具身智能的發(fā)展歷程中，數(shù)據(jù)一直是制約模型能力的重要因素。目前，Waymo的自動(dòng)駕駛數(shù)據(jù)累計(jì)達(dá)3200萬(wàn)公里，特斯拉車(chē)隊(duì)的回傳數(shù)據(jù)都是PB級(jí)的，但自動(dòng)駕駛數(shù)據(jù)還是缺乏。這揭示了一個(gè)真相：真實(shí)世界的數(shù)據(jù)獲取正遭遇邊際收益遞減的困局。

隨著模型參數(shù)規(guī)模的指數(shù)級(jí)膨脹，我們面臨一個(gè)核心矛盾——AI 極度渴求長(zhǎng)尾場(chǎng)景，而真實(shí)世界的試錯(cuò)代價(jià)是不可逆的。這一瓶頸促使 AI 基礎(chǔ)設(shè)施正在發(fā)生一場(chǎng)深刻的范式轉(zhuǎn)移：從“被動(dòng)采集真實(shí)世界”，轉(zhuǎn)向“主動(dòng)構(gòu)建虛擬世界”。

3D Gaussian Splatting與虛擬合成數(shù)據(jù)，正是這場(chǎng)革命的兩大驅(qū)動(dòng)力。針對(duì)上述矛盾，本文將從仿真范式的三層演進(jìn)出發(fā)，系統(tǒng)拆解3DGS如何以顯式表達(dá)打破傳統(tǒng)仿真的真實(shí)感瓶頸，并進(jìn)一步闡述合成數(shù)據(jù)如何形成“采集—重建—擾動(dòng)—閉環(huán)”的工業(yè)級(jí)流水線，最終降低標(biāo)注成本、壓縮Sim-to-Real鴻溝。

此外，為了更深入地與行業(yè)同仁交流技術(shù)細(xì)節(jié)，康謀將在5月20日（周四）15:00舉辦主題為《從像素到世界：3DGS 與合成數(shù)據(jù)重塑 AI 仿真》的線上直播，屆時(shí)將詳細(xì)介紹AI仿真、3DGS、虛擬合成數(shù)據(jù)等更多落地細(xì)節(jié)，歡迎掃碼預(yù)約！

二、AI 仿真的范式更迭

3DGS技術(shù)原理圖

當(dāng)前，AI 仿真不僅是物理引擎的簡(jiǎn)單堆砌，它已演變?yōu)槿龑拥膹?fù)雜系統(tǒng)：物理仿真（牛頓世界）、傳感器仿真（像素世界）以及行為仿真（社會(huì)世界）。

長(zhǎng)期以來(lái)，AI 仿真受困于4個(gè)問(wèn)題：高昂的標(biāo)注成本、難以捕捉的長(zhǎng)尾場(chǎng)景、數(shù)據(jù)隱私的合規(guī)壁壘，以及物理試錯(cuò)的風(fēng)險(xiǎn)。傳統(tǒng)游戲引擎雖然提供了極高的可控性，但保真性弱的視覺(jué)表現(xiàn)使得 Sim-to-Real 的鴻溝難以跨越。

為了解決這一問(wèn)題，三種技術(shù)路徑正在融合：引擎仿真（強(qiáng)交互）、神經(jīng)渲染重建（高真實(shí)感）以及生成式 AI（廣擴(kuò)展性）。而 3DGS 的橫空出世，恰恰成為了將三者串聯(lián)起來(lái)的關(guān)鍵組件。

三、3DGS：讓世界成為“可計(jì)算資產(chǎn)”

3DGS技術(shù)原理

3DGS技術(shù)原理圖

2023 年發(fā)布的 3DGS，標(biāo)志著神經(jīng)渲染從學(xué)術(shù)界正式邁向工業(yè)界。與 NeRF 的隱式黑盒不同，3DGS 采用了一種極其巧妙的顯式表達(dá)：將整個(gè)世界拆解為數(shù)百萬(wàn)個(gè)發(fā)光的“3D 高斯橢球”。

實(shí)時(shí)性：3DGS 放棄了昂貴的神經(jīng)網(wǎng)絡(luò)體渲染，通過(guò)圖形學(xué)中經(jīng)典的“Splatting”技術(shù)，實(shí)現(xiàn)了 100+ FPS 的實(shí)時(shí)渲染。

顯式表達(dá)：由于每個(gè)高斯基元都攜帶位置、旋轉(zhuǎn)、縮放與顏色參數(shù)，這意味著場(chǎng)景不再是一個(gè)無(wú)法修改的“整體”，而是可以像粒子系統(tǒng)一樣被編輯、裁剪、拼接與二次創(chuàng)作。

這種“顯式性”賦予了工業(yè)生產(chǎn)巨大的靈活性。對(duì)于自動(dòng)駕駛公司而言，3DGS 不再僅僅是視覺(jué)重建工具，它已進(jìn)化為一種“數(shù)字孿生語(yǔ)料”。工程師可以在已重建的街景中任意插入障礙物、改變天氣條件，或模擬極端光照下的傳感器反饋，從而生成高質(zhì)量、帶標(biāo)注、且極其接近真實(shí)分布的訓(xùn)練數(shù)據(jù)。

康謀3DGS仿真應(yīng)用

構(gòu)建豐富的ODDs

利用3DGS技術(shù)，能快速搭建出不同的仿真環(huán)境，并基于aiSim仿真平臺(tái)進(jìn)行自動(dòng)駕駛仿真測(cè)試。以下是aiSim中的實(shí)機(jī)演示畫(huà)面，場(chǎng)景都是用3DGS生成。

（左）城區(qū)、（中）泊車(chē)、右（測(cè)試場(chǎng)地）

量化驗(yàn)證

我們對(duì)3DGS生成的場(chǎng)景做了不同方式的測(cè)試，以確保3DGS的仿真畫(huà)面是高度逼真的，與現(xiàn)實(shí)世界的畫(huà)面特征高度重合。

基于DEVIANT算法驗(yàn)證

DEVIANT是單目3D目標(biāo)檢測(cè)算法，我們將該算法應(yīng)用到仿真的3DGS畫(huà)面和真實(shí)畫(huà)面，算法都能進(jìn)行正常的識(shí)別任務(wù)，說(shuō)明3DGS沒(méi)有引入明顯的領(lǐng)域差異。

端到端測(cè)試驗(yàn)證

在3DGS環(huán)境中進(jìn)行智駕的閉環(huán)測(cè)試，即便在偏離原始數(shù)據(jù)采集軌跡的全新路徑上，依然能夠自主行駛。這說(shuō)明在aiSim的3DGS環(huán)境中能夠進(jìn)行閉環(huán)駕駛驗(yàn)證，從而打通了端到端的智駕測(cè)試驗(yàn)證。

在3DGS環(huán)境中進(jìn)行實(shí)時(shí)智駕測(cè)試畫(huà)面：

四、合成數(shù)據(jù)的工業(yè)閉環(huán)

在 3DGS 的加持下，合成數(shù)據(jù)流水線發(fā)生了一次從“生成”到“編程”的躍遷。傳統(tǒng)的仿真依賴(lài)大量美術(shù)建模，周期長(zhǎng)且真實(shí)感存疑；而 3DGS 路徑下的資產(chǎn)生產(chǎn)流程簡(jiǎn)潔高效：多視角采集 → 3DGS 訓(xùn)練 → 場(chǎng)景擾動(dòng) → 數(shù)據(jù)自動(dòng)導(dǎo)出。

構(gòu)建流程：

這種路徑帶來(lái)了三個(gè)關(guān)鍵優(yōu)勢(shì)：

特征一致性：場(chǎng)景底層的幾何與紋理源于真實(shí)拍攝，從源頭上壓縮了 Sim-to-Real 的性能掉點(diǎn)。

仿真閉環(huán)：通過(guò)對(duì)歷史真實(shí)事故數(shù)據(jù)的重建與擾動(dòng)，AI 可以進(jìn)行重復(fù)的極限測(cè)試，讓算法在“虛擬現(xiàn)場(chǎng)”中自我糾錯(cuò)。

標(biāo)注成本降低：在虛擬空間中，深度圖、語(yǔ)義分割、光流等數(shù)據(jù)皆為“生產(chǎn)副產(chǎn)品”，從而徹底減低了人工標(biāo)注成本。

康謀已發(fā)布仿真合成數(shù)據(jù)simdata，關(guān)于該數(shù)據(jù)集詳情與獲取方式可見(jiàn)免費(fèi)獲取 | SimData高保真虛擬數(shù)據(jù)集開(kāi)源發(fā)布，兼容nuScenes，開(kāi)箱即用！SimData深度解析：高保真虛擬數(shù)據(jù)集的構(gòu)建與評(píng)測(cè)

合成數(shù)據(jù)集示例如下：

五、結(jié)語(yǔ)

未來(lái)，物理屬性（材質(zhì)、光照、形變）將深度耦合進(jìn) 3DGS 系統(tǒng)中，使得虛擬世界不僅看起來(lái)，更能夠符合物理特征。

這不僅是技術(shù)的升級(jí)，更是AI 開(kāi)發(fā)范式的重塑。借助 3DGS 技術(shù)與合成數(shù)據(jù)流水線，我們得以跳出對(duì)真實(shí)世界數(shù)據(jù)的被動(dòng)依賴(lài)，轉(zhuǎn)而主動(dòng)構(gòu)建貼合實(shí)際需求的虛擬仿真環(huán)境，高效推進(jìn)場(chǎng)景迭代與算法優(yōu)化。

AI 仿真的能力上限，本質(zhì)上取決于我們構(gòu)建世界的深度與廣度。 從理解像素到構(gòu)建世界，這場(chǎng)由 3DGS 與虛擬數(shù)據(jù)驅(qū)動(dòng)的變革已經(jīng)開(kāi)始！