一、引言

在自動(dòng)駕駛技術(shù)飛速發(fā)展的當(dāng)下，高精度、高保真的仿真場(chǎng)景構(gòu)建成為關(guān)鍵。3D Gaussian Splatting（3DGS）憑借高效渲染與逼真場(chǎng)景還原能力，逐漸成為三維重建與仿真領(lǐng)域的焦點(diǎn)。然而，實(shí)際應(yīng)用中，如何將多源異構(gòu)數(shù)據(jù)高效轉(zhuǎn)化為可用的 3DGS 場(chǎng)景，如何保障場(chǎng)景與真實(shí)環(huán)境的一致性，成為了行業(yè)難題。

針對(duì)3DGS 落地自動(dòng)駕駛仿真的核心痛點(diǎn)，aiSim打造從原始數(shù)據(jù)標(biāo)準(zhǔn)化到高保真仿真驗(yàn)證的全流程方案：用aiData 工具鏈讓多源數(shù)據(jù)有序協(xié)同；借算法組合保障場(chǎng)景高度逼真；以 GGSR 渲染器實(shí)現(xiàn)“高效 + 真實(shí)”渲染閉環(huán)；并能自由配置暴雨、夜晚等環(huán)境，模擬多模態(tài)傳感器，疊加虛擬交通流，覆蓋自動(dòng)駕駛極端測(cè)試工況。

二、3DGS 底層技術(shù)剖析

3DGS 是一種基于3D 高斯分布的三維場(chǎng)景表示方法，其核心在于將場(chǎng)景中的對(duì)象轉(zhuǎn)化為多個(gè) 3D 高斯點(diǎn)，每個(gè)高斯點(diǎn)就像一個(gè)攜帶豐富信息的 “數(shù)據(jù)膠囊”，囊括了位置、協(xié)方差矩陣和不透明度等關(guān)鍵信息 ，以此勾勒復(fù)雜場(chǎng)景的幾何輪廓與光照特性。

從構(gòu)建流程來(lái)看，3DGS 首先借助SfM（Structure from Motion）技術(shù)開啟數(shù)據(jù)預(yù)處理征程。該技術(shù)通過(guò)對(duì)多視角圖像的分析，校準(zhǔn)相機(jī)位置并精準(zhǔn)恢復(fù)其內(nèi)部和外部參數(shù)，進(jìn)而生成稀疏點(diǎn)云，為后續(xù)的場(chǎng)景構(gòu)建搭建起基礎(chǔ)框架。基于這些稀疏點(diǎn)云，一組 3D 高斯點(diǎn)被初始化，每個(gè)高斯點(diǎn)的位置、協(xié)方差矩陣和不透明度等初始值得以設(shè)定。

在訓(xùn)練階段，3DGS 不斷對(duì)高斯點(diǎn)的位置、形狀和不透明度進(jìn)行精細(xì)調(diào)校。3DGS 創(chuàng)新性地采用自適應(yīng)密度控制策略，在每次反向傳播后，去除那些對(duì)場(chǎng)景表達(dá)貢獻(xiàn)較小的不重要高斯點(diǎn)，并依據(jù)場(chǎng)景細(xì)節(jié)的需求對(duì)高斯點(diǎn)進(jìn)行分裂或克隆操作。

對(duì)比傳統(tǒng)的神經(jīng)輻射場(chǎng)（NeRF）方法，3DGS 凸顯優(yōu)勢(shì)。NeRF 雖能構(gòu)建出具有高度真實(shí)感的連續(xù)、立體場(chǎng)景，實(shí)現(xiàn)空間坐標(biāo)到圖像色彩及密度的直接映射，但計(jì)算強(qiáng)度極高，單一場(chǎng)景構(gòu)建往往需要投入大量的算力資源與時(shí)間成本，尤其是在追求高分辨率輸出時(shí)，這一問(wèn)題更為突出。

此外，NeRF 的可編輯性較差，單一場(chǎng)景的任何編輯都意味著要重新訓(xùn)練整個(gè)流程。而 3DGS 通過(guò)顯式建模方法，巧妙避開了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練中繁重的計(jì)算開銷，訓(xùn)練速度大幅提升，渲染效率更高。同時(shí)，3D 高斯點(diǎn)能夠捕捉場(chǎng)景中的每一處細(xì)節(jié)，實(shí)現(xiàn)高精度的三維重建，并且支持實(shí)時(shí)渲染。

然而，3DGS 并非十全十美。在面對(duì)極為復(fù)雜的三維場(chǎng)景時(shí)，為了精準(zhǔn)還原每一處細(xì)節(jié)，可能需要海量的高斯點(diǎn)，這無(wú)疑會(huì)顯著增加計(jì)算負(fù)擔(dān)與內(nèi)存消耗。并且，當(dāng)前 3DGS 的應(yīng)用主要集中于靜態(tài)場(chǎng)景的重建，如何高效且精準(zhǔn)地處理動(dòng)態(tài)場(chǎng)景中的物體變化，使其能夠?qū)崟r(shí)、準(zhǔn)確地反映動(dòng)態(tài)物體的位置、形狀及運(yùn)動(dòng)軌跡等信息，仍然是擺在科研人員與工程師面前的一道技術(shù)難題。

三、基于 aiSim 的 3DGS 方案全流程

1、原始數(shù)據(jù)輸入與標(biāo)準(zhǔn)化

以多源傳感器采集為起點(diǎn)，通過(guò)相機(jī)、激光雷達(dá)、自車運(yùn)動(dòng)傳感器捕獲真實(shí)道路的圖像、點(diǎn)云、位姿數(shù)據(jù)。針對(duì)這些數(shù)據(jù)格式、精度、時(shí)間戳異構(gòu)的問(wèn)題，aiData 工具鏈通過(guò)標(biāo)準(zhǔn)化算法將第三方數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式，從而確保點(diǎn)云、圖像、標(biāo)定信息協(xié)同工作，確保后續(xù)處理工作正確運(yùn)行。

2、3D 場(chǎng)景預(yù)處理

（1）3D 自動(dòng)標(biāo)注：在 aiData 工具鏈里，3D 自動(dòng)標(biāo)注依托多模態(tài)數(shù)據(jù)與算法流程實(shí)現(xiàn)。圖像、點(diǎn)云、毫米波作為多維度輸入，經(jīng)核心算法模塊 Super MS2N 整合各模態(tài)特征，精準(zhǔn)識(shí)別 3D 目標(biāo)并生成標(biāo)注框，明確目標(biāo)邊界與類別，接著借 “非因果追蹤” 模塊跨幀關(guān)聯(lián)、優(yōu)化軌跡，修正標(biāo)注誤差，最終輸出高精度 GT 數(shù)據(jù)，為 3DGS 場(chǎng)景賦予準(zhǔn)確語(yǔ)義關(guān)聯(lián)。

（2）2D 語(yǔ)義分割：針對(duì)圖像數(shù)據(jù)做語(yǔ)義分割，輸出分割標(biāo)注，輔助 3D 場(chǎng)景的細(xì)節(jié)優(yōu)化。

（3）相機(jī)位姿優(yōu)化：校準(zhǔn)、優(yōu)化傳感器采集的位姿數(shù)據(jù)，確保 3D 重建時(shí)空間坐標(biāo)的準(zhǔn)確性，輸出精準(zhǔn)位姿信息。

3、3DGS 場(chǎng)景重建

基于預(yù)處理后的 “干凈數(shù)據(jù)”，aiSim 啟動(dòng)神經(jīng)網(wǎng)絡(luò)重建流程：融合 NeRF 的幾何泛化能力與 3DGS 的實(shí)時(shí)渲染特性，構(gòu)建跨模態(tài)信息傳遞機(jī)制（T-S 結(jié)構(gòu)）—— 將 NeRF 學(xué)習(xí)的深度、法線、外觀等監(jiān)督信號(hào)，通過(guò)多模態(tài)數(shù)據(jù)協(xié)同訓(xùn)練（引入 LiDAR 深度約束），遷移至3DGS 的高斯參數(shù)優(yōu)化中。最終，離散點(diǎn)云與圖像數(shù)據(jù)被轉(zhuǎn)化為連續(xù)的 3D 高斯場(chǎng)景表示，實(shí)現(xiàn) “真實(shí)場(chǎng)景→數(shù)字孿生” 的高效映射。

在這個(gè)關(guān)鍵環(huán)節(jié)中，T-S 結(jié)構(gòu)發(fā)揮著核心橋梁作用，它使 NeRF 在處理圖像數(shù)據(jù)時(shí)所學(xué)習(xí)到的深度、法線及外觀等關(guān)鍵監(jiān)督信號(hào)，能夠順暢地傳遞至 3DGS 模型中。同時(shí)，引入LiDAR 深度約束，進(jìn)一步提升了幾何建模的精準(zhǔn)度。LiDAR 所獲取的精確深度信息，作為一種強(qiáng)約束條件，參與到多模態(tài)數(shù)據(jù)的協(xié)同訓(xùn)練過(guò)程中，幫助 3DGS 更準(zhǔn)確地優(yōu)化高斯點(diǎn)的位置、協(xié)方差矩陣等參數(shù)，從而構(gòu)建出與真實(shí)場(chǎng)景高度契合的 3D 高斯場(chǎng)景。

經(jīng)過(guò)這一系列處理流程，原本離散、無(wú)序的點(diǎn)云與圖像數(shù)據(jù)，被成功轉(zhuǎn)化為連續(xù)、逼真的 3D 高斯場(chǎng)景表示，實(shí)現(xiàn)了從現(xiàn)實(shí)世界到數(shù)字孿生世界的高效、精準(zhǔn)映射，為后續(xù)的場(chǎng)景編輯與仿真應(yīng)用提供了優(yōu)質(zhì)的基礎(chǔ)場(chǎng)景。

為驗(yàn)證重建場(chǎng)景的一致性，aiSim 引入DEVIANT 算法與Mask2Former 算法形成雙重校驗(yàn)。其中 DEVIANT 算法聚焦幾何精度。通過(guò)模擬單目 3D 目標(biāo)檢測(cè)邏輯，對(duì)重建場(chǎng)景中車輛、行人等目標(biāo)的深度、位置、尺寸進(jìn)行校驗(yàn)。利用算法的深度等變性（對(duì)投影流形中深度平移 tz 的精準(zhǔn)約束），驗(yàn)證 3D 高斯場(chǎng)景中目標(biāo)的幾何參數(shù)是否與真實(shí)場(chǎng)景一致，避免因深度估計(jì)偏差導(dǎo)致目標(biāo)漂移或變形。

驗(yàn)證結(jié)果表明，該模型能夠成功檢測(cè)出由重建模型和基于網(wǎng)格的渲染引擎所渲染的車輛，這說(shuō)明未引入明顯的領(lǐng)域差距。其中，遠(yuǎn)處目標(biāo)未被識(shí)別是由于模型本身的限制（檢測(cè)范圍小于50米）所致。

Mask2Former 算法則專注像素一致性。針對(duì)圖像語(yǔ)義分割維度，將重建場(chǎng)景的渲染圖像與真實(shí)場(chǎng)景圖像輸入 Mask2Former，對(duì)比道路、植被、建筑等區(qū)域的像素級(jí)標(biāo)注。通過(guò)約束交叉注意力提取局部特征，校驗(yàn)場(chǎng)景中紋理、邊界、語(yǔ)義區(qū)域的還原度，確保虛擬場(chǎng)景與真實(shí)環(huán)境在視覺細(xì)節(jié)與語(yǔ)義理解上高度匹配。

其中綠色區(qū)域代表兩種模型都檢測(cè)出的“car”類別區(qū)域，藍(lán)色區(qū)域代表僅公開模型檢測(cè)出的“car”類別區(qū)域，黃色區(qū)域代表僅aiSim模型檢測(cè)出的“car”類別區(qū)域。

從驗(yàn)證結(jié)果可以看出，在原始軌跡場(chǎng)景中，道路及兩側(cè)可見車輛均被綠色區(qū)域覆蓋，模型對(duì)無(wú)遮擋、常規(guī)視角下的車輛檢測(cè)穩(wěn)定；在極端新視角（3 米偏移）場(chǎng)景中，雖然視角的變化更新了部分環(huán)境元素（如左側(cè)垃圾桶等新物體出現(xiàn)），但車輛綠色檢測(cè)區(qū)域仍保持較好覆蓋，驗(yàn)證模型在視角偏移場(chǎng)景下的適應(yīng)性。此外，大多數(shù)黃色“誤差”來(lái)自于公開模型對(duì)目標(biāo)邊界預(yù)測(cè)過(guò)于膨脹（dilated），而藍(lán)色區(qū)域通常出現(xiàn)在車輛被部分遮擋或距離較遠(yuǎn)，導(dǎo)致aiSim未能識(shí)別。

通過(guò) DEVIANT 算法與 Mask2Former 算法的協(xié)同驗(yàn)證，aiSim 的 3DGS 重建場(chǎng)景在物體的幾何位置、形狀，以及像素級(jí)的顏色、紋理等方面，都能與真實(shí)場(chǎng)景高度契合，真正實(shí)現(xiàn)了 “形神兼?zhèn)洹保瑸樽詣?dòng)駕駛系統(tǒng)的測(cè)試提供了極為真實(shí)、可靠的場(chǎng)景環(huán)境。

4、場(chǎng)景編輯與仿真閉環(huán)

aiSim 的場(chǎng)景編輯工具賦予用戶強(qiáng)大的場(chǎng)景定制能力。用戶能夠在 3DGS 重建的基礎(chǔ)場(chǎng)景之上，靈活添加虛擬交通流，設(shè)置不同類型車輛的行駛路線、速度、密度等參數(shù)，模擬繁忙的城市交通或流暢的高速公路交通等多樣化場(chǎng)景 。同時(shí)，通過(guò)模擬極端天氣，如暴雨傾盆時(shí)路面的積水反光、暴雪天氣下的能見度降低、夜間的燈光照明效果等，為自動(dòng)駕駛系統(tǒng)測(cè)試提供更具挑戰(zhàn)性與真實(shí)性的環(huán)境。

此外，部署多模態(tài)傳感器，能夠模擬不同傳感器在各種場(chǎng)景下的數(shù)據(jù)采集情況，全面測(cè)試自動(dòng)駕駛系統(tǒng)對(duì)多源數(shù)據(jù)的融合與處理能力，極大地拓展了單一真實(shí)場(chǎng)景的應(yīng)用價(jià)值，為自動(dòng)駕駛算法的優(yōu)化提供了豐富多樣的測(cè)試工況。

aiSim 新構(gòu)建的GGSR（General Gaussian SplattingRenderer，通用高斯?jié)姙R渲染器）是實(shí)現(xiàn)高保真渲染的關(guān)鍵組件。它針對(duì)傳統(tǒng)方案中廣角鏡頭渲染效果不佳的問(wèn)題進(jìn)行了深度優(yōu)化，有效增強(qiáng)了廣角鏡頭渲染下的一致性。在處理 FOV 更大的鏡頭時(shí)，通過(guò)優(yōu)化算法流程，顯著減少了近似誤差，避免了圖像變形、模糊等問(wèn)題，使得渲染出的圖像在廣角視角下依然清晰、準(zhǔn)確。同時(shí)，該渲染器能夠有效減少偽影的產(chǎn)生，無(wú)論是在復(fù)雜的城市街景還是開闊的高速公路場(chǎng)景中，都能實(shí)現(xiàn)高保真度的 3DGS 重建場(chǎng)景渲染。

此外，aiSim在渲染流程中支持任意相機(jī)畸變模型接入，能夠根據(jù)不同相機(jī)的特性對(duì)渲染過(guò)程進(jìn)行精準(zhǔn)適配，使得仿真數(shù)據(jù)在色彩、亮度、對(duì)比度以及畸變校正等方面，都能高度貼近真實(shí)傳感器的輸出。另外依托共享代碼庫(kù)的射線 - 高斯交互邏輯，能更真實(shí)地計(jì)算激光射線與場(chǎng)景高斯的碰撞、反射，為自動(dòng)駕駛系統(tǒng)的功能測(cè)試與極限場(chǎng)景驗(yàn)證提供了極為可靠的數(shù)據(jù)支持，成功打通了從數(shù)據(jù)采集到場(chǎng)景重建再到仿真驗(yàn)證的完整閉環(huán)。

四、結(jié)論

aiSim的3DGS 方案通過(guò)全流程技術(shù)創(chuàng)新，構(gòu)建起 “數(shù)據(jù)標(biāo)準(zhǔn)化 - 場(chǎng)景高保真 - 仿真全覆蓋” 的價(jià)值閉環(huán)，打通 3DGS 從技術(shù)潛力到工程實(shí)用的轉(zhuǎn)化路徑。

從痛點(diǎn)解決來(lái)看，方案以aiData 工具鏈讓多源數(shù)據(jù)有序協(xié)同，解決了 3DGS 輸入 “碎片化” 難題；通過(guò) T-S 結(jié)構(gòu)融合 NeRF 與 3DGS 優(yōu)勢(shì)，結(jié)合 LiDAR 深度約束，實(shí)現(xiàn)場(chǎng)景幾何與外觀的精準(zhǔn)重建；再經(jīng) DEVIANT 算法（幾何精度校驗(yàn)）與 Mask2Former 算法（像素語(yǔ)義對(duì)齊）雙重驗(yàn)證，確保重建場(chǎng)景與真實(shí)環(huán)境 “形神一致”，同時(shí)依托 GGSR 渲染器平衡高效渲染與高保真需求，讓 3DGS 真正適配自動(dòng)駕駛仿真的嚴(yán)苛要求。

從應(yīng)用價(jià)值來(lái)看，方案不僅提供了從真實(shí)場(chǎng)景到數(shù)字孿生的高效映射，更通過(guò)場(chǎng)景編輯工具支持極端天氣、虛擬交通流、多模態(tài)傳感器的靈活配置，讓單一場(chǎng)景衍生出多樣化測(cè)試工況。這種 “數(shù)據(jù) - 場(chǎng)景 - 測(cè)試” 的閉環(huán)能力，既降低了對(duì)真實(shí)路測(cè)的依賴，又為自動(dòng)駕駛算法迭代提供了高可信度的仿真環(huán)境。

▍參考資料

3DGS 綜述以及對(duì) 3DGS 的理解：A Survey on 3D Gaussian Splatting

Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation

3D Gaussian Splatting for Real-Time Radiance Field Rendering