▍文章來源于康謀

一、引言

在一線從事高階ADAS仿真測試的工程師，大概率都經(jīng)歷過這樣的困境：在CARLA等傳統(tǒng)仿真器中表現(xiàn)良好的感知算法，一旦部署到實(shí)車上，就會出現(xiàn)漏檢和誤觸發(fā)。

根本原因在于，傳統(tǒng)圖形學(xué)仿真器基于人工建模的幾何網(wǎng)格與光線追蹤，渲染出的攝像頭畫面過于理想化，缺少真實(shí)世界中普遍存在的非均勻光照、鏡頭畸變、運(yùn)動模糊和多源噪聲。這種“虛實(shí)域差異”使得耗費(fèi)巨資搭建的仿真系統(tǒng)難以有效服務(wù)于端到端模型的測試驗(yàn)證。

2023年底以來，神經(jīng)渲染技術(shù)帶來了新的方向。3D高斯?jié)姙R（3D Gaussian Splatting, 3DGS）憑借其顯式的三維空間表征和實(shí)時(shí)渲染保真度，能夠基于實(shí)車采集的數(shù)據(jù)快速構(gòu)建高保真的數(shù)字孿生場景，直接回應(yīng)了仿真感知域的核心訴求。

然而，從實(shí)驗(yàn)室走向工程量產(chǎn)，3DGS仍然面臨多模態(tài)傳感器物理建模缺失、路網(wǎng)語義斷層、硬實(shí)時(shí)接入延遲等系統(tǒng)性瓶頸。本文旨在梳理當(dāng)前技術(shù)現(xiàn)狀，并探討面向量產(chǎn)落地的雙軌策略：“功能級 HiL 確定性物理注入 + 云端前饋可泛化 SiL 高并發(fā)生成”。

二、六大工程瓶頸

為了弄清楚 3DGS 到底離量產(chǎn)還有多遠(yuǎn)，我們需要從多模態(tài)感知適配、場景交互能力、工程落地效率等量產(chǎn)核心維度出發(fā)，可將3DGS技術(shù)的量產(chǎn)落地瓶頸拆解為六大核心問題，全面覆蓋傳感器仿真、場景重建、動態(tài)編輯、算力效率等關(guān)鍵環(huán)節(jié)。

攝像頭仿真

在攝像頭仿真方面，學(xué)術(shù)界與工業(yè)界推進(jìn)最快。基于 nuScenes 和 Waymo 數(shù)據(jù)集，諸如 SplatAD 和 AutoSplat 等方案已經(jīng)能夠?qū)崿F(xiàn)實(shí)時(shí)的相機(jī)渲染，峰值信噪比較傳統(tǒng)的 NeRF 提升了 2~3dB。

然而，量產(chǎn)車型標(biāo)配的超大畸變魚眼鏡頭以及周視相機(jī)的接縫重疊區(qū)域，在 3DGS 中極易出現(xiàn)“印象派畫作”般的偽影和拉伸。3DGUT 等環(huán)視適配方案，在解決多視角曝光不一致、動態(tài)鬼影方面，工程調(diào)優(yōu)成本依然高昂。

LiDAR 仿真

目前 LiDAR-GS 和 GS-LiDAR 能夠較好地模擬反射強(qiáng)度、回波以及射線漏檢。但對于 50 米以外的遠(yuǎn)距離物體，由于點(diǎn)云稀疏，高斯基元的擬合精度斷崖式下跌。

更致命的是，雨雪霧等極端天氣下光束的散射與衰減，3DGS 目前缺乏嚴(yán)密的物理機(jī)制支撐，導(dǎo)致生成的點(diǎn)云數(shù)據(jù)無法直接用于極端工況的測試。

Radar仿真

相較于光學(xué)傳感器，毫米波雷達(dá)的 3DGS 仿真目前處于極早期階段。盡管有 RadarSplat 和 NeuRadar 等前沿探索，但雷達(dá)波在金屬、路面、植被上的電磁散射具有極強(qiáng)的多徑效應(yīng)和多普勒效應(yīng)。3DGS 的顯式高斯點(diǎn)表征難以抽象這些物理特性，其仿真精度距離量產(chǎn)的感知評測要求仍有顯著差距。

路網(wǎng)與語義重建

仿真需要的是車輛要在里面跑起來。3DGS在重建大范圍城市場景時(shí)，由于缺乏長距離幾何約束，容易出現(xiàn)路面微小起伏或塌陷。

同時(shí)，它無法直接導(dǎo)出符合OpenDrive規(guī)范的高精地圖語義拓?fù)?。如果仿真場景在視覺上逼真但缺乏車道線拓?fù)?，則該場景只能用于感知評估，無法支持完整的規(guī)劃控制閉環(huán)測試。

動態(tài)編輯

在 ADAS 測試中，我們需要靈活修改主車周圍的交通流行為如突發(fā)的（Cut-in）。目前通過解耦靜態(tài)背景與動態(tài)物體的 StreetGaussians 方案，雖然支持對背景和車輛進(jìn)行獨(dú)立編輯，但在車輛大角度轉(zhuǎn)向或加速時(shí)，高斯點(diǎn)云往往會出現(xiàn)撕裂或瞬間漂移。

由于缺乏足夠的泛化能力，該方法難以生成從未采集過且符合物理規(guī)律的長尾碰撞場景。

訓(xùn)練與渲染效率

傳統(tǒng)的 3DGS 依賴于“逐場景優(yōu)化”。重構(gòu)一段 20 秒的剪輯，往往需要數(shù)十分鐘甚至數(shù)小時(shí)的訓(xùn)練。在功能級 HiL（硬件在環(huán)）測試中，每置換一個(gè)新場景就要重新加載數(shù)百兆的高斯文件，PCIE 總線的數(shù)據(jù)拷貝延遲直接打破了系統(tǒng)對確定性硬實(shí)時(shí)的要求。

三、量產(chǎn)落地的雙軌策略

針對上述技術(shù)瓶頸，結(jié)合硬件在環(huán)、軟件在環(huán)的差異化測試場景需求，本文提出“HiL確定性物理注入+云端SiL高并發(fā)生成”的雙軌并行落地策略，兼顧實(shí)時(shí)閉環(huán)測試的確定性與大規(guī)模場景測試的泛化性、高效性。

左軌：功能級 HiL 確定性物理注入

在硬件在環(huán)階段，不追求大范圍城區(qū)的無死角重建。而是針對固定的封閉測試場、特定路線（如高精測試場地、特定危險(xiǎn)彎道）進(jìn)行極度精細(xì)的 3DGS 顯式重建，固化其高斯基元分布。

物理鏈路方面，通過定制化的渲染GPU服務(wù)器，將高保真相機(jī)渲染畫面通過全鏈路視頻注入到智能駕駛域控制器中。

雷達(dá)與高精地圖部分：在3DGS負(fù)責(zé)視覺與LiDAR近場仿真的同時(shí)，通過基于數(shù)據(jù)驅(qū)動的Radar模型和高精地圖提供完整的測試環(huán)境，通過多源融合打通硬實(shí)時(shí)閉環(huán)。

康謀-基于DMA的3DGS-HiL物理注入閉環(huán)仿真方案

右軌：云端前饋可泛化 SiL 高并發(fā)生成

在云端大規(guī)模軟件在環(huán)（SiL）測試中，每天需要運(yùn)行數(shù)百萬個(gè)場景。目前耗時(shí)的“逐場景優(yōu)化”可能無法滿足，可以轉(zhuǎn)向前饋式可泛化高斯技術(shù)與數(shù)據(jù)驅(qū)動世界模型的合流。

前饋式 3D/4D GS 技術(shù)的工業(yè)化

近兩年的學(xué)術(shù)突破為這一路線提供了支撐。DGGT框架實(shí)現(xiàn)了無需相機(jī)外參、單次前饋推理即可預(yù)測包含動態(tài)運(yùn)動信息和高斯點(diǎn)分布的4D驅(qū)動場景。這種免訓(xùn)練、直接推理的特性使云端高并發(fā)仿真成為可能。

同時(shí)，ADGaussian（ICRA 2026）等技術(shù)通過融合稀疏LiDAR深度信息和單目圖像進(jìn)行多模態(tài)聯(lián)合學(xué)習(xí)，增強(qiáng)了3DGS在未知場景下的幾何泛化與視角切換穩(wěn)定性。

世界模型賦能長尾場景閉環(huán)

當(dāng)可泛化高斯與動作條件化的世界模型（如Waabi World、GAIA-1）結(jié)合時(shí)，仿真系統(tǒng)可以具備場景生成能力。輸入“前車爆胎并向左偏擺”等行為描述，世界模型負(fù)責(zé)生成符合物理邏輯的動態(tài)演化軌跡，可泛化高斯負(fù)責(zé)高保真渲染。此時(shí)的仿真系統(tǒng)兼具交互靈活性與物理真實(shí)感。

四、結(jié)語

3DGS在視覺保真度上的優(yōu)勢使其成為高階智駕感知評測的重要技術(shù)路徑。通過功能級硬件在環(huán)注入解決當(dāng)前的感知閉環(huán)痛點(diǎn)，通過云端前饋高斯與世界模型攻克大規(guī)模泛化與長尾場景生成難題，行業(yè)正在以更高的精度和效率推動高階自動駕駛的量產(chǎn)安全落地。

上述討論梳理了3DGS在ADAS仿真測試中的主要瓶頸與應(yīng)對思路。需要指出的是，這一技術(shù)路徑仍在快速演進(jìn)中，不同傳感器（相機(jī)/LiDAR/雷達(dá)）的仿真成熟度存在顯著差異，閉環(huán)仿真中的工程化落地也面臨諸多細(xì)節(jié)挑戰(zhàn)。康謀將于6月11日14:00在研討會其一議題中，圍繞《3DGS在ADAS仿真測試中的量產(chǎn)瓶頸與未來演進(jìn)》主題，就以下四個(gè)板塊進(jìn)行更深入的分享：

3DGS自動駕駛仿真——從實(shí)驗(yàn)室到量產(chǎn)的現(xiàn)狀總覽

多模態(tài)傳感器仿真的成熟度與瓶頸（相機(jī)/LiDAR/雷達(dá)）

閉環(huán)仿真與工程化落地的實(shí)踐挑戰(zhàn)

量產(chǎn)成熟度評估與核心落地建議

感興趣的讀者可在線上研討會邀約 | 速通高階智駕仿真測試——新一代智能駕駛仿真平臺與應(yīng)用！該文章中，關(guān)注該研討會的詳細(xì)議程與報(bào)名信息。