▍文章來源于康謀自動(dòng)駕駛

01 引言

3DGS（3D Gaussian Splatting）的出現(xiàn)重塑了場景重建工作流，通過采集的相機(jī)與 LiDAR 數(shù)據(jù)，可直接重建出視覺質(zhì)量接近手工建模的高保真場景，無需美術(shù)師逐資產(chǎn)打磨材質(zhì)貼圖。

康謀世界提取工具鏈在此基礎(chǔ)上更進(jìn)一步：通過NeRF 教師 + 3DGS 學(xué)生的兩階段訓(xùn)練，每個(gè) Gaussian 不僅攜帶顏色，還承載 LiDAR 強(qiáng)度特征和語義標(biāo)簽，可同時(shí)驅(qū)動(dòng)相機(jī)仿真（光柵化后端）和 LiDAR 仿真（光線追蹤后端），支持 ≥100,000 m2 的大規(guī)模場景重建。

由此引出核心疑問：在已有能攜帶 LiDAR 強(qiáng)度的 3DGS 之后，是否還需要為每個(gè)資產(chǎn)單獨(dú)維護(hù) 3D 資產(chǎn)或 .xoma 文件？

本文核心結(jié)論先行：兩者不在同一層級，并非替代關(guān)系。3DGS 解決的是“如何高效表示和渲染場景”，而 OpenMATERIAL 解決的是“如何標(biāo)準(zhǔn)化描述物理材質(zhì)屬性”。具體分析見下文：

02 OpenMATERIAL 解決什么問題

傳統(tǒng)格式的盲區(qū)

glTF、FBX、USD在視覺渲染方面已經(jīng)成熟，但它們描述的只是視覺材質(zhì)：顏色、法線貼圖、粗糙度貼圖。這些參數(shù)對渲染引擎足夠，對傳感器仿真則不夠。

具體后果：

LiDAR 仿真：濕瀝青與干混凝土的 LiDAR 回波強(qiáng)度有顯著差異（表面粗糙度、水膜光學(xué)性質(zhì)不同），傳統(tǒng)格式無法描述這種差異；

毫米波雷達(dá)仿真：金屬與塑料的雷達(dá)截面積（RCS）差別可達(dá) 10–20 dB，但 glTF 材質(zhì)的 metallic 參數(shù)針對光學(xué)渲染設(shè)計(jì)，無法映射為電磁仿真所需的介電常數(shù)。

這是傳統(tǒng)格式的結(jié)構(gòu)性缺失，不是工程實(shí)現(xiàn)問題。

模型組成

參數(shù)體系

ASAM OpenMATERIAL 3D 1.0.0 標(biāo)準(zhǔn)（2025 年 4 月 3 日發(fā)布，52 名參與者，21 家公司，9 個(gè)國家）按傳感器類型組織參數(shù)：

相機(jī)仿真：波長相關(guān)復(fù)折射率查找表（n'、κ）、BRDF 查找表（.xompt 格式，角度 × 波長二維插值）；

LiDAR 仿真：BRDF 查找表、表面粗糙度 RMS（surfaceHeightRms，單位米）、相關(guān)長度（surfaceCorrelationLength）；

毫米波雷達(dá)仿真：復(fù)相對介電常數(shù) ε?、復(fù)相對磁導(dǎo)率 μ?（均為波長 + 溫度 + 濕度相關(guān)查找表）。

夜晚效果下aiSim渲染效果

其中，電磁參數(shù)是 3DGS 無法提供的。從光學(xué)圖像中無法估計(jì)電磁屬性，這是物理上的根本限制，不是算法優(yōu)化問題。

文件層級如下：

文件層級

PBR材質(zhì)

aiSimArcher 實(shí)踐案例

aiSimArcher 模型

aiSimArcher是 aiSim 對 OpenMATERIAL 1.0.0 標(biāo)準(zhǔn)的參考實(shí)現(xiàn)，采用MPL-2.0 許可證，其核心價(jià)值在于提供了攜帶完整物理描述的標(biāo)準(zhǔn)化資產(chǎn)：

幾何參數(shù)：147,586 三角形，101 個(gè)網(wǎng)格，188 個(gè)節(jié)點(diǎn)；

材質(zhì)體系：11 種 PBR 材質(zhì)（CarPaint、Glass、Rubber 等，含法線貼圖）；

.xoma 元數(shù)據(jù)：包含車輛動(dòng)力學(xué)參數(shù)（最高速 70 km/h、加速度 12 m/s2）、前后軸參數(shù)（輪徑 0.759 m、軌距 1.64 m）及包圍盒信息。

該模型的優(yōu)勢在于，同一個(gè) .xoma 文件可同時(shí)驅(qū)動(dòng)相機(jī)、LiDAR、雷達(dá)三種仿真，無需在不同工具間重新定義材質(zhì)。

認(rèn)證體系價(jià)值

ISO 21448（SOTIF）、UNECE NATM 和 EU AI Act 對仿真可信度有明確要求：虛擬測試場景需要可追溯的物理依據(jù)。OpenMATERIAL 的每個(gè) .xoma 文件包含 UUID、數(shù)據(jù)來源字段和版本控制，支持監(jiān)管機(jī)構(gòu)要求的證據(jù)鏈追溯。

這是神經(jīng)網(wǎng)絡(luò)表示方法結(jié)構(gòu)上無法滿足的——隱式權(quán)重?zé)o法向?qū)彶榉教峁?該漆面 IOR=1.52，來源于 2024 年實(shí)驗(yàn)室測量"這樣的可驗(yàn)證聲明。

03 3DGS 的能力邊界

世界提取工具鏈多模態(tài)重建能力

康謀世界提取工具鏈采用兩階段訓(xùn)練模式：NeRF 教師模型輸入 RGB、LiDAR 深度圖、LiDAR 強(qiáng)度圖和語義分割，經(jīng) L2 損失監(jiān)督后輸出稠密點(diǎn)云；3DGS 學(xué)生模型用該點(diǎn)云初始化，每個(gè) Gaussian 攜帶顏色（3 階球諧函數(shù) SH）、深度/法線、LiDAR 強(qiáng)度（sigmoid 歸一化標(biāo)量）和語義標(biāo)簽。

兩階段訓(xùn)練流程圖

工具鏈配備雙渲染后端：光柵化后端用于相機(jī)仿真，光線追蹤后端支持 LiDAR 掃描模式仿真，通過 BEV 分塊訓(xùn)練消除大場景邊界偽影，可支持 ≥100,000 m2 的場景規(guī)模。

分塊訓(xùn)練

SH 系數(shù)的本質(zhì)局限

標(biāo)準(zhǔn) 3DGS 使用3 階球諧函數(shù)表示每個(gè) Gaussian 的視角相關(guān)顏色：

每個(gè) Gaussian 有48 個(gè) SH 系數(shù)（16 系數(shù)/通道 × 3 通道）。3 階 SH 是方向輻射的低通濾波器，各階對應(yīng)從各向同性基礎(chǔ)顏色（0 階）到較高頻高光（3 階）的外觀描述。

需要注意的一個(gè)關(guān)鍵是，SH 系數(shù)無法被解碼為 IOR、粗糙度、金屬度等物理參數(shù)，它將光照與材質(zhì)混合烘焙（baked），兩者無法分離。這并非工程限制，而是數(shù)學(xué)層面的根本局限：SH 的優(yōu)化目標(biāo)是最小化渲染誤差，而非最大化物理可解釋性。

3DGS與OpenMATERAIL對比

3.3 LiDAR 強(qiáng)度 ≠ 材質(zhì)反射率

目前康謀工具鏈將 LiDAR 掃描強(qiáng)度編碼為 Gaussian 的一個(gè)維度特征，為 LiDAR 仿真提供支持，但該強(qiáng)度特征是靜態(tài)、視角無關(guān)的標(biāo)量，無法準(zhǔn)確反映真實(shí) LiDAR 傳感器固有的方向依賴性。

該強(qiáng)度特征本質(zhì)是混合信號的數(shù)據(jù)驅(qū)動(dòng)近似，其表達(dá)式為：

它并非解耦后的獨(dú)立材質(zhì)屬性。一種潛在的優(yōu)化路徑是：將 LiDAR 強(qiáng)度與 RGB 聯(lián)合用于逆渲染，顯式估計(jì) albedo 和 roughness，建立物理 LiDAR 著色模型，實(shí)現(xiàn)光照與材質(zhì)的解耦。

真實(shí)LiDAR強(qiáng)度值

LiDAR點(diǎn)云

04 兩者定位差異

理解 3DGS 與 OpenMATERIAL 關(guān)系的核心，是明確兩者在架構(gòu)中的分層定位：

五層架構(gòu)圖

aiSim當(dāng)前三項(xiàng)核心能力的分層定位如下：

康謀世界提取工具鏈（NeRF2GS）：負(fù)責(zé)層1→層2，完成從數(shù)據(jù)采集到場景重建的過程；

康謀 aiSimArcher：對應(yīng)層4，是 OpenMATERIAL 標(biāo)準(zhǔn)的完整標(biāo)準(zhǔn)化實(shí)現(xiàn)；

康謀 UE+GS 插件：負(fù)責(zé)層2→層5，可在 3DGS 場景中插入 OpenMATERIAL 定義的合成資產(chǎn)，實(shí)現(xiàn)統(tǒng)一渲染，直接跨越層3。

插件集成鏈路

其中，UE+GS 插件是當(dāng)前實(shí)用主義的融合路徑，它不試圖從 3DGS 中提取材質(zhì)，而是直接向場景注入攜帶標(biāo)準(zhǔn)化材質(zhì)的合成資產(chǎn)，繞過了層3 的技術(shù)Gap，是目前可落地的工程解決方案。

類比而言，“有了 3DGS 還需要 OpenMATERIAL 嗎”，就如同“有了 JPEG 還需要色彩空間標(biāo)準(zhǔn)嗎”，JPEG 是圖像壓縮編碼方式，色彩空間標(biāo)準(zhǔn)定義顏色的物理含義，兩者層級不同、功能不重疊，缺一不可。

05 兩條融合路徑

目前3DGS 與 OpenMATERIAL的融合主要有兩條路徑，具體差異如下表所示：

技術(shù)融合路徑對比

路徑 B 對應(yīng)的三條技術(shù)路線目前均處于研究階段：

InvRGB+L 路線（ICCV 2025）：LiDAR 強(qiáng)度 + RGB 聯(lián)合逆渲染，顯式估計(jì) albedo/roughness，建立物理 LiDAR 著色模型；是目前材質(zhì)分解深度最接近實(shí)用的方向；

R3DG 路線（ECCV 2024，Relightable 3D Gaussian）：為每個(gè) Gaussian 分配 Disney BRDF 參數(shù)（albedo、metallic、roughness）+ 法線，支持任意光照重打光；真正的 PBR 參數(shù)分解，可映射到 .xomp 格式，但計(jì)算成本高；

GaussianShader + 格式轉(zhuǎn)換（CVPR 2024，PSNR 提升 +1.57 dB）：分離漫反射顏色、鏡面色調(diào)和標(biāo)量粗糙度，通過格式轉(zhuǎn)換映射到 .xomp；參數(shù)不完整，但工程實(shí)現(xiàn)路徑最短。

這三條路線均面臨同一個(gè)問題：當(dāng)前沒有從 3DGS 場景到 .xomp 文件的完整、可用工具鏈。

本質(zhì)而言，3DGS 及同類 Neural Material Field 方法無法完整替代材質(zhì)與標(biāo)準(zhǔn)，核心原因有三點(diǎn)：

精度：雷達(dá)仿真需要 ε?，神經(jīng)網(wǎng)絡(luò)無法從光學(xué)圖像估計(jì)電磁參數(shù)，近紅外波段的 IOR 也無法從可見光訓(xùn)練數(shù)據(jù)可靠外推；

可解釋性：ISO 26262 高 ASIL 等級要求形式化可驗(yàn)證性，隱式權(quán)重?zé)o法提供可審計(jì)的材質(zhì)參數(shù)聲明；

互操作性：神經(jīng)材質(zhì)場是工具私有的隱式表示，無法"導(dǎo)出"為跨工具通用的物理參數(shù)表。

06 結(jié)語

總結(jié)來看，3DGS的SH系數(shù)專注于描述場景外觀，OpenMATERIAL 的 .xomp 文件專注于描述材質(zhì)物理參數(shù)，兩者優(yōu)化目標(biāo)不同、層級不同，不構(gòu)成替代關(guān)系，反而可形成互補(bǔ)。

而康謀世界提取工具鏈基于混合信號的數(shù)據(jù)驅(qū)動(dòng)，實(shí)現(xiàn)了 LiDAR 強(qiáng)度特征的編碼，同時(shí)支持 Radar 在 GS 環(huán)境下的渲染；未來，將進(jìn)一步在 3DGS 環(huán)境中實(shí)現(xiàn)更為完整的 LiDAR 和 Radar 模擬，推動(dòng)兩者的深度融合與落地應(yīng)用。