在自動(dòng)駕駛領(lǐng)域，實(shí)現(xiàn)高質(zhì)量的虛擬傳感器輸出是一項(xiàng)關(guān)鍵的挑戰(zhàn)。所有的架構(gòu)和實(shí)現(xiàn)都會(huì)涉及來(lái)自質(zhì)量、性能和功能集成等方面的需求。aiSim也不例外，因此我們會(huì)更加關(guān)注于多個(gè)因素的協(xié)調(diào)，其中，aiSim傳感器實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)渲染仿真方案，在aiSim能夠在現(xiàn)有功能上實(shí)現(xiàn)多用途擴(kuò)展的同時(shí)，也可以最大程度上保留原始特性。

一、現(xiàn)有問(wèn)題

從當(dāng)前學(xué)術(shù)界對(duì)于神經(jīng)渲染的研究來(lái)看，不同的方案都會(huì)給虛擬世界帶來(lái)一定的限制，從而無(wú)法讓仿真充分發(fā)揮作用。我們?cè)赼iSim中提供了一種不同且具有更高集成度的方案，即aiSim的通用高斯?jié)姙R渲染器（General Gaussian Splatting Renderer），這一方案結(jié)合了渲染速度、集成靈活性和卓越的視覺(jué)保真效果，為當(dāng)下的神經(jīng)網(wǎng)絡(luò)三維重建技術(shù)帶來(lái)了新的內(nèi)容。

其中一點(diǎn)就是傳統(tǒng)方案中，廣角鏡頭的渲染和處理總是不盡人意，但這一傳感器又是自動(dòng)駕駛仿真中最為常見(jiàn)的用例之一，但在aiSim的方案中我們克服了這一局限性。

二、康謀方案

原始的算法在高斯?jié)姙R投射的處理過(guò)程中往往會(huì)引入若干限制，阻礙了傳感器的合理渲染，主要源于是近似誤差（approximationerror），當(dāng)處理FOV更大的鏡頭時(shí)，誤差會(huì)顯著增大。

左邊是原始解決方案，它無(wú)法從六個(gè)攝像頭中一致地生成圖像。右邊是aiSim的解決方案，它消除了這個(gè)問(wèn)題，并能投射出一致的圖像。

這種獨(dú)有的方案不僅能夠處理相機(jī)傳感器，還能夠處理其他基于光線追蹤的傳感器類型，比如LiDAR和Radar。而在之前的ADAS/AD仿真中，無(wú)法擴(kuò)展到不同傳感器模式則是大多數(shù)神經(jīng)渲染解決方案面臨的最大挑戰(zhàn)之一。

為此，我們重現(xiàn)思考了高斯?jié)姙R解決方案，重建算法流程，通過(guò)新一套的高斯?jié)姙R渲染器完美解決了前述的限制，完美的組合了各種虛擬鏡頭組合的畸變圖像。

1、aiSim通用高斯?jié)姙R渲染器

（1）一致性

aiSim通用高斯濺射渲染器和現(xiàn)有光柵化解決方案具有相當(dāng)?shù)男阅芩?/strong>，即使在硬件在環(huán)方案中，也可以模擬高端（4K）多攝像頭傳感器設(shè)置。由于該算法的通用性，您可以從基于光線追蹤的傳感器模式（如LiDAR和雷達(dá)）中一致地獲得相同結(jié)果。

這意味著您無(wú)需犧牲運(yùn)行性能，因?yàn)殇秩酒骺梢员３肿銐蚩斓乃俣纫詫?shí)時(shí)幀率工作。

（2）自由視角

此外，aiSim通用高斯?jié)姙R渲染器還允許您在模擬場(chǎng)景中自由移動(dòng)攝像頭，并使用不同的位置或傳感器設(shè)置，且不會(huì)產(chǎn)生不可預(yù)測(cè)的偽影或故障。它使您能夠近距離親自查看各種物體表面的復(fù)雜細(xì)節(jié)。由于該算法可用于物理模擬甚至表面重建，因此其應(yīng)用范圍可以進(jìn)一步擴(kuò)大。

（3）完善的前置工作

以上的關(guān)鍵在于我們預(yù)先結(jié)構(gòu)良好的數(shù)據(jù)采集和靈活的渲染方案位為所有物理級(jí)傳感器的仿真提供了堅(jiān)實(shí)的基礎(chǔ)。

期待您繼續(xù)關(guān)注康謀之后的文章，我們將分享更多有關(guān)aiSim的方案內(nèi)容