背景與問題

在暴雪等惡劣天氣條件下，自動(dòng)駕駛系統(tǒng)的視覺感知能力顯著下降。雪花的快速移動(dòng)和密集遮擋會(huì)在攝像頭圖像中形成高亮點(diǎn)、拖影或隨機(jī)噪聲，使道路、車輛及行人信息受損。

傳統(tǒng)單幀圖像去雪方法僅依賴空間特征，容易產(chǎn)生偽影；而基于視頻的去雪方法雖然利用時(shí)間信息，但對(duì)高幀率和幀間對(duì)齊要求極高，在車輛自運(yùn)動(dòng)及雪花隨機(jī)運(yùn)動(dòng)的實(shí)際駕駛場(chǎng)景中容易出現(xiàn)對(duì)齊錯(cuò)誤，同時(shí)對(duì)相機(jī)參數(shù)及場(chǎng)景泛化能力敏感。

因此，雪天視覺退化問題不僅受算法能力限制，更受傳感器信息本身局限的影響。

一、事件相機(jī)方法概述

為緩解雪天視覺退化問題，蘇黎世大學(xué) Robotics and Perception Group 提出利用事件相機(jī)的方法。事件相機(jī)不按固定幀率采集圖像，而是在像素亮度發(fā)生變化時(shí)生成事件，時(shí)間分辨率可達(dá)亞毫秒級(jí)。

雪花在事件流中形成連續(xù)的時(shí)空條紋，而背景結(jié)構(gòu)變化相對(duì)緩慢，為區(qū)分雪花與場(chǎng)景提供了新的信息線索。

研究團(tuán)隊(duì)設(shè)計(jì)了結(jié)合注意力機(jī)制的網(wǎng)絡(luò)模塊，從事件數(shù)據(jù)中識(shí)別雪花遮擋區(qū)域，并在這些區(qū)域降低對(duì)原始圖像的信任度，通過時(shí)空上下文恢復(fù)被遮擋背景，實(shí)現(xiàn)高質(zhì)量圖像重建。

二、數(shù)據(jù)集與實(shí)驗(yàn)

為了驗(yàn)證方法有效性，團(tuán)隊(duì)構(gòu)建了 DSEC-Snow 數(shù)據(jù)集。該數(shù)據(jù)集通過綠幕技術(shù)將真實(shí)雪景疊加至原 DSEC 自動(dòng)駕駛數(shù)據(jù)中，同時(shí)生成同步的圖像、事件流和精確真值。

實(shí)驗(yàn)結(jié)果顯示，該方法在圖像重建 PSNR 上較現(xiàn)有最優(yōu)方法提升約 3 dB，在深度估計(jì)和光流等下游任務(wù)中性能提升約 20%。此外，該方法在高密度雪花遮擋場(chǎng)景中表現(xiàn)出更穩(wěn)定的性能和細(xì)節(jié)保留能力，相較傳統(tǒng)圖像或視頻去雪方法具有明顯優(yōu)勢(shì)。

三、方法局限與討論

盡管事件相機(jī)在雪天視覺感知中展現(xiàn)潛在改善效果，但其作用為輔助性質(zhì)，并非根本性解決方案。事件相機(jī)無法替代激光雷達(dá)或毫米波雷達(dá)在極端天氣下的可靠感知能力，其性能依賴于多傳感器融合體系。

在實(shí)際自動(dòng)駕駛系統(tǒng)中，事件相機(jī)提供的高時(shí)間分辨率信息可增強(qiáng)系統(tǒng)在雪密、遮擋嚴(yán)重條件下的視覺穩(wěn)健性，但仍需結(jié)合其他傳感器實(shí)現(xiàn)全天候可靠感知。

總結(jié)

綜上所述，該研究表明，事件相機(jī)為雪天視覺感知提供了新的信息維度。通過深度融合事件與圖像數(shù)據(jù)，該方法在去雪質(zhì)量、細(xì)節(jié)保留及場(chǎng)景魯棒性方面表現(xiàn)優(yōu)異，為自動(dòng)駕駛系統(tǒng)在惡劣天氣下維持視覺感知提供可行輔助策略，同時(shí)為多模態(tài)感知和全天候可靠性研究提供重要參考。

因此，ShiMetaPi 基于銳思智芯技術(shù)打造的事件相機(jī)產(chǎn)品——靈光1號(hào)及其他EVS系列產(chǎn)品，有望推動(dòng)該技術(shù)在自動(dòng)駕駛系統(tǒng)中的落地應(yīng)用，為暴雪及復(fù)雜天氣條件下的視覺感知提供高性能硬件支撐。