[首發(fā)于智駕最前沿微信公眾號]在聊今天的話題前，先申明下，對于純視覺自動駕駛來說，夜晚確實是一個極具挑戰(zhàn)的場景，今天僅從技術(shù)實現(xiàn)上來討論純視覺自動駕駛在夜間感知場景的可能性。

很多老司機應(yīng)該都會有感覺，那就是在黑夜里開車會感到吃力，這是因為我們的視網(wǎng)膜對光線的捕捉能力有限，而攝像頭在弱光環(huán)境下的表現(xiàn)也如出一轍。但隨著硬件技術(shù)和深度學(xué)習(xí)算法的爆發(fā)式增長，純視覺系統(tǒng)在黑夜里的視力已經(jīng)發(fā)生了變化。

硬件層面是如何在黑夜里抓光的？

要解決夜晚感知的問題，首先得解決看得見的問題。車載攝像頭和我們手機里的攝像頭原理類似，但在底層邏輯上有著很大區(qū)別。為了在微弱的光線下獲取清晰的圖像，自動駕駛車輛會采用大底的CMOS傳感器。這些傳感器的單個像素點尺寸更大，意味著它們在同一時間內(nèi)能接收到更多的光子。這就像用一個更大的桶去接雨水，在雨點稀疏的時候，大桶顯然比小桶能裝到更多的水，對應(yīng)到夜間場景，單個像素點尺寸更大的傳感器也更能保證畫面的基礎(chǔ)亮度。

圖片源自：網(wǎng)絡(luò)

除了進光量，高動態(tài)范圍技術(shù)，也就是常說的HDR，也是純視覺方案在夜晚的護身符。夜晚的路面光影極其復(fù)雜，既有漆黑的暗巷，又有對面車輛射來的刺眼遠光燈。普通的相機如果照顧了暗部，亮部就會白成一片；如果照顧了亮部，暗部就漆黑無物。車載傳感器通過多重曝光技術(shù)，可在極短的時間內(nèi)捕捉不同亮度的圖像并進行融合，確保在強光直射的情況下，系統(tǒng)依然能看清光暈背后的車牌，同時也能分辨出陰影里的行人。

不僅如此，車載攝像頭的光譜響應(yīng)范圍也比人眼更寬。有些傳感器可以感知到微弱的紅外線。在完全沒有路燈的荒野，雖然肉眼看過去是一片死黑，但攝像頭依然能捕捉到物體反射出的細微光信號。這些原始數(shù)據(jù)被送入專門的圖像信號處理器進行降噪處理，把那些雜亂的噪點剔除，最終形成一張雖然色彩沒那么鮮艷、但輪廓和特征非常清晰的數(shù)字圖像。

神經(jīng)網(wǎng)絡(luò)如何在大腦中腦補畫面？

有了高質(zhì)量的畫面，接下來的核心挑戰(zhàn)在于如何看懂。在白天，路面特征明顯，AI識別車輛或車道線相對容易。但在夜晚，很多視覺特征會變得模糊甚至消失。這時，深度學(xué)習(xí)模型就發(fā)揮了巨大的作用。目前的算法不再是單純地尋找某個物體的邊緣，而是通過海量的數(shù)據(jù)訓(xùn)練，讓神經(jīng)網(wǎng)絡(luò)具備了極強的特征提取能力。哪怕只是一對模糊的尾燈，或者是一個在黑暗中晃動的陰影，經(jīng)過大數(shù)據(jù)喂養(yǎng)出來的模型也能迅速判斷出那是一輛車還是一個推自行車的路人。

圖片源自：網(wǎng)絡(luò)

現(xiàn)在的算法還引入了時間維度的信息。純視覺系統(tǒng)并不是孤立地看每一張照片，而是把連續(xù)的視頻流作為輸入。如果前一秒系統(tǒng)在前方路口看到了一個行人，即使這一秒行人走到了沒有燈光的陰影里，算法也會根據(jù)他的運動矢量和歷史記錄，在系統(tǒng)的記憶中保留這個目標。這種基于時間序列的感知方式，大大彌補了瞬時視覺信號在極端環(huán)境下的缺失，讓車輛對環(huán)境的理解更具連貫性。

這種理解不僅僅是識別，還包括對環(huán)境光影變化的適應(yīng)。算法會學(xué)習(xí)如何過濾路面反光、雨天積水的倒影以及復(fù)雜霓虹燈的干擾。通過不斷在大規(guī)模的夜間真實場景和仿真場景中迭代，神經(jīng)網(wǎng)絡(luò)學(xué)會了在信噪比極低的情況下，依然能提取出最關(guān)鍵的駕駛信息。這就像一個經(jīng)驗豐富的老司機，即使視線模糊，也能憑借經(jīng)驗判斷出前方路面的坑洼和障礙物。

丟失的深度信息是如何找回來的？

純視覺方案經(jīng)常被質(zhì)疑的一點是，沒有激光雷達，如何在黑夜里判斷物體的距離？在白天，光照充足，畫面細節(jié)豐富，系統(tǒng)可以通過雙目視覺或單目測距算法獲得精確的深度。但在夜晚，畫面細節(jié)的丟失會讓深度估算變得困難。為了解決這個問題，目前的純視覺方案普遍轉(zhuǎn)向了BEV也就是鳥瞰圖視角。

圖片源自：網(wǎng)絡(luò)

在BEV框架下，系統(tǒng)會將多個攝像頭捕捉到的2D圖像實時轉(zhuǎn)換成3D空間信息。這一過程不再依賴簡單的幾何計算，而是通過Occupancy占用網(wǎng)絡(luò)等技術(shù)，將空間切分成一個個微小的方格。算法會判斷每一個方格是否被占據(jù)。即便攝像頭看不清物體的紋理，只要有一丁點光影的變化，系統(tǒng)就能感知到空間中存在一個體積塊。這種從識別物體到感知空間的轉(zhuǎn)變，讓純視覺系統(tǒng)在夜晚也具備了極強的空間建模能力。

為了進一步提升精度，這些系統(tǒng)還會結(jié)合車輛自身的運動狀態(tài)。當車輛行駛時，不同位置的攝像頭會從不同角度觀察同一個區(qū)域。通過這種多維度的交叉驗證，系統(tǒng)可以像構(gòu)建3D地圖一樣，實時還原出車輛周圍的立體環(huán)境。這種方式不僅能測算出前車的距離，還能準確判斷路邊馬路牙子的高度、垂下的樹枝位置以及復(fù)雜的施工圍擋。

最后的話

純視覺系統(tǒng)解決夜晚感知的邏輯，其實是硬件抓光能力、大數(shù)據(jù)訓(xùn)練出的理解力以及空間重構(gòu)能力的綜合體現(xiàn)。它不再是單純地模擬人眼，而是利用硅基芯片的計算優(yōu)勢和海量數(shù)據(jù)的記憶優(yōu)勢，在黑暗中構(gòu)建出一套比碳基生物更敏銳、更理性的感知邏輯。

審核編輯 黃宇