導(dǎo)讀

隨著人工智能時(shí)代的到來(lái)，同時(shí)獲得反映目標(biāo)輻射特性和紋理特征的高分辨率強(qiáng)度圖像以及反映目標(biāo)和所處場(chǎng)景的三維空間信息的稠密點(diǎn)云數(shù)據(jù)/三維圖像的激光相機(jī)雷達(dá)技術(shù)已成為激光雷達(dá)的發(fā)展趨勢(shì)。傳統(tǒng)的攝像機(jī)與激光雷達(dá)復(fù)合的技術(shù)方案存在異源數(shù)據(jù)融合問(wèn)題，尤其是在霧雨雪天氣條件下以及水下等傳輸鏈路中存在嚴(yán)重散射的情況時(shí)難以有效工作。激光距離選通三維成像技術(shù)利用單一門控成像器件可同時(shí)獲得高質(zhì)量二維強(qiáng)度圖像和高分辨率三維圖像，其二維圖像中的像素和三維圖像中的體素一一對(duì)應(yīng)，并繼承了激光距離選通成像透散射成像的技術(shù)優(yōu)勢(shì)，具有實(shí)現(xiàn)高性能激光相機(jī)雷達(dá)的技術(shù)潛力。不同于傳統(tǒng)掃描激光雷達(dá)，距離選通三維成像技術(shù)主要采用基于CMOS的門控面陣圖像傳感器作為成像器件，像素規(guī)模可超過(guò)百萬(wàn)，其空間分辨率超過(guò)機(jī)械掃描激光雷達(dá)，也優(yōu)于目前基于雪崩光電二極管陣列的閃光激光成像雷達(dá)，在遠(yuǎn)距離安防監(jiān)控、復(fù)雜環(huán)境生態(tài)監(jiān)測(cè)、惡劣天氣及水下避障導(dǎo)航等領(lǐng)域具有巨大的應(yīng)用潛力。

研究背景

1965年是激光距離選通成像的技術(shù)元年。不同于傳統(tǒng)成像技術(shù)對(duì)視場(chǎng)內(nèi)目標(biāo)和背景“無(wú)選擇性”成像，激光距離選通成像技術(shù)僅對(duì)感興趣距離區(qū)間內(nèi)目標(biāo)“選擇性”成像，從而可過(guò)濾感興趣區(qū)與成像系統(tǒng)間的介質(zhì)散射噪聲以及感興趣區(qū)外的背景噪聲，提高作用距離和成像質(zhì)量。該技術(shù)透散射介質(zhì)遠(yuǎn)距離成像的特點(diǎn)使得研究者們快速意識(shí)到其在夜間和水下遠(yuǎn)距離成像方面的應(yīng)用潛力。然而，受制于高性能脈沖激光器和選通成像器件發(fā)展的制約，激光距離選通成像技術(shù)在隨后的二十年發(fā)展緩慢。直到20世紀(jì)90年代，隨著硬件技術(shù)的不斷成熟，該技術(shù)被重新喚醒，在夜視和水下成像等應(yīng)用領(lǐng)域得到迅速發(fā)展，并形成了系列的產(chǎn)品和裝備。

激光距離選通成像可以獲得與感興趣成像區(qū)選通延時(shí)對(duì)應(yīng)的距離信息，但感興趣區(qū)內(nèi)的精細(xì)距離信息仍是丟失的，所以，本質(zhì)上仍是二維成像。我們?nèi)祟惿钤谌S空間中，但是，傳統(tǒng)二維成像技術(shù)在成像過(guò)程中將三維空間投影為二維圖像，丟失了距離信息，從而導(dǎo)致空間信息降維，無(wú)法實(shí)現(xiàn)目標(biāo)定位和尺寸測(cè)量等三維空間感知應(yīng)用。隨著人工智能時(shí)代的到來(lái)，二維成像已無(wú)法滿足機(jī)器“看清世界、感知三維空間”的技術(shù)需求，因此，人們開(kāi)始發(fā)展各種各樣的三維成像和激光雷達(dá)技術(shù)。激光距離選通成像技術(shù)廣義上是基于光的時(shí)間飛行法實(shí)現(xiàn)的，可對(duì)空間切片成像，因此，類似醫(yī)學(xué)斷層成像，可通過(guò)獲取場(chǎng)景的空間切片圖像實(shí)現(xiàn)三維重建。基于這一思路，國(guó)內(nèi)外發(fā)展了多種激光距離選通三維成像技術(shù)，并開(kāi)展了安防監(jiān)控、生態(tài)監(jiān)測(cè)和避障導(dǎo)航等應(yīng)用研究。

主要內(nèi)容

典型的激光距離選通成像系統(tǒng)由脈沖激光器、選通成像器件和時(shí)序控制器(TCU)組成。時(shí)序控制器提供工作時(shí)序，控制激光脈沖和選通脈沖間的延時(shí)、脈沖寬度和工作頻率等。系統(tǒng)工作原理如圖1所示，脈沖激光器向目標(biāo)發(fā)射激光脈沖，經(jīng)介質(zhì)傳輸，遇到目標(biāo)時(shí)被目標(biāo)反射或散射，形成回波信號(hào)。當(dāng)回波信號(hào)傳至選通成像器件時(shí)，選通門開(kāi)啟，圖像傳感器接收回波信號(hào)，輸出選通圖像。圖1給出了本文作者及其團(tuán)隊(duì)研制的激光選通成像系統(tǒng)在霧天和水下獲得的船舶和USAF1951目標(biāo)靶的選通圖像。相比之下，傳統(tǒng)光學(xué)圖像中的目標(biāo)淹沒(méi)在霧和水體的散射噪聲中，無(wú)法有效探測(cè)和識(shí)別。激光距離選通成像通過(guò)控制延時(shí)對(duì)感興趣距離下的空間進(jìn)行切片成像，過(guò)濾了介質(zhì)散射噪聲和背景噪聲，實(shí)現(xiàn)了在霧雨雪等條件下的透散射成像，提高了作用距離和成像質(zhì)量。

圖1激光距離選通成像工作原理及成像效果

由于不同特征的激光脈沖和選通脈沖卷積后的距離能量包絡(luò)特征不同，反映了不同距離處目標(biāo)回波信號(hào)的能量特征，因此，存在“時(shí)間—空間”的映射關(guān)系，這為激光距離選通成像實(shí)現(xiàn)三維場(chǎng)景重建提供了可能性。經(jīng)過(guò)十多年的發(fā)展，國(guó)內(nèi)外學(xué)者已提出了步進(jìn)延時(shí)掃描、增益調(diào)制和距離能量相關(guān)等激光距離選通三維成像技術(shù)。其中，距離能量相關(guān)三維成像技術(shù)包括梯形、三角形以及深度學(xué)習(xí)等三維重建算法，整體的成熟度較高，技術(shù)就緒水平達(dá)到5-7級(jí)。其原因主要是：距離能量相關(guān)三維成像充分利用了選通圖像中目標(biāo)距離和圖像強(qiáng)度的關(guān)聯(lián)信息，能夠通過(guò)較少的信號(hào)采集次數(shù)，實(shí)現(xiàn)超距離分辨率的三維成像，在成像實(shí)時(shí)性上具有優(yōu)勢(shì)。

本文作者提出了三角形距離能量相關(guān)三維成像，可基于兩幅具有三角形距離能量包絡(luò)的選通圖像，通過(guò)建立它們能量灰度比與距離的關(guān)系重建丟失的距離信息，并利用能量域分辨率提升時(shí)間域分辨率，進(jìn)而實(shí)現(xiàn)快速高距離分辨率三維成像。本文作者及其團(tuán)隊(duì)已研制出系列激光選通三維成像系統(tǒng)，并開(kāi)展了面向復(fù)雜環(huán)境生態(tài)監(jiān)測(cè)、安防監(jiān)控、避障導(dǎo)航等應(yīng)用研究，代表性系統(tǒng)及應(yīng)用如下：

01

海洋生物激光原位三維觀測(cè)儀“鳳眼”可用于mm級(jí)到cm級(jí)海洋生物原位觀測(cè)，并可基于三維圖像實(shí)現(xiàn)生物尺寸測(cè)量等功能，該系統(tǒng)2018年搭載中國(guó)科學(xué)院深海科學(xué)與工程研究所的“鳳凰號(hào)”深海著陸器在1070m水深下獲得的水母強(qiáng)度圖像和三維圖像，如圖2所示。

圖2海洋生物激光原位三維觀測(cè)儀“鳳眼”應(yīng)用效果

02

冠層微細(xì)立體結(jié)構(gòu)三維觀測(cè)儀“CanoMIS”可視為一種新型的植被結(jié)構(gòu)監(jiān)測(cè)激光雷達(dá)，可同時(shí)獲得冠層高水平分辨率的強(qiáng)度圖像和稠密點(diǎn)云數(shù)據(jù)，用于植被結(jié)構(gòu)精細(xì)測(cè)量，2020年在中國(guó)科學(xué)院清原森林生態(tài)系統(tǒng)觀測(cè)研究站觀測(cè)塔上CanoMIS對(duì)千金榆原位觀測(cè)結(jié)果，相比傳統(tǒng)成像技術(shù)，基于激光選通的三維成像技術(shù)可直接過(guò)濾背景，實(shí)現(xiàn)感興趣目標(biāo)測(cè)量，如3所示。

圖3冠層微細(xì)立體結(jié)構(gòu)三維觀測(cè)儀“CanoMIS”應(yīng)用效果

03

海上超視距近紅外激光三維成像系統(tǒng)可在低照度及霧雨雪天條件下獲得高對(duì)比度近紅外強(qiáng)度圖像以及高分辨率三維圖像，所選擇的近紅外波段與可見(jiàn)光波段相近，利于展現(xiàn)目標(biāo)的紋理細(xì)節(jié)信息。2024年在煙臺(tái)海域開(kāi)展了大霧天氣條件下夜間海上監(jiān)控應(yīng)用研究，對(duì)“耕海1號(hào)”海洋牧場(chǎng)綜合體平臺(tái)觀測(cè)結(jié)果如圖4所示：夜間連續(xù)近紅外（CW NIR）圖像受霧氣影響難以看清目標(biāo)；中波紅外（MWIR）和長(zhǎng)波紅外（LWIR）圖像可透霧成像，且輪廓清晰，但是“耕海1號(hào)”等文字紋理信息丟失；而激光選通三維成像獲得的近紅外選通圖像可以讀取“耕海1號(hào)”文字信息，并且通過(guò)三維圖像可以分辨“海星”造型甲板的三個(gè)觸角結(jié)構(gòu)。

圖4 海上超視距近紅外激光三維成像系統(tǒng)應(yīng)用效果

此外，針對(duì)汽車輔助駕駛和自動(dòng)駕駛應(yīng)用，歐盟DENSE計(jì)劃基于深度學(xué)習(xí)距離能量相關(guān)三維成像技術(shù)開(kāi)發(fā)了一款Gated2Depth實(shí)時(shí)稠密激光雷達(dá)。該激光雷達(dá)采用了選通相機(jī)作為圖像傳感器，采用了波長(zhǎng)808nm的VCSEL激光器作為照明光源，與傳統(tǒng)掃描激光雷達(dá)、雙目立體視覺(jué)等技術(shù)比測(cè)結(jié)果如圖5所示：深度學(xué)習(xí)距離能量相關(guān)三維成像技術(shù)將傳統(tǒng)的激光雷達(dá)點(diǎn)云密度提高兩個(gè)數(shù)量級(jí)以上，并可獲得高清的紋理圖像，同時(shí)不依賴環(huán)境光、具有破霧雨雪成像能力。DENSE計(jì)劃是由戴姆勒股份公司牽頭，聚焦汽車自動(dòng)駕駛應(yīng)用中霧雨雪等惡劣天氣條件下傳感器性能降低甚至失效問(wèn)題，研發(fā)新型的全天候傳感器，實(shí)現(xiàn)感興趣交通信息及障礙物的高可靠探測(cè)感知。

圖5 Gated2Depth高分辨率閃光激光雷達(dá)

結(jié)論

順應(yīng)人工智能時(shí)代對(duì)傳感器集成化、多功能化、智能化、小型化的發(fā)展趨勢(shì)，從激光雷達(dá)Light Detection and Ranging（LiDAR）到激光相機(jī)雷達(dá)Light Ranging and Imaging（LiRAI）將是激光雷達(dá)的發(fā)展方向。激光相機(jī)雷達(dá)的技術(shù)特點(diǎn)是：借助主動(dòng)光照明，不依賴環(huán)境照度，利用單一傳感器同時(shí)獲得反映目標(biāo)輻射特性和紋理特征的高分辨率強(qiáng)度圖像，以及反應(yīng)目標(biāo)和所處場(chǎng)景的三維空間信息的稠密點(diǎn)云數(shù)據(jù)/三維圖像，并具備一定的抗介質(zhì)散射遠(yuǎn)距離工作能力。

從20世紀(jì)60年代提出激光距離選通成像技術(shù)以來(lái)，隨著激光器、光電成像器件的發(fā)展和成熟，激光距離選通三維成像技術(shù)受到廣泛關(guān)注。該三維成像技術(shù)繼承了激光距離選通透散射成像的技術(shù)優(yōu)勢(shì)，使其在霧、雨、雪、煙、塵以及水體等散射介質(zhì)條件下仍可有效工作，因此，在遠(yuǎn)距離安防監(jiān)控、復(fù)雜環(huán)境生態(tài)監(jiān)測(cè)、惡劣天氣及水下避障導(dǎo)航等領(lǐng)域具有巨大的應(yīng)用潛力。從技術(shù)發(fā)展趨勢(shì)來(lái)看，激光距離選通三維成像為從激光雷達(dá)到激光相機(jī)雷達(dá)，再到彩色激光相機(jī)雷達(dá)提供了一條技術(shù)途徑。未來(lái)在計(jì)算成像和人工智能技術(shù)的加持下，激光距離選通三維成像將實(shí)現(xiàn)應(yīng)用導(dǎo)向的系統(tǒng)設(shè)計(jì)，從成像原理上實(shí)現(xiàn)更快速、更高精度、更遠(yuǎn)探測(cè)距離、更多成像功能、更高感知維度、更強(qiáng)的復(fù)雜場(chǎng)景適應(yīng)能力等，從而滿足多樣化的場(chǎng)景任務(wù)需求。

撰稿人：王新偉，孫亮，張?jiān)?/p>

論文題目：激光距離選通三維成像技術(shù)研究進(jìn)展

作者：王新偉1,2,3，孫亮1，張?jiān)?，宋博1，夏晨昊1，周燕1,2,3

審核編輯：劉清