摘要

高反射面，例如玻璃、鏡子和水面，是深度傳感和三維（3D）成像中的常見(jiàn)場(chǎng)景。它們通常會(huì)導(dǎo)致深度感知的嚴(yán)重錯(cuò)誤，例如倒影、虛像導(dǎo)致錯(cuò)誤的深度測(cè)量。目前主流的3D相機(jī)，例如傳統(tǒng)的結(jié)構(gòu)光相機(jī)、立體視覺(jué)相機(jī)、時(shí)間飛行（ToF）相機(jī)等，在這類(lèi)場(chǎng)景中都存在著明顯的不足。為了解決這些問(wèn)題，博升光電團(tuán)隊(duì)設(shè)計(jì)了一種新型偏振結(jié)構(gòu)光3D相機(jī)。在發(fā)射端，設(shè)計(jì)高對(duì)比度光柵（high-contrast-grating，HCG）垂直腔面發(fā)射激光器（vertical-cavity surface-emitting lasers，VCSELs）用于提供具有強(qiáng)偏振選擇比的結(jié)構(gòu)光。在接收端，設(shè)計(jì)了裝有偏振片的紅外CMOS相機(jī)來(lái)選擇性地接收信號(hào)。經(jīng)過(guò)各種測(cè)試，在各種成像條件下該偏振結(jié)構(gòu)光相機(jī)都可以準(zhǔn)確獲取反射面場(chǎng)景的深度。

現(xiàn)狀

近幾十年來(lái)，如何讓探測(cè)器正確識(shí)別反射面一直是技術(shù)難點(diǎn)。許多技術(shù)，例如偏振成像、主動(dòng)發(fā)射式探測(cè)器和聲納的融合、深度學(xué)習(xí)等，都一直致力于反射面的探測(cè)。然而，由于反射或多徑噪聲的影響，大多數(shù)這些技術(shù)在實(shí)際場(chǎng)景中使用并不魯棒和穩(wěn)健。

偏振成像通過(guò)對(duì)不同偏振角度反射強(qiáng)度的多幅圖像進(jìn)行分析，可以得到物體的三維形狀。它第一次用于確定反射表面的3D方向可以追溯到20世紀(jì)90年代。從那時(shí)起，偏振成像就開(kāi)始被用于重建透明和鏡面物體的形狀。隨后，偏振成像與各種深度傳感器的結(jié)合，使其能夠獲得更好的重建效果。然而，偏振成像需要捕獲多個(gè)偏振圖像來(lái)估計(jì)相對(duì)深度，而且依賴于物體折射率的先驗(yàn)知識(shí)，并不適用于通用場(chǎng)景的深度探測(cè)。而且，基于圖像的方法很容易受到物體反射倒影的影響，不能正確測(cè)量反射面的深度。

主動(dòng)發(fā)射式的探測(cè)與成像，例如激光測(cè)距儀和結(jié)構(gòu)光相機(jī)，在深度傳感領(lǐng)域得到了廣泛的應(yīng)用。以激光測(cè)距儀為例，為了處理反射面，一些研究人員使用反射強(qiáng)度分布圖來(lái)確定玻璃區(qū)域。激光測(cè)距儀與聲納、偏振成像的融合也用于玻璃環(huán)境下的機(jī)器人導(dǎo)航研究。然而，這些方法需要掃描多個(gè)角度以確定反射面深度，因此它們主要路徑規(guī)劃并不適用于反射面的3D成像。對(duì)于結(jié)構(gòu)光相機(jī)，它們利用和聲納的融合來(lái)獲取玻璃場(chǎng)景的深度圖像。但是，由于聲納的數(shù)據(jù)稀疏、角度窄，需要多次掃描才能獲得足夠的信息。此外，與聲納的融合將會(huì)產(chǎn)生系統(tǒng)成本高、體積大、結(jié)構(gòu)復(fù)雜等問(wèn)題。

深度學(xué)習(xí)領(lǐng)域近些年也不斷出現(xiàn)關(guān)于反射面檢測(cè)的工作。他們使用大量反射面圖像來(lái)訓(xùn)練網(wǎng)絡(luò)模型，然后輸入新的圖像進(jìn)行反射面區(qū)域識(shí)別。但這種方法也可能會(huì)把有框架或邊界的區(qū)域，比如沒(méi)有玻璃的空框架，誤認(rèn)為是反射面。因此，對(duì)于反射面環(huán)境的3D成像應(yīng)用，仍然需要一種魯棒的方法。

內(nèi)容

據(jù)麥姆斯咨詢報(bào)道，近期，博升光電團(tuán)隊(duì)開(kāi)發(fā)出一種新型偏振結(jié)構(gòu)光（PSL）3D相機(jī)，在發(fā)射器（TX）和接收器（RX）上都具有偏振特性（圖1）。在TX中，高對(duì)比度光柵（HCG）垂直腔面發(fā)射激光器（VCSELs）是專(zhuān)門(mén)設(shè)計(jì)用于提供具有強(qiáng)偏振選擇比的結(jié)構(gòu)光。在RX中，設(shè)計(jì)了偏振選擇CMOS相機(jī)來(lái)選擇性地接收信號(hào)。根據(jù)菲涅耳理論，鏡面反射與入射偏振光保持相同的偏振。然而，漫反射面的反射即使被強(qiáng)偏振光入射也不表現(xiàn)出任何偏振。因此，使用偏振選擇CMOS相機(jī)可以區(qū)分反射面和其他物體，同時(shí)可以根據(jù)偏振方向的選擇來(lái)獲得反射面或其背后物體的深度信息（圖1b）。另外，根據(jù)TX和RX的偏振組合，還可以過(guò)濾掉反射噪聲的影響，獲取清晰的場(chǎng)景深度信息（圖1c）。本論文了進(jìn)行了三個(gè)實(shí)驗(yàn)，以演示如何使用PSL 3D相機(jī)來(lái)實(shí)現(xiàn)看到以及看透反射面。

圖1 偏振結(jié)構(gòu)光3D傳感器原理

看透反射面實(shí)驗(yàn)結(jié)果

首先，本論文以室內(nèi)玻璃門(mén)場(chǎng)景，來(lái)說(shuō)明PSL 3D相機(jī)看透反射面的能力。如圖2所示PSL 3D相機(jī)正對(duì)玻璃門(mén)，距離從0.4 m到1.2 m不等。在玻璃門(mén)后面，有柜子和籃球。它們與玻璃的距離固定為0.5m。PSL 3D相機(jī)的TX向場(chǎng)景投射偏振光結(jié)構(gòu)光。然后結(jié)構(gòu)光被反射回RX，包含玻璃門(mén)和后方物體的深度信息。其中玻璃門(mén)的反射與TX保持相同的偏振，而柜子和籃球的反射光因漫反射而具有各種偏振方向。如圖2a的偏振0°所示，當(dāng)我們將RX設(shè)置為與TX偏振相同時(shí)，可以重構(gòu)玻璃門(mén)、柜子和籃球的深度信息。如圖2a的偏振90°所示，如果我們將RX旋轉(zhuǎn)到正交方向，則可以過(guò)濾玻璃部分，留下柜子和籃球的深度信息。同時(shí)，也測(cè)試了0.8m和1.2m的情況，看到和看透玻璃的功能都可以實(shí)現(xiàn)。

圖2 看透反射面實(shí)驗(yàn)結(jié)果

抗反射噪聲成像實(shí)驗(yàn)結(jié)果

接著，本論文在室外和室內(nèi)場(chǎng)景展示PSL 3D相機(jī)抗反射噪聲成像的特點(diǎn)（圖3）。首先展示室外玻璃場(chǎng)景（圖3a），在這種情況下，自然光在反射面上有較強(qiáng)的鏡面反射。從圖中可以看到，反射噪聲使立體視覺(jué)相機(jī)無(wú)法獲得場(chǎng)景的深度。然而，該噪聲具有較大的S偏振分量。因此，我們可以利用P偏振TX和RX來(lái)過(guò)濾這種噪聲，提高信噪比。如圖3c所示，在這種P偏振設(shè)置下，PSL 3D相機(jī)可以清晰地測(cè)量整個(gè)場(chǎng)景的深度。

圖3 抗反射噪聲成像實(shí)驗(yàn)結(jié)果

在室內(nèi)場(chǎng)景，本論文分析了在墻角情況下的抗噪聲檢測(cè)能力。這種場(chǎng)景是室內(nèi)服務(wù)機(jī)器人常見(jiàn)的場(chǎng)景。如圖3d-3l所示，展示了在0.24m、0.4m和0.56m三種不同高度下，PSL 3D相機(jī)和傳統(tǒng)立體視覺(jué)3D相機(jī)的對(duì)比結(jié)果?？梢钥吹?，在這種情況下，由于多徑噪聲的影響，立體視覺(jué)相機(jī)（圖3e，3h，3k）會(huì)出現(xiàn)錯(cuò)誤的深度判斷。而對(duì)于PSL 3D相機(jī)（圖3f，3i，3l），通過(guò)將TX和RX設(shè)置為P偏振，可以獲得完整且正確的墻角深度和點(diǎn)云。

補(bǔ)全反射面實(shí)驗(yàn)結(jié)果

除了可以實(shí)現(xiàn)看透反射面和抗反射噪聲，PSL 3D相機(jī)還可以進(jìn)行反射面的補(bǔ)全。本論文選取了4個(gè)常見(jiàn)場(chǎng)景進(jìn)行實(shí)驗(yàn)（圖4），其中包括陽(yáng)臺(tái)玻璃、隔音室玻璃、球形玻璃和辦公室門(mén)玻璃。每一列對(duì)應(yīng)一個(gè)場(chǎng)景，首先在偏振度為0°和90°的情況下，取得兩幅深度圖像。在偏振度為0°的情況下，玻璃和其它漫反射部分都可以重構(gòu)，而在偏振度為90°的情況下，玻璃部分被消除。相比于立體視覺(jué)相機(jī)無(wú)法檢測(cè)到玻璃的深度，PSL 3D相機(jī)這種特別的變化可以作為確定反射面的可靠線索。因此，依靠第二第三行兩幅深度圖像的相減和第四行預(yù)測(cè)的玻璃邊界，相機(jī)就可以提取出屬于玻璃的深度，其結(jié)果展示在第五行。接著提取的玻璃點(diǎn)可以用來(lái)擬合和補(bǔ)全反射面。補(bǔ)全的深度圖像顯示在第七行，其中部分空的玻璃現(xiàn)在已被填充。最后兩行顯示了原始點(diǎn)云和補(bǔ)全點(diǎn)云的最終對(duì)比。在最后補(bǔ)全的點(diǎn)云中，反射面的3D重建結(jié)果正確，再次驗(yàn)證了PSL 3D相機(jī)的特別之處。

圖4 補(bǔ)全反射面實(shí)驗(yàn)結(jié)果

總結(jié)

綜上所述，博升光電團(tuán)隊(duì)發(fā)明了一種新型基于HCG-VCSEL的偏振結(jié)構(gòu)光3D相機(jī)，并提出了相應(yīng)的成像方法，用于反射面的各種場(chǎng)景的3D重建。作為機(jī)器人的眼睛，PSL 3D相機(jī)將在服務(wù)機(jī)器人和物流機(jī)器人等領(lǐng)域得到廣泛應(yīng)用。這些機(jī)器人將不可避免地遇到反射面的問(wèn)題，例如報(bào)告實(shí)驗(yàn)中所示的玻璃門(mén)和瓷磚墻角等。PSL 3D相機(jī)可以使他們正確處理這些情況。此外，反射面物體或場(chǎng)景重建，例如辦公室和展覽館等，也將受益于該方法。因此，憑借特殊的偏振特性，PSL 3D相機(jī)可以進(jìn)一步擴(kuò)展到廣泛的室內(nèi)和室外3D應(yīng)用。

編輯：黃飛

?