[首發(fā)于智駕最前沿微信公眾號]自動駕駛自商用化以來，是否加裝激光雷達(dá)一直是大家爭議的熱點(diǎn)，作為眾多車企選擇的主要感知硬件，激光雷達(dá)只能獲得點(diǎn)云圖，那自動駕駛系統(tǒng)是如何通過點(diǎn)云圖來進(jìn)行障礙物識別的？

依托點(diǎn)云的“障礙物識別”方法

其實(shí)激光雷達(dá)給出的是三維點(diǎn)云——也就是一堆帶坐標(biāo)（通常為x,y,z，有時帶強(qiáng)度/intensity、回波數(shù)/echo等額外通道）的離散點(diǎn)。每個點(diǎn)代表從傳感器到某個表面反射回來的激光脈沖的測距結(jié)果。點(diǎn)云最大優(yōu)點(diǎn)在于可以直接、精確地測得三維幾何信息，利于判斷物體的形狀與距離，但它并不是整齊的像素網(wǎng)格，而是稀疏、不規(guī)則、受視角和距離影響顯著的點(diǎn)集。

使用點(diǎn)云進(jìn)行“障礙物識別”其實(shí)可以分成幾個階段，即預(yù)處理（濾噪、裁剪、下采樣等）、地面/背景分離、點(diǎn)云分割與聚類、為每個聚類擬合包圍框并分類、后處理與跟蹤等。有很多技術(shù)方案是使用經(jīng)典幾何/統(tǒng)計方法做快速分割和聚類，再把得到的候選體送入學(xué)習(xí)器做分類；近年來端到端學(xué)習(xí)的3D點(diǎn)云目標(biāo)檢測也越來越主流。

預(yù)處理作為障礙物識別的第一步，看似只是對點(diǎn)云數(shù)據(jù)進(jìn)行基本處理，但其實(shí)非常重要。激光雷達(dá)的一次掃描會包含噪聲點(diǎn)（由反射弱或多路徑造成）、不感興趣區(qū)域（例如車頂、側(cè)邊遠(yuǎn)處的建筑）以及測距分布極不均勻的情況（近處點(diǎn)密、遠(yuǎn)處點(diǎn)稀）。常見的預(yù)處理工作包括用盒體/視野裁剪（把z、x、y范圍限制到我們關(guān)心的區(qū)域），用統(tǒng)計離群點(diǎn)移除（例如統(tǒng)計每點(diǎn)距離鄰居的平均距離，剔除顯著異常值），以及體素網(wǎng)格（voxel grid）或均勻下采樣來降低點(diǎn)數(shù)、保證處理速率。下采樣一定要避免過度，過度下采樣會讓遠(yuǎn)處或小目標(biāo)消失，尤其是在高速場景下遠(yuǎn)距目標(biāo)本來就只有少點(diǎn)，因此要根據(jù)傳感器點(diǎn)密度與后端算法的需求調(diào)整體素大小或采用分層下采樣策略（近距高密度、遠(yuǎn)距低密度）。這一階段往往決定了系統(tǒng)能否在實(shí)時約束下保持較高的檢測召回。

地面分離是道路簡而言之就是把“地面/路面”點(diǎn)剔除，有利于突出真正的障礙物（車輛、行人、立柱等）。常用的方法有基于模型擬合的RANSAC平面擬合、基于柵格/高度圖的地面提取、以及按掃描線（laser ring）做逐環(huán)地面分類。RANSAC優(yōu)點(diǎn)是概念簡單且對噪聲有魯棒性，但在復(fù)雜路面（坡度、路基起伏、障礙物覆蓋）或點(diǎn)云稀疏時容易失敗，需要調(diào)整內(nèi)點(diǎn)閾值與迭代次數(shù)；基于高度圖的方法更適合移動平臺，把點(diǎn)云投影到水平柵格上，統(tǒng)計每格的最低點(diǎn)并應(yīng)用地形濾波（例如形態(tài)學(xué)濾波或坡度閾值），對非平坦路面更友好，但需要選好柵格分辨率以平衡細(xì)節(jié)和噪聲。

把地面點(diǎn)去掉后，下一步是把剩余點(diǎn)按“連通性”或“密度”分成若干個簇（cluster），每個簇通常對應(yīng)一個物體候選體。常用歐氏距離聚類（Euclidean Cluster Extraction）或密度基聚類算法（DBSCAN）來完成這一操作。歐氏距離聚類即對每個點(diǎn)找一定半徑內(nèi)的“鄰居”，把相互可達(dá)的一組點(diǎn)歸為一類；這個方法速度快、實(shí)現(xiàn)簡單，是PCL中的標(biāo)準(zhǔn)實(shí)現(xiàn)，但對參數(shù)（鄰域半徑與簇的最小點(diǎn)數(shù)）敏感，且在目標(biāo)近距離相互接觸或在高密度背景中容易把多個物體合并。DBSCAN更能處理非球形簇和噪聲，但計算量通常更大些且參數(shù)選擇也不容易自動化。工程上常會結(jié)合基于掃描線的分割（對激光雷達(dá)的每個水平環(huán)做斷點(diǎn)檢測，適合車道場景）與歐氏距離聚類，以兼顧速度與分離能力。PCL在這方面有成熟模塊可直接調(diào)用。

對每個聚類，需要擬合一個三維包圍框并做分類。包圍框可以是軸對齊的（AABB），也可以是朝向框（oriented bounding box），后者在車道場景下更實(shí)用，因?yàn)檐囕v通常朝某一方向排列。用最小二乘法或PCA（主成分分析）可以快速估計簇的主方向并生成朝向框。傳統(tǒng)方法會為每個簇提取如尺寸、點(diǎn)密度、形狀直方圖（例如基于表面法線的特征）、高度分布等若干幾何特征，然后用簡單分類器（SVM、隨機(jī)森林）判斷是車、人、還是其它障礙物。這樣的方案在樣本較少、計算資源受限時仍然有優(yōu)勢，且對解釋性好（你能看到每個特征為什么分錯）。不過，手工設(shè)計特征往往難以覆蓋如遮擋、變形或車內(nèi)空隙反射導(dǎo)致的點(diǎn)云斷裂等復(fù)雜的現(xiàn)實(shí)變化。

技術(shù)難點(diǎn)及解決方案

近幾年深度學(xué)習(xí)直接作用于點(diǎn)云的技術(shù)迅猛發(fā)展，帶來了更高的準(zhǔn)確率與更少的手工工程量，但也引入了對標(biāo)注數(shù)據(jù)與算力的高需求。點(diǎn)云深度方法大致分為三類體系，即點(diǎn)級方法（point-based）、體素方法（voxel-based）和柱/鳥瞰融合方法（pillar/BEV）。PointNet是點(diǎn)級方法的開山作，它直接接受原始點(diǎn)集作為輸入，通過對點(diǎn)做共享MLP（即對每點(diǎn)同樣的多層感知器）然后做全局池化來獲得不受點(diǎn)排列影響的全局描述，這使得網(wǎng)絡(luò)能直接處理不規(guī)則點(diǎn)集并完成分類/分割任務(wù)。PointNet的思想后來被擴(kuò)展為PointNet++以處理局部結(jié)構(gòu)，成為點(diǎn)云處理的重要基石。

但是在自動駕駛場景的“實(shí)時檢測”任務(wù)上，把原始點(diǎn)云直接送進(jìn)點(diǎn)級網(wǎng)絡(luò)在計算上不夠高效，因此有方案提出把點(diǎn)云先轉(zhuǎn)為規(guī)則張量的做法。VoxelNet把點(diǎn)云分成體素（3D voxel），在每個體素內(nèi)部用一個小網(wǎng)絡(luò)（VFE）把點(diǎn)集合編碼成固定維表示，再把體素化的特征用卷積網(wǎng)絡(luò)去做檢測；這種方法兼顧了點(diǎn)的細(xì)節(jié)與網(wǎng)絡(luò)的并行計算。SECOND在VoxelNet的基礎(chǔ)上引入了稀疏卷積（sparse convolution），大幅加速了稀疏體素的卷積計算，使得體素方法在速度與精度之間達(dá)到更好平衡。PointPillars則提出先把點(diǎn)云投影到豎直的“柱”（pillar）上，生成二維柵格上的每格特征圖，然后用常規(guī)的二維卷積做后續(xù)處理，這種設(shè)計把三維問題變成了二維卷積問題，極大提高了速度且在基準(zhǔn)上表現(xiàn)良好，成為了廣泛采用的折中方案。上述這些端到端深度檢測方法在公開基準(zhǔn)（例如KITTI）上推動了性能的顯著提升，但也帶來了對大量帶標(biāo)注點(diǎn)云的依賴以及對推理算力的要求。

模型訓(xùn)練與部署帶來的一系列工程問題同樣需要解決。首先是數(shù)據(jù)標(biāo)注與數(shù)據(jù)增廣，點(diǎn)云標(biāo)注成本高（需要對3D包圍框進(jìn)行精確標(biāo)注），而且不同激光雷達(dá)型號的點(diǎn)密度、視場不同，訓(xùn)練的模型在不同傳感器或場景間遷移性差。因此常用的做法包括仿真數(shù)據(jù)增強(qiáng)、把點(diǎn)云投影到BEV（鳥瞰）或結(jié)合相機(jī)圖像做多模態(tài)訓(xùn)練，以及對訓(xùn)練樣本做尺度/旋轉(zhuǎn)/點(diǎn)丟棄等仿真噪聲增強(qiáng)。其次是類不平衡問題，道路場景中車輛遠(yuǎn)多于行人或騎行者，訓(xùn)練時容易偏向多數(shù)類，需要用采樣、損失加權(quán)或在線難例挖掘（hardnegativemining）來緩解。再有就是實(shí)時性問題，在車規(guī)級平臺上，算力受限時必須在模型精度與延遲間做折中，常見策略是先用輕量級的點(diǎn)云前處理快速生成高召回候選，再用較重的二次分類器精判，或者把檢測模型做蒸餾、量化以降低延遲。

環(huán)境與天氣條件對激光雷達(dá)影響也要認(rèn)真對待。雨、雪、霧會降低回波強(qiáng)度并引入虛假散斑，導(dǎo)致點(diǎn)云噪聲增多與遠(yuǎn)距目標(biāo)丟失。激光雷達(dá)也會受到表面材料（高反射或吸光材料）與玻璃的影響，造成點(diǎn)云孔洞或反射假點(diǎn)。在這些情況下，簡單的幾何閾值往往不再可靠，使用多時刻融合（temporal smoothing）、運(yùn)動補(bǔ)償（因?yàn)樾D(zhuǎn)式激光雷達(dá)在掃描期間平臺可能已移動，需做去畸變）、以及與相機(jī)/毫米波雷達(dá)的傳感器級融合變得必要。運(yùn)動補(bǔ)償通常依賴IMU/里程計信息，將點(diǎn)云從逐點(diǎn)時間戳還原到同一參考時刻，減少由于車輛運(yùn)動帶來的形變，這在高速行駛或旋轉(zhuǎn)掃描器（VLP/Velodyne）場景下尤其重要。

在檢測以外，跟蹤（tracking）是保障系統(tǒng)穩(wěn)定感知的關(guān)鍵環(huán)節(jié)，把逐幀檢測到的包圍框做數(shù)據(jù)關(guān)聯(lián)，維持目標(biāo)ID與軌跡，用卡爾曼濾波（標(biāo)準(zhǔn)卡爾曼、擴(kuò)展卡爾曼或無跡卡爾曼）、匈牙利算法做幀間匹配，或使用基于軌跡的ReID特征做關(guān)聯(lián)，都能顯著降低錯檢/漏檢帶來的瞬時決策風(fēng)險。對速度估計和軌跡預(yù)測的精度將直接影響規(guī)劃與決策模塊，因而有方案中會把跟蹤作為檢測后必要且輕量的模塊來部署。

那如何評估檢測效果？

常見指標(biāo)有基于交并比（IoU）計算的平均精度（mAP）、不同距離下的召回率與誤報率、以及延遲（從點(diǎn)云到檢測結(jié)果的時間）。公認(rèn)的公開基準(zhǔn)如KITTI提供了標(biāo)準(zhǔn)化的測試集與評價方法，很多算法都以KITTI上的3D檢測成績作為對比參考，但要注意KITTI的采樣和標(biāo)注有其偏向（比如以車輛為主、場景集中在城市道路），在其它場景（高架、高速、鄉(xiāng)村）模型表現(xiàn)會有所不同，因此工程驗(yàn)證要覆蓋目標(biāo)部署環(huán)境。

在工程實(shí)踐中，有些組合策略往往更穩(wěn)妥，如先用快速的經(jīng)典方法做高召回候選（比如基于體素柵格+Euclidean clustering得到一批候選簇），再把這些候選與相機(jī)的二維檢測或深度模型的分類頭做融合判斷；或者在計算資源允許時直接部署端到端的深度檢測模型（例如PointPillars、SECOND），并配合輕量級后處理（非極大值抑制NMS、跟蹤）以保證穩(wěn)定輸出。若項目面向量產(chǎn)或車規(guī)級應(yīng)用，還需要考慮模型的壓縮、定點(diǎn)化，以及在不同硬件（CPU、GPU、DSP、NPU）上的推理性能測試。

再來說一說細(xì)節(jié)與容易出錯的地方，第一，地面分離閾值與柵格分辨率是兩個最常被調(diào)壞的參數(shù)，若設(shè)置不當(dāng)會把低矮障礙誤判為地面或把地面碎點(diǎn)誤判為障礙；第二，聚類半徑和最小簇大小直接決定了是否能分清相鄰車輛或保留行人這樣的小目標(biāo)；第三，點(diǎn)云的畸變補(bǔ)償若忽視，會在轉(zhuǎn)彎或不均速行駛時導(dǎo)致連續(xù)幀匹配失??；第四，強(qiáng)度（intensity）通道往往被低估，實(shí)際上對區(qū)分玻璃/反光物體與真實(shí)實(shí)體非常有用，應(yīng)在特征或網(wǎng)絡(luò)輸入中加以利用；第五，遠(yuǎn)距離目標(biāo)常常只有極少點(diǎn)，深度學(xué)習(xí)模型容易忽視，這時需要在訓(xùn)練時做專門的難例增強(qiáng)或在感知系統(tǒng)層面上把遠(yuǎn)近分成不同的處理通道以提高遠(yuǎn)距召回。

如果你在團(tuán)隊內(nèi)做點(diǎn)云檢測，需要盡可能構(gòu)建多樣化的標(biāo)注集，覆蓋不同傳感器、不同視距、晝夜、雨雪等天氣，并利用半自動標(biāo)注工具（例如基于軌跡傳播的批量標(biāo)注）來減低人工成本。數(shù)據(jù)增強(qiáng)也非常重要，隨機(jī)旋轉(zhuǎn)（繞豎軸）、尺度變換、隨機(jī)刪除點(diǎn)（模擬點(diǎn)丟失）、以及把labeled objects插入不同場景（拼接增強(qiáng)）都是常用技巧，能顯著提升模型的魯棒性。

再談深度學(xué)習(xí)的一些工程取舍，點(diǎn)級網(wǎng)絡(luò)（PointNet/PointNet++）對小目標(biāo)與細(xì)節(jié)敏感，但在大范圍場景上計算成本高；體素/稀疏卷積方法在速度上更易優(yōu)化（稀疏卷積可以在稀疏體素上高效運(yùn)算），且更容易與現(xiàn)有的卷積加速庫對接；pillar/BEV方法在速度和工程化上最容易落地，因?yàn)锽EV表示可以直接利用二維卷積網(wǎng)絡(luò)的成熟生態(tài)并與相機(jī)BEV或高清地圖數(shù)據(jù)對齊。實(shí)際產(chǎn)品中常把這些方法做成多級架構(gòu)，即輕量級快速檢測作為預(yù)判，嚴(yán)格檢測作為確認(rèn)，跟蹤模塊串聯(lián)保證輸出穩(wěn)定。

未來發(fā)展方向

未來，有幾個方向值得關(guān)注。傳感器融合會越來越普遍，相機(jī)能提供豐富的語義信息和顏色，對識別類別很有幫助；毫米波雷達(dá)對惡劣天氣更穩(wěn)健，能彌補(bǔ)激光雷達(dá)在雨雪的不足。在模型相關(guān)的技術(shù)中，半監(jiān)督學(xué)習(xí)、弱監(jiān)督和仿真數(shù)據(jù)（合成點(diǎn)云）將緩解標(biāo)注瓶頸；同時，Transformer與大模型思路正在向點(diǎn)云領(lǐng)域擴(kuò)展，嘗試用更通用的表示去整合多模態(tài)信息。工程上則會更多地把魯棒性（對天氣、對傳感器變化的穩(wěn)定性）作為首要考量，而不僅僅是單一基準(zhǔn)分?jǐn)?shù)。

最后給出一段落式的實(shí)踐建議，如果你正在起步做點(diǎn)云障礙物識別，建議先實(shí)現(xiàn)一個穩(wěn)定的經(jīng)典流水線，即點(diǎn)云去噪→地面分離（柵格或RANSAC）→歐氏距離聚類→幾何特征分類→跟蹤。用這套流程你可以在很短時間內(nèi)得到穩(wěn)定可用的檢測結(jié)果，便于和規(guī)劃/控制聯(lián)調(diào)。同時并行開展基于PointPillars或VoxelNet的深度模型開發(fā)，把深度模型當(dāng)成第二階提升手段；在數(shù)據(jù)方面優(yōu)先建設(shè)多場景標(biāo)注集并做強(qiáng)數(shù)據(jù)增強(qiáng)策略；在部署時重視延遲測試與模型壓縮（量化、蒸餾）。對于復(fù)雜環(huán)境（隧道、雪天、高速）盡量引入多傳感器融合和時間域信息以提升魯棒性。