3D點(diǎn)云學(xué)習(xí)（ Point Clouds）作為近年來的研究熱點(diǎn)之一，受到了廣泛關(guān)注，每年在各大會(huì)議上都有大量的相關(guān)文章發(fā)表。當(dāng)前，點(diǎn)云上的深度學(xué)習(xí)變得越來越流行，人們提出了許多方法來解決這一領(lǐng)域的不同問題。國(guó)防科技大學(xué)郭裕蘭老師課題組新出的這篇論文對(duì)近幾年點(diǎn)云深度學(xué)習(xí)方法進(jìn)行了全面綜述，是第一篇全面涵蓋多個(gè)重要點(diǎn)云相關(guān)任務(wù)的深度學(xué)習(xí)方法的綜述論文，包括三維形狀分類、三維目標(biāo)檢測(cè)與跟蹤、三維點(diǎn)云分割等，并對(duì)點(diǎn)云深度學(xué)習(xí)的機(jī)制和策略進(jìn)行全面的歸納和解讀，幫助讀者更好地了解當(dāng)前的研究現(xiàn)狀和思路。也提供了現(xiàn)有方法在幾個(gè)可公開獲得的數(shù)據(jù)集上的全面比較，最后也介紹了未來的研究方向。

對(duì)于3D點(diǎn)云，數(shù)據(jù)正在迅速增長(zhǎng)。大有從2D向3D發(fā)展的趨勢(shì)，比如在opencv中就已經(jīng)慢慢包含了3D點(diǎn)云的處理的相關(guān)模塊，在數(shù)據(jù)方面點(diǎn)云的獲取也是有多種渠道， 無論是源于CAD模型還是來自LiDAR傳感器或RGBD相機(jī)的掃描點(diǎn)云，無處不在。另外，大多數(shù)系統(tǒng)直接獲取3D點(diǎn)云而不是拍攝圖像并進(jìn)行處理。因此，在深度學(xué)習(xí)大火的年代，應(yīng)該如何應(yīng)用這些令人驚嘆的深度學(xué)習(xí)工具，在3D點(diǎn)云上的處理上達(dá)到對(duì)二維圖像那樣起到很好的作用呢？

3D點(diǎn)云應(yīng)用深度學(xué)習(xí)面臨的挑戰(zhàn)。首先在神經(jīng)網(wǎng)絡(luò)上面臨的挑戰(zhàn)：

（1）非結(jié)構(gòu)化數(shù)據(jù)（無網(wǎng)格）：點(diǎn)云是分布在空間中的XYZ點(diǎn)。沒有結(jié)構(gòu)化的網(wǎng)格來幫助CNN濾波器。

（2）不變性排列：點(diǎn)云本質(zhì)上是一長(zhǎng)串點(diǎn)（nx3矩陣，其中n是點(diǎn)數(shù)）。在幾何上，點(diǎn)的順序不影響它在底層矩陣結(jié)構(gòu)中的表示方式，例如， 相同的點(diǎn)云可以由兩個(gè)完全不同的矩陣表示。如下圖所示：

（3）點(diǎn)云數(shù)量上的變化：在圖像中，像素的數(shù)量是一個(gè)給定的常數(shù)，取決于相機(jī)。然而，點(diǎn)云的數(shù)量可能會(huì)有很大的變化，這取決于各種傳感器。

在點(diǎn)云數(shù)據(jù)方面的挑戰(zhàn)：

（1）缺少數(shù)據(jù)：掃描的模型通常被遮擋，部分?jǐn)?shù)據(jù)丟失。
（2）噪音：所有傳感器都是嘈雜的。有幾種類型的噪聲，包括點(diǎn)云擾動(dòng)和異常值。這意味著一個(gè)點(diǎn)有一定的概率位于它被采樣的地方（擾動(dòng)）附近的某一半徑范圍內(nèi)，或者它可能出現(xiàn)在空間的任意位置（異常值）。
（3）旋轉(zhuǎn)：一輛車向左轉(zhuǎn)，同一輛車向右轉(zhuǎn)，會(huì)有不同的點(diǎn)云代表同一輛車。

點(diǎn)云學(xué)習(xí)近年來受到越來越多的關(guān)注，因?yàn)樗谠S多領(lǐng)域都有廣泛的應(yīng)用，比如計(jì)算機(jī)視覺、自動(dòng)駕駛和機(jī)器人技術(shù)。作為人工智能的主要技術(shù)之一，深度學(xué)習(xí)已經(jīng)成功地用于解決各種二維視覺問題。然而，由于使用深度神經(jīng)網(wǎng)絡(luò)處理點(diǎn)云所面臨的獨(dú)特挑戰(zhàn)，對(duì)點(diǎn)云的深度學(xué)習(xí)仍處于起步階段。最近，點(diǎn)云上的深度學(xué)習(xí)變得越來越流行，人們提出了許多方法來解決這一領(lǐng)域的不同問題。為了激發(fā)未來的研究，本文對(duì)點(diǎn)云深度學(xué)習(xí)方法的最新進(jìn)展進(jìn)行了綜述。它涵蓋了三個(gè)主要任務(wù)，包括三維形狀分類，三維目標(biāo)檢測(cè)和跟蹤以及三維點(diǎn)云分割。我們還提供了一些可公開獲得的數(shù)據(jù)集的比較結(jié)果，以及有見地的觀察和啟發(fā)性的未來研究方向。

引言

3D數(shù)據(jù)在不同的領(lǐng)域有許多應(yīng)用，包括自動(dòng)駕駛、機(jī)器人、遙感、醫(yī)療和設(shè)計(jì)行業(yè)[4]。近年來，深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺、語(yǔ)音識(shí)別、自然語(yǔ)言處理(NLP)、生物信息學(xué)等研究領(lǐng)域占據(jù)主導(dǎo)地位。但是，在三維點(diǎn)云上進(jìn)行深度學(xué)習(xí)仍然面臨數(shù)個(gè)重大挑戰(zhàn)[5]，例如數(shù)據(jù)集規(guī)模小，維數(shù)高和三維點(diǎn)云的非結(jié)構(gòu)化性質(zhì)。在此基礎(chǔ)上，本文重點(diǎn)分析了用于處理三維點(diǎn)云的深度學(xué)習(xí)方法。

一些公開的數(shù)據(jù)集也被發(fā)布，例如ModelNet [6]，ShapeNet [7]，ScanNet [8]，Semantic3D [9]和KITTI Vision Benchmark Suite[10]。這些數(shù)據(jù)集進(jìn)一步推動(dòng)了對(duì)三維點(diǎn)云的深度學(xué)習(xí)研究，提出了越來越多的方法來解決與點(diǎn)云處理相關(guān)的各種問題，包括三維形狀分類、三維目標(biāo)檢測(cè)與跟蹤、三維點(diǎn)云分割等。

這篇論文是第一個(gè)專門針對(duì)點(diǎn)云的深度學(xué)習(xí)方法的綜述。此外，論文全面涵蓋了分類，檢測(cè)，跟蹤和分割等不同應(yīng)用。圖1顯示了三維點(diǎn)云的現(xiàn)有深度學(xué)習(xí)方法的分類。

圖1：三維點(diǎn)云深度學(xué)習(xí)方法分類。

這項(xiàng)工作的主要貢獻(xiàn)可以概括如下：

· 1）據(jù)我們所知，這是第一篇全面涵蓋多個(gè)重要點(diǎn)云相關(guān)任務(wù)的深度學(xué)習(xí)方法的綜述論文，包括三維形狀分類、三維目標(biāo)檢測(cè)與跟蹤、三維點(diǎn)云分割等。

·2）相對(duì)于已有的綜述[11]，[12]，我們特別關(guān)注三維點(diǎn)云的深度學(xué)習(xí)方法，而不是所有類型的三維數(shù)據(jù)。

· 3）本文介紹了點(diǎn)云深度學(xué)習(xí)的最新進(jìn)展。因此，它為讀者提供了最先進(jìn)的方法。

·4）提供了現(xiàn)有方法在幾個(gè)可公開獲得的數(shù)據(jù)集上的全面比較（例如，表1、2、3、4），并提供了簡(jiǎn)要的總結(jié)和深入的討論。

本文的結(jié)構(gòu)如下。第2節(jié)回顧了三維形狀分類的方法。第3節(jié)概述了現(xiàn)有的三維目標(biāo)檢測(cè)和跟蹤方法。第4節(jié)介紹了點(diǎn)云分割的方法，包括語(yǔ)義分割、實(shí)例分割和部件分割。最后，第5節(jié)總結(jié)了論文。

論文還在以下網(wǎng)址上提供了定期更新的項(xiàng)目頁(yè)面：

https://github.com/QingyongHu/SoTA-Point-Cloud

圖2：三維形狀分類網(wǎng)絡(luò)的時(shí)間順序概覽。

圖3：PointNet的體系結(jié)構(gòu)。

圖4：點(diǎn)的局部鄰居的連續(xù)和離散卷積的圖解。(a)代表一個(gè)局部鄰居;(b)和(c)分別表示三維連續(xù)卷積和離散卷積。

圖5：基于圖的網(wǎng)絡(luò)的圖解。

表1：在ModelNet10/40基準(zhǔn)上比較三維形狀分類結(jié)果。這里，我們只關(guān)注基于點(diǎn)的網(wǎng)絡(luò)，“#params”表示相應(yīng)模型的參數(shù)數(shù)量?！癘A”表示總體精度，“mAcc”表示表中的平均精度。符號(hào)“-”表示結(jié)果不可用。

圖6：按時(shí)間順序概述的最相關(guān)的基于深度學(xué)習(xí)的三維目標(biāo)檢測(cè)方法。

圖7：三類三維目標(biāo)檢測(cè)方法的典型網(wǎng)絡(luò)。從上到下:(a)基于多視圖，(b)基于分割，(c)基于視錐的方法。

表2：在KITTI測(cè)試三維檢測(cè)基準(zhǔn)上的三維目標(biāo)檢測(cè)結(jié)果對(duì)比。

表3：在KITTI test BEV檢測(cè)基準(zhǔn)上三維目標(biāo)檢測(cè)結(jié)果對(duì)比。

圖8：按時(shí)間順序概述了一些最相關(guān)的基于深度學(xué)習(xí)的點(diǎn)云語(yǔ)義分割方法。

圖9：基于投影方法的中間表示圖。

圖10：PointNet++[27]框架的示意圖。

圖11：有代表性的三維點(diǎn)云實(shí)例分割方法的年代概述。

未來方向

表4展示了現(xiàn)有方法在公共基準(zhǔn)測(cè)試上的結(jié)果，包括S3DIS[176]、Semantic3D[9]、ScanNet[102]、SemanticKITTI[177]。需要進(jìn)一步研究的問題有:

·基于點(diǎn)的網(wǎng)絡(luò)是最常被研究的方法。然而，點(diǎn)表示自然不具有顯式的鄰近信息，現(xiàn)有的大多數(shù)基于點(diǎn)的方法不得不借助于昂貴的鄰近搜索機(jī)制(如KNN[52]或ball query [27])。這從本質(zhì)上限制了這些方法的效率，因?yàn)猷従铀阉鳈C(jī)制既需要很高的計(jì)算成本，又需要不規(guī)則的內(nèi)存訪問[214]。

·從不平衡數(shù)據(jù)中學(xué)習(xí)仍然是點(diǎn)云分割中一個(gè)具有挑戰(zhàn)性的問題。雖然有幾種的方法取得了顯著的綜合成績(jī)[42]、[170]、[182]，但它們?cè)陬悩?biāo)很少的情況下表現(xiàn)仍然有限。例如，RandLA-Net[95]在Semantic3D的reduced-8子集上獲得了76.0%的整體IoU，而在hardscape類上獲得了41.1%的非常低的IoU。

·大多數(shù)現(xiàn)有的方法[5]、[27]、[52]、[170]、[171]都適用于小點(diǎn)云(如1m*1m，共4096個(gè)點(diǎn))。在實(shí)際中，深度傳感器獲取的點(diǎn)云通常是巨大的、大規(guī)模的。因此，有必要進(jìn)一步研究大規(guī)模點(diǎn)云的有效分割問題。

·已有少數(shù)文獻(xiàn)[145]、[146]、[167]開始研究動(dòng)態(tài)點(diǎn)云的時(shí)空信息。預(yù)期時(shí)空信息可以幫助提高后續(xù)任務(wù)的性能，如三維目標(biāo)識(shí)別、分割和完成。

表4：S3DIS(包括Area5和6-fold cross validation)[176]、Semantic3D(包括semantic-8和reduced-8子集)[9]、ScanNet[8]和SemanticKITTI[177]數(shù)據(jù)集的語(yǔ)義分割結(jié)果對(duì)比。

結(jié)論

本文介紹了最先進(jìn)的三維理解方法，包括三維形狀分類，三維目標(biāo)檢測(cè)和跟蹤，以及三維場(chǎng)景和目標(biāo)分割。對(duì)這些方法進(jìn)行了全面的分類和性能比較。介紹了各種方法的優(yōu)缺點(diǎn)，并提出了今后的研究方向。

作者：Yulan Guo, Hanyun Wang, Qingyong Hu, Hao Liu, Li Liu, and Mohammed Bennamoun

審核編輯：郭婷