一、背景

1、智能移動(dòng)平臺(tái)的定義平臺(tái)包含兩大特征，第一個(gè)是能夠自主地對(duì)它周圍的環(huán)境進(jìn)行感知，基于感知信息自主運(yùn)行，實(shí)現(xiàn)特定的任務(wù)，常見的移動(dòng)平臺(tái)是移動(dòng)機(jī)器人和無(wú)人車。 為了實(shí)現(xiàn)或構(gòu)建機(jī)器人或無(wú)人車，通常在算法方面有四大技術(shù)難點(diǎn)，即感知、狀態(tài)估計(jì)、預(yù)測(cè)和執(zhí)行控制。我的博士論文關(guān)注前面兩點(diǎn)：感知和狀態(tài)估計(jì)，總結(jié)為讓無(wú)人車或機(jī)器人看見這個(gè)世界。

2、如何使用激光雷達(dá)傳感器對(duì)周圍環(huán)境感知通常來(lái)說(shuō)基于機(jī)載或車載的傳感器，圖 1 是實(shí)驗(yàn)室自己的感知采集平臺(tái)，平臺(tái)上搭載了不同傳感器，包括激光雷達(dá)、相機(jī)和 GPS。對(duì)于成熟的產(chǎn)品，需要融合各種傳感器的不同模態(tài)信息，最后構(gòu)建一個(gè)非常魯棒和安全的感知系統(tǒng)。

圖 1 感知采集平臺(tái) 我的博士課題僅僅使用激光雷達(dá)傳感器的數(shù)據(jù)作為算法輸入，動(dòng)機(jī)是測(cè)試使用單一傳感器的感知性能。如果把所有的基于單一傳感器的感知算法優(yōu)化到最好，結(jié)合在一起就可以得到更加魯棒、更加安全的感知系統(tǒng)。 64線激光雷達(dá)的數(shù)據(jù)如圖 2 所示，旋轉(zhuǎn)式的激光雷達(dá)實(shí)際是對(duì)環(huán)境進(jìn)行深度掃描。在數(shù)據(jù)中，每一行實(shí)際是每一束激光旋轉(zhuǎn) 360 度過(guò)程中采集的環(huán)境深度信息，每一列實(shí)際就是多線激光雷達(dá)在某一時(shí)刻采集的深度信息。

圖 2 64 線激光雷達(dá)數(shù)據(jù) 在給定激光雷達(dá)激光束的標(biāo)定參數(shù)以后，比如它的發(fā)射角和分辨率，也可以對(duì)每個(gè)距離采集信息的 3D 坐標(biāo)進(jìn)行解算，最后得到一個(gè) 3D 點(diǎn)云。我的博士論文就是使用這樣的傳感器的數(shù)據(jù)作為所有算法的輸入。

3、為什么語(yǔ)義信息于激光雷達(dá)感知非常重要語(yǔ)義信息實(shí)際上是人類對(duì)環(huán)境的更高級(jí)別的理解。圖 3 是原始點(diǎn)云信息和帶有語(yǔ)義的點(diǎn)云信息對(duì)比，人類可以對(duì)環(huán)境有所理解，經(jīng)過(guò)長(zhǎng)時(shí)間的學(xué)習(xí)訓(xùn)練，對(duì)于機(jī)器人來(lái)說(shuō)就是 3D 坐標(biāo)，對(duì)于幾何信息很難對(duì)周圍環(huán)境進(jìn)行理解，語(yǔ)義信息標(biāo)注以后，無(wú)人車和機(jī)器人就能夠更好的對(duì)環(huán)境進(jìn)行理解，識(shí)別可通行區(qū)域的道路。我的博士論文就是想要利用語(yǔ)義信息使機(jī)器人的感知性能提升，實(shí)現(xiàn)機(jī)器人的感知。

圖 3 原始點(diǎn)云和語(yǔ)義信息點(diǎn)云對(duì)比

4、論文簡(jiǎn)介為了實(shí)現(xiàn)語(yǔ)義感知性能，論文主要是從三個(gè)方面進(jìn)行： （1）如何利用現(xiàn)有的多類別的語(yǔ)義分割結(jié)果去提升機(jī)器人的感知和狀態(tài)估計(jì)的性能，比如說(shuō)提升定位和建圖的性能； （2）對(duì)于不同的任務(wù)，不同的語(yǔ)義類別實(shí)際上是有不同的影響。針對(duì)不同的任務(wù)，可以提出更加刻意的語(yǔ)義信息來(lái)進(jìn)一步提高算法的性能； （3）對(duì)語(yǔ)義信息進(jìn)行簡(jiǎn)化后提出自動(dòng)生成的語(yǔ)義算法，減輕對(duì)于人工標(biāo)注的依賴。

二、使用多類別語(yǔ)義信息提高定位和建圖性能基于語(yǔ)義信息的同時(shí)定位和建圖（SLAM），SLAM 對(duì)于機(jī)器人自主導(dǎo)航非常重要，主要實(shí)現(xiàn)的是機(jī)器人在自主運(yùn)行中，對(duì)環(huán)境地圖進(jìn)行構(gòu)建，然后同時(shí)在所構(gòu)建的地圖環(huán)境中找到機(jī)器人當(dāng)前位置。這是所有上游任務(wù)或下游任務(wù)的基礎(chǔ)，要實(shí)現(xiàn)導(dǎo)航和規(guī)劃，首先要知道環(huán)境長(zhǎng)什么樣子，知道當(dāng)前環(huán)境中的位置，才能夠?qū)崿F(xiàn)下游任務(wù)，所以 SLAM 是機(jī)器人導(dǎo)航的基礎(chǔ)。在第一個(gè)例子里面，想要在 SLAM 的過(guò)程中加入這樣的多類別的語(yǔ)義信息，從而對(duì) SLAM 的精度進(jìn)行一個(gè)提升，如圖 4 所示。

圖 4 SLAM 過(guò)程增加多類別語(yǔ)義信息

1、為什么需要語(yǔ)義信息提升 SLAM 精度？當(dāng)前的車輛的無(wú)人車行駛環(huán)境，在一個(gè)非常擁堵的高速路入口，圖 5 左邊展示的是傳統(tǒng)的基于幾何信息的 SLAM 結(jié)果，紅色車輛代表的是位姿估計(jì)的真值，藍(lán)色車輛代表傳統(tǒng)的基于幾何信息 SLAM 的估計(jì)出來(lái)的位姿值。可以看到在這樣的一個(gè)具有挑戰(zhàn)的場(chǎng)景中，傳統(tǒng)的基于幾何信息的 SLAM 沒有辦法很好的對(duì)當(dāng)前車輛的位姿進(jìn)行估計(jì)的，甚至給出了一個(gè)完全相反的運(yùn)動(dòng)方向，這樣的算法在真實(shí)產(chǎn)品應(yīng)用中會(huì)帶來(lái)非常大的一個(gè)麻煩。

圖 5 基于幾何信息的 SLAM 但當(dāng)擁有語(yǔ)義信息后，提出了語(yǔ)義 SLAM，如圖 6 所示。可以更好的對(duì)車輛的位姿進(jìn)行估計(jì)，最后可以看到估計(jì)出來(lái)的位姿的值和真值非常接近，同時(shí)也可以對(duì)環(huán)境的語(yǔ)義信息進(jìn)行描述。

圖 6 語(yǔ)義 SLAM 結(jié)果

2、具體如何實(shí)現(xiàn)語(yǔ)義 SLAM 的呢？圖7是語(yǔ)義 SLAM 的實(shí)現(xiàn)框圖，總共包含五個(gè)部分，在第一個(gè)部分展示的是 Raw Scan 算法，僅僅使用激光雷達(dá)點(diǎn)云作為輸入，然后在第二個(gè)部分使用現(xiàn)有的語(yǔ)義分割結(jié)果，輸出是每一個(gè)點(diǎn)對(duì)應(yīng)的語(yǔ)義標(biāo)簽，這里采用的是提出的 RangeNet++方法，然后在第三個(gè)部分把語(yǔ)義信息和激光雷達(dá)的幾何信息結(jié)合作為定位建圖的輸入，在建圖部分使用動(dòng)態(tài)物體去除算法，圖 8 的左圖展示不做任何處理時(shí)把語(yǔ)義觀測(cè)疊加，可以看到由于當(dāng)前場(chǎng)景中有動(dòng)態(tài)的物體，會(huì)造成鬼影污染，污染會(huì)使地圖沒辦法用于下一步的定位和導(dǎo)航，提出的算法就是把當(dāng)?shù)挠^測(cè)和歷史累積的語(yǔ)義地圖進(jìn)行語(yǔ)義標(biāo)簽一致性的檢測(cè)，如果當(dāng)前觀測(cè)里面的語(yǔ)義標(biāo)簽和地圖中的語(yǔ)義標(biāo)簽不一樣時(shí)，就把這樣的語(yǔ)義標(biāo)簽當(dāng)做運(yùn)動(dòng)的物體，對(duì)它進(jìn)行去除，最后可以看到使用去除算法可以得到一個(gè)非常干凈的語(yǔ)義地圖。

圖 7 語(yǔ)義 SLAM 實(shí)現(xiàn)框圖

圖 8 語(yǔ)義動(dòng)態(tài)去除 基于語(yǔ)義地圖，進(jìn)一步提出了基于語(yǔ)義信息的位姿估計(jì)算法，叫做 Semantic ICP。ICP 就是把當(dāng)前觀測(cè)和語(yǔ)義地圖對(duì)齊，從而估計(jì)當(dāng)前車輛或傳感器的位姿，實(shí)現(xiàn)了累積定位。如圖 9 所示，可以看到當(dāng)前觀測(cè)里面有動(dòng)態(tài)物體，中間這幅圖展示的是清理之后的語(yǔ)義地圖，第三幅圖展示的是在位姿估計(jì)過(guò)程中的每一個(gè)匹配，當(dāng)前觀測(cè)和地圖的匹配之前的權(quán)值，顏色越深代表權(quán)值越低，可以清楚看到動(dòng)態(tài)物體的權(quán)值，降低了它的權(quán)值，通過(guò)操作可以降低動(dòng)態(tài)物體在位姿估計(jì)過(guò)程中對(duì)位姿估計(jì)帶來(lái)的負(fù)面結(jié)果，從而提升位姿估計(jì)精度。

圖 9 語(yǔ)義 ICP 圖 10 展示的是算法在線運(yùn)行的結(jié)果，可以看到語(yǔ)義 SLAM 可以實(shí)時(shí)的對(duì)環(huán)境的云地圖進(jìn)行構(gòu)建，同時(shí)也可以準(zhǔn)確的估計(jì)自身車的位姿，對(duì)動(dòng)態(tài)物體進(jìn)行去除，然后保留靜態(tài)的語(yǔ)義地圖。

圖 10 算法在線運(yùn)行的結(jié)果 圖 11 是第一個(gè)示例，在第一個(gè)示例中利用多類別的語(yǔ)義信息對(duì) SLAM 的定位和建圖性能提升。SLAM 實(shí)質(zhì)上包含三個(gè)部分，定位、建圖和閉環(huán)檢測(cè)，閉環(huán)檢測(cè)主要是機(jī)器人回到之前已經(jīng)歷過(guò)地方的時(shí)候，能不能判斷出這個(gè)地方是已經(jīng)歷過(guò)的，如果能判斷的話，可以加入閉環(huán)約束，通過(guò)約束消除長(zhǎng)期運(yùn)行的累積誤差，從而構(gòu)建出全局一致的地圖和更加精確的位姿估計(jì)，所以閉環(huán)對(duì)于 SLAM 是非常重要的。傳統(tǒng)的基于幾何信息的閉環(huán)檢測(cè)算法在一些挑戰(zhàn)環(huán)境中無(wú)法正常工作，比如，當(dāng)一個(gè)車從反方向開回到之前經(jīng)歷過(guò)的十字路口時(shí)，由于視角變換太大，所以無(wú)法識(shí)別十字路口是之前經(jīng)歷過(guò)的。

圖 11 第一個(gè)示例 針對(duì)這個(gè)問(wèn)題，在第二個(gè)示例中提出了利用深度學(xué)習(xí)和語(yǔ)義信息幫助機(jī)器人 SLAM 更好的找到閉環(huán)，提高全局地圖構(gòu)建精度和位姿估計(jì)的精度。 第二個(gè)例子的算法流程圖如圖 12 所示，左邊所展示的就是算法把兩幀激光雷達(dá)當(dāng)做輸入，然后除了使用激光雷達(dá)傳統(tǒng)的幾何信息，比如深度、法向量信息以外，也使用了語(yǔ)義信息，通過(guò)語(yǔ)義信息對(duì)地圖點(diǎn)的描述性更強(qiáng)，所以可以更好找到閉環(huán)。右邊是算法網(wǎng)絡(luò)的流程圖，是比較經(jīng)典的編碼器和解碼器結(jié)構(gòu)，首先編碼器對(duì)兩幀激光雷達(dá)進(jìn)行提取，生成一個(gè)比較的特征，在第一個(gè)解碼器中對(duì)兩個(gè)激光雷達(dá)的加速度進(jìn)行估計(jì)，可以更好的判斷當(dāng)前的觀測(cè)是不是已經(jīng)經(jīng)歷過(guò)的地方，如果已經(jīng)找到了一個(gè)閉環(huán)，當(dāng)車輛從反方向駛?cè)霑r(shí)，當(dāng)偏航角過(guò)大的時(shí)候，還是無(wú)法很好地閉環(huán)，所以針對(duì)這個(gè)任務(wù)設(shè)計(jì)了一個(gè)偏航角估計(jì)的解碼器，解碼器可以估計(jì)出兩個(gè)激光雷達(dá)的相對(duì)偏航角，在找到閉環(huán)之后用偏航角估計(jì)可以更好的初始化位姿估計(jì)，從而更好的實(shí)現(xiàn)閉環(huán)。

圖 12 第二個(gè)例子的算法流程圖 圖 13 展示的是算法在線運(yùn)行的結(jié)果，可以看到在經(jīng)過(guò)長(zhǎng)時(shí)間的運(yùn)行之后，右邊展示的是位姿估計(jì)的累積誤差，顏色越紅代表誤差越大。紅色點(diǎn)表示算法找到的閉環(huán)，在閉環(huán)后可以對(duì)累積誤差進(jìn)行消除。當(dāng)機(jī)器人反方向駛?cè)氲臅r(shí)候，也能夠找到閉環(huán)。

圖 13 算法在線運(yùn)行結(jié)果 圖 14 展示的是在加入的閉環(huán)檢測(cè)算法和沒有加入閉環(huán)檢測(cè)算法的定位和建圖精度的比較，可以看到方法 SLAM 可以得到一個(gè)更加精確的定位和建圖結(jié)果，相對(duì)于沒有使用閉環(huán)檢測(cè)的算法。

圖 14 加入閉環(huán)檢測(cè)和沒有加入閉環(huán)檢測(cè)算法 SLAM 對(duì)比 小結(jié)：第一部分實(shí)際上回答了要如何使用現(xiàn)有的語(yǔ)義信息多類別的從語(yǔ)義分割網(wǎng)絡(luò)里得到的點(diǎn)云信息來(lái)對(duì)感知任務(wù)進(jìn)行系統(tǒng)的提升，在第一個(gè)部分中以 SLAM 的閉環(huán)做了一個(gè)示例，在論文中也嘗試了對(duì)全局定位算法進(jìn)行深度學(xué)習(xí)的嘗試，但是由于時(shí)間關(guān)系，在我的答辯過(guò)程中，每部分只提供了一個(gè)或兩個(gè)示例。 在第一個(gè)問(wèn)題中主要回答的是利用語(yǔ)義信息提高感知性能，在進(jìn)行這個(gè)研究的過(guò)程中實(shí)際上也發(fā)現(xiàn)了對(duì)于定位和建圖而言，更加在意的是當(dāng)前的環(huán)境中這些物體是運(yùn)動(dòng)還是靜止的，所以實(shí)質(zhì)上對(duì)于特定的感知任務(wù)，每一個(gè)類別或者不同的語(yǔ)義信息帶來(lái)的影響是不一樣的。那么在第二個(gè)部分里面，就想要回答對(duì)于特定的感知任務(wù)是不是能夠提出更加特意的語(yǔ)義信息從而進(jìn)一步提高感知任務(wù)的精度。

三、對(duì)于特定的感知任務(wù)，提出更加特意的語(yǔ)義信息從而進(jìn)一步提高感知任務(wù)的精度同樣的以激光雷達(dá) SLAM 為基礎(chǔ)，提出了動(dòng)態(tài)物體分割的算法，如圖 15 所示。和現(xiàn)有的語(yǔ)義分割不一樣的是，在動(dòng)態(tài)物體分割中不是要區(qū)分一個(gè)物體的具體類別，而是要區(qū)分是運(yùn)動(dòng)物體還是靜態(tài)物體，為了實(shí)現(xiàn)動(dòng)態(tài)物體分割，提出了一個(gè)新的基于深度學(xué)習(xí)的利用序列信息的算法。

圖 15 基于深度學(xué)習(xí)方法的序列雷達(dá)數(shù)據(jù) 動(dòng)態(tài)物體分割的流程圖如圖 16 所示，可以看到使用的這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)也是傳統(tǒng)的編碼器解碼器結(jié)構(gòu)。和傳統(tǒng)的語(yǔ)義分割不一樣的是，輸出不是多類別語(yǔ)義分割，而是更加特意的二值分割動(dòng)和不動(dòng)的結(jié)果。這樣的好處是把一個(gè)復(fù)雜的多類別的語(yǔ)義分割任務(wù)簡(jiǎn)化為二值的分類任務(wù)，可以更容易的得到這樣一個(gè)結(jié)果，之后再對(duì)定位和建圖進(jìn)行提升。然后和多類別語(yǔ)義分割還有一個(gè)不同的就是，不使用單一的當(dāng)前觀測(cè)作為輸入，而使用一系列的連續(xù)時(shí)空的觀測(cè)作為網(wǎng)絡(luò)的輸入。為了更好的使用這樣的時(shí)空信息，提出了一個(gè)所謂的殘差圖像。接下來(lái)具體介紹怎么生成和使用殘差圖像的。

圖 16 動(dòng)態(tài)物體分割流程圖 如圖 17 所示，其中第一個(gè)圖展示的是當(dāng)前的觀測(cè)，第二個(gè)圖展示的是當(dāng)前觀測(cè)中動(dòng)態(tài)物體的真值，下面的圖像都是提出的殘差圖像，j=1 代表利用過(guò)去的第一幀和當(dāng)前幀所比較得到的殘差圖像，以此類推。為了生成殘差圖像，首先把過(guò)去的觀測(cè)投影到當(dāng)前的坐標(biāo)系，對(duì)于每一個(gè)過(guò)去觀測(cè)中的點(diǎn) rij→0投影到當(dāng)前的坐標(biāo)系，和對(duì)應(yīng)的觀測(cè)進(jìn)行比較，從而生成殘差圖像。利用殘差圖像，這是一個(gè)非常直觀的使用已有的人類先驗(yàn)知識(shí)引導(dǎo)網(wǎng)絡(luò)如何識(shí)別動(dòng)態(tài)物體，可以清楚看到在哪個(gè)位置有動(dòng)態(tài)物體。利用這樣連續(xù)多幀的去檢測(cè)也是一個(gè)非常自然而言的想法，比如作為人類來(lái)說(shuō)看一張圖片沒有很好的判斷，如果看視頻的話能夠看到物體運(yùn)動(dòng)的性質(zhì)。將連續(xù)多幀的物體作為輸入可以更好的識(shí)別動(dòng)態(tài)物體。

圖 17 殘差圖像 圖 18 展示的是算法在線運(yùn)行的結(jié)果，可以看到算法可以很好的對(duì)正在運(yùn)動(dòng)的車輛和行人進(jìn)行識(shí)別，也可以識(shí)別到靜態(tài)背景，可以在不同環(huán)境中使用。

圖 18 算法在線運(yùn)行的結(jié)果 接下來(lái)是更多的數(shù)值的一個(gè)比較，如表 1 所示。那么對(duì)三個(gè)不同算法的定位結(jié)果進(jìn)行對(duì)比，第一個(gè)只是用幾何信息，第二個(gè)使用多類別的語(yǔ)義信息來(lái)對(duì) SLAM 性能進(jìn)行增強(qiáng)的結(jié)果，第三個(gè)算法是使用剛才提出的動(dòng)態(tài)物體分割的結(jié)果。每個(gè)方法有兩個(gè)數(shù)字，前面是旋轉(zhuǎn)誤差，后面是平移誤差，可以看出更好的結(jié)果，比使用多類別語(yǔ)義信息更好的結(jié)果。

表 1 不同算法的定位結(jié)果對(duì)比

圖 19 展示的是在使用動(dòng)態(tài)物體分割以后建圖的結(jié)果，上面是原始點(diǎn)云建圖結(jié)果，存在鬼影，下面是動(dòng)態(tài)物體分割后的更加干凈的環(huán)境地圖，可以更好的用于下游的任務(wù)。

圖 19 使用動(dòng)態(tài)物體分割后建圖的結(jié)果 小結(jié)：對(duì)于特定的激光雷達(dá)的感知任務(wù)，可以提出更加特意的語(yǔ)義信息。以 SLAM 為例，提出了動(dòng)態(tài)物體分割，通過(guò)這種方式，對(duì)需要的語(yǔ)義信息進(jìn)行簡(jiǎn)化，更加容易的得到語(yǔ)義信息，同時(shí)對(duì)相對(duì)應(yīng)的任務(wù)進(jìn)行性能提升。 簡(jiǎn)化語(yǔ)義信息后，非常大的好處就是可以找一些自動(dòng)生成語(yǔ)義信息的方法，減輕對(duì)于人類手工標(biāo)注的依賴。

四、特定語(yǔ)義任務(wù)自動(dòng)生成標(biāo)注自動(dòng)生成物體標(biāo)簽的算法，如圖 20 所示，拿一個(gè)序列的激光雷達(dá)點(diǎn)云作為算法輸入，首先使用傳統(tǒng)的方法進(jìn)行位姿估計(jì)，通過(guò)一致性檢測(cè)對(duì)大概的動(dòng)態(tài)物體區(qū)域進(jìn)行標(biāo)注，然后對(duì)標(biāo)注的可能物體進(jìn)行實(shí)例的分割，最后對(duì)可能運(yùn)動(dòng)物體進(jìn)行跟蹤，生成動(dòng)靜的標(biāo)簽，根據(jù)速度或距離來(lái)確定標(biāo)簽。這里注意的是方法無(wú)法進(jìn)行在線測(cè)試，一步一步進(jìn)行，離線的生成標(biāo)簽好處在于中間幀不僅可以使用當(dāng)前和過(guò)去的信息，還可以使用未來(lái)的信息，使用時(shí)空信息對(duì)動(dòng)態(tài)物體進(jìn)行檢測(cè)，生成標(biāo)簽，再對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，自動(dòng)訓(xùn)練得到網(wǎng)絡(luò)，部署到在線任務(wù)中去。

圖 20 自動(dòng)生成物體標(biāo)簽算法

圖 21 自動(dòng)生成物體標(biāo)簽算法（續(xù)） 在不同的數(shù)據(jù)集上也可以進(jìn)行，如圖 22 所示，這是在美國(guó)和韓國(guó)采集的，算法都能夠達(dá)到很好的性能。

圖 22 數(shù)據(jù)集 表 2 展示的是算法使用自動(dòng)標(biāo)簽進(jìn)行訓(xùn)練和使用真值訓(xùn)練得到標(biāo)簽的結(jié)果，IOU 越大效果越好。

表 2 自動(dòng)標(biāo)簽和真值標(biāo)簽結(jié)果對(duì)比

使用同樣的數(shù)據(jù)集，自動(dòng)生成標(biāo)簽當(dāng)然要比真實(shí)標(biāo)簽性能要差，但生成更多標(biāo)簽的時(shí)候能夠提升網(wǎng)絡(luò)的性能。 小結(jié)：簡(jiǎn)化所需的語(yǔ)義信息后，可以提出自動(dòng)生成標(biāo)簽的方法去訓(xùn)練網(wǎng)絡(luò)，減輕對(duì)人工標(biāo)注的網(wǎng)絡(luò)，從而使深度學(xué)習(xí)方法可以泛化到不同環(huán)境中。

五、總結(jié)最后，對(duì)整個(gè)博士論文進(jìn)行一個(gè)總結(jié)，它實(shí)際上就是回答了三方面的內(nèi)容，第一個(gè)方面就是如何使用現(xiàn)有的多類別語(yǔ)義信息提高激光雷達(dá)定位和建圖的精度，然后針對(duì)于特定的任務(wù)，是不是可以提出更加特意的語(yǔ)義信息，從而對(duì)于語(yǔ)義信息進(jìn)行簡(jiǎn)化，因?yàn)樘匾饣院竽芴嵘阅埽谌齻€(gè)可以自動(dòng)生成標(biāo)簽降低對(duì)手工標(biāo)注的依賴。 博士期間的研究成果如圖 23 所示。

圖 23 博士期間成果 代碼的公開如圖 24 所示。

圖 24 代碼鏈接

問(wèn)題 QA：1.semantic ICP 是只區(qū)別了動(dòng)態(tài)物體還是靜態(tài)物體之后的 ICP 嗎？ 除了動(dòng)態(tài)物體的權(quán)值有所降低以外，比如柵欄或其他地方的權(quán)值也有所調(diào)整，沒有特別針對(duì)靜態(tài)物體或動(dòng)態(tài)物體調(diào)整，不對(duì)動(dòng)靜進(jìn)行區(qū)分，只是單純的對(duì)每一個(gè)類別物體的語(yǔ)義一致性進(jìn)行檢測(cè)。 2.語(yǔ)義的視覺 SLAM 有哪些深挖的點(diǎn)？是否推薦多模態(tài)的語(yǔ)義 SLAM？ 多模態(tài)當(dāng)然是未來(lái)發(fā)展的熱門方向，對(duì)于一個(gè)真正的產(chǎn)品落地肯定最后是多模態(tài)的結(jié)果，單一傳感器總有不適用的場(chǎng)景，對(duì)于視覺來(lái)說(shuō)黑夜和雨天影響很大，對(duì)于激光雷達(dá)來(lái)說(shuō)雨霧也有很大的影響，所以大家也會(huì)嘗試加入 IMU 和 GPS 以及毫米波雷達(dá)等等。對(duì)于視覺 SLAM 沒有做特別多的工作，現(xiàn)在的了解的話，和這里的語(yǔ)義不太一樣的定義。 3.激光語(yǔ)義 SLAM 和視覺語(yǔ)義 SLAM 的區(qū)別？ 其實(shí)就是傳感器的區(qū)別，視覺 SLAM 的信息更加豐富一點(diǎn)，因?yàn)橛型庥^的 RGB 信息，可以更好的實(shí)現(xiàn)語(yǔ)義分割，在室外的話，單目沒有深度信息，這是和激光雷達(dá)的區(qū)分。激光雷達(dá)沒有顏色信息，很難區(qū)分物體。視覺的視角更寬一點(diǎn)。 4.研究語(yǔ)義 SLAM 的過(guò)程中需要注意那些內(nèi)容？ 按照思路順下來(lái)，在答辯時(shí)能夠更加了解如何你是一步一步進(jìn)行研究的，大家可以參考順序。如何獲取更好的無(wú)監(jiān)督的語(yǔ)義信息是現(xiàn)在比較難的一個(gè)點(diǎn)，還有一個(gè)是深度學(xué)習(xí)的瓶頸，它非常依賴于對(duì)語(yǔ)義信息的定義。得到的類別只是訓(xùn)練的類別，無(wú)法得到開放世界的類別。如何對(duì)不知道的類別進(jìn)行檢測(cè)，這是一個(gè)非常的難點(diǎn)。 5.語(yǔ)義 SLAM 的工程化有什么建議？ 在自動(dòng)駕駛公司用的比較多，和定義的語(yǔ)義不太一樣，在高精地圖中語(yǔ)義的信息使用非常重要。對(duì)于語(yǔ)義的定義是多種多樣的，在實(shí)際工程的應(yīng)用中，比如車道線的檢測(cè)已經(jīng)是非常好的了。工程化的難點(diǎn)是開放世界，對(duì)更多類別進(jìn)行識(shí)別，算例是難點(diǎn)。如何輕量化網(wǎng)絡(luò)，還有就是泛化系統(tǒng)的問(wèn)題，都是城市場(chǎng)景的自動(dòng)駕駛，在沒有車道線的地方如何提取語(yǔ)義信息進(jìn)行自動(dòng)駕駛也是非常關(guān)注的。

審核編輯 ：李倩