原提問(wèn)：

請(qǐng)問(wèn)有做視覺(jué)SLAM基于深度學(xué)習(xí)閉環(huán)檢測(cè)的嗎？

TurtleZhong:

相比現(xiàn)在基本都是用深度學(xué)習(xí)做的吧，只要涉及到場(chǎng)景光照變化大，相機(jī)視野變化大等等，傳統(tǒng)的DBoW，VLAD方法確實(shí)能力有限，那想必現(xiàn)在大多數(shù)都用的是基于深度學(xué)習(xí)來(lái)做閉環(huán)檢測(cè)的，具體的方法可以參考我前段時(shí)間寫的總結(jié)：

https://github.com/TurtleZhong/Map-based-Visual-Localization

其實(shí)里面列舉了傳統(tǒng)方法和深度學(xué)習(xí)的方法，當(dāng)然可能不全，但是歡迎補(bǔ)充，另外覺(jué)得有用的話點(diǎn)個(gè)關(guān)注。

九歌:

俺就是在做深度學(xué)習(xí)與閉環(huán)檢測(cè)結(jié)合的工作的呀

目前將深度學(xué)習(xí)應(yīng)用到閉環(huán)檢測(cè)中已經(jīng)很普遍了吧。直接的想法是在bow框架下利用如superpoint、d2、r2d2等深度學(xué)習(xí)特征代替?zhèn)鹘y(tǒng)orb、sift等特征。也有如NetVLAD、CALC等用神經(jīng)網(wǎng)絡(luò)模擬傳統(tǒng)特征提取策略，以獲得更好魯棒性的。也有加入語(yǔ)義信息，如X-view、LoST、CALC2.0等利用圖像語(yǔ)義信息，實(shí)現(xiàn)閉環(huán)檢測(cè)的。

總的來(lái)說(shuō)，如果只是關(guān)注閉環(huán)檢測(cè)中圖像檢索的部分，與深度學(xué)習(xí)相關(guān)的工作還是很多很好的。難點(diǎn)在于要應(yīng)對(duì)閉環(huán)檢測(cè)中的一些實(shí)際挑戰(zhàn)，比如cross-view乃至opposite-view，appearance changes，perceptual aliasing，dynamics，textless這些問(wèn)題。

害，其實(shí)dbow和fabmap從效果和實(shí)時(shí)性的平衡上來(lái)說(shuō)，不已經(jīng)超好了嘛

劉斯坦:

搜deep learning feature points matching，文章非常多。

具體結(jié)合SLAM的工作，今年剛出的這篇清華的就很不錯(cuò)，還有代碼：
ivipsourcecode/dxslamgithub.com

基本是一個(gè)純工程的工作，很直觀，把各種成熟的深度學(xué)習(xí)特征點(diǎn)提取和匹配網(wǎng)絡(luò)（SuperPoint, D2-Net, HF-Net）的預(yù)訓(xùn)練模型直接拿來(lái)用，替換掉ORB-SLAM2里面的相關(guān)部分：

王小二:

1、不知道其它大佬的情況，現(xiàn)階段我做的方向就是深度學(xué)習(xí)和SLAM的結(jié)合方向，所以SLAM各個(gè)比較關(guān)鍵的環(huán)節(jié)如何使用深度學(xué)習(xí)來(lái)完成，我倒是看過(guò)部分文章，比如特征提取，回環(huán)檢測(cè)，優(yōu)化等等。但是實(shí)際操作過(guò)的目前只有特征提取和描述子生成部分。詳情見(jiàn)：https://zhuanlan.zhihu.com/p/214158164zhuanlan.zhihu.com

2、說(shuō)回到回環(huán)檢測(cè)這個(gè)問(wèn)題，其實(shí)從直觀上來(lái)說(shuō)和圖像檢測(cè)，重識(shí)別等領(lǐng)域應(yīng)該是有共通之處的，所以我之前的考慮也是利用圖像檢索的方式來(lái)實(shí)現(xiàn)回環(huán)檢測(cè)。

3、說(shuō)到具體的操作，當(dāng)時(shí)考慮過(guò)的方向有：A、使用完整的圖像來(lái)完成特征提?。籅、圖像切塊或者提前感興趣區(qū)域提取特征；C、整體+興趣區(qū)域共同提取特征->企圖在查詢速度和精度做平衡

4、提取特征的方法考慮過(guò)：A、使用傳統(tǒng)的特征來(lái)監(jiān)督CNN，比如ORB，SIFT，HOG等；B、學(xué)習(xí)人臉識(shí)別，重識(shí)別等使用triple loss，margin loss等使用圖片對(duì)或者圖片組來(lái)訓(xùn)練

5、說(shuō)起來(lái)，也許可以看看小樣本分類識(shí)別的部分思路；細(xì)粒度識(shí)別分類的一些方案

6、現(xiàn)在已經(jīng)有的搜圖定位不妨也看看7、步子不要太大，是不是可以考慮CNN+傳統(tǒng)的詞袋模型一起使用？

Howie:

閉環(huán)過(guò)程使用深度學(xué)習(xí)中的圖像檢索，能有效的減少由于環(huán)境光照 季節(jié)更替，視角變化引起的匹配問(wèn)題。但是需要采集大量的樣本進(jìn)行訓(xùn)練，同時(shí)考慮網(wǎng)絡(luò)的大小和推理速度，以及自身的硬件平臺(tái)性能。在一些嵌入式應(yīng)用中，由深度學(xué)習(xí)帶來(lái)的性能提升 可能需要消耗巨大的資源，此時(shí)仍需以傳統(tǒng)算法為主。

實(shí)際使用中，若環(huán)境可布置如室內(nèi)環(huán)境，建議使用二維碼等人為標(biāo)志進(jìn)行回環(huán)檢測(cè)，兼顧精度和速度。若是室外可變環(huán)境，則需要考慮自身的硬件性能，進(jìn)行傳統(tǒng)算法與深度學(xué)習(xí)方法的選擇，對(duì)于純粹的深度方向，應(yīng)考慮模型設(shè)計(jì)優(yōu)化，通過(guò)壓縮量化等手段提升模型速度。

責(zé)任編輯：lq