深度強化學(xué)習(xí)（Deep RL）可以通過序列決策式的方式，在很多方面得到應(yīng)用。這里我們主要介紹一篇CVPR‘21使用RL做點云圖像配準的文章：ReAgent： Point Cloud Registration using Imitation and Reinforcement Learninghttps://arxiv.org/abs/2103.15231

總體上而言，ReAgent是通過訓(xùn)練了一個Policy網(wǎng)絡(luò)，狀態(tài)是Source點云和Target點云，輸出一系列動作（旋轉(zhuǎn)、平移Source點云），使得Source點云最終和Target點云在相同的地方重合。那么我們現(xiàn)在深入其中的細節(jié)，其實針對RL的應(yīng)用文章，最需要關(guān)注的點是以下4個方面：

狀態(tài)（State）設(shè)計

動作（Action）設(shè)計

獎勵（Reward）設(shè)計

算法實現(xiàn)

一般來說RL的應(yīng)用文章在算法上無非使用的是較為廣泛使用的算法模型，如DQN、PPO、SAC等。

State

這里的State是將Source和Targe點云通過一個PointNet類似的結(jié)構(gòu)，從高維點云信息Embedding到一個特征空間后，兩者Concatenate得到State的表征信息。這里從上圖中可以比較好的理解。

Action

這里Action的選擇就比較直觀，我們需要通過一些操作來旋轉(zhuǎn)、平移Source點云。那么Action就直接設(shè)置為旋轉(zhuǎn)、平移相關(guān)的動作。這篇文章在實現(xiàn)上，使用離散的動作集，比如x方向的平移為［0.0033，0.01，0.03，0.09，0.27］，當(dāng)然是有正有負。

Reward

Reward的設(shè)計就更為直觀，就是在執(zhí)行動作后，看是否Source和Target之間更加接近了。這里使用的是Chamfer Distance（CD）來衡量，下面給出Reward的設(shè)計：

這里的Reward也很直觀，就是加入執(zhí)行動作之后，是否變得更好？如果變好了就給一個正的獎勵，如果變差了就給一個負的獎勵。

算法實現(xiàn)

文章采用了PPO。那么ReAgent的總體框架就如下圖：

如果理解了這個問題中的State、Action的設(shè)計，還是相當(dāng)直觀的框架。同時筆者也跑通了ReAgent的代碼，實際看下其效果如何，主要是觀察其序列動作過程

可以看到ReAgent的動作還是相當(dāng)“絲滑“”且準確的。也希望更多的讀者能夠探索RL的各種應(yīng)用，做到像人一樣“絲滑”~

—版權(quán)聲明—

來源：強化學(xué)習(xí)技術(shù)前沿

僅用于學(xué)術(shù)分享，版權(quán)屬于原作者。

若有侵權(quán)，請聯(lián)系微信號： 刪除或修改！

編輯：jq