CentripetalNet的核心在于新的角點匹配方式，額外學習一個向心偏移值，偏移值足夠小的角點即為匹配，相對于embedding向量的匹配方式，這種方法更為魯棒，解釋性更好。另外論文提出的十字星變形卷積也很好地貼合角點目標檢測的場景，增強角點特征
?

論文: CentripetalNet: Pursuing High-quality Keypoint Pairs for Object Detection

論文地址：https://arxiv.org/abs/2003.09119

論文代碼：https://github.com/KiveeDong/CentripetalNet

Introduction

CornerNet打開了目標檢測的新方式，通過檢測角點進行目標的定位，在角點的匹配上，增加了額外embedding向量，向量距離較小的角點即為匹配。而論文認為，這種方法不僅難以訓練，而且僅通過物體表面進行預測，缺乏目標的位置信息。對于相似物體，embedding向量很難進行特定的表達，如圖1所示，相似的物體會造成錯框現(xiàn)象。

? 為此，論文提出了CentripetalNet，核心在于提出了新的角點匹配方式，額外學習一個向心偏移值，偏移值足夠小的角點即為匹配。相對于embedding向量，這種方法更為魯棒，解釋性更好。另外，論文還提出十字星變形卷積，針對角點預測的場景，在特征提取時能夠準確地采樣關(guān)鍵位置的特征。最后還增加了實例分割分支，能夠?qū)⒕W(wǎng)絡拓展到實例分割任務中。

CentripetalNet

如圖2所示，CentripetalNet包含四個模塊，分別為：

角點預測模塊(Corner Prediction Module)：用于產(chǎn)生候選角點，這部分跟CornerNet一樣。

向心偏移模塊(Centripetal Shift Module)：預測角點的向心偏移，并根據(jù)偏移結(jié)果將相近的角點成組。

十字星變形卷積(Cross-star Deformable Convolution)：針對角點場景的變形卷積，能夠高效地增強角點位置的特征。

實例分割分支(Instance Mask Head)：類似MaskRCNN增加實例分割分支，能夠提升目標檢測的性能以及增加實例分割能力。

Centripetal Shift Module

Centripetal Shift

對于，幾何中心為，定義左上角點和右下角點的向心偏移為：

函數(shù)用來減少向心偏移的數(shù)值范圍，讓訓練更容易。在訓練時，由于非GT角點需要結(jié)合角點偏移計算向心偏移，比較復雜，如圖a所示，所以僅對GT角點使用smooth L1損失進行向心偏移訓練：

Corner Matching

屬于同一組的角點應該有足夠近的中心點，所以在得到向心偏移和角點偏移后，可根據(jù)角點對應的中心點判斷兩個角點是否對應。首先將滿足幾何關(guān)系的角點組合成預測框，每個預測框的置信度為角點置信度的均值。接著，如圖c所示，定義每個預測框的中心區(qū)域：

的角點計算為：

為中心區(qū)域?qū)A測框邊長的比例，根據(jù)向心偏移計算出左上角點的中心點和右下角點的中心點，計算滿足中心區(qū)域關(guān)系的預測框的權(quán)值：

從公式5可以看出，角點對應的中心點的距離越近，預測框的權(quán)值越高，對于不滿足中心點幾何關(guān)系的預測框，權(quán)值直接設(shè)為0，最后，使用權(quán)值對置信度進行加權(quán)輸出。

Cross-star Deformable Convolution

為了讓角點感知目標的位置信息，coner pooling使用max和sum來進行目標信息的水平和垂直傳遞，導致輸出的特征圖存在十字星現(xiàn)象，如圖4a所示，十字星的邊界包含了豐富的上下文信息。為了進一步提取十字星邊界的特征，不僅需要更大的感受域，還需要適應其特殊的幾何結(jié)構(gòu)，所以論文提出了十字星變形卷積。

但并不是所有的邊界特征都是有用的，對于左上角點而言，由于十字星的左上部邊界特征在目標的外部，所以其對左上角點是相對無用的，所以論文使用偏移引導(guiding shift)來顯示引導偏移值(offset field)的學習，偏移引導如圖b所示。偏移值共通過三個卷積層獲得，前兩個卷積層轉(zhuǎn)化corner pooling的輸出，通過下面的損失函數(shù)有監(jiān)督學習：

為偏移引導，定義為：

第三層卷積將特征映射為最終偏移值，內(nèi)涵了目標的上下文信息和幾何信息。

論文對不同的采樣方法進行了可視化，可以看到論文提出的十字星變形卷積的效果符合預期，左上角點對應的采樣點均為十字星的右下部邊界。

Instance Mask Head

為了獲取實例分割的結(jié)果，論文取soft-NMS前的檢測結(jié)果作為候選框，使用全卷積網(wǎng)絡進行mask預測。為了保證檢測模塊能夠提供有效的候選框，先對CentripetalNet預訓練幾輪，然后取top-k候選框進行RoIAlign得到特征，使用連續(xù)四個卷積層提取特征，最后使用反卷積層進行上采樣，訓練時對每個候選框進行交叉熵損失：

Experiment

完整的損失函數(shù)為：

和跟CornerNet定義的一樣，為預測框損失和角點偏移損失，設(shè)置為0.005。

目標檢測性能對比。

實例分割性能對比。

CornerNet/CenterNet/CentripetalNet可視化對比。

Conclusion

CentripetalNet的核心在于新的角點匹配方式，額外學習一個向心偏移值，偏移值足夠小的角點即為匹配，相對于embedding向量的匹配方式，這種方法更為魯棒，解釋性更好。另外論文提出的十字星變形卷積也很好地貼合角點目標檢測的場景，增強角點特征。

責任編輯：lq