全景分割是一個計算機視覺任務(wù)，會將語義分割（為每個像素分配類標(biāo)簽）和實例分割（檢測和分割每個對象實例）合并。作為實際應(yīng)用中的核心任務(wù)，全景分割通常使用多個代理 (Surrogate) 子任務(wù)（如使用邊界框檢測方法）粗略估計全景分割目標(biāo)，來實現(xiàn)預(yù)測一組不相重疊的遮罩 (mask) 及其相對應(yīng)的類別標(biāo)簽（例如對象所屬的類別，如“汽車”、“交通指示燈”、“道路”等）。

在此代理樹中，每個子任務(wù)都會產(chǎn)生額外的手動設(shè)計模塊，如錨點設(shè)計規(guī)則、邊界框分配規(guī)則、非極大值抑制 (NMS)、thing-stuff（thing 類物體和 stuff 類物體）合并，等等。雖然對于單個子任務(wù)和模塊，不乏一些出色的解決方案，但當(dāng)我們將這些子任務(wù)整合到一個流水線中進(jìn)行全景分割時，就會產(chǎn)生不需要的構(gòu)件，在一些比較棘手的情況下更是如此（例如，兩個具有相似邊界框的人都觸發(fā) NMS，從而導(dǎo)致其中一個遮罩缺失）。

以往提出的 DETR 方法簡化邊界框檢測子任務(wù)成端到端操作來解決其中一些問題，事實證明，這種做法的計算效率更高，產(chǎn)生的無關(guān)構(gòu)件也更少。然而，訓(xùn)練過程在很大程度上仍然依賴邊界框檢測，這顯然與基于遮罩的全景分割定義不相符。另一種做法是將邊界框從管線中徹底移除，這樣做的好處是消除了整個子任務(wù)及其相關(guān)模塊和構(gòu)件。例如，Axial-DeepLab預(yù)測預(yù)定義實例中心的像素偏移量時，如果圖像平面中有各種各樣的形狀，或相鄰對象的中心點較為接近，例如下面這張狗狗坐在椅子上的圖像，那它所使用的子任務(wù)則會遇到對象嚴(yán)重變形的挑戰(zhàn)。

當(dāng)狗狗的中心和椅子的中心接近重合時，Axial-DeepLab 就會將它們合并成一個對象

在《MaX-DeepLab：利用遮罩 Transformer 實現(xiàn)端到端全景分割 (MaX-DeepLab: End-to-End Panoptic Segmentation with Mask Transformers)》（將提交給 CVPR 2021 大會）一文中，我們首次為全景分割管線提出了完全的端到端方法——將 Transformer架構(gòu)擴(kuò)展到此計算機視覺任務(wù)中，直接預(yù)測具有類標(biāo)簽的遮罩。這種方法叫做 MaX-DeepLab，利用 Mask Xformer 對 Axial-DeepLab 進(jìn)行擴(kuò)展。該方法采用雙路徑架構(gòu)，引入了全局內(nèi)存路徑，允許與任何卷積層直接通信。MaX-DeepLab 最終在極具挑戰(zhàn)的COCO數(shù)據(jù)集上以及無邊界框的狀態(tài)下實現(xiàn)了 7.1% 的顯著全景質(zhì)量 (PQ) 增益，首次消除了有邊界框方法和無邊界框方法之間的差距。在不增加測試時長的情況下，就 PQ 方面而言，MaX-DeepLab 在 COCO 測試開發(fā)集上達(dá)到了 51.3% 的水平，這已是目前的最高水準(zhǔn)。

MaX-DeepLab 是完全端到端的：直接從圖像中預(yù)測全景分割遮罩

端到端全景分割

受 DETR 啟發(fā)，我們的模型使用經(jīng)過 PQ 類目標(biāo)優(yōu)化的輸出遮罩和類，直接預(yù)測一組不相重疊的遮罩及其相應(yīng)的語義標(biāo)簽。具體來說，我們受到評估指標(biāo) PQ 的定義：識別質(zhì)量（預(yù)測的類是否正確）乘以分割質(zhì)量（預(yù)測的遮罩是否正確）的啟發(fā)，以一模一樣的方式在兩個具有類標(biāo)簽的遮罩之間定義了一個相似度指標(biāo)。直接通過一對一匹配，最大化實際遮罩和預(yù)測遮罩之間的這種相似度，直接對模型進(jìn)行訓(xùn)練。這種對全景分割的直接建模使端到端訓(xùn)練和推理成為可能，消除了現(xiàn)有的有邊界框方法和無邊界框方法必須手工設(shè)計先驗的弊端。

與卷積神經(jīng)網(wǎng)絡(luò) (CNN) 上堆疊傳統(tǒng) Transformer 的方案不同，我們提出了一種結(jié)合 CNN 與 Transformer 的雙路徑框架。具體而言，我們通過一個雙路徑 Transformer 元件，使 CNN 層能夠從全局內(nèi)存中讀寫數(shù)據(jù)。這里所說的這個元件采用了 CNN 路徑和內(nèi)存路徑之間的所有四種注意力 (Attention) 類型，可以插入到 CNN 中的任意位置，從而允許在任何層與全局內(nèi)存通信。MaX-DeepLab 還利用堆疊的沙漏式解碼器，可將多種尺度特征聚合成高分辨率輸出。然后系統(tǒng)會將該輸出與全局內(nèi)存特征相乘，形成遮罩組預(yù)測。至于遮罩類別，則使用另一種 Transformer 進(jìn)行預(yù)測。

雙路徑 Transformer 架構(gòu)概覽

結(jié)果

我們在極具挑戰(zhàn)性的 COCO 全景分割數(shù)據(jù)集上，分別使用先進(jìn)的無邊界框方法 (Axial-DeepLab) 和有邊界框方法 (DetectoRS) 對 MaX-DeepLab 進(jìn)行了評估。在不增加測試時長的情況下，就 PQ 方面而言，MaX-DeepLab 在 COCO 測試開發(fā)集上達(dá)到了 51.3% 的水平，這已是目前的最高水準(zhǔn)。

在無邊界框狀態(tài)下，就 PQ 方面而言，這一結(jié)果比 Axial-DeepLab 高出 7.1%，比 DetectoRS 高出 1.7%，第一次消除了有邊界框方法和無邊界框方法之間的差距。為了與 DETR 進(jìn)行一致的比較，我們還評估了與 DETR 參數(shù)數(shù)量和算力均一致的輕量級 MaX-DeepLab 版本。就 PQ 方面而言，此輕量級 MaX-DeepLab 在 val 集上的表現(xiàn)優(yōu)于 DETR 3.3%，在測試開發(fā)集上的表現(xiàn)優(yōu)于 DETR 3.0%。此外，我們還對端到端表達(dá)式、模型伸縮、雙路徑架構(gòu)和損失函數(shù)進(jìn)行了廣泛的消融研究和分析。此外，MaX-DeepLab 也不像 DETR 一樣需要超長訓(xùn)練計劃。

MaX-DeepLab 正確地分割了一只坐在椅子上的狗。Axial-DeepLab依賴于回歸對象中心偏移量的代理任務(wù)。它之所以失敗，是因為狗和椅子的中心太過于接近。作為代理任務(wù)，DetectoRS 會將對象的邊界框而非遮罩進(jìn)行分類。由于椅子的邊界框置信度較低，所以就被濾除了。

關(guān)于 MaX-DeepLab 和先進(jìn)的無邊界框及有邊界框方法的案例研究

還有一個例子可以證明 MaX-DeepLab 可以在充滿挑戰(zhàn)的條件下正確分割圖像。

MaX-DeepLab 正確分割了相互重疊的斑馬。此例對于其他方法也非常具有挑戰(zhàn)性，因為這兩只斑馬的邊界框很相似，對象的中心也很接近

結(jié)論

我們首次證明了全景分割可以進(jìn)行端到端訓(xùn)練。MaX-DeepLab 使用遮罩 Transformer 直接預(yù)測遮罩和類，消除了手工設(shè)計對于經(jīng)驗的依賴，如對象邊界框、thing-stuff（thing 類物體和 stuff 類物體）合并等。借助 PQ 式損失函數(shù)和雙路徑 Transformer，MaX-DeepLab 在極具挑戰(zhàn)性的 COCO 數(shù)據(jù)集上取得了最高水準(zhǔn)的結(jié)果，消除了有邊界框方法和無邊界框方法之間的差距。

原文標(biāo)題：MaX-DeepLab：用于端到端全景分割的雙路徑 Transformer

文章出處：【微信公眾號：TensorFlow】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq