引言：

傳統(tǒng)的天氣修復(fù)如去雨、去雪、去霧等任務(wù)，在各自的領(lǐng)域都取得了良好的性能。然而，這些工作通常聚焦于單種類型天氣，如圖：

真實世界中的惡劣天氣（雨滴，雨流，霧，雪等）往往是組合出現(xiàn)的，這對于干凈圖像的修復(fù)提出了更高的挑戰(zhàn)。針對這一問題，J. Han等人提出了Blind Image Decomposition (BID)[1]，即將不同天氣看做組合隨機，強度隨機，可疊加的圖層，通過圖像分解[2]的方式恢復(fù)所有的疊加元素 (包括干凈圖像)。實際上，BID可以理解為Deraining，Dehazing，Raindrop and Snow Removal等多種天氣恢復(fù)的組合任務(wù)。

概述：

自BID任務(wù)提出 (BIDeN, ECCV22) 以來，仍存在兩個主要問題：

現(xiàn)有方法需要大量數(shù)據(jù)的監(jiān)督，然而高質(zhì)量的圖像對在惡劣的現(xiàn)實世界場景中通常無法獲取。而合成數(shù)據(jù)集受限于手工設(shè)計的天氣退化模型，不可避免地會限制最終的修復(fù)質(zhì)量。

圖像分解致力于通過完備的監(jiān)督信號還原出包括噪聲天氣在內(nèi)的所有圖層，指向各圖層的 multi-head decoder 會限制模型的結(jié)構(gòu)設(shè)計與優(yōu)化（如上圖(e)），"decomposition" 的模式似乎也與經(jīng)典的圖像映射思維有些矛盾。

為了解決上述問題，我們結(jié)合 Masked AutoEncoder (MAE)[3]提出了一種高效且簡單的預(yù)訓(xùn)練模式：Context-aware Pretraining (CP)，
包含兩個 pretext 任務(wù)：混合圖像分離和損失圖形重建。
假設(shè)圖像的恢復(fù)過程遵循從結(jié)構(gòu)到紋理的模式 (coarse-to-fine)[4]，我們的思路很簡單，首先利用兩個 pretext 任務(wù)在預(yù)訓(xùn)練階段重建出結(jié)構(gòu)信息，隨后再 fine-tuning 階段即可快速地基于結(jié)構(gòu)進(jìn)行紋理填充。

方法:

為了驗證所提出pretext任務(wù)的有效性，我們構(gòu)建了一個基線網(wǎng)絡(luò) Context-aware Pretrained Network (CPNet), CPNet包含兩個transformer-based 的編碼器，一個信息融合模塊以及一個預(yù)測解碼器。

在預(yù)訓(xùn)練期間，我們混合兩個pretext任務(wù)，并從編碼器獲得上下文感知嵌入，然后應(yīng)用解碼器從嵌入中恢復(fù)原始的結(jié)構(gòu)信息 (RTV平滑)[5]。其中，信息融合模塊明確地利用了空間通道維度中的關(guān)聯(lián)特征，而多頭預(yù)測模塊促進(jìn)了紋理引導(dǎo)的外觀流 (appearance flow)。
盡管簡單，但自監(jiān)督的預(yù)訓(xùn)練編碼器在減少對標(biāo)注需求的同時，顯式地促進(jìn)了基于上下文的特征學(xué)習(xí)。通過 Fine-tuning 階段的高斯采樣，外觀流得以顯式地利用原圖中未遮擋區(qū)域的紋理特征。

損失函數(shù)方面，除了傳統(tǒng)的重構(gòu)和對抗損失，針對 appearance flow map，我們提出了一個新的采樣損失：

其中分子項確保外觀流經(jīng)過 (Δx, Δy)的 offset 后的紋理匹配，分母則對預(yù)訓(xùn)練的結(jié)構(gòu)修復(fù)提出進(jìn)一步的約束。

此外，BID 任務(wù)同樣可以被看作是一類圖像屬性編輯任務(wù) (image translation)[6]，其中初始屬性標(biāo)簽為隨機 one-hot 編碼（天氣組合隨機，1 表示圖像受此天氣影響），最終目標(biāo)為全 0 的 attribute label。因此我們額外引入了一項條件損失：

其中P_i(x)代表的就是圖像 x 具有第 i 種天氣特征的概率。

實驗:

1. 定量實驗：

基于我們的模型做了一些finetune，可以在下游任務(wù)上得到較好的提升，特別是針對混合天氣復(fù)雜的場景下，預(yù)訓(xùn)練帶來的好處越明顯。

相對于 multi-head decoder 的訓(xùn)練模式，同樣在多天氣混合數(shù)據(jù)集上訓(xùn)練，我們的模型在特定單一天氣的測試集上仍保持較好的穩(wěn)定性。

2. 定性實驗

訓(xùn)練后我們觀察到網(wǎng)絡(luò)可以在多種天氣混合的場景下實現(xiàn)較好的復(fù)原，如下圖。

此外我們也嘗試了可視化兩個 encoder 特征中激活值較大的區(qū)域?？梢妶D像分離和重建兩個 pretext task 任務(wù)的側(cè)重點并不相同，并且通過控制目標(biāo) attribute label，可以實現(xiàn)特定涂層的保留與去除。