導讀】在CVPR 2022 ActivityNet： Tiny Actions Challenge賽道中，中國科學院深圳先進技術(shù)研究院多媒體中心在低分辨率視頻行為識別任務的解決方案獲得冠軍。

安防監(jiān)控是智慧城市的重要組成部分。然而，在城市監(jiān)控場景下，行人目標往往距離攝像頭遠，所占像素小，這為理解目標的行為帶來了很大挑戰(zhàn)。

為此，CVPR 2022 ActivityNet： Tiny Actions Challenge引入了TinyVIRAT低分辨率行為識別視頻數(shù)據(jù)集。該數(shù)據(jù)集從監(jiān)控攝像頭上截取視頻，沒有包含任何人為的下采樣和降質(zhì)處理，填補了真實場景下的低分辨率行為識別數(shù)據(jù)的空白。

TinyVIRAT數(shù)據(jù)集共有訓練數(shù)據(jù)16950個、驗證數(shù)據(jù)3308個、測試數(shù)據(jù)6097個，平均每個視頻數(shù)據(jù)長度在3秒左右。

這些低分辨視頻數(shù)據(jù)的分辨率從10x10像素到128x128像素不等，一共包含26種行為標簽，包含人體動作和汽車等交通工具行駛相關(guān)的類別［4］。

圖1 TinyVIRAT低分辨行為識別數(shù)據(jù)集示例

這個數(shù)據(jù)集存在兩個主要的識別難點：

目標離攝像頭的距離很遠，分辨率很低，行為細節(jié)模糊；

數(shù)據(jù)集呈現(xiàn)嚴重的類別不平衡現(xiàn)象。圖2展示了TinyVIRAT訓練集的樣本比例分布。

圖2 TinyVIRAT訓練集樣本分布比例圖

為了解決上述問題，我們采用了如圖3所示識別流程：

通過精選識別骨干網(wǎng)絡并進行數(shù)據(jù)增強和平衡來減輕數(shù)據(jù)集的過擬合；

設(shè)計了高低分雙模態(tài)行為識別框架，通過高分辨率識別網(wǎng)絡的知識指導低分辨率行為識別網(wǎng)絡的訓練；

進行模型融合和后處理應對數(shù)據(jù)集的類別不均衡現(xiàn)象。

圖3 低分辨率行為識別方案流程圖

骨干網(wǎng)絡選擇和數(shù)據(jù)增強

本方案中，我們選用魯棒高效的視頻表征模型ir-CSN-ResNet［1］和 Uniformer-Base［2］作為骨干網(wǎng)絡。這兩個網(wǎng)絡都包含時空建模的輕量化設(shè)計，在TinyVIRAT數(shù)據(jù)集上的識別結(jié)果較好，過擬合程度較低。

圖4 Uniformer/CSN 行為識別網(wǎng)絡結(jié)構(gòu)示意圖

由于本數(shù)據(jù)集是真實場景下的低分辨率數(shù)據(jù)集，直接使用這兩種網(wǎng)絡效果并不是很好，需要進行額外的參數(shù)設(shè)置。在訓練和測試的過程中，我們把每個視頻平均分成16份，在每一份隨機選擇一幀得到視頻采樣數(shù)據(jù)。

為了緩解數(shù)據(jù)集類別不平衡的現(xiàn)象，我們選出了訓練集中的長尾類別數(shù)據(jù)，把它們進行水平翻轉(zhuǎn)擴充數(shù)據(jù)量。如表1所示，這兩種額外設(shè)置提升了Baseline結(jié)果。

表1 視頻骨干網(wǎng)絡和主要訓練設(shè)定實驗結(jié)果

高低分雙模態(tài)行為識別框架

如上所述，TinyVIRAT這個低分辨率數(shù)據(jù)集常常無法清晰的顯示行為主體的動作細節(jié)。

為了降低數(shù)據(jù)的噪聲，增強部分動作細節(jié)，我們提出一種高低分雙模態(tài)模型蒸餾訓練框架，該框架以高分辨率視頻知識作為引導，提升低分辨率目標行為的識別精度。訓練框架流程圖如圖5所示：

圖5 高低分雙模態(tài)模型蒸餾訓練框架

首先，我們應用預訓練的RealBasicVSR［3］視頻超分辨率模型，將低分辨率視頻轉(zhuǎn)化成分辨率較高、動作細節(jié)較為清晰的訓練數(shù)據(jù)，如圖6所示。以這些視頻為基礎(chǔ)，我們可以訓練高分辨率視頻的特征提取網(wǎng)絡。

圖6 超分辨率數(shù)據(jù)和源數(shù)據(jù)對比圖

第二，對每一個低分辨率訓練視頻，我們把它相對應的高分辨率視頻送到高分辨率特征提取模型中，得到高分辨率分支的類別預測分數(shù)（圖5上方分支）。同時，我們也把原有的低分辨視頻送到低分辨率分支（圖5下方分支），得到相應的類別預測分數(shù)。

第三，我們使用兩種監(jiān)督信號進行模型訓練，使得高分辨率網(wǎng)絡的知識能夠指導低分辨率模型的學習。損失函數(shù)如式所示：

指的是知識蒸餾損失（例如MSE損失），p代表低分辨率分支的預測向量，k代表高分辨率分支得到的額外知識。是預測向量和真實標簽的交叉熵損失。

消融實驗結(jié)果如表2所示。表中2021 TinyAction Top1 Model指的是2021年ActivityNet Tiny Actions Challenge的最佳團隊模型［4］，它在TinyVIRAT數(shù)據(jù)集上的識別F1 Score為0.478。

表中ir-CSN表示用低分辨率數(shù)據(jù)直接訓練得到的模型，ir-CSN（SR）表示用超分辨率后的數(shù)據(jù)訓練得到模型，ir-CSN（SR+KD）指的是用高低分雙模態(tài)模型蒸餾機制訓練得到的模型。ir-CSN（SR+KD）模型取得了最佳的提交結(jié)果，在單模型上比去年的最佳方案提升了1.4%。

表2 高低分雙模態(tài)蒸餾框架消融實驗結(jié)果

后處理與模型融合

該數(shù)據(jù)集的長尾效應比較嚴重。為此，我們設(shè)計后處理與模型融合方案，進一步提升長尾類別的識別準確率。

第一，我們發(fā)現(xiàn)，訓練初期得到的模型在長尾類別的識別上比經(jīng)過充分訓練的模型效果好。因此，對于每一個網(wǎng)路結(jié)構(gòu)，我們會選用多個不同訓練階段的模型。經(jīng)過大量消融實驗和提交，我們最終選用12個模型進行融合。

第二，為了進一步提高F1-Score，我們?yōu)樗械淖R別類別設(shè)定識別閾值。樣本數(shù)目大的類別應用較大的閾值，長尾類別設(shè)定較小的閾值。

最后，我們采用類別的先驗知識輔助模型融合，進一步提升長尾類別的識別精度。例如，我們借鑒2021年DeepBlue AI冠軍團隊的后處理方法［4］，利用互斥標簽輔助判定。假設(shè)texting_phone和talking_phone兩種互斥類別的預測分數(shù)都高過設(shè)定閾值，只選擇預測分數(shù)較高的那個類。

經(jīng)過模型融合與后處理，我們最終取得0.883的F1 Score，如表3所示。在榜單上排名第1。

表3 模型融合和后處理最終結(jié)果

實驗總結(jié)與展望

本方案中，我們重點解決真實監(jiān)控場景下的低分辨率行為識別，主要的方案總結(jié)為以下三點：

選擇了魯棒高效的行為識別骨干網(wǎng)絡，對長尾數(shù)據(jù)進行平衡和增強；

提出了高低分雙模態(tài)行為識別訓練框架，用超分辨率網(wǎng)絡知識指導低分辨率行為識別；

設(shè)計面向長尾類別的模型融合和后處理方案。

關(guān)于低分辨率行為識別相關(guān)技術(shù)的應用范圍較為廣泛。在視頻輔助裁判方面，該技術(shù)對真實情況下分辨率較低的場景具有一定的數(shù)據(jù)增強和識別能力，可以輔助判斷一些離攝像機很遠的動作類別，減少因攝像機遠或者模糊導致的誤判。

在面對龐大的低分辨視頻數(shù)據(jù)庫時，該技術(shù)可以對低分辨率視頻進行分類，方便搜索引擎搜索。在智能安防領(lǐng)域，此技術(shù)可以輔助監(jiān)控遠離攝像頭的一些模糊信息，減少監(jiān)控探頭的監(jiān)控死角。

綜上所述，本文提出的低分辨率行為識別技術(shù)在現(xiàn)實生活中具有較為廣泛的應用價值。