近日，IEEE/CVF計算機(jī)視覺與模式識別會議（CVPR 2026）公布了第十屆開放環(huán)境下情感行為分析國際挑戰(zhàn)賽（The 10th Workshop and Competition on Affective Behavior Analysis in-the-Wild，簡稱10th ABAW）最終成績。云知聲與中國科學(xué)技術(shù)大學(xué)於俊副教授團(tuán)隊聯(lián)合攻關(guān)，從全球眾多參賽隊伍中脫穎而出，在情緒模仿強(qiáng)度估計賽道（Emotional Mimicry Intensity Estimation，EMI）和動作單元檢測賽道（Action Unit Detection，AU）中斬獲冠軍，在表情識別賽道（Expression Recognition，EXPR）中榮獲季軍，實現(xiàn)兩冠一季的優(yōu)異成績。依托競賽中的技術(shù)創(chuàng)新成果，聯(lián)合團(tuán)隊進(jìn)一步完成三篇CVPR 2026 Workshop論文并公開發(fā)表，充分展現(xiàn)了團(tuán)隊在開放環(huán)境情感行為分析與多模態(tài)理解領(lǐng)域的領(lǐng)先研究實力。

CVPR會議由IEEE與CVF聯(lián)合主辦，是計算機(jī)視覺領(lǐng)域最具影響力的國際頂級學(xué)術(shù)會議之一，與ICCV、ECCV并稱計算機(jī)視覺三大頂級會議。ABAW賽事作為CVPR長期舉辦的重要Workshop與國際競賽，專注于開放環(huán)境（in-the-wild）下的人類情感行為分析研究，已成為全球情感計算領(lǐng)域最具影響力的賽事之一。

經(jīng)過來自全球高校、研究機(jī)構(gòu)及工業(yè)界團(tuán)隊的激烈競爭，云知聲-中國科大聯(lián)合團(tuán)隊?wèi){借扎實的算法創(chuàng)新和工程實踐能力，在多個賽道中取得優(yōu)異成績。

人類情感行為分析旨在融合視覺、語音、文本等多種模態(tài)信息，自動理解和分析人類情緒狀態(tài)、行為模式及社會互動過程，是人工智能邁向自然人機(jī)交互的重要研究方向。隨著多模態(tài)大模型和生成式人工智能的發(fā)展，情感行為分析在智能助手、數(shù)字人、心理健康評估、智慧教育等領(lǐng)域展現(xiàn)出廣闊應(yīng)用前景。

本次ABAW10競賽涵蓋了表情識別（EXPR）、動作單元檢測（AU）、情緒模仿強(qiáng)度估計（EMI）、暴力檢測（VD）、模糊猶豫識別（AH）等多個具有挑戰(zhàn)性的任務(wù)。云知聲-中國科大聯(lián)合團(tuán)隊圍繞多模態(tài)融合、長時序建模及缺失模態(tài)魯棒學(xué)習(xí)等關(guān)鍵問題展開深入研究，并取得了一系列創(chuàng)新成果。

一、EMI賽道：文本錨定的魯棒多模態(tài)情緒模仿強(qiáng)度估計

論文地址：

https://openaccess.thecvf.com/content/CVPR2026W/ABAW/papers/Zhu_Anchoring_Emotions_in_Text_Robust_Multimodal_Fusion_for_Mimicry_Intensity_CVPRW_2026_paper.pdf

針對情緒模仿強(qiáng)度估計（EMI）任務(wù)中視覺與語音信號容易受到噪聲干擾、模態(tài)缺失頻繁發(fā)生的問題，研究團(tuán)隊提出了TAEMI（Text-Anchored Emotional Mimicry Intensity Estimation）框架。

該方法創(chuàng)新性地將文本信息作為穩(wěn)定的語義錨點，引入Text-Anchored Dual Cross-Attention機(jī)制，以文本語義主動引導(dǎo)視覺與語音模態(tài)的對齊與融合。同時，通過Missing-Modality Token與Modality Dropout策略增強(qiáng)模型對于缺失模態(tài)場景的魯棒性，使模型能夠在復(fù)雜真實環(huán)境下穩(wěn)定預(yù)測連續(xù)情緒強(qiáng)度變化。

實驗結(jié)果表明，該方法在Hume-Vidmimic2數(shù)據(jù)集上顯著優(yōu)于官方基線方法，有效提升了情緒模仿強(qiáng)度估計的準(zhǔn)確性與穩(wěn)定性。

二、AU賽道：層次粒度對齊與狀態(tài)空間建模的多模態(tài)動作單元檢測

論文地址：

https://openaccess.thecvf.com/content/CVPR2026W/ABAW/papers/Yu_Hierarchical_Granularity_Alignment_and_State_Space_Modeling_for_Robust_Multimodal_CVPRW_2026_paper.pdf

針對開放環(huán)境下動作單元（Action Unit, AU）檢測中存在的人臉姿態(tài)變化大、時序依賴長以及音視頻關(guān)聯(lián)復(fù)雜等問題，研究團(tuán)隊提出了一種基于層次粒度對齊（Hierarchical Granularity Alignment）與狀態(tài)空間模型（State Space Model）的多模態(tài)框架。

該方法利用DINOv2與WavLM兩類基礎(chǔ)模型提取高質(zhì)量視覺和語音特征，通過層次粒度對齊模塊實現(xiàn)局部肌肉運動與全局面部語義之間的精細(xì)關(guān)聯(lián)。同時，引入Vision-Mamba結(jié)構(gòu)實現(xiàn)線性復(fù)雜度的超長時序建模，并設(shè)計Audio-Guided State Space機(jī)制利用語音線索動態(tài)調(diào)節(jié)視覺狀態(tài)更新過程。

該方法在Aff-Wild2數(shù)據(jù)集上取得領(lǐng)先性能，驗證了其在真實場景情感行為分析中的應(yīng)用價值。

三、EXPR賽道：面向缺失模態(tài)與類別不均衡的雙分支Transformer表情識別框架

論文地址：

https://openaccess.thecvf.com/content/CVPR2026W/ABAW/papers/Yu_A_Dual-Branch_Transformer_for_Affective_Computing_Tackling_Missing_Modalities_and_CVPRW_2026_paper.pdf

針對真實場景表情識別任務(wù)中頻繁出現(xiàn)的視覺遮擋、模態(tài)缺失以及類別長尾分布問題，研究團(tuán)隊提出了一種雙分支Transformer多模態(tài)表情識別框架。

該方法通過Dual-Branch Transformer分別建模視覺與語音特征，并利用Cross-Attention實現(xiàn)跨模態(tài)信息交互。同時設(shè)計Safe Attention機(jī)制解決缺失視覺輸入時的數(shù)值穩(wěn)定性問題，使模型能夠自動退化為語音驅(qū)動決策模式。此外，采用Focal Loss緩解類別不平衡問題，并結(jié)合滑動窗口軟投票策略實現(xiàn)長視頻中的穩(wěn)定情緒預(yù)測。實驗結(jié)果表明，該方法能夠有效提升復(fù)雜環(huán)境下表情識別系統(tǒng)的魯棒性。

近年來，云知聲與中國科大持續(xù)圍繞多模態(tài)人工智能、情感計算以及大模型技術(shù)開展深入合作，推動相關(guān)技術(shù)在智慧醫(yī)療、智能客服、人機(jī)交互等領(lǐng)域的落地應(yīng)用。本次10th ABAW競賽成果充分體現(xiàn)了聯(lián)合團(tuán)隊在開放環(huán)境情感行為分析領(lǐng)域的技術(shù)積累與創(chuàng)新能力。

展望未來，云知聲-中國科大聯(lián)合團(tuán)隊將繼續(xù)深耕情感計算、多模態(tài)學(xué)習(xí)與人工智能基礎(chǔ)研究，不斷突破復(fù)雜真實場景下的人機(jī)情感理解能力，為構(gòu)建更加自然、可信、富有情感智能的人機(jī)交互系統(tǒng)貢獻(xiàn)力量。