在數(shù)字人技術(shù)蓬勃發(fā)展的今天，生成效率仍是行業(yè)面臨的核心挑戰(zhàn)。商湯科技憑借在生成式AI 與多模態(tài)交互領(lǐng)域的深厚積累，推出了實時語音驅(qū)動數(shù)字人技術(shù)——SekoTalk。

通過多方面的創(chuàng)新技術(shù)，SekoTalk顯著提升了數(shù)字人視頻的生成效率，在8卡服務(wù)器上可以達(dá)到25 fps的生成速度，首幀延遲低至3.5s，在業(yè)內(nèi)率先實現(xiàn)了實時生成。同時，SekoTalk還能支持多人、多語言的口型精準(zhǔn)匹配，和超長時的穩(wěn)定生成。這一技術(shù)突破了數(shù)字人發(fā)展的性能瓶頸，為數(shù)字人的大規(guī)模、實時應(yīng)用打開更多可能。

SekoTalk今年8月上線，應(yīng)用在商湯Seko、如影數(shù)字人等產(chǎn)品中，已助力用戶創(chuàng)作出數(shù)十萬部作品，并誕生了全網(wǎng)播放量超2000萬播放的爆款作品。

算法系統(tǒng)協(xié)同：

實現(xiàn)極致性價比突破

生成效率是數(shù)字人走向?qū)嵱没年P(guān)鍵，而實時性又是生成效率的北極星。SekoTalk通過模型蒸餾，模型結(jié)構(gòu)優(yōu)化，以及模型與系統(tǒng)的協(xié)同設(shè)計，在保證生成質(zhì)量的前提下，實現(xiàn)推理效率的跨越式提升。

與其它方案相比，SekoTalk展現(xiàn)出卓越的性價比優(yōu)勢：開源模型生成一段5s視頻通常超過十分鐘，商用閉源模型生成5s的視頻通常也需1至10分鐘不等。相比之下，SekoTalk在8卡服務(wù)器上可以達(dá)到25 fps的生成速度，即便將SekoTalk與多模態(tài)模型相結(jié)合，整體系統(tǒng)的首幀延遲也可低至3.5s。

Phased DMD分布匹配蒸餾技術(shù)，無限逼近base模型效果：

以往的擴(kuò)散模型蒸餾經(jīng)驗發(fā)現(xiàn)，擴(kuò)散模型低步數(shù)生成的質(zhì)量受到等效模型容量的制約。而主流的SOTA視頻生成模型已經(jīng)證明混合專家(MoE)技術(shù)在擴(kuò)散模型領(lǐng)域的巨大潛力：不增加推理開銷的同時，增大等效模型容量，進(jìn)而導(dǎo)致更強(qiáng)的性能表現(xiàn)。

然而，MoE技術(shù)在擴(kuò)散模型蒸餾中的應(yīng)用尚未得到探索。商湯科技團(tuán)隊發(fā)現(xiàn)，簡單地將分布匹配蒸餾(DMD)應(yīng)用到MoE模型中，會導(dǎo)致生成視頻的運(yùn)動效果和指令遵循能力下降。

為了解決這一問題，研究團(tuán)隊提出了Phased DMD技術(shù)，把去噪過程建模為多階段的MoE模型。Phased DMD不僅原生支持MoE模型，而且對于非MoE的教師模型，該技術(shù)也可以將之蒸餾為MoE學(xué)生模型。

這一技術(shù)顯著提升了蒸餾模型生成的動態(tài)效果和多樣性，使SekoTalk推理開銷在降低25倍的情況下，仍保持教師模型良好的肢體運(yùn)動效果和情緒表現(xiàn)力。除了應(yīng)用于SekoTalk，Phased DMD也對開源社區(qū)常用的基模型進(jìn)行了蒸餾并貢獻(xiàn)回開源社區(qū)，相關(guān)優(yōu)勢也得到開源社區(qū)的認(rèn)可，進(jìn)一步證明了Phased DMD的通用性和有效性。

LightX2V與模型協(xié)同設(shè)計，支持低資源部署：

LightX2V是商湯開源的行業(yè)首個能夠達(dá)到實時視頻生成的推理框架。在模型和系統(tǒng)設(shè)計之初，就讓它們?nèi)谌氲捅忍亓炕兄?xùn)練、稀疏注意力等原生優(yōu)化，配合自研“SPARSE+NVFP4+低比特通信”高效注意力算子，模型訓(xùn)練完成后可直接低資源部署。

從測試數(shù)據(jù)來看，在不同GPU硬件環(huán)境下，LightX2V均能實現(xiàn)SekoTalk 的高效推理，為不同場景的落地提供靈活支撐。

聲形同步：

多語言+多人場景口型精準(zhǔn)匹配

傳統(tǒng)數(shù)字人技術(shù)在處理多語言、多人交互的復(fù)雜場景時，常出現(xiàn)口型與語音匹配不準(zhǔn)的問題。SekoTalk通過一系列創(chuàng)新設(shè)計，實現(xiàn)了從單人口形到多人互動的高度精準(zhǔn)的聲形同步。

多語言高效同步：在2D數(shù)字人生成領(lǐng)域，一些工作沿用了早期的wav2vec2系列的預(yù)訓(xùn)練語音編碼器來驅(qū)動角色。商湯團(tuán)隊根據(jù)在3D數(shù)字人語音驅(qū)動(UniTalker)中積累的算法經(jīng)驗，發(fā)現(xiàn)語音編碼器的選擇對于數(shù)字人驅(qū)動效果有極大影響。

為此，研究團(tuán)隊探究了包含wav2vec2,hubert,wavlm,whisper等多種語音編碼器在2D數(shù)字人驅(qū)動中的性能表現(xiàn)，發(fā)現(xiàn)如果沿用wav2vec2系列的語音編碼器，即使是多語言預(yù)訓(xùn)練的wav2vec2-large-xlsr-53，在英語口型驅(qū)動和多語言泛化性上的定量指標(biāo)中也落后其他編碼器。

通過細(xì)致的消融實驗，SekoTalk使用了探究中表現(xiàn)最好的音頻編碼器，通過規(guī)模化的訓(xùn)練，SekoTalk在中英文、多種小語種、日常講話、說唱等場景中上均取得了準(zhǔn)確的驅(qū)動效果。

音視頻幀率解耦，杜絕細(xì)節(jié)丟失：主流視頻生成模型采用了“1+4N”時序壓縮機(jī)制，為實現(xiàn)與與視頻幀的嚴(yán)格同步，SekoTalk對音頻處理分支進(jìn)行了精細(xì)優(yōu)化。它創(chuàng)新地將視頻幀率(16-25fps）與語音特征幀率(50fps）解耦，避免了傳統(tǒng)下采樣放到帶來的口型細(xì)節(jié)丟失，使得音頻可以和任意幀率的視頻在時序上對齊，保證音頻與畫面的高質(zhì)量同步。

可支持中文/法語/日語/葡萄牙語/韓語等多語種語音驅(qū)動

多人場景高度可控：借助良好的模型泛化能力和創(chuàng)新的掩碼注意力機(jī)制(Attention Mask)，SekoTalk可在多人對話場景中，獨(dú)立、精準(zhǔn)地控制每個角色的口型與動作，輸出自然流暢的群組互動效果，拓展了技術(shù)的適用場景和應(yīng)用潛力。

高效能、低成本的語音模塊：類似文生視頻中常常借助文本條件的Classifier-Free Guidance(CFG)來提升視頻生成質(zhì)量，在數(shù)字人生成領(lǐng)域中，以往工作也借助這一做法，使用語音條件的CFG來提升口型驅(qū)動的準(zhǔn)確性，然而這相比于單獨(dú)文本條件生成視頻又多出了50%的計算開銷。另一方面，類似于文本條件的CFG通常伴隨著生成畫面過飽和的問題，語音條件的CFG在提升口型驅(qū)動準(zhǔn)確性的同時，通常也帶來夸張不自然的人臉畫面。商湯團(tuán)隊認(rèn)為，通過更好的語音注入模塊的設(shè)計，可以更本質(zhì)地解決這一問題。結(jié)合DiT的設(shè)計經(jīng)驗，研究團(tuán)隊在語音模塊中也引入了Adaptive Layer Normalization(AdaLN)，并且使用可學(xué)習(xí)參數(shù)的注入方式代替了Linear Projection，在保持表現(xiàn)力的前提下降低了計算開銷。經(jīng)過這些改進(jìn)，SekoTalk模型無需借助語音條件的CFG，就可以達(dá)到準(zhǔn)確的嘴形驅(qū)動。這一改進(jìn)不僅降低了計算開銷，同時也避免了語音條件的CFG帶來的口型準(zhǔn)確性和臉部畫面自然性之間的取舍。

超長時穩(wěn)定生成：

告別畫面漂移與人物偏移

在生成長視頻時，畫面色彩漂移和人物ID不一致，一直是行業(yè)的重要挑戰(zhàn)。SekoTalk提出混合參考圖注入等方案，有效平衡動作多樣性與畫面穩(wěn)定性。

混合參考圖注入策略，兼顧“段內(nèi)穩(wěn)定”與“段外泛化”：通過在訓(xùn)練階段隨機(jī)選擇片段內(nèi)、外的參考圖，并輔助標(biāo)志位指示參考圖來源，使模型同時掌握了“段內(nèi)穩(wěn)定”與“段外泛化”兩種能力。在推理時靈活切換，有效兼顧了動作多樣性與畫面穩(wěn)定性。

高低語義特征聯(lián)合注入，加快模型收斂速度：采用“高語義特征+低語義特征”的雙通道注入機(jī)制，利用不同層級的語義信息引導(dǎo)模型，這不僅加強(qiáng)了人物ID的一致性，還加速了模型的收斂。

分離式Patchify編碼，高保真條件注入：將加噪視頻、參考圖、前序幀等不同類型的特征交給獨(dú)立的Patchify分支處理，使模型注意力更容易區(qū)分并理解多源信息。這不僅增強(qiáng)了長視頻生成中的人物一致性，還提升了續(xù)寫的連續(xù)性與穩(wěn)定性。

隱空間續(xù)寫優(yōu)化效率，保障流暢續(xù)寫：在效率優(yōu)化上，SekoTalk在時序維度上引入前序幀特征，通過直接取用上一生成片段末尾的隱空間特征，避免了傳統(tǒng)方案中“解碼-再編碼”的冗余流程，并結(jié)合層級化KV緩存與因果注意力機(jī)制，在確保續(xù)寫穩(wěn)定性的同時，大幅提升了長視頻生成的推理效率。

SekoTalk的技術(shù)價值已在實踐中得到驗證。其在線體驗平臺作為首個支持2人以上對口型、生成2分鐘長視頻的免費(fèi)技術(shù)體驗平臺，已生成大量作品，SekoTalk模型也集成進(jìn)入Seko、如影數(shù)字人等產(chǎn)品中使用。此外，SekoTalk實時版在情感陪伴、在線教育、專業(yè)咨詢領(lǐng)域的實時交互案例，也展現(xiàn)了其推動數(shù)字人走向更自然、智能、實時的未來潛力。