穩(wěn)態(tài)視覺誘發(fā)電位是一種基于視覺刺激的腦機接口范式，當用戶注視以固定頻率（如6.67Hz或8.57Hz）閃爍的視覺刺激時，大腦枕區(qū)視覺皮層會產(chǎn)生相同頻率及其諧波的周期性電活動，通過檢測這些頻率成分即可識別用戶的注視目標，從而實現(xiàn)指令輸出。SSVEP范式具有識別速度快、解碼準確率高、可擴展指令類別多等優(yōu)點，已被廣泛應用于外部設備控制和文本拼寫系統(tǒng)中。然而，該范式存在一個顯著弊端：用戶需要長時間持續(xù)注視屏幕上的閃爍刺激，這種高頻率的光學刺激容易引發(fā)視覺疲勞、注意力下降甚至頭暈等不適感，尤其當刺激頻率較低時閃爍感更為明顯，限制了其在需要長時間使用的實際應用場景中的推廣。

圖1：三種BCI模式示意圖

圖1展示了本研究所涉及的三種工作模式。左側(cè)為MI模式，受試者僅通過想象左手或右手運動產(chǎn)生腦電信號，無需外部視覺刺激。中間為SSVEP模式，受試者注視左側(cè)或右側(cè)以特定頻率（6.67Hz或8.57Hz）閃爍的刺激，誘發(fā)穩(wěn)態(tài)視覺誘發(fā)電位。右側(cè)為混合模式，受試者在注視閃爍刺激的同時，想象與刺激方向一致的手部運動，兩種任務并行執(zhí)行，系統(tǒng)同時采集MI和SSVEP信號進行聯(lián)合解碼。

HUIYING

運動想象（MI）范式概述

運動想象范式要求用戶在沒有任何實際肢體動作的情況下，想象特定肢體（如左手或右手）的運動過程，此時大腦運動皮層會被激活并產(chǎn)生與真實運動相似的神經(jīng)放電模式，這些模式可通過腦電電極在感覺運動皮層區(qū)域（如C3、C4等導聯(lián)）記錄到。MI范式的最大優(yōu)勢在于無需外部刺激，用戶僅憑意念即可控制外部設備，特別適用于運動功能障礙患者（如脊髓損傷或中風后遺癥）的康復訓練和輔助設備控制。然而，MI范式存在解碼準確率偏低和可識別指令類別較少的突出問題。論文數(shù)據(jù)顯示，傳統(tǒng)單流CNN在MI模式下的平均解碼準確率僅為70.4%，遠低于SSVEP模式的93.7%；同時，不同用戶之間的MI腦電特征差異較大，部分受試者甚至難以產(chǎn)生可辨識的運動想象模式，導致系統(tǒng)魯棒性不足。

HUIYING

混合MI-SSVEP范式概述

混合腦機接口范式是指將兩種或多種單一范式（如MI和SSVEP）進行融合，使用戶可以同時或先后執(zhí)行不同類型的腦活動任務，系統(tǒng)綜合多種信號特征進行聯(lián)合解碼，以期提高整體識別性能。研究表明，混合范式能夠顯著提升解碼準確率，并且具備良好的用戶適應性——對MI不敏感的用戶可能在SSVEP上表現(xiàn)良好，反之亦然；即使某一用戶單獨使用MI或SSVEP均無法達到理想效果，混合模式下仍可能獲得可識別的神經(jīng)模式。然而，傳統(tǒng)混合BCI方法通常需要為每種范式設計獨立的特征提取流程（如對MI使用公共空間模式CSP、對SSVEP使用典型相關(guān)分析CCA），再將提取的特征進行拼接或加權(quán)融合，這種分離處理方式不僅增加了系統(tǒng)復雜度，還降低了特征提取效率和模型的泛化能力，難以實現(xiàn)端到端的聯(lián)合優(yōu)化。

HUIYING

實驗研究

研究方法

數(shù)據(jù)集來源：采用韓國大學腦與認知工程系公開數(shù)據(jù)集，共54名受試者，包含二分類MI任務和四分類SSVEP任務。本研究僅使用訓練階段數(shù)據(jù)，選取SSVEP中代表左右方向的兩種頻率（6.67Hz和8.57Hz）進行二分類。

電極選擇與預處理：MI任務選取20個運動皮層區(qū)域電極（FC-5/3/1/2/4/6、C-5/3/1/2/4/6、CP-5/3/1/2/4/6）；SSVEP任務選取10個枕區(qū)電極（P-7/3/2/4/8、PO-9/10、O-1/2/2）。原始EEG信號經(jīng)8~30Hz帶通濾波（5階Butterworth數(shù)字濾波器），并分割為0~4000ms的片段。整個預處理流程如圖2中的A和B部分所示。

圖2：TSCNN整體框架圖

圖2分為A、B、C三個部分詳細展示了雙流卷積神經(jīng)網(wǎng)絡的工作流程。A部分為EEG記錄與預處理，原始信號經(jīng)8~30Hz帶通濾波后分割為4秒長度的片段。B部分為通道選擇，分別從運動皮層區(qū)域選取20個電極用于MI分支，從枕區(qū)選取10個電極用于SSVEP分支。C部分為分類網(wǎng)絡，MI分支和SSVEP分支各自包含空間卷積層（跨通道卷積）和時間卷積層，兩分支輸出的特征圖在融合層進行拼接，再經(jīng)全連接層和Sigmoid函數(shù)輸出左右二分類結(jié)果

模型架構(gòu)：提出雙流卷積神經(jīng)網(wǎng)絡（TSCNN），包含MI分支和SSVEP分支，每個分支先進行空間卷積（跨通道）再進行時間卷積，兩個分支的輸出特征圖在融合層拼接后送入全連接層進行分類，如圖2中的C部分所示。

訓練策略：設置兩種訓練方式——TSCNN?僅使用混合模式EEG數(shù)據(jù)（40名受試者×50次試驗=2000樣本）；TSCNN?聯(lián)合使用單模式與混合模式數(shù)據(jù)（40名受試者×100次試驗=4000樣本），其中單模式訓練時對未激活分支的輸入補零。采用10折交叉驗證，Adam優(yōu)化器，學習率0.00025，dropout率50%。

評估指標：準確率、敏感度、特異度、均方誤差。測試集為剩余14名受試者的數(shù)據(jù)。對比模型為單流CNN（SCNN）。

研究結(jié)果

解碼性能對比：如表I所示，TSCNN?在混合模式下達到最高準確率95.6%（敏感度96.4%，特異度94.8%），相比MI單模式（70.2%）提升25.4%，相比SSVEP單模式（93.0%）提升2.6%。同時，TSCNN?在MI單模式（70.2%）和SSVEP單模式（93.0%）上的表現(xiàn)與SCNN（分別為70.4%和93.7%）相當，說明聯(lián)合訓練策略在提升混合模式性能的同時保留了單模式解碼能力。

超參數(shù)影響：全連接層維度為16時MI準確率最佳（70.4%）；卷積核數(shù)量為(1,1)時整體性能最優(yōu)；dropout率對MI模式影響顯著（50%時準確率最高），而對SSVEP和混合模式影響不明顯，如圖3所示；四種激活函數(shù)（ReLU、ELU、Softplus、LeakyReLU）在三種模式下均無顯著差異，如圖4所示。

圖3：不同Dropout率對解碼準確率的影響

圖3展示了在MI模式（左）、SSVEP模式（中）和混合模式（右）下，分別使用0%、25%、50% dropout率時的解碼準確率變化。結(jié)果顯示，在MI模式中，50% dropout率顯著提高了準確率；而在SSVEP和混合模式中，不同dropout率對準確率的影響不明顯。這表明較高的dropout率主要對特征相對較弱的MI任務起到防止過擬合、提升泛化能力的作用。

圖4：不同激活函數(shù)對解碼準確率的影響

圖4比較了ReLU、ELU、Softplus、LeakyReLU四種激活函數(shù)在MI模式（左）、SSVEP模式（中）和混合模式（右）下的解碼準確率。圖4中可以看出，四種激活函數(shù)在各模式下的準確率曲線高度接近，沒有顯著差異。這說明對于本研究的TSCNN架構(gòu)和EEG解碼任務，激活函數(shù)的選擇不是影響性能的關(guān)鍵因素。

特征可視化：采用t-SNE對TSCNN?各層特征進行降維可視化（如圖5所示），結(jié)果顯示：MI分支輸入特征（圖5a）和SSVEP分支輸入特征（圖5d）中左右兩類數(shù)據(jù)點混合較為嚴重；經(jīng)過空間和時間卷積層后，兩類點的分離程度逐漸提高；在融合層的全連接層輸出（圖5g）中，左右兩類數(shù)據(jù)點呈現(xiàn)清晰的簇狀分離，證明融合特征具有最強的判別能力。

圖5：TSCNN?各層特征的t-SNE可視化

圖5對受試者20~30的數(shù)據(jù)在TSCNN?的不同網(wǎng)絡層進行二維t-SNE降維可視化，藍色和紅色分別代表左、右兩類。圖5(a)~(c)為MI分支：輸入層特征（a）中兩類混雜嚴重，空間卷積層（b）出現(xiàn)一定分離趨勢，時間卷積層（c）分離更明顯。圖5(d)~(f)為SSVEP分支：輸入層（d）已有一定區(qū)分度，空間卷積層（e）和時間卷積層（f）后兩類點呈現(xiàn)清晰的簇狀分離。圖5(g)為融合后的全連接層特征，左右兩類數(shù)據(jù)點被明顯劃分為兩個緊湊的簇，證明融合特征具有最強的判別能力。

權(quán)重解釋分析：通過統(tǒng)計全連接層中超過不同閾值的連接權(quán)重數(shù)量（如表IV和圖6所示），發(fā)現(xiàn)隨著閾值升高，TSCNN?的MI與SSVEP權(quán)重數(shù)量比值逐漸下降（從0.963降至0.667），而TSCNN?的比值則持續(xù)上升（從0.987升至1.439）。這表明聯(lián)合訓練策略顯著增強了模型對MI特征的表達能力，避免了SSVEP特征在融合中主導而掩蓋MI特征。

圖6：TSCNN?與TSCNN?中MI/SSVEP連接權(quán)重比例隨閾值變化曲線

圖6的橫軸為連接權(quán)重的閾值（從0.0025到0.0125），縱軸為MI分支連接權(quán)重數(shù)量與SSVEP分支連接權(quán)重數(shù)量的比值（ratio）。藍色曲線代表TSCNN?，紅色曲線代表TSCNN?。隨著閾值提高，TSCNN?的比值逐漸下降（從約0.96降至0.67），而TSCNN?的比值持續(xù)上升（從約0.99升至1.44）。這表明TSCNN?通過聯(lián)合訓練策略顯著增強了對MI特征的表達能力，避免了SSVEP特征在融合中占據(jù)主導地位而掩蓋MI特征。

統(tǒng)計檢驗：配對t檢驗顯示，TSCNN?在MI模式上顯著優(yōu)于TSCNN?（p=2.94×10??），而在SSVEP和混合模式上無顯著差異（p=0.048和p=0.561，以α=0.01計）；TSCNN?與SCNN在MI和SSVEP模式上均無顯著差異（p=0.598和p=0.008），證明TSCNN?是一種兼顧單模式和混合模式的高通用性模型。

HUIYING

總結(jié)

本文提出了一種基于雙流卷積神經(jīng)網(wǎng)絡（TSCNN）的混合腦機接口系統(tǒng)，融合運動想象（MI）與穩(wěn)態(tài)視覺誘發(fā)電位（SSVEP）兩種范式。該方法通過端到端的深度學習自動提取兩種范式的時空特征，避免了傳統(tǒng)方法中為不同范式分別設計特征提取器的低效問題。論文創(chuàng)新性地設計了聯(lián)合訓練策略（TSCNN?），使模型在混合模式下達到95.6%的高解碼準確率，同時保留MI模式（70.2%）和SSVEP模式（93.0%）的單模式可用性。通過t-SNE特征可視化（如圖5）和連接權(quán)重分析（如圖6）驗證了模型的可解釋性。該研究為腦機接口系統(tǒng)在實際應用中的靈活適配提供了新思路——不同殘障程度或不同神經(jīng)活動特征的用戶可根據(jù)自身條件選擇單模式或混合模式使用，且模型具備跨受試者泛化能力。未來工作可探索更短時間窗口的實時解碼、引入半監(jiān)督或無監(jiān)督學習以降低標注依賴，以及集成更先進的單模式深度學習架構(gòu)進一步提升混合解碼性能。