A self-paced BCI system with low latency for motor imagery onset detection based on time series prediction paradigm

https://arxiv.org/pdf/2204.05450 2022-04-11

1.標題：基于時間序列預測范式的低延遲自適應腦機接口系統(tǒng)

2.作者：Navid Ayoobi和Elnaz Banan Sadeghian

3.所屬單位：Stevens Institute of Technology

4.關鍵字：自適應腦機接口、時間序列預測、低延遲、MI命令檢測

5.網(wǎng)址：https://arxiv.org/pdf/2204.05450

?

6.總結：

- (1): 本文的研究背景是開發(fā)一種低延遲的自適應腦機接口系統(tǒng)，用于檢測連續(xù)腦電信號中的運動想象命令的開始。

- (2): 過去的方法是通過在連續(xù)腦電信號上應用窗口函數(shù)并將其分割成較長的片段進行進一步分析來檢測MI命令的開始。然而，由于寬窗口函數(shù)的使用，系統(tǒng)具有較高的延遲。本文的方法基于時間序列預測概念，利用先前接收到的時間樣本的數(shù)據(jù)來預測即將到來的時間樣本。通過將傳入信號與預測信號進行比較，可以快速檢測到MI命令的開始。該方法的動機是減少系統(tǒng)的延遲，提高自適應腦機接口系統(tǒng)對用戶腦模式變化的快速反應能力。

- (3): 本文提出的研究方法是構建一個基于長短期記憶（LSTM）單元的編碼器-解碼器（ED）網(wǎng)絡進行時間序列預測。該預測網(wǎng)絡處理接收到的腦電信號，并預測即將到來的信號的未來時間樣本。當接收到對應于預測樣本的下一個時間樣本時，可以通過比較這兩個序列來檢測MI命令的開始。預測序列的長度可以控制系統(tǒng)的延遲。

- (4): 本文的方法在BCI比賽第三項的IVc數(shù)據(jù)集上進行驗證。仿真結果顯示，與比賽獲獎者得分相比，本文提出的算法在1秒以下的延遲情況下將平均F1分數(shù)提高了26.7%。本文方法的實現(xiàn)任務是檢測連續(xù)腦電信號中MI命令的開始，并提供低延遲的自適應腦機接口系統(tǒng)。實驗結果表明該方法的性能能夠支持他們的目標。

7. 方法：

(1): 本文采用了基于時間序列預測的方法進行低延遲的自適應腦機接口系統(tǒng)的研究。該方法旨在檢測連續(xù)腦電信號中的運動想象命令的開始。

(2): 過去的方法使用寬窗口函數(shù)對連續(xù)腦電信號進行分割，并對較長的片段進行進一步分析來檢測MI命令的開始。然而，這種方法具有較高的延遲。因此，本文提出使用時間序列預測概念，通過利用先前接收到的時間樣本的數(shù)據(jù)來預測即將到來的時間樣本。通過比較傳入信號與預測信號，可以快速檢測到MI命令的開始。通過減少系統(tǒng)的延遲，提高自適應腦機接口系統(tǒng)對用戶腦模式變化的快速反應能力。

(3): 本文采用了基于長短期記憶（LSTM）單元的編碼器-解碼器（ED）網(wǎng)絡進行時間序列預測。編碼器將接收到的腦電信號壓縮成固定長度的上下文向量。解碼器使用編碼器的最終細胞狀態(tài)、最終隱藏狀態(tài)和一個零向量初始化細胞狀態(tài)、隱藏狀態(tài)和解碼器的輸入。通過對先前計算的樣本的輸出生成了?o個時間樣本。將訓練數(shù)據(jù)（N, ?i, m′, q, v）和（N, ?o, m′, q, v）張量作為輸入和真實數(shù)據(jù)來訓練p=m′×q個ED。分類交叉熵被用作損失函數(shù)，預測序列與接收序列之間的相似度通過計算用于檢測MI命令開始的閾值調整。

8.結論：

(1): 本文提出的方法在自適應腦機接口系統(tǒng)領域具有重要意義。該方法利用時間序列預測概念，實現(xiàn)了對連續(xù)腦電信號中MI命令開始的快速檢測，從而大大降低了系統(tǒng)的延遲。這為實時應用中的腦機接口系統(tǒng)提供了一種新的解決方案，使其能夠更快地響應用戶的意圖。

(2): 從創(chuàng)新點、性能和工作量三個維度來總結本文的優(yōu)缺點：

創(chuàng)新點：本文的創(chuàng)新點在于采用基于時間序列預測的方法進行低延遲的MI命令檢測。通過利用先前接收到的時間樣本的數(shù)據(jù)來預測即將到來的時間樣本，系統(tǒng)可以快速檢測到命令的開始，從而減少延遲。

性能：實驗結果表明，與比賽獲獎者得分相比，本文提出的算法在1秒以下的延遲情況下將平均F1分數(shù)提高了26.7%。這顯示出了本方法在低延遲自適應腦機接口系統(tǒng)中的優(yōu)越性能。

工作量：本文的方法需要構建一個基于LSTM的編碼器-解碼器網(wǎng)絡進行時間序列預測。相對于傳統(tǒng)方法，該方法可能需要更多的計算和模型訓練時間。然而，由于該方法能夠大大降低系統(tǒng)的延遲，對用戶腦模式變化的快速反應能力更強，因此這種額外的工作量是值得的。

Frequency Superposition -- A Multi-Frequency Stimulation Method in SSVEP-based BCIs

https://arxiv.org/pdf/2104.12187 2021-08-11

1.標題：Frequency Superposition -- A Multi-Frequency Stimulation Method in SSVEP-based BCIs（頻率疊加-基于SSVEP的多頻刺激方法）

2.作者：Jing Mu, David B. Grayden, Ying Tan, and Denny Oetomo

3.所屬單位：Department of Mechanical Engineering, The University of Melbourne, Parkville, VIC 3010, Australia（墨爾本大學機械工程系，澳大利亞維多利亞州帕克維爾市3010號）

4.關鍵詞：SSVEP, BCI, frequency superposition, multi-frequency stimulation（SSVEP，BCI，頻率疊加，多頻刺激）

5.網(wǎng)址：https://arxiv.org/pdf/2104.12187（論文鏈接）

?

6.總結：

- (1): 本文研究的背景是SSVEP（steady-state visual evoked potential）是腦機接口中廣泛應用的一種模式，但存在諧波和響應頻率有限的問題，制約了進一步增加目標數(shù)量的能力。

- (2): 過去的方法主要是使用單一頻率刺激，但隨著目標數(shù)量的增加，性能會下降，并需要較小的頻率差異?，F(xiàn)有的多頻率方法雖然能夠處理更多的目標，但存在空間、時間、幅度和多模態(tài)等約束。因此，本文的方法旨在通過頻率疊加來解決現(xiàn)有方法的問題。

- (3): 本文提出的研究方法是通過在不同頻率上疊加刺激信號來實現(xiàn)多頻刺激。該方法大小適中、可進行單步目標識別、對使用的頻率范圍沒有嚴格限制，并且適用于自主式BCI。此方法不需要特定的光源，甚至可以使用單色光源。

- (4): 本文的方法在使用經(jīng)典相關分析（CCA）解碼從九名受試者收集的SSVEP數(shù)據(jù)時表現(xiàn)出了潛力。除了刺激頻率和諧波外，SSVEP產(chǎn)生的波形還包括刺激頻率的整數(shù)線性組合頻率。實驗結果展示了頻率疊加方法在SSVEP-based BCI中的潛力，能夠增加目標數(shù)量，并且性能可支持他們的目標。

7. 方法：

(1): 通過頻率疊加方法生成獨立信號，在每個目標刺激頻率上生成信號。

(2): 在刺激介質上疊加這些信號，可以使用邏輯"或"（OR）操作或加法（ADD）操作來實現(xiàn)頻率疊加。

(3): 實驗設置包括一個由紅色LED燈板構成的刺激設置和記錄六個通道（PO3, POz, PO4, O1, Oz, O2）的EEG數(shù)據(jù)。參與實驗的被試以距離LED板100厘米的姿勢進行，實驗過程中使用下巴支架來保持被試與LED板之間的穩(wěn)定距離。

(4): 進行頻率疊加刺激的實驗協(xié)議包括不同頻率對的呈現(xiàn)，每個頻率對的試驗持續(xù)40秒，開始以一個10秒的視覺提示開始，然后是30秒的刺激期，每兩個試驗之間有20秒的休息。

(5): 數(shù)據(jù)處理過程中，首先應用空間濾波器，通過從其它通道的平均值來減去通道Oz上的測量值。然后對空間濾波后的數(shù)據(jù)應用帶通濾波器，并計算快速傅里葉變換（FFT）。

(6): 使用經(jīng)典相關分析（CCA）進行解碼，CCA是用于SSVEP的解碼算法，用于比較測量的多通道EEG數(shù)據(jù)x(t)與參考集y(t)之間的相關性。參考集設計為包含基本頻率和諧波的正弦信號。在沒有關于頻率疊加后SSVEP模式的先驗知識的情況下，可以將標準的單頻刺激SSVEP的CCA方法推廣到多頻刺激上。

(7): 最后，選擇與數(shù)據(jù)相關程度最高的候選頻率作為解碼輸出。

7.結論：

(1): 這部作品的意義是通過頻率疊加方法解決了SSVEP-based BCI中單一頻率刺激和多目標數(shù)量的限制，并展示了對多頻刺激的潛力。

(2): 創(chuàng)新點：頻率疊加方法通過在不同頻率上疊加刺激信號實現(xiàn)多頻刺激的目的，解決了現(xiàn)有方法的限制。

性能表現(xiàn)：在經(jīng)典相關分析（CCA）解碼下，頻率疊加方法表現(xiàn)出了潛力，并且能夠增加目標數(shù)量。

工作量：研究人員進行了對多名受試者的實驗，收集了大量的SSVEP數(shù)據(jù)，并進行了詳細的數(shù)據(jù)處理和分析。

Towards Best Practice of Interpreting Deep Learning Models for EEG-based Brain Computer Interfaces

https://arxiv.org/pdf/2202.06948 2023-04-17

1.標題：Towards Best Practice of Interpreting Deep Learning Models for EEG-based Brain Computer Interfaces (解讀：解釋基于腦機接口的深度學習模型的最佳實踐)

2.作者：Jian Cui, Liqiang Yuan, Zhaoxiang Wang, Ruilin Li, Tianzi Jiang (解讀：崔健，袁立強，王兆祥，李瑞林，蔣天梓)

3.所屬單位：Research Center for Augmented Intelligence, Research Institute of Artificial Intelligence, Zhejiang Lab, Hangzhou, China (解讀：浙江省人工智能研究院，杭州)

4.關鍵詞：Brain-computer interface (BCI), convolutional neural network (CNN), deep learning interpretability, DeepLIFT, EEGNet, electroencephalography (EEG), integrated gradient, InterpretableCNN, layer-wise relevance propagation (LRP), saliency map (解讀：腦機接口，卷積神經(jīng)網(wǎng)絡，深度學習可解釋性，DeepLIFT，EEGNet，腦電圖，整合梯度，可解釋性CNN，分層相關傳播，顯著性圖)

5.網(wǎng)址：https://arxiv.org/pdf/2202.06948 (解讀：論文鏈接: https://arxiv.org/pdf/2202.06948)

?

6.總結：

(1): 本文研究的背景是基于腦機接口的深度學習模型在電生理（EEG）任務中取得了最先進的性能，為了理解模型所學到的內容，過去的方法主要是通過生成熱圖來解釋模型決策。然而，對于這些解釋結果的可信度和準確度的理解還不夠，因此需要填補這一研究空白。

(2): 過去的方法是生成熱圖來解釋模型決策。然而，這些方法存在一些問題，如解釋結果在個體樣本上的質量不一致，并且沒有清楚說明為什么選擇特定的解釋技術。本方法的動機是基于這些問題，對不同的深度解釋技術進行定量評估，并提出一個合適的解釋技術選擇方法。

(3): 本文提出了一種定量評估不同深度解釋技術在EEG數(shù)據(jù)集上的方法，并探索了如何利用這些技術的最佳實踐。通過評估結果，本文提出了一套程序，以可理解和可信賴的方式呈現(xiàn)樣本級的解釋結果。

(4): 本文的方法實現(xiàn)了對不同模型和數(shù)據(jù)集的EEG-based BCI的全面評價，并提供了關于七種知名解釋技術在不同條件下的行為方式的見解。根據(jù)評估結果，本文提出了一套程序，允許樣本級解釋以可理解和可信賴的方式呈現(xiàn)。本文還通過不同場景的實例說明了方法的有用性。

7.結論：

(1): 這部作品的意義是為了填補基于腦機接口的深度學習模型解釋性研究的空白，通過定量評估不同的深度解釋技術在腦電圖數(shù)據(jù)集上的表現(xiàn)，提供可理解和可信賴的樣本級解釋結果。

(2): 創(chuàng)新點：本文的創(chuàng)新點在于提出了一種定量評估方法，可用于比較不同解釋技術在EEG數(shù)據(jù)集上的性能表現(xiàn)，并給出合適的解釋技術選擇方法。同時，該研究提供了一套程序，以可理解和可信賴的方式呈現(xiàn)樣本級的解釋結果。工作量：本文的工作量較大，涉及對不同模型和數(shù)據(jù)集的全面評估，以及對七種知名解釋技術在不同條件下的行為方式進行實驗。性能表現(xiàn)：通過定量評估，本文的方法為解釋基于腦機接口的深度學習模型提供了有效的解釋技術選擇，提高了解釋結果的可信度和準確度。

參考文獻

[1]Ayoobi, Navid and Elnaz Banan Sadeghian. “A self-paced BCI system with low latency for motor imagery onset detection based on time series prediction paradigm.” (2022).

[2]Mu, Jing et al. “Frequency Superposition – A Multi-Frequency Stimulation Method in SSVEP-based BCIs.”2021 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)(2021): 5924-5927.

[3]Cui, Jian and Bin Weng. “Towards Best Practice of Interpreting Deep Learning Models for EEG-based Brain Computer Interfaces.”ArXivabs/2202.06948 (2022): n. pag.

?

創(chuàng)作聲明：包含 AI 輔助創(chuàng)作?