Short-length SSVEP data extension by a novel generative adversarial networks based framework

https://arxiv.org/pdf/2301.05599 ?發(fā)表日期：2023年6月19日

1.標(biāo)題：Short-length SSVEP data extension by a novel generative adversarial networks based framework（使用中文翻譯：基于新型生成對抗網(wǎng)絡(luò)的短時SSVEP數(shù)據(jù)擴展）

2.作者：Yudong Pan, Ning Li, Yangsong Zhang, Peng Xu, Dezhong Yao

3.所屬單位：中國西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院，腦科學(xué)與醫(yī)學(xué)人工智能實驗室

4.關(guān)鍵字：brain-computer interface (BCI), steady-state visual evoked potential (SSVEP), electroencephalography (EEG), generative adversarial network (GAN)

5.網(wǎng)址：[論文鏈接](https://arxiv.org/pdf/2301.05599)

?

6.總結(jié)：

- (1):本文的研究背景是基于腦-計算機接口（BCI）的穩(wěn)態(tài)視覺誘發(fā)電位（SSVEP）的高性能識別方法。

- (2):過去的方法包括訓(xùn)練依賴方法和基于用戶的方法，他們在需要大量用戶校準(zhǔn)數(shù)據(jù)和短時間信號時表現(xiàn)不佳。本文提出的方法旨在通過基于生成對抗網(wǎng)絡(luò)的數(shù)據(jù)生成來解決這些問題。

- (3):本文提出了一種基于生成對抗網(wǎng)絡(luò)的信號轉(zhuǎn)換網(wǎng)絡(luò)，稱為TEGAN，用于將短時SSVEP信號轉(zhuǎn)換為長時人工SSVEP信號。通過引入一種新型U-Net生成器架構(gòu)和輔助分類器作為網(wǎng)絡(luò)架構(gòu)的一部分，TEGAN能夠在合成數(shù)據(jù)中產(chǎn)生條件特征。此外，本文還介紹了兩階段訓(xùn)練策略和LeCam散度正則化項，以規(guī)范GAN訓(xùn)練過程。

- (4):通過在兩個公共SSVEP數(shù)據(jù)集上的實驗評估，TEGAN的引入顯著提高了傳統(tǒng)頻率識別方法和基于深度學(xué)習(xí)的方法在有限校準(zhǔn)數(shù)據(jù)下的性能，并縮小了各種頻率識別方法的分類性能差距。該研究證實了所提出方法在擴展短時SSVEP信號數(shù)據(jù)長度方面的可行性，為開發(fā)高性能BCI系統(tǒng)提供了潛在的機會。該方法在各種真實世界的基于BCI的應(yīng)用中有縮短校準(zhǔn)時間和減少預(yù)算的巨大潛力。

7. 方法：

- (1): 提出了一種基于生成對抗網(wǎng)絡(luò)（GAN）的信號轉(zhuǎn)換網(wǎng)絡(luò)，名為TEGAN。TEGAN的目標(biāo)是將短時SSVEP信號轉(zhuǎn)換為長時人工SSVEP信號。

- (2): TEGAN采用了一種新型U-Net生成器架構(gòu)和輔助分類器，用于合成數(shù)據(jù)并保留條件特征。生成器通過學(xué)習(xí)真實數(shù)據(jù)的分布來生成逼真的長時信號。

- (3): 引入了兩階段訓(xùn)練策略和LeCam散度正則化項，以規(guī)范GAN的訓(xùn)練過程，提高生成器的性能和數(shù)據(jù)的質(zhì)量。

- (4): 在實驗中使用了兩個公共SSVEP數(shù)據(jù)集，評估了TEGAN的性能。對比了傳統(tǒng)的頻率識別方法和基于深度學(xué)習(xí)的方法，以及經(jīng)過TEGAN轉(zhuǎn)換的數(shù)據(jù)（分為增強（AUG）和原始（ORG）兩種情況）的分類性能。

8. 結(jié)論：

- (1): 本研究提出的基于生成對抗網(wǎng)絡(luò)（GAN）的框架在擴展短時SSVEP數(shù)據(jù)方面具有重要意義。這種方法可以通過生成模型來增加數(shù)據(jù)長度，從而提高穩(wěn)態(tài)視覺誘發(fā)電位（SSVEP）的識別性能。

- (2): 創(chuàng)新點：本文的創(chuàng)新點主要體現(xiàn)在引入了基于GAN的數(shù)據(jù)轉(zhuǎn)換網(wǎng)絡(luò)TEGAN，該網(wǎng)絡(luò)采用了新型U-Net生成器架構(gòu)和輔助分類器。與傳統(tǒng)方法不同的是，本方法通過數(shù)據(jù)生成和轉(zhuǎn)換來擴展SSVEP數(shù)據(jù)長度，具有提高性能的潛力。

性能表現(xiàn)：實驗結(jié)果表明，使用TEGAN轉(zhuǎn)換后的數(shù)據(jù)（包括增強（AUG）和原始（ORG）兩種情況）在兩個公共SSVEP數(shù)據(jù)集上具有顯著的識別準(zhǔn)確率提升。與傳統(tǒng)頻率識別方法和基于深度學(xué)習(xí)的方法相比，該方法在有限的個體特定數(shù)據(jù)下能夠獲得更好的分類性能。

工作量：本文提出的方法不需要大量的用戶校準(zhǔn)數(shù)據(jù)，能夠顯著縮短校準(zhǔn)時間，減少工作量。同時，通過引入兩階段訓(xùn)練策略和LeCam散度正則化項，能夠規(guī)范GAN的訓(xùn)練過程，提高生成器的性能和數(shù)據(jù)的質(zhì)量。

?

UMM: Unsupervised Mean-difference Maximization

https://arxiv.org/pdf/2306.11830 ?發(fā)表日期：2023年6月20日

1.標(biāo)題：UMM：無監(jiān)督均值差異最大化

2.作者：Jan Sosulski，Michael Tangermann

3.所屬單位：Department of Computer Science, University of Freiburg，F(xiàn)reiburg, Germany

4.關(guān)鍵字：brain-computer interface, event-related potentials, unsupervised approach, mean-difference maximization

5.網(wǎng)址：https://arxiv.org/pdf/2306.11830

6.總結(jié)：

- (1): 本文的研究背景是探索無監(jiān)督方法識別腦機接口中的事件相關(guān)腦電位，特別是在視覺刺激下。

- (2): 過去的方法通常需要有監(jiān)督的校準(zhǔn)階段，在校準(zhǔn)階段需要明確指導(dǎo)被試應(yīng)該注意的刺激，這些方法的問題是需要額外的準(zhǔn)備步驟和時間，并且對實驗范式有要求。本文的動機是開發(fā)一種無監(jiān)督的方法，不需要改變實驗范式即可應(yīng)用于幾乎任何基于事件相關(guān)腦電位的實驗。

- (3): 本文提出的方法是在每個試次中，對于每個可用的字母，假設(shè)它是被關(guān)注的字母，并基于每個假設(shè)計算腦電位。通過利用只有真實假設(shè)導(dǎo)致類別均值之間差異最大的事實，我們可以檢測出被關(guān)注的字母。為了處理噪聲較大的腦電圖數(shù)據(jù)，我們使用塊式Toeplitz正則化協(xié)方差矩陣來建模背景活動。

- (4): 本文的方法在回放事件相關(guān)腦機接口視覺拼寫數(shù)據(jù)集中實現(xiàn)了良好的性能。在一個使用每個試次16個閃爍符號的數(shù)據(jù)集中，UMM在25名參與者中正確分類了3651個字母（99.92%）。在另一個包含較少短試次的數(shù)據(jù)集中，UMM在54名參與者的兩個會話中正確分類了7344個字母（99.47%）。即使在從肌萎縮性側(cè)索硬化癥患者獲得的更具挑戰(zhàn)性的數(shù)據(jù)集（77.86%）或使用聽覺事件相關(guān)腦電位（82.52%）時，UMM的分類率也具有競爭力。此外，該方法還提供穩(wěn)定的置信度量，可以用于監(jiān)測UMM的收斂性。

?

7. 方法：

- (1): 使用無監(jiān)督的方法識別腦機接口中的事件相關(guān)腦電位。

- (2): 在每個試次中，對于每個可用的字母，假設(shè)它是被關(guān)注的字母，并基于每個假設(shè)計算腦電位。

- (3): 通過利用只有真實假設(shè)導(dǎo)致類別均值之間差異最大的事實，可以檢測出被關(guān)注的字母。

- (4): 使用塊式Toeplitz正則化協(xié)方差矩陣來建模背景活動，以處理噪聲較大的腦電圖數(shù)據(jù)。

- (5): 對于每個可能的字母假設(shè)，計算假設(shè)類別均值之間的距離，并使用協(xié)方差矩陣進(jìn)行標(biāo)準(zhǔn)化。

- (6): 根據(jù)距離計算的結(jié)果，確定被關(guān)注的字母。

- (7): 使用基于先前試次數(shù)據(jù)的加權(quán)平均法來改進(jìn)目標(biāo)和非目標(biāo)類均值的估計。

- (8): 使用計算距離的結(jié)果確定UMM的準(zhǔn)確性，并計算置信度。

- (9): 在實驗范式中應(yīng)用UMM方法，以實現(xiàn)對事件相關(guān)腦電位的準(zhǔn)確分類和識別。

8. 結(jié)論：

- (1): 本文提出的無監(jiān)督均值差異最大化（UMM）方法在事件相關(guān)腦機接口（BCI）系統(tǒng)中具有重要意義，它不需要標(biāo)記，也不需要校準(zhǔn)階段，可以實現(xiàn)準(zhǔn)確的分類和識別，同時克服了過去方法的一些限制。

- (2): 創(chuàng)新點：UMM方法通過在每個試次中對于每個可用字母假設(shè)并計算腦電位，利用真實假設(shè)導(dǎo)致的類別均值差異最大的事實，實現(xiàn)了無監(jiān)督的識別。相比于過去的方法，UMM不需要額外的準(zhǔn)備步驟和時間，適用于幾乎任何事件相關(guān)腦電位實驗。

性能表現(xiàn)：UMM方法在多個視覺拼寫數(shù)據(jù)集中實現(xiàn)了良好的分類準(zhǔn)確性，分別為99.92%、99.47%。盡管在一些更具挑戰(zhàn)性的數(shù)據(jù)集中存在一些缺陷，如患者數(shù)據(jù)集（77.86%）和聽覺數(shù)據(jù)集（82.52%），但可以通過自帶的置信度量檢測到，并提供了穩(wěn)定的評估。

工作量：UMM方法對于BCI從業(yè)者來說非常有價值，它可以應(yīng)用于任何可用的BCI實驗范式中，消除了標(biāo)定的需要，使被試能夠即刻實現(xiàn)拼寫。因此，將UMM方法納入BCI系統(tǒng)中可以節(jié)省工作量和時間。

?

Visual Flow-based Programming Plugin for Brain Computer Interface in Computer-Aided Design

https://arxiv.org/pdf/2307.11023 ? 發(fā)表日期：2023年7月20日

1. 標(biāo)題：Visual Flow-based Programming Plugin for Brain Computer Interface in Computer-Aided Design（計算機輔助設(shè)計中基于視覺流編程的腦機接口插件）

2. 作者：Tong Bill Xu, Saleh Kalantari

3. 所屬單位：Cornell University

4. 關(guān)鍵詞：Brain-Computer Interface; Computer-Aided Design; Visual Programming;

Computational Design; EEG（腦機接口；計算機輔助設(shè)計；視覺編程；計算設(shè)計；腦電圖）

5. 網(wǎng)址：https://arxiv.org/pdf/2307.11023，Github: None

?

6. 總結(jié)：

- (1)：本文研究背景是腦機接口在計算機輔助設(shè)計領(lǐng)域的應(yīng)用潛力受到限制，缺乏關(guān)注和研究。

- (2)：過去的方法主要是將腦機接口用于控制輪椅和神經(jīng)假肢等輔助用途，或者用于生成文字或指令。但是這些方法在計算機輔助設(shè)計領(lǐng)域存在問題，如速度慢、不夠準(zhǔn)確等。本文的方法是為設(shè)計師提供一個新的腦機接口工具，可幫助他們訪問神經(jīng)數(shù)據(jù)、創(chuàng)建腦機交互原型并評估設(shè)計。

- (3)：本文提出的研究方法是開發(fā)了一款名為Neuron的腦機接口工具，通過該工具設(shè)計師可以獲取神經(jīng)數(shù)據(jù)，創(chuàng)建腦機交互原型，并基于神經(jīng)信息評估設(shè)計。

- (4)：本文的方法實現(xiàn)了設(shè)計師獲取神經(jīng)數(shù)據(jù)、創(chuàng)建腦機交互原型和評估設(shè)計的任務(wù)，并通過兩個案例研究展示了該工具的能力。工具的性能評估較為簡要，但對于擴展設(shè)計創(chuàng)意和為設(shè)計研究提供神經(jīng)數(shù)據(jù)的功能具有價值。

7. 結(jié)論：

- (1)：本篇文章的意義在于提出了一種基于視覺流編程的腦機接口插件，為計算機輔助設(shè)計領(lǐng)域的設(shè)計師提供了一種新的工具，幫助他們訪問神經(jīng)數(shù)據(jù)、創(chuàng)建腦機交互原型并評估設(shè)計。

- (2)：創(chuàng)新點：本文的創(chuàng)新點在于開發(fā)了一款名為Neuron的腦機接口工具，通過該工具設(shè)計師可以獲取神經(jīng)數(shù)據(jù)，創(chuàng)建腦機交互原型，并基于神經(jīng)信息評估設(shè)計。

性能表現(xiàn)：文中的案例研究展示了該工具在設(shè)計師獲取神經(jīng)數(shù)據(jù)、創(chuàng)建腦機交互原型和評估設(shè)計任務(wù)方面的能力。

工作量：文中未詳細(xì)描述工具的開發(fā)過程和實施的具體工作量。

?

?

?

參考文獻(xiàn)：
[1]Pan, Yudong et al. “Short-length SSVEP data extension by a novel generative adversarial networks based framework.” (2023).

[2]Sosulski, Jan and Michael Tangermann. “UMM: Unsupervised Mean-difference Maximization.”?ArXiv?abs/2306.11830 (2023): n. pag.

[3]Xu, Tong Bill and Saleh Kalantari. “Visual Flow-based Programming Plugin for Brain Computer Interface in Computer-Aided Design.” (2023).

?

?

創(chuàng)作聲明：包含 AI 輔助創(chuàng)作

?

?