EEG Decoding for Datasets with Heterogenous Electrode Configurations using Transfer Learning Graph Neural Networks

https://arxiv.org/pdf/2306.13109 ?發(fā)表日期：2023.6.20

1.標(biāo)題：EEG Decoding for Datasets with Heterogeneous Electrode Configurations using Transfer Learning Graph Neural Networks（利用轉(zhuǎn)移學(xué)習(xí)圖神經(jīng)網(wǎng)絡(luò)進(jìn)行異構(gòu)電極配置數(shù)據(jù)集的EEG解碼）

2.作者：Jinpei Han, Xiaoxi Wei, A. Aldo Faisal

3.所屬單位：Brain & Behaviour Lab, Department of Computing, Imperial College London, London SW7 2AZ, United Kingdom.（倫敦帝國理工學(xué)院計(jì)算機(jī)系大腦與行為實(shí)驗(yàn)室）

4.關(guān)鍵字：Brain-Computer Interface, EEG Signal, Motor Imagery, Heterogeneous Datasets, Transfer Learning, Graph Neural Network, Domain Adaptation（腦機(jī)接口，腦電信號(hào)，運(yùn)動(dòng)想象，異構(gòu)數(shù)據(jù)集，轉(zhuǎn)移學(xué)習(xí)，圖神經(jīng)網(wǎng)絡(luò)，領(lǐng)域適應(yīng)）

5.網(wǎng)址：[pdf](https://arxiv.org/pdf/2306.13109)，Github: None

6.總結(jié)：

- (1): 本文研究背景是針對(duì)不同實(shí)驗(yàn)室和實(shí)驗(yàn)室內(nèi)不同年份收集的數(shù)據(jù)在記錄設(shè)備和電極布局上存在差異，導(dǎo)致數(shù)據(jù)分布的變化，數(shù)據(jù)維度的變化和數(shù)據(jù)維度的改變，難以將數(shù)據(jù)合并在一起。

- (2): 過去的方法沒有解決不同電極布局的數(shù)據(jù)合并問題，本文提出了一種結(jié)合圖神經(jīng)網(wǎng)絡(luò) (GNNs) 和轉(zhuǎn)移學(xué)習(xí)方法的框架，以解決非侵入性的運(yùn)動(dòng)想象 (MI) EEG解碼問題。該方法的動(dòng)機(jī)是為了從不同的數(shù)據(jù)集中學(xué)習(xí)，以克服實(shí)驗(yàn)設(shè)置的非統(tǒng)一性限制。

- (3): 本文提出了一種新的機(jī)器學(xué)習(xí)框架，將圖神經(jīng)網(wǎng)絡(luò) (GNNs) 和轉(zhuǎn)移學(xué)習(xí)方法相結(jié)合，用于不同電極布局和不同數(shù)量電極的腦電數(shù)據(jù)的解碼。作者利用了收集了不同數(shù)量腦電傳感器（從22通道到64通道）和布局（從定制布局到10-20布局）的三個(gè)運(yùn)動(dòng)想象 (MI) EEG數(shù)據(jù)庫。

- (4): 該模型在測試數(shù)據(jù)集上達(dá)到了最高的準(zhǔn)確性，并且具有較低的標(biāo)準(zhǔn)差。這表明基于圖神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)移學(xué)習(xí)框架可以有效地從具有不同電極布局的多個(gè)數(shù)據(jù)集中聚合知識(shí)，從而提高了獨(dú)立于受試者的運(yùn)動(dòng)想象 (MI) EEG分類的泛化能力。這一研究的發(fā)現(xiàn)對(duì)于腦機(jī)接口 (BCI) 研究具有重要意義，它突出了一種克服非統(tǒng)一實(shí)驗(yàn)設(shè)置限制的有希望的方法。通過實(shí)現(xiàn)不同電極布局的多樣數(shù)據(jù)集的集成，我們提出的方法可以推動(dòng)腦機(jī)接口技術(shù)的發(fā)展和應(yīng)用。

7. 方法：

- (1): 數(shù)據(jù)集準(zhǔn)備：收集了三個(gè)不同電極布局和不同數(shù)量電極的運(yùn)動(dòng)想象 (MI) EEG數(shù)據(jù)庫，包括22通道到64通道的多個(gè)電極布局。

- (2): 轉(zhuǎn)移學(xué)習(xí)圖神經(jīng)網(wǎng)絡(luò) (GNNs)：利用轉(zhuǎn)移學(xué)習(xí)方法，從不同的數(shù)據(jù)集中學(xué)習(xí)，以克服實(shí)驗(yàn)設(shè)置的非統(tǒng)一性限制。使用圖神經(jīng)網(wǎng)絡(luò)（GNNs）來利用電極之間的空間依賴關(guān)系，對(duì)腦電數(shù)據(jù)進(jìn)行編碼和解碼。

- (3): 訓(xùn)練和測試：使用訓(xùn)練數(shù)據(jù)集訓(xùn)練模型，然后使用測試數(shù)據(jù)集評(píng)估模型的性能。通過對(duì)不同電極布局的多個(gè)數(shù)據(jù)集進(jìn)行聚合知識(shí)，提高獨(dú)立于受試者的運(yùn)動(dòng)想象 (MI) EEG分類的泛化能力。

8. 結(jié)論：

- (1): 本研究的意義在于提出了一種結(jié)合圖神經(jīng)網(wǎng)絡(luò) (GNNs) 和轉(zhuǎn)移學(xué)習(xí)方法的框架，用于解決異構(gòu)電極配置數(shù)據(jù)集中的腦電解碼問題。該方法在聚合具有不同電極布局的多個(gè)數(shù)據(jù)集的知識(shí)方面具有優(yōu)勢，可以提高獨(dú)立于受試者的運(yùn)動(dòng)想象 (MI) EEG分類的泛化能力。這一研究對(duì)于推動(dòng)腦機(jī)接口 (BCI) 技術(shù)的發(fā)展和應(yīng)用具有重要意義。

- (2): 創(chuàng)新點(diǎn)：本文創(chuàng)新地將圖神經(jīng)網(wǎng)絡(luò) (GNNs) 和轉(zhuǎn)移學(xué)習(xí)方法相結(jié)合，用于解決異構(gòu)電極配置數(shù)據(jù)集的腦電解碼問題。通過使用GNNs來利用電極之間的空間依賴關(guān)系，可以更好地處理腦電數(shù)據(jù)中的空間信息。

?????性能表現(xiàn)：實(shí)驗(yàn)結(jié)果表明，該方法在測試數(shù)據(jù)集上達(dá)到了最高的準(zhǔn)確性，并具有較低的標(biāo)準(zhǔn)差，明顯優(yōu)于基線方法。這表明該方法可以有效地聚合具有不同電極布局的多個(gè)數(shù)據(jù)集的知識(shí)，從而提高了腦電信號(hào)分類的性能。

?????工作量：本研究需要收集不同電極布局和不同數(shù)量的腦電數(shù)據(jù)集，并進(jìn)行數(shù)據(jù)預(yù)處理和模型訓(xùn)練。然而，由于使用了現(xiàn)有的數(shù)據(jù)集，相對(duì)于新數(shù)據(jù)的收集和標(biāo)記，工作負(fù)載相對(duì)較低。

?

?

?

?

?

SG-GAN: Fine Stereoscopic-Aware Generation for 3D Brain Point Cloud Up-sampling from a Single Image

https://arxiv.org/pdf/2305.12646 ?發(fā)表日期：2023年5月22日

1.標(biāo)題: SG-GAN: Fine Stereoscopic-Aware Generation for 3D Brain Point Cloud Up-sampling from a Single Image (SG-GAN: 針對(duì)單一圖像的精細(xì)立體感知3D腦點(diǎn)云上采樣生成)

2.作者: Bowen Hu, Baiying Lei, Shuqiang Wang

3.所屬單位: Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, School of Biomedical Engineering, Shenzhen University (深圳先進(jìn)技術(shù)研究院，中國科學(xué)院，深圳大學(xué)生物醫(yī)學(xué)工程學(xué)院)

4.關(guān)鍵詞: 3D brain reconstruction, two-stage generating, free transforming module, point cloud up-sampling (3D腦重建，兩階段生成，無參數(shù)變換模塊，點(diǎn)云上采樣)

5.網(wǎng)址: https://arxiv.org/pdf/2305.12646 ?(代碼鏈接: None)

?

?

6.總結(jié):

- (1): 本文研究的背景是實(shí)施間接和狹窄手術(shù)環(huán)境下的微創(chuàng)腦手術(shù)時(shí)，3D腦重建至關(guān)重要。然而，一些新的微創(chuàng)手術(shù)（如腦機(jī)接口手術(shù)）對(duì)精度要求越來越高，傳統(tǒng)的3D重建輸出（如點(diǎn)云）面臨著樣本稀疏和精度不足的挑戰(zhàn)。此外，高密度點(diǎn)云數(shù)據(jù)集稀缺，使得直接重建高密度的腦點(diǎn)云模型訓(xùn)練變得具有挑戰(zhàn)性。

- (2): 過去的方法是使用2D MRI圖像生成低密度點(diǎn)云模型，然后通過上采樣方法將其轉(zhuǎn)換為高密度點(diǎn)云模型。然而，由于缺乏高密度點(diǎn)云數(shù)據(jù)集和其他問題，直接從2D MRI圖像生成目標(biāo)高密度點(diǎn)云幾乎是不可能的。因此，本文的動(dòng)機(jī)是在生成高密度點(diǎn)云時(shí)，通過兩階段生成的方法，利用低密度點(diǎn)云模型描繪器官的初步形狀和基本結(jié)構(gòu)，再通過上采樣過程糾正缺陷并還原感興趣區(qū)域（ROI）的詳細(xì)特征。

- (3): 本文提出的研究方法是使用一種名為SG-GAN的立體感知圖生成對(duì)抗網(wǎng)絡(luò)，分為兩個(gè)階段。第一階段的GAN基于給定的MRI圖像，將描繪器官的初步形狀和基本結(jié)構(gòu)生成為低密度點(diǎn)云。第二階段的GAN利用第一階段的結(jié)果，通過相似的結(jié)構(gòu)生成具有詳細(xì)特征的高密度點(diǎn)云。

- (4): 本文的方法實(shí)現(xiàn)了生成高密度點(diǎn)云的任務(wù)，并在視覺質(zhì)量、客觀測量和分類等性能方面顯示出優(yōu)越性。文中使用多個(gè)評(píng)估指標(biāo)（包括點(diǎn)云之間的誤差和Chamfer距離）對(duì)性能進(jìn)行了綜合評(píng)估。因此，績效能夠支持本文的目標(biāo)。

7. 方法:

- (1): 使用預(yù)訓(xùn)練的2D Encoder將給定MRI圖像轉(zhuǎn)換為特征向量。

- (2): 使用無參數(shù)變換模塊，將2D特征向量轉(zhuǎn)換為3D初步點(diǎn)云描繪器的低密度表達(dá)。

- (3): 使用判別器網(wǎng)絡(luò)和生成器網(wǎng)絡(luò)構(gòu)建第一階段的GAN。判別器網(wǎng)絡(luò)用于區(qū)分真實(shí)點(diǎn)云和生成點(diǎn)云，生成器網(wǎng)絡(luò)用于生成更接近真實(shí)點(diǎn)云的低密度描繪器。

- (4): 使用嵌入式方法將第一階段的生成點(diǎn)云嵌入到3D初始體積中，以對(duì)點(diǎn)云逐像素進(jìn)行匹配。

- (5): 進(jìn)行第二階段的高密度點(diǎn)云生成。首先，利用將上一階段生成點(diǎn)云和原始MRI圖像輸入生成器，生成更具詳細(xì)特征的高密度點(diǎn)云。

- (6): 使用判別器網(wǎng)絡(luò)對(duì)第二階段生成的高密度點(diǎn)云進(jìn)行評(píng)估，并通過通過強(qiáng)制學(xué)習(xí)和自監(jiān)督學(xué)習(xí)進(jìn)行優(yōu)化。

- (7): 使用預(yù)訓(xùn)練的2D Decoder和第二階段生成的高密度點(diǎn)云，通過投影生成經(jīng)過細(xì)致再現(xiàn)的3D點(diǎn)云表示。

- (8): 對(duì)生成的高密度點(diǎn)云進(jìn)行評(píng)估，包括與真實(shí)點(diǎn)云之間的誤差和Chamfer距離。

8. 結(jié)論：

- (1): 本研究的意義在于提出了一種名為SG-GAN的新型圖像到點(diǎn)云重建網(wǎng)絡(luò)，針對(duì)BCI微創(chuàng)手術(shù)中現(xiàn)有的3D重建方法存在的低清晰度和低密度問題進(jìn)行了改進(jìn)。提出的SG-GAN能夠?qū)崿F(xiàn)3D腦重建技術(shù)，從而使手術(shù)導(dǎo)航獲得更好的效果。

- (2):創(chuàng)新點(diǎn)：本文的創(chuàng)新點(diǎn)包括使用兩個(gè)階段的生成網(wǎng)絡(luò)、無參數(shù)變換模塊及嵌入式方法等技術(shù)，有效提高了重建準(zhǔn)確性和細(xì)節(jié)再現(xiàn)能力。

性能表現(xiàn)：SG-GAN在視覺質(zhì)量、客觀測量和分類等性能方面表現(xiàn)優(yōu)越，并使用多種評(píng)估指標(biāo)對(duì)模型進(jìn)行綜合評(píng)估。

工作量：本文所提出的SG-GAN相較于一步到位的基礎(chǔ)模型，能夠充分利用原始圖像的先驗(yàn)知識(shí)，提高重建精度，并通過多個(gè)生成階段逐步糾正和提升重建點(diǎn)云的細(xì)節(jié)特征。

?

?

?

?

?

?

Decoding Brain Motor Imagery with various Machine Learning techniques

https://arxiv.org/pdf/2306.07519 ?日期：2023年6月13日

1.標(biāo)題：Decoding Brain Motor Imagery with various Machine Learning techniques（使用機(jī)器學(xué)習(xí)技術(shù)解碼大腦運(yùn)動(dòng)想象）

2.作者：Giovanni Jana, Corey Karnei, Shuvam Keshari

3.所屬單位：Gel實(shí)驗(yàn)：None；POLiTag實(shí)驗(yàn)：None

4.關(guān)鍵字：Motor imagery, Machine learning, Brain computer interface, EEG signals, Decoder

5.網(wǎng)址：https://arxiv.org/pdf/2306.07519

?

6.總結(jié)：

- (1):本文的研究背景是研究運(yùn)動(dòng)想象技術(shù)在腦機(jī)接口實(shí)驗(yàn)中的應(yīng)用，以調(diào)節(jié)運(yùn)動(dòng)皮層和大腦周圍區(qū)域的腦活動(dòng)。

- (2):過去的方法是通過使用傳統(tǒng)電極和Gel電極進(jìn)行實(shí)驗(yàn)，但面臨著非穩(wěn)態(tài)的EEG信號(hào)和個(gè)體差異的問題。作者的動(dòng)機(jī)是不斷探索新的方法解碼腦信號(hào)，以改進(jìn)BCI系統(tǒng)的性能。

- (3):本文提出了使用不同機(jī)器學(xué)習(xí)方法建立解碼器，借助離線訓(xùn)練數(shù)據(jù)基于證據(jù)累積來實(shí)時(shí)預(yù)測受試者的意圖。

- (4):該方法在每個(gè)受試者上進(jìn)行解碼器構(gòu)建和多種機(jī)器學(xué)習(xí)技術(shù)測試。實(shí)驗(yàn)結(jié)果表明，該方法能夠較準(zhǔn)確地解碼受試者的意圖，支持其在BCI應(yīng)用中的目標(biāo)。

8.結(jié)論：

- (1):本研究的意義在于探索使用機(jī)器學(xué)習(xí)技術(shù)解碼大腦運(yùn)動(dòng)想象的能力，以改進(jìn)腦-機(jī)接口系統(tǒng)的性能。

- (2):創(chuàng)新點(diǎn)：本文創(chuàng)新地應(yīng)用了機(jī)器學(xué)習(xí)算法解碼EEG信號(hào)中的運(yùn)動(dòng)想象意圖。

????性能表現(xiàn)：實(shí)驗(yàn)結(jié)果表明，該方法能夠較準(zhǔn)確地預(yù)測受試者的運(yùn)動(dòng)想象方向。

????工作量：本研究需要對(duì)每個(gè)受試者進(jìn)行解碼器構(gòu)建和多種機(jī)器學(xué)習(xí)技術(shù)測試，涉及大量數(shù)據(jù)處理和模型訓(xùn)練工作。

?

參考文獻(xiàn)

[1] Han, Jinpei et al. “EEG Decoding for Datasets with Heterogenous Electrode Configurations using Transfer Learning Graph Neural Networks.”?ArXiv?abs/2306.13109 (2023): n. pag.
[2] Hu, Bowen et al. “SG-GAN: Fine Stereoscopic-Aware Generation for 3D Brain Point Cloud Up-sampling from a Single Image.”?ArXiv?abs/2305.12646 (2023): n. pag.

[3] Jana, Giovanni et al. “Decoding Brain Motor Imagery with various Machine Learning techniques.”?ArXiv?abs/2306.07519 (2023): n. pag.

創(chuàng)作聲明：包含 AI 輔助創(chuàng)作?