Decoding Multi-class Motor-related Intentions with User-optimized and Robust BCI System Based on Multimodal Dataset

https://arxiv.org/pdf/2212.07083 2022-12-14

本文標(biāo)題：解碼多類與運動相關(guān)的意圖的用戶優(yōu)化和魯棒的基于多模態(tài)數(shù)據(jù)集的BCI系統(tǒng)

作者：Jeong-Hyun Cho, Byoung-Hee Kwon, Byeong-Hoo Lee

所屬單位：中國韓國首爾的韓國大學(xué)腦與認(rèn)知工程系

關(guān)鍵詞：腦-計算機(jī)界面、運動執(zhí)行、運動想象、手握、腦電圖、深度學(xué)習(xí)

網(wǎng)址：https://arxiv.org/pdf/2212.07083

?

總結(jié)： - (1) 本文的研究背景是通過分析腦信號來識別個體意圖和狀態(tài)，并將其應(yīng)用于各種運動想象。 - (2) 過去的方法使用了不同的腦電波范式來檢測用戶的意圖，并將結(jié)果應(yīng)用于不同的應(yīng)用程序。然而，使用傳統(tǒng)方法進(jìn)行腦-計算機(jī)界面研究存在一些問題，例如信號質(zhì)量不穩(wěn)定、訓(xùn)練模型效率不高等。本文的研究動機(jī)是通過優(yōu)化用戶數(shù)據(jù)編輯技術(shù)來提高模型的學(xué)習(xí)效率。 - (3) 本文提出了一種基于腦電圖信號來評估握持任務(wù)的非侵入性腦-計算機(jī)界面方法。通過精確提取用戶進(jìn)行運動意圖時的腦電圖信號，將這些數(shù)據(jù)用于訓(xùn)練與特定類別相關(guān)聯(lián)的模型。采用深度學(xué)習(xí)方法對數(shù)據(jù)進(jìn)行分析和分類。 - (4) 本文的方法成功地識別了運動執(zhí)行和運動想象對應(yīng)的五個握持任務(wù)，并在離線任務(wù)中分別達(dá)到了70.73%和47.95%的準(zhǔn)確率。該方法可應(yīng)用于未來的應(yīng)用，如通過BCI控制機(jī)器人手。 7. 方法：

(1): 本文采用了一種非侵入性的腦-計算機(jī)界面（BCI）方法來評估握持任務(wù)。從受試者的腦電圖信號中提取相關(guān)特征，并將其用于訓(xùn)練與特定類別（握持任務(wù)）相關(guān)聯(lián)的模型。

(2): 在數(shù)據(jù)采集過程中，受試者執(zhí)行了五個不同的握持任務(wù)，并進(jìn)行了運動執(zhí)行和運動想象兩種情況下的測試。腦電圖信號通過放置在受試者頭皮上的電極陣列進(jìn)行采集。

(3): 本文采用深度學(xué)習(xí)方法對腦電圖數(shù)據(jù)進(jìn)行分析和分類。將數(shù)據(jù)輸入到卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型中，通過多層卷積和池化操作提取特征。然后將特征輸入到全連接層進(jìn)行分類。

(4): 為了提高模型的學(xué)習(xí)效率，本文采用了用戶優(yōu)化的數(shù)據(jù)編輯技術(shù)。通過分析受試者的腦電圖信號，篩選出與握持任務(wù)相關(guān)的有效時間窗口，并將這些窗口的數(shù)據(jù)用于訓(xùn)練模型。

(5): 在實驗中，本文的方法成功地識別了五個握持任務(wù)的運動執(zhí)行和運動想象階段，并分別達(dá)到了70.73%和47.95%的準(zhǔn)確率。

結(jié)論：

(1): 這部作品的意義在于探索優(yōu)化用戶數(shù)據(jù)編輯技術(shù)，從而提高腦-計算機(jī)界面中模型的學(xué)習(xí)效率，為實現(xiàn)個體意圖和狀態(tài)的識別以及運動想象應(yīng)用打下基礎(chǔ)。

(2): 創(chuàng)新點：本文采用了深度學(xué)習(xí)方法對腦電圖數(shù)據(jù)進(jìn)行分析和分類，并應(yīng)用于握持任務(wù)識別。采用用戶優(yōu)化的數(shù)據(jù)編輯技術(shù)來提高模型的學(xué)習(xí)效率。

性能表現(xiàn)：在運動執(zhí)行和運動想象兩種情況下，本文的方法成功地識別了五個握持任務(wù)，并獲得了70.73%和47.95%的準(zhǔn)確率。

工作量：本文從數(shù)據(jù)采集、特征提取、深度學(xué)習(xí)模型訓(xùn)練等多個環(huán)節(jié)展開工作，相對而言需要較高的工作量，但通過用戶優(yōu)化的數(shù)據(jù)編輯技術(shù)提高了模型的效率。

Hybrid Paradigm-based Brain-Computer Interface for Robotic Arm Control

https://arxiv.org/pdf/2212.08122 2022-12-14

1.標(biāo)題：基于混合范式的大腦-計算機(jī)界面用于機(jī)器臂控制的論文

2.作者：Byeong-Hoo Lee, Jeong-Hyun Cho, Byoung-Hee Kwon

3.所屬單位：基本信息中提到了他們所在的單位為韓國首爾高麗大學(xué)的大腦與認(rèn)知工程系。

4.關(guān)鍵字：brain-computer interface, electroencephalogram, knowledge distillation, deep learning

5.網(wǎng)址：https://arxiv.org/pdf/2212.08122

?

6.總結(jié)：

(1)本文的研究背景是實現(xiàn)通過大腦信號來控制機(jī)器臂的大腦-計算機(jī)界面（BCI）。

(2)過去的方法包括使用心理運動圖像（MI）和語音想象（SI）范式來控制外部設(shè)備。然而，這些方法存在一些問題，例如分類性能的挑戰(zhàn)和不同范式的信號解碼的困難。本文的動機(jī)是利用混合范式的優(yōu)勢來改進(jìn)BCI系統(tǒng)的實際應(yīng)用。

(3)本文提出了一種基于混合范式的BCI系統(tǒng)，使用MI和SI誘導(dǎo)的腦電圖（EEG）信號來控制機(jī)器臂，并應(yīng)用知識蒸餾來減少模型參數(shù)的計算復(fù)雜性。在系統(tǒng)中，教師模型以層次結(jié)構(gòu)的方式解碼輸入數(shù)據(jù)，并將知識傳遞給學(xué)生模型。學(xué)生模型采用單一的CNN架構(gòu)。通過實驗，證實了使用層次性模型和知識蒸餾可以提高簡單架構(gòu)的分類性能。

(4)本文的方法實現(xiàn)了控制機(jī)器臂和進(jìn)行交流的任務(wù)，并取得了令人滿意的分類性能。 7. 方法：

(1)：通過組合運動想象（MI）范式和語音想象（SI）范式來控制機(jī)器臂，收集MI和SI誘導(dǎo)的腦電圖（EEG）信號作為輸入。

(2)：設(shè)計了一個基于混合范式的大腦-計算機(jī)界面（BCI）系統(tǒng)，包括一個教師模型和一個學(xué)生模型。教師模型采用層次結(jié)構(gòu)解碼輸入數(shù)據(jù)，并將知識傳遞給學(xué)生模型。學(xué)生模型采用單一的卷積神經(jīng)網(wǎng)絡(luò)（CNN）架構(gòu)。

(3)：應(yīng)用知識蒸餾技術(shù)來減少模型參數(shù)的計算復(fù)雜性。知識蒸餾通過在學(xué)生模型的訓(xùn)練中引導(dǎo)教師模型的知識，將軟標(biāo)簽和蒸餾損失結(jié)合到損失函數(shù)中。

(4)：進(jìn)行離線訓(xùn)練和在線訓(xùn)練，使學(xué)生模型能夠蒸餾教師模型的知識，最終實現(xiàn)對MI和SI誘導(dǎo)的EEG信號的分類。

(5)：通過BCI系統(tǒng)控制機(jī)器臂和進(jìn)行交流的任務(wù)，并評估分類性能。

(6)：實驗中使用了BCI競賽2020的數(shù)據(jù)集，包括MI和SI數(shù)據(jù)集。實驗采用了AdamW優(yōu)化器和交叉熵?fù)p失函數(shù)，并在Intel Core i7處理器和NVIDIA TITAN V GPU的環(huán)境中進(jìn)行。

(7)：將本文的方法與其他方法進(jìn)行比較，評估了所提出模型的分類性能。

(8)：實驗結(jié)果表明，使用層次結(jié)構(gòu)的模型和知識蒸餾技術(shù)可以顯著提高簡單架構(gòu)的分類性能，實現(xiàn)了對機(jī)器臂的精確控制。

8.結(jié)論：

(1)：本文的意義在于提出了一種基于混合范式的大腦-計算機(jī)界面（brain-computer interface, BCI）系統(tǒng)，用于通過腦電圖信號（electroencephalogram, EEG）控制機(jī)器臂。該系統(tǒng)利用知識蒸餾技術(shù)減少模型參數(shù)的計算復(fù)雜性，并通過層次結(jié)構(gòu)解碼輸入數(shù)據(jù)以提高分類性能。這項研究的成果對于改進(jìn)腦-機(jī)接口系統(tǒng)的實際應(yīng)用具有重要意義。

(2)：創(chuàng)新點：本文的創(chuàng)新點在于將運動想象（MI）和語音想象（SI）范式的腦電圖信號結(jié)合起來，通過混合范式的方式提高BCI系統(tǒng)的分類性能。同時，采用知識蒸餾技術(shù)和層次結(jié)構(gòu)的模型設(shè)計，有效減少了模型參數(shù)的計算復(fù)雜性。

性能表現(xiàn)：實驗結(jié)果顯示，本文的方法在離線訓(xùn)練和在線訓(xùn)練中實現(xiàn)了對MI和SI誘導(dǎo)的EEG信號的精確分類，并取得了令人滿意的分類性能。

工作量：本文以BCI競賽2020的數(shù)據(jù)集為基礎(chǔ)，利用了智能硬件設(shè)備進(jìn)行實驗，并進(jìn)行了離線訓(xùn)練和在線訓(xùn)練。實驗過程中采用了AdamW優(yōu)化器和交叉熵?fù)p失函數(shù)進(jìn)行模型訓(xùn)練。實驗的工作量較大但是得到了可靠的實驗結(jié)果。

Toward BCI-enabled Metaverse: A Joint Radio and Computing Resource Allocation Approach

https://arxiv.org/pdf/2212.08811 2022-12-17

標(biāo)題：Towards BCI-enabled Metaverse: A Joint Radio and Computing Resource Allocation Approach（走向基于BCI的元宇宙：一種聯(lián)合射頻和計算資源分配方法）

作者：Nguyen Quang Hieu, Dinh Thai Hoang, Diep N. Nguyen, and Eryk Dutkiewicz

所屬單位：School of Electrical and Data Engineering, University of Technology Sydney, Australia（悉尼科技大學(xué)電氣與數(shù)據(jù)工程學(xué)院，澳大利亞）

關(guān)鍵詞：Metaverse, brain-computer interface, resource allocation, machine learning（元宇宙，腦機(jī)接口，資源分配，機(jī)器學(xué)習(xí)）

網(wǎng)址：https://arxiv.org/pdf/2212.08811（論文鏈接）

?

總結(jié)：

(1)：該論文的研究背景是探索基于腦機(jī)接口的元宇宙系統(tǒng)，通過收集和分析腦信號來創(chuàng)建更智能的數(shù)字化人物角色。

(2)：過去的方法主要是基于虛擬現(xiàn)實和增強(qiáng)現(xiàn)實平臺的腦機(jī)接口應(yīng)用研究，但在實現(xiàn)元宇宙系統(tǒng)中仍存在較大研究空缺。傳統(tǒng)設(shè)置中腦機(jī)設(shè)備和計算單元之間的有線連接可能在實際應(yīng)用中存在覆蓋范圍和移動性問題。

(3)：本文提出一種創(chuàng)新的方法，利用腦機(jī)接口技術(shù)實現(xiàn)用戶與元宇宙系統(tǒng)之間的交互，通過無線信道傳輸腦信號，從而在基站上創(chuàng)建智能的人物角色。該方法涉及到資源分配和腦信號分類問題，并提出了一種混合學(xué)習(xí)算法來優(yōu)化系統(tǒng)資源分配并準(zhǔn)確預(yù)測用戶的腦信號。

(4)：本文的方法實現(xiàn)了系統(tǒng)資源分配和用戶腦信號分類兩個任務(wù)，并且具有高度準(zhǔn)確的預(yù)測性能。實驗結(jié)果表明，該方法能夠支持系統(tǒng)資源分配以及用戶腦信號的分類，并實現(xiàn)對用戶的智能推薦，從而為用戶驅(qū)動的應(yīng)用創(chuàng)建了可能性。

方法：

(1)：提出了一種基于腦機(jī)接口（BCI）的元宇宙系統(tǒng)框架，通過腦信號在上行無線信道上傳輸，實現(xiàn)用戶與元宇宙系統(tǒng)之間的交互。用戶通過集成的VR-BCI頭戴設(shè)備體驗元宇宙應(yīng)用，同時將腦信號通過上行信道發(fā)送給基站?；纠眠@些腦信號創(chuàng)建智能的人物角色，為用戶提供有用的推薦，并且使系統(tǒng)能夠創(chuàng)建用戶驅(qū)動的應(yīng)用。

(2)：該方法涉及到資源分配和腦信號分類問題?；拘枰獙⑵溆嬎愫蜔o線資源分配給用戶，并且對用戶的腦信號進(jìn)行準(zhǔn)確的分類，以便創(chuàng)建智能的數(shù)字化人物角色。為了解決這一問題，提出了一種混合訓(xùn)練算法，利用深度強(qiáng)化學(xué)習(xí)的最新進(jìn)展來優(yōu)化系統(tǒng)資源分配并準(zhǔn)確預(yù)測用戶的腦信號。

(3)：該混合訓(xùn)練算法包含三個深度神經(jīng)網(wǎng)絡(luò)相互合作，以更好地實現(xiàn)資源分配和腦信號分類問題。該算法通過強(qiáng)化學(xué)習(xí)優(yōu)化資源分配策略，并通過腦信號分類網(wǎng)絡(luò)準(zhǔn)確預(yù)測用戶的腦信號。

(4)：通過實驗結(jié)果表明，該方法可以同時解決系統(tǒng)資源分配和用戶腦信號分類兩個任務(wù)，并具有高度準(zhǔn)確的預(yù)測性能。這為用戶驅(qū)動的應(yīng)用創(chuàng)建了可能性，并為元宇宙系統(tǒng)的實現(xiàn)提供了一個創(chuàng)新的框架。

結(jié)論：

(1): 這部作品的意義在于探索基于腦機(jī)接口的元宇宙系統(tǒng)，通過收集和分析腦信號來創(chuàng)建更智能的數(shù)字化人物角色。該研究為元宇宙系統(tǒng)的實現(xiàn)提供了一個創(chuàng)新的框架，并為用戶驅(qū)動的應(yīng)用創(chuàng)建了可能性。

(2): 創(chuàng)新點：本文提出了一種基于腦機(jī)接口的元宇宙系統(tǒng)框架，通過腦信號傳輸和分析，實現(xiàn)用戶與元宇宙系統(tǒng)之間的交互，并創(chuàng)建智能的數(shù)字化人物角色。這一創(chuàng)新點為面向未來的元宇宙應(yīng)用開辟了新的研究方向。

性能表現(xiàn)：作者提出的混合訓(xùn)練算法在資源分配和腦信號分類任務(wù)上具有高度準(zhǔn)確的預(yù)測性能。實驗結(jié)果表明，該算法能夠優(yōu)化系統(tǒng)資源分配，并能準(zhǔn)確預(yù)測用戶的腦信號，在用戶驅(qū)動的應(yīng)用中發(fā)揮重要作用。

工作量：本文介紹了一種混合訓(xùn)練算法，其中包含三個深度神經(jīng)網(wǎng)絡(luò)的相互合作。作者通過深度強(qiáng)化學(xué)習(xí)的最新進(jìn)展來優(yōu)化系統(tǒng)資源分配，并準(zhǔn)確預(yù)測用戶的腦信號。這需要大量的工作來設(shè)計、實現(xiàn)和調(diào)優(yōu)算法以及進(jìn)行實驗驗證。

?

參考文獻(xiàn)：

【1】Cho J H, Kwon B H, Lee B H. Decoding Multi-class Motor-related Intentions with User-optimized and Robust BCI System Based on Multimodal Dataset[C]//2023 11th International Winter Conference on Brain-Computer Interface (BCI). IEEE, 2023: 1-5.

【2】Lee B H, Cho J H, Kwon B H. Hybrid Paradigm-based Brain-Computer Interface for Robotic Arm Control[C]//2023 11th International Winter Conference on Brain-Computer Interface (BCI). IEEE, 2023: 1-4.

【3】Hieu N Q, Hoang D T, Nguyen D N, et al. Toward BCI-enabled Metaverse: A Joint Radio and Computing Resource Allocation Approach[J]. arXiv preprint arXiv:2212.08811, 2022.

?

?

創(chuàng)作聲明：包含?AI?輔助創(chuàng)作

?