A Deep-Learning-Based Neural Decoding Framework for Emotional Brain-Computer Interfaces

https://arxiv.org/pdf/2303.04391 2023-03-08

1.標題：基于深度學(xué)習(xí)的情感腦機接口的神經(jīng)解碼框架

2.作者：Xinming Wu, Ji Dai

3.所屬單位：廣東省腦連接圖與行為重點實驗室

4.關(guān)鍵字：deep learning, confidence learning, emotion decoding, brain-computer interface, Emo-Net

5.網(wǎng)址：https://arxiv.org/pdf/2303.04391

?

6.總結(jié)：

(1): 該研究的背景是情感腦機接口技術(shù)的發(fā)展，精確地從神經(jīng)活動片段中解讀情感對于該技術(shù)的發(fā)展至關(guān)重要。

(2): 過去的方法包括神經(jīng)解碼算法，但是近年來其進展有限?？赡艿脑蛑皇巧疃葘W(xué)習(xí)算法依賴于訓(xùn)練樣本，但訓(xùn)練所使用的神經(jīng)數(shù)據(jù)通常來自于非人類靈長類動物，并且被大量噪音所混淆，從而誤導(dǎo)了深度學(xué)習(xí)模型的訓(xùn)練。該方法的動機是因為很難從人類的角度準確確定動物的情感，我們假設(shè)標簽錯誤是代表不同情感的神經(jīng)數(shù)據(jù)中的主要噪聲。

(3): 本文提出了一個名為Emo-Net的神經(jīng)解碼框架，包括置信度學(xué)習(xí)組件和深度學(xué)習(xí)組件。該框架完全依賴數(shù)據(jù)，并能夠從行為猴子的多個數(shù)據(jù)集中解碼情感。除了提高解碼能力，Emo-Net還顯著改善了基本深度學(xué)習(xí)模型的性能，使得在動物模型中實現(xiàn)情感識別成為可能。

(4): 該方法實現(xiàn)了從神經(jīng)數(shù)據(jù)解碼情感并提升了深度學(xué)習(xí)模型的性能。該框架可能為情感的神經(jīng)基礎(chǔ)提供新的認識，并推動實現(xiàn)閉環(huán)情感腦機接口的實現(xiàn)。

7.方法：

（1）建立非人類靈長類動物實驗和神經(jīng)響應(yīng)數(shù)據(jù)集：通過在一只成年雄性獼猴身上植入記錄裝置，記錄猴子在觀看不同類型面孔刺激時的神經(jīng)活動。使用眼動儀和觸發(fā)系統(tǒng)控制實驗過程，并使用信號處理方法將神經(jīng)活動轉(zhuǎn)化為固定長度的神經(jīng)響應(yīng)矩陣。

（2）評估神經(jīng)數(shù)據(jù)集中的標簽錯誤：考慮到實驗動物情感狀態(tài)的不一致性，使用輔助模型對神經(jīng)響應(yīng)樣本的標簽進行評估和調(diào)整，糾正明顯的標注錯誤，并增強具有多重標簽的樣本的分類能力。

（3）構(gòu)建Emo-Net框架：Emo-Net是一種混合框架，結(jié)合了置信度學(xué)習(xí)和深度學(xué)習(xí)，用于情感識別。其中，置信度學(xué)習(xí)組件利用輔助模型評估神經(jīng)數(shù)據(jù)的不確定性，并根據(jù)不確定性對數(shù)據(jù)進行剪枝和損失重加權(quán)。深度學(xué)習(xí)分類器提取特征并進行情感識別。

（4）優(yōu)化Emo-Net框架：根據(jù)不確定性進行數(shù)據(jù)剪枝和損失重加權(quán)，提高模型的訓(xùn)練效果和泛化能力。

（5）評估Emo-Net的解碼性能：使用十折交叉驗證和獨立測試集評估Emo-Net在情感識別任務(wù)上的性能，并與其他基線模型進行比較。

（6）應(yīng)用Emo-Net框架實現(xiàn)情感識別：利用Emo-Net框架對不同的情感刺激下的神經(jīng)響應(yīng)進行情感識別，并為情感腦機接口的實現(xiàn)提供基礎(chǔ)。

8.結(jié)論：

(1): 這部作品的意義是通過提出Emo-Net神經(jīng)解碼框架，實現(xiàn)了情感腦機接口的情感解碼，并提升了深度學(xué)習(xí)模型的性能。該框架為從神經(jīng)數(shù)據(jù)中解碼情感提供了一種新的方法，并為實現(xiàn)閉環(huán)情感腦機接口的研究提供了基礎(chǔ)。

(2): 創(chuàng)新點：本文的創(chuàng)新點在于將置信度學(xué)習(xí)和深度學(xué)習(xí)相結(jié)合，通過對神經(jīng)數(shù)據(jù)進行剪枝和損失重加權(quán)，提高了情感解碼的準確性。 相對于傳統(tǒng)的神經(jīng)解碼算法，該方法在數(shù)據(jù)處理和模型訓(xùn)練方面有了顯著的改進。

性能表現(xiàn)：Emo-Net框架的解碼性能在十折交叉驗證和獨立測試集上進行了評估，并與其他基線模型進行了比較。結(jié)果顯示，Emo-Net在情感識別任務(wù)上取得了優(yōu)異的表現(xiàn)，顯著提高了情感解碼的準確性和穩(wěn)定性。

工作量：本研究在數(shù)據(jù)集的搜集、標注和清理方面投入了大量的工作量。同時，構(gòu)建Emo-Net框架也需要進行深度學(xué)習(xí)模型的設(shè)計和調(diào)優(yōu)，以及標簽評估和數(shù)據(jù)剪枝等步驟。雖然需要一定的工作量，但這些工作對于情感腦機接口技術(shù)的發(fā)展具有重要意義。

?

Device JNEEG to convert Jetson Nano to brain-Computer interfaces. Short report

https://arxiv.org/pdf/2301.11110 2023-01-23

1.標題：Device JNEEG to convert Jetson Nano to brain-Computer interfaces. Short report (將Jetson Nano轉(zhuǎn)換為腦-計算機界面的設(shè)備 JNEEG。短篇報告)

2.作者：Ildar Rakhmatulin

3.所屬單位：未提供作者單位信息

4.關(guān)鍵字：JetsonNano, JNEEG, BCI, EEG, machine learning, Nvidia

5.網(wǎng)址：https://arxiv.org/pdf/2301.11110, https://github.com/HackerBCI/EEG-with-JetsonNano

?

6.總結(jié)：

(1): 本文的研究背景是人工智能在近年來取得的重大進展對神經(jīng)科學(xué)領(lǐng)域產(chǎn)生了影響，針對提取實時腦電圖（EEG）信號的不同體系結(jié)構(gòu)需要大量計算資源的問題進行了研究。

(2): 過去的方法通常將EEG設(shè)備僅作為數(shù)據(jù)傳輸器，實際的數(shù)據(jù)處理在第三方設(shè)備中進行。本文的動機是為了開發(fā)一種能夠?qū)etson Nano作為腦-計算機界面的設(shè)備，利用其機器學(xué)習(xí)工具對數(shù)據(jù)進行直接處理，以解決高成本和不緊湊的問題。

(3): 本文提出的研究方法是開發(fā)了一個名為JNEEG的模塊，它通過將Jetson Nano與Texas Instruments ADS1299模擬數(shù)字轉(zhuǎn)換器連接，實現(xiàn)腦-計算機界面的功能。該模塊通過C語言進行信號讀取，并使用Python進行數(shù)據(jù)讀取和可視化。

(4): 該方法在實驗中成功測量了腦電信號并展示了良好的性能。通過測試結(jié)果，該設(shè)備符合規(guī)格要求，具有低噪聲水平、對抗電磁干擾以及成功檢測α腦波的能力。這是一個具有潛力的研究方向，可以作為腦-計算機界面（BCI）的實際應(yīng)用。該設(shè)備可以同時測量8個腦電信號，且可以增加電極數(shù)量來提高信號讀取通道數(shù)目。另外，該設(shè)備允許利用Jetson Nano的深度學(xué)習(xí)能力進行實時控制機械對象的研究。

7.結(jié)論：

(1): 本研究的意義在于開發(fā)了一種新型的腦-計算機界面設(shè)備，將Jetson Nano與Texas Instruments ADS1299模擬數(shù)字轉(zhuǎn)換器相連接，實現(xiàn)了腦電圖（EEG）信號的實時提取和處理。這一創(chuàng)新為神經(jīng)科學(xué)領(lǐng)域中的腦-計算機界面研究提供了一種低成本、緊湊且高性能的解決方案。此外，該設(shè)備還利用Jetson Nano的機器學(xué)習(xí)能力，可以用于實時控制機械對象，具有廣泛的應(yīng)用潛力。

(2): 創(chuàng)新點：該研究的創(chuàng)新點在于將Jetson Nano作為腦-計算機界面設(shè)備，實現(xiàn)了腦電圖信號的實時提取和處理。

性能表現(xiàn)：該設(shè)備在實驗中成功測量腦電信號，并展示了良好的性能，包括低噪聲水平、抗電磁干擾能力以及成功檢測α腦波的能力。

工作量：該設(shè)備使用C語言進行信號讀取，并使用Python進行數(shù)據(jù)讀取和可視化，工作量適中。

An inverse modeling method to estimate undertain spatial configurations from 2d information and time-based visual discriminations

https://arxiv.org/pdf/2302.10738 2023-02-21

1.?標題：一個從二維信息和基于時間的視覺判別中估計不確定空間配置的反向建模方法（An inverse modeling method to estimate uncertain spatial configurations from 2d information and time-based visual discriminations）

2.?作者：Pierre CUTELLIC

3.?所屬單位： ETH Zürich (ETH蘇黎世)

4.?關(guān)鍵字： Neurodesign, Design Computing and Cognition, Brain-Computer Interfaces, Generative Design, Computer Vision.

5.?網(wǎng)址：https://arxiv.org/pdf/2302.10738

6.?總結(jié)：

(1): 本文的研究背景是考慮到人類視覺辨別能力在計算生成的解決方案中的信息比例問題。

(2): 過去的方法主要是關(guān)于腦機接口領(lǐng)域和人類視覺處理的相關(guān)研究。然而，由于信息傳輸速率受到限制，使得人類對特定感知模式的信息量有限。本文的動機是解決這個信息瓶頸問題，通過介紹一種逆向建模方法來從生成的圖片序列中提取空間信息。

(3): 本文提出的研究方法是一種基于逆向圖形學(xué)的逆向建模方法，用于從快速連續(xù)顯示的生成圖片中檢索空間信息。

(4): 本文的方法實現(xiàn)了從二維信息中估計不確定空間配置的任務(wù)，并取得了良好的性能，對人機交互中的信息流維持起到了關(guān)鍵作用。

7.結(jié)論：

(1): 本研究的意義在于提出了一種逆向建模方法，可以從生成的圖片序列中估計不確定的空間配置。這對于解決人類視覺辨別在計算生成的解決方案中信息比例問題具有重要意義。

(2): 創(chuàng)新點：本文創(chuàng)新地應(yīng)用逆向圖形學(xué)方法，通過從連續(xù)顯示的生成圖片中提取空間信息，解決了信息傳輸受限的問題。這為腦機接口和人機交互領(lǐng)域提供了新的研究思路和方法。

性能表現(xiàn)：本文方法在估計不確定空間配置的任務(wù)中取得了良好的性能，能夠有效提取出二維信息中的空間關(guān)系。這一性能表現(xiàn)為研究領(lǐng)域提供了新的技術(shù)支持。

工作量：本文的方法雖然具有一定的工作量，但通過有效的逆向建模方法和圖形學(xué)技術(shù)，實現(xiàn)了從生成圖片中提取空間配置的任務(wù)。這為計算生成設(shè)計和視覺處理領(lǐng)域的進一步研究提供了可行的方法。

?

參考文獻

[1]Wu, Xinming and Ji Dai. “A Deep-Learning-Based Neural Decoding Framework for Emotional Brain-Computer Interfaces.”ArXivabs/2303.04391 (2023): n. pag.

[2]Rakhmatulin, Ildar. “Device JNEEG to convert Jetson Nano to brain-Computer interfaces. Short report.”ArXivabs/2301.11110 (2023): n. pag.

[3]Cutellic, Pierre. “An inverse modeling method to estimate undertain spatial configurations from 2d information and time-based visual discriminations.”ArXivabs/2302.10738 (2023): n. pag.

?

創(chuàng)作聲明：包含 AI 輔助創(chuàng)作