Multimodal Brain-Computer Interface for In-Vehicle Driver Cognitive Load Measurement: Dataset and Baselines

https://arxiv.org/pdf/2304.04273 ?2023-04-09

1. 標(biāo)題： Multimodal Brain-Computer Interface for In-Vehicle Driver Cognitive Load Measurement: Dataset and Baselines（多模態(tài)車內(nèi)駕駛員認(rèn)知負(fù)荷測(cè)量的腦-機(jī)接口：數(shù)據(jù)集和基準(zhǔn)）

2. 作者： Prithila Angkan, Behnam Behinaein, Zunayed Mahmud, Anubhav Bhatti, Dirk Rodenburg, Paul Hungler, Ali Etemad

3. 所屬單位： Prithila Angkan所屬單位未提及

4. 關(guān)鍵詞： Driver, cognitive load, wearables, brain-computer interfaces, deep learning（駕駛員，認(rèn)知負(fù)荷，可穿戴技術(shù)，腦-機(jī)接口，深度學(xué)習(xí)）

5. 網(wǎng)址： https://arxiv.org/pdf/2304.04273

?

6. 總結(jié)：

- (1)：本文的研究背景是通過(guò)多模態(tài)的腦-機(jī)接口測(cè)量車內(nèi)駕駛員的認(rèn)知負(fù)荷。

- (2)：過(guò)去的方法研究認(rèn)知負(fù)荷主要集中在非車輛場(chǎng)景，并且很少探索腦-機(jī)接口和輔助可穿戴信號(hào)的結(jié)合。本文的動(dòng)機(jī)是填補(bǔ)這些研究的空白，并且關(guān)注駕駛本身產(chǎn)生的認(rèn)知負(fù)荷。

- (3)：本文提出了一種新的駕駛員認(rèn)知負(fù)荷評(píng)估數(shù)據(jù)集，并將腦電圖（EEG）信號(hào)與其他生理信號(hào)（如心電圖和皮膚電反應(yīng)）以及眼動(dòng)數(shù)據(jù)結(jié)合。文中還提供了不同機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型的基準(zhǔn)分類結(jié)果。

- (4)：本文的方法實(shí)現(xiàn)了測(cè)量駕駛員認(rèn)知負(fù)荷的任務(wù)，并提供了基于數(shù)據(jù)集的分類結(jié)果。這些結(jié)果能夠支持他們的研究目標(biāo)。

7.結(jié)論：

- (1)：本文提出了一種新的多模態(tài)車內(nèi)駕駛員認(rèn)知負(fù)荷評(píng)估數(shù)據(jù)集，并將腦電圖（EEG）信號(hào)與其他生理信號(hào)（如心電圖和皮膚電反應(yīng)）以及眼動(dòng)數(shù)據(jù)結(jié)合。該研究填補(bǔ)了過(guò)去研究在車輛場(chǎng)景中認(rèn)知負(fù)荷測(cè)量的空白，對(duì)于研究駕駛員的認(rèn)知負(fù)荷具有重要意義。

- (2)：創(chuàng)新點(diǎn)：本文的創(chuàng)新點(diǎn)在于將多模態(tài)的腦-機(jī)接口應(yīng)用于車內(nèi)駕駛員認(rèn)知負(fù)荷測(cè)量，結(jié)合了腦電圖、心電圖、皮膚電反應(yīng)和眼動(dòng)數(shù)據(jù)，提供了全面的認(rèn)知負(fù)荷評(píng)估。

性能表現(xiàn)：通過(guò)使用本文提出的數(shù)據(jù)集，研究人員能夠進(jìn)行基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型的駕駛員認(rèn)知負(fù)荷分類任務(wù)，并提供分類結(jié)果作為基準(zhǔn)。

工作量：本文采集的數(shù)據(jù)集包含了21名參與者在不同駕駛條件下的腦電圖、心電圖、皮膚電反應(yīng)和眼動(dòng)數(shù)據(jù)，以及10秒間隔記錄的主觀自報(bào)認(rèn)知負(fù)荷評(píng)分，數(shù)據(jù)量較大，工作量較大。

?

An embedding for EEG signals learned using a triplet loss

https://arxiv.org/pdf/2304.06495 ?2023-03-23

1.標(biāo)題：EEG信號(hào)的三元損失學(xué)習(xí)的嵌入

2.作者：Pierre Guetschel, Théodore Papadopoulo, Michael Tangermann

3.所屬單位：ENS Paris-Saclay（法國(guó)巴黎索克雷高等師范學(xué)校），Université C?te d’Azur, INRIA（法國(guó)地中海大學(xué)），Donders Institute for Brain, Cognition and Behaviour, Radboud University（荷蘭Nijmegen的Donders腦、認(rèn)知和行為研究所）

4.關(guān)鍵字：EEG（腦電圖），embedding（嵌入），deep learning（深度學(xué)習(xí)），metric learning（度量學(xué)習(xí)），triplet loss（三元損失），ladder loss（階梯損失），calibration（校準(zhǔn)）

5.網(wǎng)址：https://arxiv.org/pdf/2304.06495，Github: None

?

?

6.總結(jié)：

- (1): 本文的研究背景是研究腦電圖（EEG）或局部電位等神經(jīng)生理時(shí)間序列記錄的嵌入方法。

- (2): 過(guò)去的方法是使用深度學(xué)習(xí)模型或傳統(tǒng)的機(jī)器學(xué)習(xí)方法進(jìn)行腦電圖的解碼，但在腦-計(jì)算機(jī)接口（BCI）中，由于數(shù)據(jù)集規(guī)模較小，這些方法存在著困難。本文的方法旨在通過(guò)度量學(xué)習(xí)和嵌入技術(shù)來(lái)克服這些問(wèn)題。

- (3): 本文提出了一種基于度量學(xué)習(xí)的嵌入方法，建立在最近提出的階梯損失上。通過(guò)使用嵌入，可以兼具深度學(xué)習(xí)的良好泛化能力和魯棒性以及傳統(tǒng)機(jī)器學(xué)習(xí)模型的快速訓(xùn)練能力。

- (4): 在離線分析中使用了14名受試者的EEG數(shù)據(jù)，測(cè)試了嵌入的可行性，并將其效率與最先進(jìn)的深度學(xué)習(xí)模型和傳統(tǒng)機(jī)器學(xué)習(xí)流程進(jìn)行了比較。結(jié)果表明，在同一受試者的運(yùn)動(dòng)任務(wù)分類中，嵌入顯著提高了解碼準(zhǔn)確性。在不同受試者之間的遷移場(chǎng)景中，預(yù)訓(xùn)練的嵌入使得對(duì)新受試者進(jìn)行快速微調(diào)成為可能，即使每類僅有少量試驗(yàn)，而這是常規(guī)深度學(xué)習(xí)模型無(wú)法實(shí)現(xiàn)的。但是，在將一個(gè)受試者完全分離出來(lái)進(jìn)行測(cè)試而沒(méi)有特定校準(zhǔn)的情況下，嵌入方法并不具有競(jìng)爭(zhēng)力。綜上所述，本文提出使用度量學(xué)習(xí)獲得EEG-BCI數(shù)據(jù)的預(yù)訓(xùn)練嵌入作為一種融入領(lǐng)域知識(shí)并在新受試者上達(dá)到有競(jìng)爭(zhēng)力績(jī)效的方法。

7. 方法：

- (1): 本文采用了基于度量學(xué)習(xí)的嵌入方法來(lái)解決EEG-BCI數(shù)據(jù)集規(guī)模較小的問(wèn)題。嵌入方法是通過(guò)將EEG數(shù)據(jù)映射到一個(gè)低維空間中的新表示來(lái)實(shí)現(xiàn)的。

- (2): 在嵌入的過(guò)程中，本文采用了最近提出的階梯損失。通過(guò)優(yōu)化嵌入的目標(biāo)函數(shù)，可以獲得具有良好泛化能力和魯棒性的嵌入表示。

- (3): 本文將嵌入方法應(yīng)用于離線分析中的EEG數(shù)據(jù)。首先，使用14名受試者的EEG數(shù)據(jù)對(duì)嵌入進(jìn)行訓(xùn)練。然后，使用訓(xùn)練好的嵌入將EEG數(shù)據(jù)映射到嵌入空間中。最后，使用嵌入表示進(jìn)行運(yùn)動(dòng)任務(wù)的分類。

- (4): 針對(duì)分類任務(wù)，本文將解碼準(zhǔn)確性作為評(píng)估指標(biāo)，并將嵌入方法與最先進(jìn)的深度學(xué)習(xí)模型和傳統(tǒng)機(jī)器學(xué)習(xí)流程進(jìn)行比較。

- (5): 此外，本文還探討了在不同受試者之間進(jìn)行遷移學(xué)習(xí)的情況。通過(guò)使用預(yù)訓(xùn)練的嵌入表示，可以在新受試者上進(jìn)行快速微調(diào)，即使每個(gè)類別僅有少量試驗(yàn)樣本，而傳統(tǒng)的深度學(xué)習(xí)模型無(wú)法實(shí)現(xiàn)這一點(diǎn)。

- (6): 最后，本文還評(píng)估了嵌入方法在沒(méi)有特定校準(zhǔn)的情況下的競(jìng)爭(zhēng)力。結(jié)果顯示，在將一個(gè)受試者完全分離出來(lái)進(jìn)行測(cè)試時(shí)，嵌入方法的性能不如其他方法。因此，本文提出的嵌入方法適用于將領(lǐng)域知識(shí)融入并在新受試者上達(dá)到有競(jìng)爭(zhēng)力的EEG-BCI解碼任務(wù)。

8. 結(jié)論：

- (1): 本文的意義在于提出了基于度量學(xué)習(xí)的嵌入方法來(lái)解決小規(guī)模EEG-BCI數(shù)據(jù)集的問(wèn)題，并探索了其應(yīng)用于腦電圖解碼任務(wù)的有效性。

- (2): 創(chuàng)新點(diǎn)：本文創(chuàng)新地應(yīng)用了度量學(xué)習(xí)的思想來(lái)進(jìn)行EEG-BCI數(shù)據(jù)的嵌入表示，通過(guò)最新提出的階梯損失函數(shù)，實(shí)現(xiàn)了具有良好泛化和魯棒性的嵌入學(xué)習(xí)。

性能表現(xiàn)：在離線分析中，使用嵌入方法顯著提高了解碼準(zhǔn)確性，超過(guò)了最先進(jìn)的深度學(xué)習(xí)模型和傳統(tǒng)機(jī)器學(xué)習(xí)流程。在遷移學(xué)習(xí)中，預(yù)訓(xùn)練的嵌入使得對(duì)新受試者進(jìn)行快速微調(diào)成為可能，即使每類僅有少量試驗(yàn)樣本，而傳統(tǒng)深度學(xué)習(xí)方法無(wú)法實(shí)現(xiàn)。

工作量：本文采用了14名受試者的EEG數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，進(jìn)行了嵌入的訓(xùn)練和離線分類任務(wù)。此外，作者還探討了嵌入方法在沒(méi)有特定校準(zhǔn)的情況下的競(jìng)爭(zhēng)性，并對(duì)嵌入方法的改進(jìn)方向進(jìn)行了討論。

綜上所述，本文的創(chuàng)新點(diǎn)在于利用度量學(xué)習(xí)的嵌入方法獲得EEG-BCI數(shù)據(jù)的預(yù)訓(xùn)練嵌入，以融入領(lǐng)域知識(shí)并在新受試者上達(dá)到有競(jìng)爭(zhēng)力的解碼性能。盡管還有改進(jìn)的空間，但該方法顯示出了潛力，在未來(lái)的EEG-BCI研究中具有重要的實(shí)際應(yīng)用前景。

Cross-Subject Deep Transfer Models for Evoked Potentials in Brain-Computer Interface

https://arxiv.org/pdf/2301.12322 ?2023-01-28

1.標(biāo)題：Cross-Subject Deep Transfer Models for Evoked Potentials in Brain-Computer Interface （腦機(jī)接口中引發(fā)電位的跨主體深度轉(zhuǎn)移模型）

2.作者：Chad Mello, Troy Weingart, Ethan M. Rudd

3.所屬單位：U.S. Air Force Academy（美國(guó)空軍學(xué)院）

4.關(guān)鍵字：Brain-Computer Interface, Evoked Potentials, Deep Transfer Models

5.網(wǎng)址：https://arxiv.org/pdf/2301.12322

6.總結(jié)：

- (1)：本文的研究背景是腦機(jī)接口技術(shù)在消費(fèi)者和臨床應(yīng)用中的可行性問(wèn)題。

- (2)：過(guò)去的方法是基于手工構(gòu)造特征的傳統(tǒng)分類器，并且存在諸多問(wèn)題，如需大量數(shù)據(jù)收集、手工特征引入的偏置限制性以及跨主體相關(guān)性的忽視。因此，作者的動(dòng)機(jī)是通過(guò)使用深度學(xué)習(xí)模型，直接處理經(jīng)過(guò)濾波的腦電圖信號(hào)，解決數(shù)據(jù)收集的負(fù)擔(dān)和跨主體問(wèn)題。

- (3)：本文提出的研究方法是使用深度學(xué)習(xí)模型，在多個(gè)主體的數(shù)據(jù)集上進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)在“開箱即用”情況下的良好性能，并通過(guò)遷移學(xué)習(xí)方法將模型適應(yīng)到新的主體上。該方法通過(guò)減少每個(gè)主體的數(shù)據(jù)收集負(fù)擔(dān)來(lái)應(yīng)對(duì)挑戰(zhàn)。

- (4)：本文的方法在基準(zhǔn)測(cè)試中展示了良好的性能，并顯著減少了每個(gè)主體的數(shù)據(jù)收集負(fù)擔(dān)。這證明了作者的模型和方法可能改進(jìn)腦機(jī)接口技術(shù)并提高其在消費(fèi)者和臨床中的可行性。

7. 方法：

- (1): 本文使用深度學(xué)習(xí)模型處理經(jīng)過(guò)濾波的腦電圖信號(hào)，以解決傳統(tǒng)分類器中手工構(gòu)造特征的問(wèn)題。深度學(xué)習(xí)模型采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）的架構(gòu)，通過(guò)并行卷積層來(lái)處理不同時(shí)間尺度的特征響應(yīng)，并利用元素求和操作來(lái)明確考慮不同時(shí)間尺度信息。同時(shí)，模型還采用最大池化和線性層等操作，最終將輸出通過(guò)sigmoid函數(shù)進(jìn)行分類。

- (2): 為了評(píng)估模型的性能，并驗(yàn)證其在多個(gè)主體上的泛化能力，本文針對(duì)兩個(gè)評(píng)估場(chǎng)景進(jìn)行實(shí)驗(yàn)。場(chǎng)景一是性能基準(zhǔn)測(cè)試，將模型與傳統(tǒng)分類器進(jìn)行對(duì)比。在該場(chǎng)景下，使用已有數(shù)據(jù)集的訓(xùn)練、測(cè)試和驗(yàn)證集進(jìn)行分割。場(chǎng)景二是遷移學(xué)習(xí)評(píng)估，通過(guò)將模型在已有數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并在新的主體上進(jìn)行微調(diào)來(lái)進(jìn)行評(píng)估。

- (3): 在遷移學(xué)習(xí)評(píng)估場(chǎng)景中，本文提出了幾種不同的模型變體進(jìn)行比較。其中，基線模型是將模型的權(quán)重初始化為Xavier初始化，并使用二元交叉熵?fù)p失函數(shù)在場(chǎng)景二的預(yù)訓(xùn)練分區(qū)上進(jìn)行訓(xùn)練，然后在微調(diào)分區(qū)上進(jìn)行微調(diào)和評(píng)估。此外，本文還提出了三種不同的預(yù)訓(xùn)練方法，包括同任務(wù)二進(jìn)制預(yù)訓(xùn)練、自編碼器預(yù)訓(xùn)練和孿生對(duì)比預(yù)訓(xùn)練。這些方法在預(yù)訓(xùn)練分區(qū)上使用不同的損失函數(shù)進(jìn)行訓(xùn)練，并在微調(diào)分區(qū)上進(jìn)行微調(diào)和評(píng)估。

8.結(jié)論：

- (1)：本文的意義在于探索采用深度學(xué)習(xí)模型處理經(jīng)過(guò)濾波的腦電圖信號(hào)，解決傳統(tǒng)分類器中手工構(gòu)造特征的問(wèn)題。通過(guò)使用深度學(xué)習(xí)模型，該研究通過(guò)降低每個(gè)主體的數(shù)據(jù)收集負(fù)擔(dān)，為腦機(jī)接口技術(shù)的發(fā)展和應(yīng)用提供了新的方向。

- (2)：創(chuàng)新點(diǎn)：本文創(chuàng)新地采用深度學(xué)習(xí)模型直接處理腦電圖信號(hào)，而不是依賴于傳統(tǒng)分類器中的手工構(gòu)造特征。

性能表現(xiàn)：從基準(zhǔn)測(cè)試和遷移學(xué)習(xí)評(píng)估結(jié)果來(lái)看，該方法展示了較好的性能，相比傳統(tǒng)分類器，顯著減少了數(shù)據(jù)收集負(fù)擔(dān)。

工作量：在模型訓(xùn)練方面，由于使用深度學(xué)習(xí)模型，需要較多的計(jì)算資源和訓(xùn)練時(shí)間。然而，相比傳統(tǒng)方法，該方法減少了數(shù)據(jù)收集的工作量。

?

參考文獻(xiàn)

[1]Angkan, Prithila et al. “Multimodal Brain-Computer Interface for In-Vehicle Driver Cognitive Load Measurement: Dataset and Baselines.”?ArXiv?abs/2304.04273 (2023): n. pag.

[2]Guetschel, Pierre et al. “An embedding for EEG signals learned using a triplet loss.”?ArXiv?abs/2304.06495 (2023): n. pag.

[3]Mello, Chad A. et al. “Cross-Subject Deep Transfer Models for Evoked Potentials in Brain-Computer Interface.”?2022 26th International Conference on Pattern Recognition (ICPR)?(2022): 1062-1068.

?

創(chuàng)作聲明：包含 AI 輔助創(chuàng)作?