（論文加源碼）基于DEAP的腦電情緒識(shí)別（四分類）（數(shù)據(jù)增強(qiáng)和擴(kuò)充）（五種模型作對(duì)比
?論文及源碼見個(gè)人主頁(yè)：
摘要：
? ? ? ?在本項(xiàng)目中，創(chuàng)建一個(gè)基于效價(jià)/喚醒模型的情緒識(shí)別或分類系統(tǒng)。腦電圖（EEG）信號(hào)將主要用于創(chuàng)建該模型。不同的刺激在EEG信號(hào)中引發(fā)不同的反應(yīng)。將使用不同類型的視頻刺激及其相應(yīng)的情緒效果，這是由EEG信號(hào)確定的。我們的目標(biāo)是創(chuàng)建一個(gè)客觀的系統(tǒng)，該系統(tǒng)可以確定視頻在任何受試者中產(chǎn)生的反應(yīng)類型，從而可以根據(jù)情緒類別對(duì)視頻進(jìn)行分類，這是使用效價(jià)/喚醒量表定義的。該項(xiàng)目將創(chuàng)建一個(gè)情緒分類系統(tǒng)和視頻分類系統(tǒng)，即使用戶能夠使用觀看視頻的人的腦電圖信號(hào)客觀地確定視頻的類型。這樣的系統(tǒng)可能有利于創(chuàng)建本質(zhì)上真正客觀的推薦系統(tǒng)。該項(xiàng)目使用1D卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行分類。來(lái)自32個(gè)通道的EEG信號(hào)首先被減少到EEG通道中對(duì)稱差異的14個(gè)通道，然后在這14個(gè)通道上應(yīng)用一個(gè)模型，給出90%的加權(quán)準(zhǔn)確度，用于將情緒分類為4類。
1.引言
? ? ? ?情緒是一種復(fù)雜的反應(yīng)模式，涉及行為、經(jīng)驗(yàn)和生理因素。它可以與個(gè)性、情緒或氣質(zhì)聯(lián)系在一起。關(guān)于腦電圖與情緒的關(guān)系，已經(jīng)進(jìn)行了廣泛的研究，其中許多方法涉及研究人員手動(dòng)觀察腦電圖信號(hào)，以識(shí)別與某種類型的情緒相對(duì)應(yīng)的區(qū)域。最近，機(jī)器學(xué)習(xí)的應(yīng)用使EEG中的情緒分類過(guò)程自動(dòng)化已經(jīng)得到了廣泛的研究。在這個(gè)項(xiàng)目中，使用了DEAP數(shù)據(jù)集。音樂片段被用作視覺刺激，以從受試者那里獲得不同類型的情緒。使用情緒分類的價(jià)喚醒模型將情緒分析并分類為4個(gè)區(qū)域。該項(xiàng)目利用原始腦電圖信號(hào)進(jìn)行一些預(yù)處理，對(duì)參與者對(duì)視頻刺激的情緒反應(yīng)進(jìn)行分類。在該領(lǐng)域已經(jīng)提出了許多深度學(xué)習(xí)模型，但大多數(shù)模型首先在EEG上應(yīng)用離散小波變換或功率譜密度計(jì)算等變換，在該項(xiàng)目中，在原始EEG信號(hào)上應(yīng)用1D CNN，實(shí)現(xiàn)了75%的加權(quán)精度，說(shuō)明了深度學(xué)習(xí)模型的功率。
2.理論方面
2.1價(jià)喚醒模型
? ? ? ?擬建項(xiàng)目計(jì)劃使用效價(jià)喚醒模型來(lái)更定量地描述情緒。在此模型中，。人們可以將每種情緒狀態(tài)放置在具有喚醒和效價(jià)的二維平面上。分別作為x軸和y軸（如圖1所示）。也可以將支配地位作為第三維度，以更深入地理解情緒狀態(tài)。價(jià)態(tài)可以從不愉快到愉快，而喚醒可以從不活躍到活躍。效價(jià)喚醒空間可分為四個(gè)象限，低喚醒/低價(jià)、低喚醒/高價(jià)、高喚醒/低價(jià)和高喚醒/高價(jià)。價(jià)喚醒也可以使用線性回歸來(lái)確定。
2.2.DEAP數(shù)據(jù)集
? ? ? ?DEAP數(shù)據(jù)集是通過(guò)以下方式獲得的。一開始，研究人員使用了一種新穎的刺激選擇方法，并收集了一大組視頻片段。然后是1。提取實(shí)驗(yàn)中使用的視頻片段的最小片段。之后進(jìn)行主觀測(cè)試以選擇最合適的視頻剪輯。然后，參與者參與數(shù)據(jù)集收集，并使用32個(gè)活性氯化銀電極以512Hz的采樣率記錄他們的腦電圖信號(hào)。之后，每個(gè)參與者根據(jù)效價(jià)和興奮程度對(duì)其進(jìn)行評(píng)分。為了最大限度地發(fā)揮所獲得的情緒的強(qiáng)度，選擇了最強(qiáng)的志愿者評(píng)分，同時(shí)選擇了一種變化較小的視頻類型。DEAP數(shù)據(jù)集是參與從生理信號(hào)中進(jìn)行自發(fā)情緒分析的公開數(shù)據(jù)集的人數(shù)最多的數(shù)據(jù)集。它也是唯一一個(gè)使用音樂片段作為情感刺激的數(shù)據(jù)庫(kù)。
2.3.腦電圖與情緒的相關(guān)性
? ? ? ?可以使用腦電圖技術(shù)來(lái)提供人類大腦的見解。由于腦電圖有助于檢測(cè)大腦中發(fā)生的最小調(diào)制，研究情緒變化腦電圖被發(fā)現(xiàn)是一種有用的技術(shù)。腦電圖可以檢測(cè)各種情緒，例如平靜、快樂、壓力、悲傷、恐懼、驚訝等。Valence與腦電圖信號(hào)有很強(qiáng)的相關(guān)性，并在所有頻帶中發(fā)現(xiàn)了相關(guān)性11。據(jù)觀察，這種關(guān)聯(lián)與試點(diǎn)研究中的觀察結(jié)果不太一致。
2.4. 1D-CNN模型
? ? ? ?擬建項(xiàng)目在原始腦電圖上使用CNN。如圖3所示，在1D CNN中，在時(shí)間序列數(shù)據(jù)上傳遞具有一定寬度和高度的內(nèi)核。在通過(guò)時(shí)間序列時(shí)，它執(zhí)行卷積的簡(jiǎn)單陣列運(yùn)算，以從EEG信號(hào)中學(xué)習(xí)判別特征。
? ? ? ?由于1D CNN的計(jì)算復(fù)雜度較低，它們不需要專門的硬件來(lái)實(shí)時(shí)訓(xùn)練和運(yùn)行。訓(xùn)練它們更容易，并且與非常深的2D-CNN架構(gòu)相比，它們?cè)跍\層架構(gòu)中表現(xiàn)出了良好的性能。在每個(gè)CNN層中有許多參數(shù)需要決定，如內(nèi)核大小、濾波器數(shù)量、步長(zhǎng)、激活函數(shù)的選擇等。
3.文獻(xiàn)綜述和發(fā)現(xiàn)的研究空白
? ? ? ?基于腦電信號(hào)的自動(dòng)情緒識(shí)別和分類是最近的一個(gè)問題，主要是傳統(tǒng)方法在其上的應(yīng)用。已經(jīng)提出了各種方法，如使用腦電信號(hào)中的功率譜密度并在其上應(yīng)用樸素貝葉斯，或在任何其他手工特征上應(yīng)用最近鄰。
? ? ? ?離散小波變換也是一種用于從EEG信號(hào)中提取時(shí)頻域特征的常用技術(shù)，在這些特征上已經(jīng)應(yīng)用了SVM等。
? ? ? ?一些方法從信號(hào)中提取統(tǒng)計(jì)特征，如它們的平均值、標(biāo)準(zhǔn)差、峰度等，并將模型應(yīng)用于它們?？偟膩?lái)說(shuō)，重點(diǎn)是EEG中存在的統(tǒng)計(jì)特征，研究人員將時(shí)間序列簡(jiǎn)化為這些特征，然后在這些特征上應(yīng)用經(jīng)典的機(jī)器學(xué)習(xí)模型。
? ? ? ?這些模型還專注于高價(jià)/低價(jià)或高喚醒/低喚醒的二元分類任務(wù)。已經(jīng)為每一種情緒建立了單獨(dú)的模型來(lái)對(duì)情緒進(jìn)行分類。
? ? ? ?在這個(gè)項(xiàng)目中，這兩個(gè)問題已經(jīng)得到了處理。首先，與使用手工設(shè)計(jì)的特征相比，我們使用原始EEG信號(hào)來(lái)獲得良好的分類精度。將1D-CNN應(yīng)用于原始EEG信號(hào)以獲得75%的準(zhǔn)確度。其次，提出了一個(gè)多分類問題，而不是兩個(gè)單獨(dú)的二元分類問題。多類別分類是一個(gè)更具挑戰(zhàn)性的問題，與之前的研究人員所做的2個(gè)類別相比，模型更難區(qū)分4個(gè)類別。
4. 提出的工作和方法
4.1. 提出的工作
表一：一維網(wǎng)絡(luò)模型中使用的層和參數(shù)的描述
圖4：用于對(duì)EEG信號(hào)進(jìn)行分類的一維CNN模型的層數(shù)
? ? ? ?表1和圖4詳細(xì)顯示了所提出的模型體系結(jié)構(gòu)。所提出的模型是一維卷積神經(jīng)網(wǎng)絡(luò)。
? ? ? ?1D卷積層是輸入后模型的第一層，它使用64的內(nèi)核大小和128個(gè)濾波器，步長(zhǎng)為1。在該層的輸出端使用ReLU激活。在池大小為2的第一層的輸出上進(jìn)行一維最大池化。然后1D卷積被重復(fù)3次，濾波器的數(shù)量分別為64、16和4，內(nèi)核大小分別為16、4和。這三種方法的步長(zhǎng)都為1，激活度都為ReLU。應(yīng)用池大小為2的另一個(gè)最大池層，然后將其輸出展平。
? ? ? ?然后，將具有64個(gè)神經(jīng)元的密集層與ReLU激活一起應(yīng)用，作為模型的分類部分的一部分。速率為0.4的脫落用于正則化目的并防止神經(jīng)元中的共同適應(yīng)。最后，一個(gè)具有4個(gè)神經(jīng)元的Softmax層將任務(wù)分類為4個(gè)類。
? ? ? ?? ? ? ?進(jìn)行超參數(shù)調(diào)整以獲得表2中列出的參數(shù)。Adam優(yōu)化器用于達(dá)到損失函數(shù)的最佳點(diǎn)。0.01的學(xué)習(xí)率與1e-3的衰減一起使用。使用了自定義衰減調(diào)度程序，代碼中對(duì)此進(jìn)行了描述。使用Softmax層的分類交叉熵進(jìn)行分類。模型的準(zhǔn)確性很高
表 2 ： 用于獲得模型最小Cross - Entropy Loss 的超參數(shù)
4.2. 方法
算法和流程圖：
? ? ? ?在該項(xiàng)目中，目的是創(chuàng)建一個(gè)分類器，該分類器將使用受試者在觀看視頻刺激的試驗(yàn)期間大腦中產(chǎn)生的EEG信號(hào)對(duì)受試者的情緒進(jìn)行分類。
a.分類器的輸入實(shí)例（X）：
? ? ? ?當(dāng)在試驗(yàn)期間向受試者顯示視頻時(shí)，受試者產(chǎn)生EEG信號(hào)，并且這些信號(hào)是長(zhǎng)度為8064的時(shí)間序列，因?yàn)椴蓸邮窃?28Hz下進(jìn)行63秒。32個(gè)電極用于從受試者的大腦讀取EEG信號(hào)。共有40個(gè)視頻，每個(gè)視頻都顯示給實(shí)驗(yàn)中32名受試者中的每一個(gè)人。因此，對(duì)于每個(gè)受試者，生成與我們相關(guān)的40*32*8064的數(shù)據(jù)。
b.標(biāo)簽（Y）：
? ? ? ?試驗(yàn)結(jié)束后，每個(gè)受試者對(duì)視頻的喚醒程度和觀看后的興奮程度進(jìn)行評(píng)分。評(píng)分采用1-9分制。為了從該數(shù)據(jù)生成標(biāo)簽，我們已經(jīng)對(duì)標(biāo)度的中間值（即5）上的值進(jìn)行了閾值處理。這為我們提供了兩個(gè)標(biāo)簽：高價(jià)和低價(jià)，以及類似的兩個(gè)喚醒標(biāo)簽。
c.指標(biāo)：
準(zhǔn)確度：
? ? ? ?它只是對(duì)正確預(yù)測(cè)的實(shí)例數(shù)量相對(duì)于實(shí)例總數(shù)的度量。
?圖5：情緒分類的流程圖
? ? ? ?分類過(guò)程中遵循的各種步驟如圖5所示。首先，總共讀取了1280個(gè)實(shí)例；每個(gè)實(shí)例具有32個(gè)EEG通道的數(shù)據(jù)，每個(gè)通道的長(zhǎng)度8064對(duì)應(yīng)于63秒的數(shù)據(jù)記錄。刪除了前3秒的數(shù)據(jù)，保留了最后60秒的數(shù)據(jù)。數(shù)據(jù)已經(jīng)被預(yù)處理以去除偽影，并被下采樣到128Hz。
? ? ? ?現(xiàn)在，使用[4]中描述的腦電圖放置位置，發(fā)現(xiàn)了一對(duì)對(duì)稱相對(duì)的腦電圖。從原始的32個(gè)樣本中減去這些腦電圖數(shù)據(jù)，得到每個(gè)樣本14個(gè)時(shí)間序列。然后將這些樣品標(biāo)準(zhǔn)化到0到1的范圍，然后標(biāo)準(zhǔn)化以去除平均值并使標(biāo)準(zhǔn)偏差為1。
? ? ? ?在這種最小的預(yù)處理之后，EEG通道被劃分為訓(xùn)練、驗(yàn)證和測(cè)試集，每個(gè)集有864、288和128個(gè)樣本。然后使用1D CNN（其架構(gòu)已經(jīng)描述）從這些數(shù)據(jù)中學(xué)習(xí)并進(jìn)行分類。圖7描述了深度學(xué)習(xí)模型的算法。
?該模型是使用Keras API和Python語(yǔ)言的Tensorflow后端實(shí)現(xiàn)的。
5.結(jié)果和討論
? ? ? ?本項(xiàng)目使用DEAP[6]數(shù)據(jù)集將情緒分為4類，即效價(jià)喚醒模型中的HV/HA、HV/LA、LV/HA、LV/LA。識(shí)別了14對(duì)EEG通道[4]，并從每次試驗(yàn)的32個(gè)通道的輸入中獲得。總共1280個(gè)樣本被分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，大小分別為864、288和128。表1中描述的模型用于分類目的，在超參數(shù)調(diào)諧之后，獲得并使用表2中存在的參數(shù)。
? ? ? ?圖8和圖9顯示了準(zhǔn)確度和損失與時(shí)期的關(guān)系圖。曲線圖表明，在75%的準(zhǔn)確度之后，模型停止學(xué)習(xí)，并且準(zhǔn)確度和損失停滯。該研究得出結(jié)論，對(duì)于給定類型的深度學(xué)習(xí)模型和給定的數(shù)據(jù)集，75%是使用原始EEG信號(hào)可獲得的最高精度。這種準(zhǔn)確性適用于4類分類問題，這比二進(jìn)制分類要困難得多。[6]在EEG信號(hào)上使用特征提取方法給出的基線平均值為二元分類的58.3%，所提出的方法顯著超過(guò)了這一點(diǎn)。
圖8：準(zhǔn)確率 v/s epoch的平滑圖，藍(lán)色為驗(yàn)證，橙色為訓(xùn)練。
?
?圖9：損失v/s epoch的平滑圖，藍(lán)色為驗(yàn)證，橙色為訓(xùn)練。
?表3：所提方法的準(zhǔn)確性比較
? ? ? ?大多數(shù)對(duì)DEAP數(shù)據(jù)集進(jìn)行情感分類的研究都集中在使用復(fù)雜的特征工程方法，如離散小波變換、主成分分析、腦電信號(hào)的功率譜密度等，以及Na?ve Bayes、支持向量機(jī)和KNN分類器等模型。所提出的方法不使用任何復(fù)雜的特征工程技術(shù)。1D-CNN被直接應(yīng)用于原始EEG信號(hào)上。進(jìn)行最小預(yù)處理，在EEG信號(hào)的前60秒，進(jìn)行0-1范圍的標(biāo)準(zhǔn)化，然后進(jìn)行標(biāo)準(zhǔn)化以去除平均值并使標(biāo)準(zhǔn)偏差為1。該模型在原始EEG信號(hào)上的多類分類精度很高，而可比研究的精度僅為85%左右，在二元分類上也只有85%左右。
? ? ? ?? ? ? ?似乎有必要進(jìn)行特征增強(qiáng)，以增加可用于訓(xùn)練模型的樣本數(shù)量。此外，還可以對(duì)模型的不同架構(gòu)進(jìn)行更多調(diào)整，以獲得更好的精度。
6.環(huán)境要求
? ? ? ?谷歌實(shí)驗(yàn)室被用來(lái)做這個(gè)項(xiàng)目。數(shù)據(jù)集被上傳到谷歌硬盤，谷歌Colab的GPU被用于在線訓(xùn)練模型?？梢允褂靡韵萝浖陀布髞?lái)復(fù)制實(shí)驗(yàn)設(shè)置。
6.1 軟件需求
7.結(jié)論
? ? ? ?腦電信號(hào)的自動(dòng)分類和識(shí)別是機(jī)器學(xué)習(xí)領(lǐng)域的一項(xiàng)艱巨任務(wù)。該項(xiàng)目提出了一個(gè)端到端的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，用于將一個(gè)人通過(guò)音樂視頻剪輯所經(jīng)歷的情緒分類為4類。1D-CNN用于此任務(wù)，它從原始EEG信號(hào)中學(xué)習(xí)特征。與[6]中58.3%的平均二進(jìn)制分類準(zhǔn)確率相比，所提出的方法在測(cè)試數(shù)據(jù)上實(shí)現(xiàn)了75%的加權(quán)準(zhǔn)確率。該模型說(shuō)明了深度學(xué)習(xí)模型從原始數(shù)據(jù)中學(xué)習(xí)特征的能力，而無(wú)需傳統(tǒng)技術(shù)中的任何復(fù)雜特征提取。
論文及源碼見個(gè)人主頁(yè)：
