?論文和源碼見個人主頁（或者私信）

?本篇論文發(fā)表于2022年的頂級期刊，代碼可以完整運行，詳情見第八節(jié)或者個人主頁

論文源碼見個人主頁

目錄

本篇論文發(fā)表于2022年的頂級期刊，代碼可以完整運行，詳情見第八節(jié)或者個人主頁

摘要：

1.簡介

2.相關(guān)工作

3.DEAP數(shù)據(jù)集

4.實驗細(xì)節(jié)

4.1數(shù)據(jù)準(zhǔn)備。

4.1.1數(shù)據(jù)準(zhǔn)備。

4.1.2特征提取。

4.1.3分類器輸入的數(shù)據(jù)安排。

4.2.數(shù)據(jù)擴(kuò)充。

4.3.GANs。

4.4.CWGAN。

4.4.1 Generator。

4.4.2.Discriminator。

4.4.3生成數(shù)據(jù)的評估質(zhì)量。

4.4.4.將生成的數(shù)據(jù)添加到訓(xùn)練集。

4.5.分類。

5.結(jié)果

6.結(jié)論

7.未來工作

8.代碼運行部分

附錄圖：

摘要：

????????情緒識別是腦機(jī)交互中一個具有挑戰(zhàn)性的問題。腦電圖（EEG）提供了關(guān)于由于情緒刺激而產(chǎn)生的大腦活動的獨特信息。與情緒識別任務(wù)中的面部表情、語調(diào)或語音相比，這是大腦信號最顯著的優(yōu)勢之一。然而，由于缺乏腦電數(shù)據(jù)和高維腦電記錄，難以建立高精度的有效分類器。在本研究中，分別提出了數(shù)據(jù)擴(kuò)充和特征提取技術(shù)來解決數(shù)據(jù)缺乏和數(shù)據(jù)高維的問題。在本研究中，所提出的方法基于深度生成模型和一種稱為條件Wasserstein GAN（CWGAN）Conditional Wasserstein GAN的數(shù)據(jù)增強(qiáng)策略，將其應(yīng)用于提取的特征以重新生成額外的EEG特征。DEAP數(shù)據(jù)集用于評估所提出方法的有效性。最后，實現(xiàn)了標(biāo)準(zhǔn)的支持向量機(jī)和具有不同曲調(diào)的深度神經(jīng)網(wǎng)絡(luò)，以建立有效的模型。實驗結(jié)果表明，使用額外的增強(qiáng)數(shù)據(jù)可以提高基于EEG的情緒識別模型的性能。此外，數(shù)據(jù)增強(qiáng)后，效價和喚醒的平均分類準(zhǔn)確度分別提高了6.5%和3.0%。

1.簡介

????????近年來，使用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)基于腦電信號的情緒識別在不同的研究領(lǐng)域變得非常有爭議。與視覺或語音信號相比，響應(yīng)情緒刺激生成的EEG數(shù)據(jù)是獨特的，即使個人試圖不顯示自己的情緒，也無法隱藏。此外，神經(jīng)科學(xué)家正試圖找到不同情緒狀態(tài)下的大腦活動模式，并確定這些模式在不同的人中是否常見。實驗結(jié)果表明，有三種情緒的神經(jīng)特征：積極、中性和消極[1]。特征工程作為模式識別的一種方式是另一個有爭議的問題，在訓(xùn)練模型時應(yīng)該仔細(xì)考慮。因此，如何從看似毫無意義和復(fù)雜的大腦電信號中提取有意義的大腦活動，是腦機(jī)接口面臨的一大挑戰(zhàn)[2]。已經(jīng)提出了許多方法來提高許多方面的性能，包括預(yù)處理、特征提取、特征選擇和分類[3，4]。

????????近年來，人們研究了許多基于腦電圖的情緒識別方法。情感識別的主要關(guān)注點是特征提取和分類。分類器使用特征作為輸入來識別情緒狀態(tài)。特征提取有多種方法，如基于多種信號處理技術(shù)和統(tǒng)計學(xué)的傳統(tǒng)特征工程方法，或可以通過神經(jīng)網(wǎng)絡(luò)直接提取的自動特征工程方法。為了提出一種有效的基于腦電的情緒分類方法，人們對傳統(tǒng)特征工程和自動特征工程進(jìn)行了大量研究。提取的特征被作為有效的標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)模型的輸入，如SVM[5-10]、KNN[10-12]等。最近，深度學(xué)習(xí)網(wǎng)絡(luò)在特征提取和分類任務(wù)中顯示出顯著的能力，許多研究人員將不同的神經(jīng)網(wǎng)絡(luò)應(yīng)用于EEG數(shù)據(jù)[13-16]以提高準(zhǔn)確性。

????????與視覺和音頻數(shù)據(jù)集相比，缺乏腦電訓(xùn)練數(shù)據(jù)集仍然是基于深度學(xué)習(xí)模型的基于腦電的情緒識別任務(wù)的主要挑戰(zhàn)之一是基于EEG的情緒識別只有少數(shù)公共數(shù)據(jù)集：SEED、DEAP、DREAMER、MAHNOB-HCI3和MPED[14]。此外，這些數(shù)據(jù)集的規(guī)模遠(yuǎn)小于像ImageNet這樣的圖像數(shù)據(jù)集。如果機(jī)器學(xué)習(xí)模型能夠訪問更多的訓(xùn)練數(shù)據(jù)，那么它將更加準(zhǔn)確。生成假腦電圖數(shù)據(jù)是解決數(shù)據(jù)缺乏問題的常用解決方案。這種方法被稱為增廣。最近，各種不同的技術(shù)被用來生成更多的數(shù)據(jù)。例如，對原始數(shù)據(jù)應(yīng)用幾何修改通常用于圖像數(shù)據(jù)增強(qiáng)。在腦電數(shù)據(jù)增強(qiáng)中，高斯噪聲通常被添加到數(shù)據(jù)中以創(chuàng)建新的數(shù)據(jù)[13]，但最近提出了一種新的方法，通過使用深度生成神經(jīng)網(wǎng)絡(luò)生成腦電逼真數(shù)據(jù)[17]。[17]中首次提出了一種CWGAN網(wǎng)絡(luò)來生成EEG特征的向量。然后，使用一種技術(shù)來檢查生成的數(shù)據(jù)的質(zhì)量，并且只有高質(zhì)量的數(shù)據(jù)被添加到訓(xùn)練集中。最后，對SVM和DNN進(jìn)行訓(xùn)練，對原始和擴(kuò)充的訓(xùn)練數(shù)據(jù)進(jìn)行二值分類。使用二維喚醒價模型從復(fù)雜和非平穩(wěn)的EEG數(shù)據(jù)中識別情緒。實驗結(jié)果表明，數(shù)據(jù)增強(qiáng)提高了分類器的準(zhǔn)確性。

????????本文的其余部分組織如下：第2節(jié)概述了基于EEG的情緒識別的生成和數(shù)據(jù)增強(qiáng)方法的相關(guān)工作。在第3節(jié)中，詳細(xì)討論了所提出方法的實現(xiàn)。第4節(jié)描述了DEAP數(shù)據(jù)集，并介紹了我們實驗設(shè)置的細(xì)節(jié)*第5節(jié)給出了實驗結(jié)果以及所提出的方法與不同方法的比較。最后，在第6節(jié)中，我們介紹了我們工作的結(jié)論。

2.相關(guān)工作

????????由于腦電數(shù)據(jù)收集的高成本和挑戰(zhàn)，大多數(shù)腦電公共數(shù)據(jù)集都很小，來自不同參與者的記錄數(shù)據(jù)數(shù)量有限。這對用于預(yù)測和分類任務(wù)的機(jī)器學(xué)習(xí)模型的準(zhǔn)確性有很大影響，并對EEG數(shù)據(jù)分類提出了巨大挑戰(zhàn)。研究一種像真實數(shù)據(jù)一樣生成腦電假數(shù)據(jù)的方法，是解決基于腦電的情緒識別任務(wù)中數(shù)據(jù)不足問題的一個有爭議的問題。在本文中，將情緒識別模型與標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)模型和深度神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)增強(qiáng)前后的性能進(jìn)行了比較，以檢查數(shù)據(jù)增強(qiáng)是否有效。實驗結(jié)果表明，數(shù)據(jù)擴(kuò)充方法在某些情況下有效地提高了模型的性能。

????????[13，18]中使用了通過向訓(xùn)練集添加高斯噪聲來增強(qiáng)基于EEG的情緒識別的數(shù)據(jù)。[17]中首次提出了使用深度生成模型進(jìn)行新的數(shù)據(jù)增強(qiáng)來生成EEG偽數(shù)據(jù)，結(jié)果表明準(zhǔn)確性有所提高。DEAP、DREAMER三個數(shù)據(jù)集以及他們自己收集的一個數(shù)據(jù)集的組合，用于解決[19]中情緒識別任務(wù)中的數(shù)據(jù)不足問題。在過去的幾年里，通過部署機(jī)器學(xué)習(xí)技術(shù)來分析EEG數(shù)據(jù)以進(jìn)行情緒識別，已經(jīng)進(jìn)行了許多研究。SVM分類器被提出作為預(yù)測三種情緒狀態(tài)的分類模型，EEG時頻特征被用作實現(xiàn)分類器的輸入數(shù)據(jù)[20]。在[21]中，作者使用KNN作為分類器，使用信號幅度作為輸入特征來預(yù)測八種情緒狀態(tài)。

????????LSTM網(wǎng)絡(luò)用于從EEG數(shù)據(jù)中識別情緒，并將DEAP數(shù)據(jù)集的原始EEG信號作為輸入特征提供給網(wǎng)絡(luò)。特征提取由LSTM網(wǎng)絡(luò)自動完成，并使用密集層進(jìn)行分類*實現(xiàn)的網(wǎng)絡(luò)對喚醒、效價和喜好的平均準(zhǔn)確率分別為85.65%、85.45%和87.99%。與傳統(tǒng)技術(shù)相比，所提出的方法達(dá)到了較高的平均精度[15]。提出了一種基于堆疊自動編碼器（MESAE）的多層群體分類模型來識別情緒。在DEAP數(shù)據(jù)集[22]上，興奮和價態(tài)參數(shù)的二元預(yù)測模型的平均準(zhǔn)確率分別為77%、76%，F(xiàn)評分分別為69%和72%。[23]中提出了兩種具有新架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，用于基于EEG信號的生物特征識別。提出了一種集成深度神經(jīng)網(wǎng)絡(luò)來探索腦電幀記錄數(shù)據(jù)的通道和上下文信息之間的相關(guān)性?；旌戏椒ㄊ荂NN和RNN網(wǎng)絡(luò)的組合[24]。已經(jīng)提出了一種使用DEAP數(shù)據(jù)集從EEG信號中檢測情緒的深度神經(jīng)網(wǎng)絡(luò)。本研究研究研究了兩種類型的神經(jīng)網(wǎng)絡(luò)架構(gòu)：CNN和DNN。在對預(yù)處理數(shù)據(jù)進(jìn)行訓(xùn)練時，這兩個模型在對用戶情緒進(jìn)行分類方面都非常有效[1]。GELM模型已被用于識別隨時間推移的穩(wěn)定模式，并評估情緒識別模型的穩(wěn)定性。情緒模式的特征選擇和分類在SEED和DEAP數(shù)據(jù)集中進(jìn)行評估[25]。在情緒識別任務(wù)中，提出了一種CWGAN網(wǎng)絡(luò)作為生成EEG數(shù)據(jù)的數(shù)據(jù)增強(qiáng)技術(shù)?；赟VM和DNN上的二維喚醒效價模型，DEAP數(shù)據(jù)集的平均分類準(zhǔn)確率分別為48.9%和47.5%[17]。[19]中提出了三個數(shù)據(jù)集的組合，即DEAP、DREAMER和他們自己收集的專有數(shù)據(jù)集，以解決情緒識別任務(wù)中數(shù)據(jù)不足的問題?？倲?shù)據(jù)集涉及60名參與者，這是與其他數(shù)據(jù)集相比數(shù)量最多的數(shù)據(jù)集。該方法對效價和喚醒的準(zhǔn)確率分別為70.26%和72.42%。如上所述，基于腦電圖的情緒識別研究從未停止過。盡管已經(jīng)開發(fā)了許多深度學(xué)習(xí)方法來從EEG信號中識別情緒，但提出一種合適的方法仍處于初級階段。由于腦電數(shù)據(jù)收集的局限性，可用于基于腦電的情緒識別的深度學(xué)習(xí)技術(shù)的標(biāo)記腦電樣本是一個重大挑戰(zhàn)，提出解決方案仍然是一個問題。

3.DEAP數(shù)據(jù)集

????????數(shù)據(jù)集包括在用戶對外部刺激的響應(yīng)期間記錄的腦電波和生理信號。DEAP是觀看音樂視頻時大腦、環(huán)境和面部信號的集合[26]。在這個數(shù)據(jù)集中，選擇了40個音樂視頻，以盡可能地喚起人們的情緒。實驗的參與者人數(shù)為32人。已經(jīng)記錄了來自40個通道的數(shù)據(jù)，其中包括32個EEG通道和8個生理通道。每個音樂視頻的周期為63秒，其中包括觀看每個音樂視頻3秒的準(zhǔn)備周期和觀看1分鐘的準(zhǔn)備周期。在觀看了每個音樂視頻后，參與者對每個音樂視頻的Valence、Arousal、Dominance和Liking評分從0到9。每個人給出的分?jǐn)?shù)被認(rèn)為是每個人的標(biāo)準(zhǔn)標(biāo)準(zhǔn)。參與者對每個視頻的評估基于二維喚醒效價模型，如圖1所示[27]。

編輯

????????喚醒：表示人們感情的強(qiáng)烈程度。數(shù)值越高，感覺越強(qiáng)烈，數(shù)值越低，感覺越弱。其范圍從平靜到興奮[28]。

????????Valence：表示人們對感情的愉悅程度。它越高，這個人感覺越積極和快樂，它越低，這個人感到越消極和悲傷。其范圍從令人不快到令人愉快[28]。

????????表1中詳細(xì)給出了數(shù)據(jù)集描述。在32個參與者文件中，63秒內(nèi)記錄的數(shù)據(jù)長度為8064個樣本，以128Hz的頻率采樣。在32個文件中的每一個文件中，都有40個試驗的40個不同通道記錄的生理和腦電圖信號[27]。

編輯

4.實驗細(xì)節(jié)

????????傳統(tǒng)的特征工程是分析腦電信號的最古老的解決方案之一。根據(jù)問題的類型，已經(jīng)識別并提取了描述信號的特定模式的特征。描述大腦信號中任何模式的特征識別本身就是數(shù)據(jù)分析的一個復(fù)雜分支。根據(jù)之前的研究及其結(jié)果[22]，已經(jīng)選擇并提取了用于識別情緒的適當(dāng)特征。特征提取降低了記錄的EEG數(shù)據(jù)的維數(shù)。在特征提取后，提出了一種數(shù)據(jù)增強(qiáng)方法，從真實的EEG數(shù)據(jù)中生成更多的數(shù)據(jù)，以擴(kuò)展數(shù)據(jù)集，克服數(shù)據(jù)不足導(dǎo)致分類模型過擬合和預(yù)測錯誤的問題。基于傳統(tǒng)特征工程的情感識別的一般過程如圖2所示。最后，使用SVM和DNN作為分類器來驗證增強(qiáng)數(shù)據(jù)對提取特征的結(jié)果。

編輯

圖2：提出的模型流程圖

4.1數(shù)據(jù)準(zhǔn)備。

????????情緒本身是一個復(fù)雜的問題，與許多未知的事情有關(guān)。盡管從腦電圖信號中識別情緒是一個有趣的問題，但通過分析大腦活動很難弄清楚人類大腦中到底發(fā)生了什么。電腦可能會在人們的大腦中對相同的情緒刺激產(chǎn)生不同的模式。令人困惑的腦電圖數(shù)據(jù)集如圖3所示.

編輯

圖3：DEAP數(shù)據(jù)集的樹狀表示

4.1.1數(shù)據(jù)準(zhǔn)備。

????????如圖3中的樹狀圖所示，記錄的數(shù)據(jù)很大且令人困惑。解決問題之前的第一步是明確問題的定義。關(guān)鍵是要弄清楚到底要解決什么問題。乍一看，第一個問題是，我們是要在不同的實驗中檢查和分析一個人的情緒，還是要在不同人之間識別情緒。重要的是要考慮到，不同的人對相同刺激的反應(yīng)可能會在大腦中產(chǎn)生不同的情緒模式，很難在他們之間找到共同的模式。在本文中，研究了不同人群之間的情緒識別，并記錄了40個實驗中所有參與者的數(shù)據(jù)，共有1280個樣本。在進(jìn)行任何探索之前，第一個經(jīng)過預(yù)處理和重新排列的數(shù)據(jù)集如圖4所示。

編輯

????????數(shù)據(jù)的維度仍然很高，需要很長時間來探索和分析。此外，此維度數(shù)據(jù)的內(nèi)存使用率太高。因此，在重新排列數(shù)據(jù)之后，是時候通過進(jìn)行一些特征工程來降低數(shù)據(jù)的維度了。

4.1.2特征提取。

????????通常，從EEG信號中提取特征是信號處理中最重要的問題之一。從信號中提取的特征描述了信號的行為，每個特征都給出了有關(guān)數(shù)據(jù)的特殊信息。因此，提取能夠準(zhǔn)確描述信號行為的特征可以提高機(jī)器學(xué)習(xí)模型的學(xué)習(xí)能力。如果從信號中提取的特征可以很容易地劃分為不同的類別，并且它們之間的邊界更清晰，那么機(jī)器學(xué)習(xí)模型將能夠更好地學(xué)習(xí)。特征提取的主要目的是提取隱藏在海量數(shù)據(jù)中的更重要的信息。此外，特征提取過程還通過減少數(shù)據(jù)處理量，顯著減少了數(shù)據(jù)分析和處理高維數(shù)據(jù)所需的資源。在數(shù)據(jù)分析和深度神經(jīng)網(wǎng)絡(luò)研究中，時間復(fù)雜性和資源使用是一個有爭議的問題。最近，已經(jīng)提出了從EEG信號中提取特征的不同技術(shù)。因此，給模型什么作為輸入是很重要的。本文從腦電信號中提取了許多特征，作為機(jī)器學(xué)習(xí)模型的輸入。所提取的特征[22]如表2所示。

編輯

????????所有特征都是在python庫的幫助下提取的，提取的特征并置在一個2d陣列中，準(zhǔn)備提供給機(jī)器學(xué)習(xí)模型。提取的特征描述了大腦信號如何因不同的情緒狀態(tài)而變化。相應(yīng)地解釋每個提取的特征的含義：

（i） 平均PSD：回答“一個信號的功率有多少在一個頻帶內(nèi)？”的問題。

（ii）過零率（ZCR）：它是信號從正變?yōu)樨?fù)的次數(shù)，反之亦然。

（iii）平均值：該值表示數(shù)據(jù)分布的平均值。

（iv）方差：它顯示了數(shù)據(jù)是如何從數(shù)據(jù)的平均值中分布出來的。

????????表3中解釋了每個頻率的描述以及在不同頻帶中發(fā)生的情況。

????????圖5-9和圖10顯示了單通道6（s）的腦電圖記錄數(shù)據(jù)和不同頻帶的腦電圖數(shù)據(jù)，如θ、SlowAlpha、Alpha、Beta和Gamma。

????????圖11-14和圖15分別顯示了每個32個腦電圖通道的平均PSD，單位為*eta、Low Alpha、Alpha、Beta和Gamma。

????????圖16-18和19分別顯示了左右頭皮之間14個腦電通道對的θ、Alpha、Beta和Gamma波段的平均PSD差異。

????????圖20、21和22顯示了60個中32個腦電通道的平均值、方差和過零率。

4.1.3分類器輸入的數(shù)據(jù)安排。

????????在特征提取之后，提取的特征應(yīng)該以適當(dāng)?shù)母袷脚帕?，以便用作分類器的輸入?shù)據(jù)。

????????（1） 特征矩陣。腦電圖特征矩陣如圖23所示。各行代表40個實驗中32名參與者的總數(shù)（1280:32×40）。列表示從EEG信號中提取的特征（344）。

????????（2） 標(biāo)簽矩陣。根據(jù)參與者的評分值，0–9之間的標(biāo)簽值被記錄為連續(xù)值。已經(jīng)選擇數(shù)字5作為用于標(biāo)記上類和下類的閾值。因此，5分以上的分?jǐn)?shù)被視為1，這意味著高，小于或等于5分的分?jǐn)?shù)被認(rèn)為是0，這意味意味著低。因此，根據(jù)表4，標(biāo)簽被分為兩個獨立的類別，0（低）和1（高）。

????????（3） 訓(xùn)練和測試數(shù)據(jù)的拆分。為了訓(xùn)練所提出的模型并測試它是否正常工作，整個可用數(shù)據(jù)集必須分為兩部分：訓(xùn)練集和測試集。訓(xùn)練組和測試組的數(shù)量分別為1152個和128個。

4.2.數(shù)據(jù)擴(kuò)充。

????????數(shù)據(jù)擴(kuò)充是通過轉(zhuǎn)換訓(xùn)練數(shù)據(jù)來生成新樣本的過程，以提高分類器的準(zhǔn)確性和穩(wěn)健性[29]。不斷增加數(shù)據(jù)以提高模型性能的方法不僅不能提高模型的學(xué)習(xí)能力，還會使結(jié)果惡化，降低模型的預(yù)測能力。必須根據(jù)數(shù)據(jù)財產(chǎn)選擇適當(dāng)?shù)臄?shù)據(jù)增強(qiáng)方法。以前在圖像處理中使用了兩種常見的數(shù)據(jù)增強(qiáng)方法：幾何變換和噪聲添加。幾何變換，如移位、縮放、旋轉(zhuǎn)/反射等，不是增強(qiáng)EEG數(shù)據(jù)的好選擇，因為它是非平穩(wěn)信號，并且隨時間變化。在時域或頻域中提取的特征仍然是時間序列，因此這些時間序列的旋轉(zhuǎn)或移位會破壞特征，因此這不是一種適合這類數(shù)據(jù)的技術(shù)。與幾何變換相比，添加噪聲是一種更好的選擇，但不是增強(qiáng)EEG數(shù)據(jù)的最佳方法。有各種噪聲可以添加到數(shù)據(jù)中，如高斯、泊松、Salt、Pepper等，但由于EEG數(shù)據(jù)是非平穩(wěn)的，我們不能將任何類型的這些噪聲添加到數(shù)據(jù)，因為它可能會局部改變EEG數(shù)據(jù)的特征?；谙惹暗难芯?，用于腦電數(shù)據(jù)增強(qiáng)的最常用的噪聲是高斯噪聲，它被添加到腦電時間序列的每個特征中，以從原始數(shù)據(jù)創(chuàng)建新數(shù)據(jù)[18]。在我們的工作中，我們考慮使用GANs作為一種非常新的EEG數(shù)據(jù)增強(qiáng)方法來生成新的數(shù)據(jù)

4.3.GANs。

????????由于數(shù)據(jù)收集的成本，大多數(shù)腦電圖數(shù)據(jù)集都有少量的腦電圖數(shù)據(jù)。由于缺乏數(shù)據(jù)，使用需要足夠訓(xùn)練數(shù)據(jù)的深度學(xué)習(xí)模型很難預(yù)測情緒狀態(tài)。在本研究中，數(shù)據(jù)增強(qiáng)方法被用于解決情緒識別任務(wù)中數(shù)據(jù)不足的問題。實驗結(jié)果表明，更多的數(shù)據(jù)可以有效提高基于深度學(xué)習(xí)模型的情緒識別性能。最近對生成對抗性網(wǎng)絡(luò)（GAN）和變分自動編碼器（VAE）等生成模型的研究表明，它們可以生成像真實數(shù)據(jù)一樣的新數(shù)據(jù)。證據(jù)還表明，生成模型生成的人工數(shù)據(jù)可以用來增加數(shù)據(jù)，提高分類器的準(zhǔn)確性，并通過提高可推廣性來防止過度擬合[17]。圖24顯示了GAN的工作原理。一般來說，GAN由兩個主要組件組成，包括試圖擊敗對方的生成器和鑒別器。生成器網(wǎng)絡(luò)的輸入是隨機(jī)噪聲，鑒別器得到兩個輸入；生成虛假數(shù)據(jù)和真實數(shù)據(jù)。它應(yīng)該將生成的數(shù)據(jù)與真實數(shù)據(jù)進(jìn)行比較，以識別它是假的還是真的。生成器和鑒別器的目的是欺騙對方。生成器試圖產(chǎn)生高質(zhì)量的數(shù)據(jù)，就像欺騙鑒別器的真實數(shù)據(jù)一樣。鑒別器試圖檢測假數(shù)據(jù)。這個過程一直持續(xù)到生成器生成鑒別器無法識別是假的還是真的數(shù)據(jù)，并將生成的數(shù)據(jù)視為真實數(shù)據(jù)。GANs無法生成標(biāo)記數(shù)據(jù)。

編輯

編輯

4.4.CWGAN。

????????在[17]中，CWGAN網(wǎng)絡(luò)被提出作為一種新的數(shù)據(jù)增強(qiáng)技術(shù)，用于生成EEG數(shù)據(jù)，而無需對其質(zhì)量進(jìn)行任何判斷。在這項工作中，所提出的CWGAN不僅產(chǎn)生了EEG特征，而且還考慮了產(chǎn)生的數(shù)據(jù)的質(zhì)量。因此，CWGAN被用于生成先前已經(jīng)提取的特征。此外，在生成數(shù)據(jù)以生成標(biāo)記數(shù)據(jù)時還考慮了一個補(bǔ)充條件。然后，對生成的數(shù)據(jù)的質(zhì)量進(jìn)行評估，并將高質(zhì)量的數(shù)據(jù)添加到訓(xùn)練集中。所提出的CWGAN由兩個網(wǎng)絡(luò)組成：一個生成器和一個鑒別器。這兩個網(wǎng)絡(luò)協(xié)同工作以生成逼真的EEG特征。他們不斷地試圖打敗對方。生成器獲得高斯噪聲和標(biāo)簽作為輸入，鑒別器獲得兩對標(biāo)記的生成數(shù)據(jù)和真實數(shù)據(jù)。生成器試圖生成具有相同真實數(shù)據(jù)分布的偽數(shù)據(jù)以欺騙鑒別器，并且鑒別器試圖區(qū)分給定數(shù)據(jù)是真的還是假的。如果生成器可以欺騙鑒別器，則所提出的CWGAN工作良好。CWGAN的體系結(jié)構(gòu)如圖23所示。GAN和CWGAN之間的主要區(qū)別在于CWGAN產(chǎn)生標(biāo)記的數(shù)據(jù)。

編輯

4.4.1 Generator。

????????如圖25所示，生成器被設(shè)計為一個簡單的深度神經(jīng)網(wǎng)絡(luò)，它獲取噪聲和標(biāo)簽作為輸入，并從給定的噪聲中產(chǎn)生假數(shù)據(jù)。最初，生成的數(shù)據(jù)質(zhì)量是足夠的。在生成器訓(xùn)練過程中經(jīng)過幾個時期后，生成器學(xué)會生成高質(zhì)量的數(shù)據(jù)來欺騙鑒別器。那么學(xué)習(xí)階段就完成了。

編輯

4.4.2.Discriminator。

????????它被設(shè)計成一個簡單的深度神經(jīng)網(wǎng)絡(luò)，獲得兩對作為輸入，由生成器生成的標(biāo)記偽數(shù)據(jù)和標(biāo)記真實數(shù)據(jù)。鑒別器必須區(qū)分兩對給定數(shù)據(jù)是否具有相同的分布。如果它發(fā)現(xiàn)給定數(shù)據(jù)的分布是相同的，則表明生成器通過生成高質(zhì)量的數(shù)據(jù)成功地欺騙了鑒別器，并且訓(xùn)練階段已經(jīng)完成。鑒別器網(wǎng)絡(luò)如圖26所示。

編輯

????????在準(zhǔn)備好訓(xùn)練數(shù)據(jù)之后，準(zhǔn)備將訓(xùn)練集作為所提出的CWGAN的輸入，以生成更多的偽數(shù)據(jù)。因此，在對準(zhǔn)備好的訓(xùn)練集進(jìn)行一些預(yù)處理和歸一化之后，將其提供給網(wǎng)絡(luò)。然后，通過設(shè)置CWGAN的超參數(shù)，它就可以生成假數(shù)據(jù)了。通過比較真實數(shù)據(jù)和生成數(shù)據(jù)的分布圖以及通過損失函數(shù)來確定生成數(shù)據(jù)的質(zhì)量。訓(xùn)練步驟的數(shù)量被設(shè)置為500，并且在500個步驟之后生成的數(shù)據(jù)具有高質(zhì)量。生成器和鑒別器的超參數(shù)，即Epoch數(shù)、批量大小和學(xué)習(xí)率，分別為10、32和0.0002。

4.4.3生成數(shù)據(jù)的評估質(zhì)量。

????????對研究人員來說，評估生成的高維腦電圖數(shù)據(jù)是一項挑戰(zhàn)。使用CWGAN網(wǎng)絡(luò)生成EEG數(shù)據(jù)的主要挑戰(zhàn)之一是無法容易地識別生成數(shù)據(jù)的質(zhì)量。通過視覺觀察和比較可以很容易地評估圖像數(shù)據(jù)，但必須尋求另一種解決方案來評估生成的EEG數(shù)據(jù)與真實EEG數(shù)據(jù)的相似性。最常見的比較方法之一是將生成的數(shù)據(jù)的分布與原始數(shù)據(jù)進(jìn)行比較。另一種技術(shù)是在訓(xùn)練階段觀察發(fā)生器和鑒別器的損失函數(shù)圖的變化。

????????圖27描述了訓(xùn)練過程中鑒別器和生成器的損失函數(shù)的變化過程。它顯示了CWGAN訓(xùn)練階段的過程和生成的數(shù)據(jù)的質(zhì)量。最初，生成器開始從作為輸入的噪聲中生成隨機(jī)數(shù)據(jù)。如圖27所示，生成器的損耗很高，鑒別器的損耗很低，這意味著生成器無法生成高質(zhì)量的數(shù)據(jù)并欺騙鑒別器。鑒別器的低損失值意味著它可以區(qū)分給定的數(shù)據(jù)是假的。高質(zhì)量數(shù)據(jù)生成的最佳點是低生成器損耗和高鑒別器損耗。當(dāng)圖表收斂到這一點，并且損失值的變化變得穩(wěn)定時，訓(xùn)練階段就完成了，生成的數(shù)據(jù)似乎具有高質(zhì)量。此外，必須對生成數(shù)據(jù)和實際數(shù)據(jù)的分布進(jìn)行比較。如果它們足夠相似，這意味著CWGAN能夠生成高質(zhì)量的數(shù)據(jù)。數(shù)據(jù)的分布如圖28所示，其中Z1和Z2是PCA提取的特征值最大的特征值。

編輯

????????由于腦電數(shù)據(jù)的高維性，比較其分布圖非常困難。因此，主成分分析被應(yīng)用于生成的和真實的特征，以降低數(shù)據(jù)的維數(shù)，從而更好地進(jìn)行可視化和比較。如圖28所示，經(jīng)過500個訓(xùn)練步驟后，CWGAN生成的數(shù)據(jù)及其在二維空間中的散射分布與真實數(shù)據(jù)相似。當(dāng)生成的數(shù)據(jù)的散點圖與原始數(shù)據(jù)相等并且在接下來的步驟中幾乎沒有變化時，可以停止訓(xùn)練。對于圖像數(shù)據(jù)，可以通過觀察生成的數(shù)據(jù)并將其與原始數(shù)據(jù)進(jìn)行比較來容易地確定其質(zhì)量。該網(wǎng)絡(luò)的輸出最終是一個CSV文件，該文件存儲一組生成的特征和一個包含生成的標(biāo)簽的文件，這些標(biāo)簽也被格式化為CSV文件。

編輯

4.4.4.將生成的數(shù)據(jù)添加到訓(xùn)練集。

????????在下一步中，生成的數(shù)據(jù)被附加到訓(xùn)練集。已經(jīng)生成了各種數(shù)量的數(shù)據(jù)并將其添加到訓(xùn)練集中，但只有其中一些數(shù)據(jù)能夠改進(jìn)分類結(jié)果。

4.5.分類。

????????對于數(shù)據(jù)分類，支持向量機(jī)和深度神經(jīng)網(wǎng)絡(luò)已被應(yīng)用于訓(xùn)練各種大小的增強(qiáng)數(shù)據(jù)，結(jié)果表明，在某些情況下，分類精度有所提高。與我們預(yù)期的增加數(shù)據(jù)可以提高分類準(zhǔn)確性相反，在某些情況下，增加數(shù)據(jù)不僅沒有提高準(zhǔn)確性，反而降低了準(zhǔn)確性。

????????為了實現(xiàn)穩(wěn)定高效的深度神經(jīng)網(wǎng)絡(luò)，已經(jīng)測試了不同數(shù)量的層和神經(jīng)元，以達(dá)到高質(zhì)量的設(shè)計。最后，這個體系結(jié)構(gòu)產(chǎn)生了最好的結(jié)果。第一層是輸入層，包含512個神經(jīng)元，隱藏層分別有256個和128個神經(jīng)元。在最后一個隱藏層之后，放置一個丟棄層以防止過度擬合。最后一層由具有S形激活函數(shù)的用于二元預(yù)測的神經(jīng)元組成，中間層具有Relu激活函數(shù)。

????????該網(wǎng)絡(luò)體系結(jié)構(gòu)簡單且易于實現(xiàn)。低內(nèi)存消耗和執(zhí)行時間是本研究中考慮的問題。支持向量機(jī)是最強(qiáng)大的機(jī)器學(xué)習(xí)算法之一，具有實現(xiàn)簡單、訓(xùn)練速度快、可預(yù)測性強(qiáng)和穩(wěn)定性強(qiáng)的特點。測試了不同的內(nèi)核，得出的結(jié)論是，在這種情況下，線性內(nèi)核是最好的。

5.結(jié)果

????????對于適當(dāng)?shù)挠?xùn)練階段，已經(jīng)測試了不同數(shù)量的增強(qiáng)數(shù)據(jù)和網(wǎng)絡(luò)設(shè)計。實驗結(jié)果列于表5和表6中。

????????如表5和表6所示，神經(jīng)網(wǎng)絡(luò)模型中的數(shù)據(jù)擴(kuò)充比標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)模型更有效。數(shù)據(jù)增強(qiáng)提高了SVM和DNN分類器的預(yù)測精度。很明顯，通過將數(shù)據(jù)加倍，SVM的準(zhǔn)確率提高了3.9%，但DNN根本沒有提高。原因是顯而易見的；深度神經(jīng)網(wǎng)絡(luò)模型比傳統(tǒng)的機(jī)器學(xué)習(xí)模型需要更多的數(shù)據(jù)。一方面，通過在原始數(shù)據(jù)集中添加太多數(shù)據(jù)，SVM的準(zhǔn)確性不僅沒有提高，反而變得更差。另一方面，添加過多的數(shù)據(jù)顯著提高了DNN的預(yù)測精度。DNN的預(yù)測準(zhǔn)確率提高了6.7%，這是令人驚訝的。總之，數(shù)據(jù)增強(qiáng)任務(wù)，特別是在腦電數(shù)據(jù)中，是復(fù)雜的，因此需要考慮許多問題。在這個實驗中，生成了大量數(shù)據(jù)并將其添加到原始數(shù)據(jù)集，但并非所有數(shù)據(jù)都能有效地產(chǎn)生預(yù)期的結(jié)果。這意味著更多的數(shù)據(jù)并不能肯定地提高準(zhǔn)確性。在這項任務(wù)中，更重要的關(guān)注點是分類器準(zhǔn)確性的可靠性。表7和表8顯示了所提出的方法與先前工作的比較。

6.結(jié)論

????????在這項研究中，兩個挑戰(zhàn)是從腦電圖信號中識別情緒的首要任務(wù)。第一個問題是腦電信號的高維問題，第二個問題缺乏腦電數(shù)據(jù)。為了解決這些問題，分別提出了利用生成對抗性網(wǎng)絡(luò)進(jìn)行特征提取和數(shù)據(jù)擴(kuò)充。與SVM分類器相比，所實現(xiàn)的方法在DNN上具有更好的準(zhǔn)確性，這意味著數(shù)據(jù)的缺乏對神經(jīng)網(wǎng)絡(luò)模型比傳統(tǒng)的機(jī)器學(xué)習(xí)模型更重要。提取和生成的特征的分布表明，特征非常雜亂，不同類別的特征之間沒有明確的邊界。這導(dǎo)致分類精度低，并且在SVM中比在DNN中更明顯。

7.未來工作

????????在本文中，最重要的任務(wù)是腦電圖數(shù)據(jù)的生成和特征提取。實驗結(jié)果表明，提取的特征在分類器預(yù)測和學(xué)習(xí)階段起著關(guān)鍵作用。如果提取的特征有可能清楚地描述不同類別的信號模式，那么分類器的預(yù)測能力就會增強(qiáng)，模型也會更準(zhǔn)確地工作。因此，在未來的工作中，特征提取技術(shù)被認(rèn)為是我們研究標(biāo)準(zhǔn)的重點。導(dǎo)致錯誤預(yù)測的下一個問題是重新標(biāo)記數(shù)據(jù)。目標(biāo)的二進(jìn)制編碼是模型預(yù)測錯誤和精度低的原因之一。例如，在目標(biāo)編碼中，5.1被認(rèn)為是1，4.9被認(rèn)為是0。這兩個標(biāo)簽彼此非常接近，似乎具有相同的模式，但它們被考慮在兩類不同的預(yù)測中，并且模型在預(yù)測中很容易變得混亂，并且錯誤預(yù)測率增加。

8.代碼運行部分

跑完500epoch的結(jié)果。

編輯

編輯

附錄圖：

編輯

編輯

編輯

編輯