（論文和源碼）基于DEAP的實(shí)時(shí)腦電情緒分類系統(tǒng)
?論文和源碼見個(gè)人主頁：
摘要
? ? ? ?在離線模式下，用于情緒分類的數(shù)據(jù)被存儲(chǔ)并可以無限地訪問。然而，這些離線模式的方法不適合于實(shí)時(shí)情緒分類，當(dāng)數(shù)據(jù)以連續(xù)流的形式出現(xiàn)時(shí)，模型只能一次看到數(shù)據(jù)。我們需要根據(jù)情緒狀態(tài)做出實(shí)時(shí)反應(yīng)。為此，我們提出了一種基于實(shí)時(shí)情緒分類系統(tǒng)（RECS）的Logistic回歸（LR），該系統(tǒng)使用隨機(jī)梯度下降（SGD）算法在線訓(xùn)練。通過使用EEG信號(hào)流在線訓(xùn)練模型，所提出的RECS能夠?qū)崟r(shí)地對(duì)情緒進(jìn)行分類。為了驗(yàn)證RECS的性能，我們使用了DEAP數(shù)據(jù)集，這是情緒分類中使用最廣泛的基準(zhǔn)數(shù)據(jù)集。結(jié)果表明，該方法能有效地從腦電數(shù)據(jù)流中實(shí)時(shí)分類情緒，與其他離線和在線方法相比，該方法具有更好的準(zhǔn)確性和F1評(píng)分。
當(dāng)前的問題
? ? ? ?傳統(tǒng)的機(jī)器學(xué)習(xí)（ML）方法主要用于離線模式，在離線模式下，數(shù)據(jù)可以被無限次掃描。這些方法在e-learning視角下有局限性，例如
1. 在線學(xué)習(xí)中的情緒分類需要實(shí)時(shí)分類，但離線機(jī)器學(xué)習(xí)方法無法做到這一點(diǎn)。
2. 離線機(jī)器學(xué)習(xí)情感分類器需要大量數(shù)據(jù)，要執(zhí)行復(fù)雜的情感識(shí)別，需要適當(dāng)?shù)挠?xùn)練數(shù)據(jù)。這些訓(xùn)練數(shù)據(jù)是不變的，這意味著可以無限期地查看。研究人員使用當(dāng)前研究中的歷史數(shù)據(jù)來訓(xùn)練機(jī)器學(xué)習(xí)模型（即離線模式訓(xùn)練），然后使用訓(xùn)練過的模型來評(píng)估情緒。在實(shí)時(shí)情緒分類場(chǎng)景中，這樣的情況代價(jià)高昂且不可行。
? ? ? ?本研究的目的是開發(fā)一個(gè)實(shí)時(shí)情緒分類系統(tǒng)，利用實(shí)時(shí)腦電型號(hào)對(duì)情緒狀態(tài)進(jìn)行分類。我們提出了一個(gè)實(shí)時(shí)情緒分類系統(tǒng)（RECS），該系統(tǒng)是通過使用隨機(jī)梯度下降（SGD）算法在線訓(xùn)練的邏輯回歸（LR）開發(fā)的。
目標(biāo)
? ? ? ?構(gòu)建一個(gè)輕量級(jí)的情緒分類器，該分類器可能非常有效，因此可以實(shí)時(shí)對(duì)情緒進(jìn)行分類，并可用于時(shí)間維度非常重要的現(xiàn)實(shí)生活環(huán)境，例如在電子學(xué)習(xí)中。
主要貢獻(xiàn)：
1.我們開發(fā)了一個(gè)實(shí)時(shí)情緒分類系統(tǒng)，使用隨機(jī)梯度下降（SGD）算法在線訓(xùn)練的邏輯回歸（LR）。在我們的例子中，我們使用EEG數(shù)據(jù)作為生理數(shù)據(jù)流。EEG數(shù)據(jù)以流的形式出現(xiàn)，情緒狀態(tài)被實(shí)時(shí)分類。
2.我們已經(jīng)證明，我們提出的RECS分類器可以優(yōu)于最先進(jìn)的在線流媒體分類器方法；也就是說，我們考慮了五種在線分類器：霍夫丁樹（HT）、自適應(yīng)隨機(jī)林（ARF）、動(dòng)態(tài)加權(quán)集成（DWE）、加法專家集成（AEE）和霍夫丁自適應(yīng)樹（HAT）。我們還比較了八種離線模式的機(jī)器學(xué)習(xí)方法，包括支持向量機(jī)（SVM）、多層感知器（MLP）和決策樹（DT），以及文獻(xiàn)中的五種在線分類器（樸素貝葉斯、支持向量機(jī)、隱馬爾可夫模型（HMM）和K-NN）。
3.我們?cè)谝粋€(gè)應(yīng)用場(chǎng)景（e-learning應(yīng)用）中分析了所提出的方法，在該應(yīng)用場(chǎng)景中，可以合并來自EEG數(shù)據(jù)流的實(shí)時(shí)情緒分類。
實(shí)驗(yàn)步驟：
? ? ? ?主要使用EEG傳感器數(shù)據(jù)流進(jìn)行實(shí)時(shí)情緒分類的工作過程。如圖3所示。實(shí)驗(yàn)研究分為以下步驟：
第一步：
? ? ? ?數(shù)據(jù)集預(yù)處理和數(shù)據(jù)重排：為了使EEG信號(hào)成為可能，我們考慮了預(yù)處理的DEAP數(shù)據(jù)。DEAP數(shù)據(jù)以3D矩陣格式存儲(chǔ)，因此為了更好地理解和可讀性，我們將EEG信號(hào)重新排列為一維（1D）矩陣格式，如下所示：
? ? ? ?[participant, video, channel no, channel data, valence class, arousal class]
? ? ? ?在這個(gè)實(shí)驗(yàn)中，我們使用EEG數(shù)據(jù)對(duì)情緒進(jìn)行分類，如高/低情緒和覺醒。因此，在對(duì)DEAP數(shù)據(jù)集中的效價(jià)和覺醒分?jǐn)?shù)進(jìn)行處理時(shí)，會(huì)自動(dòng)進(jìn)行縮放。例如：如果價(jià)態(tài)大于或等于5，則該類別為高價(jià)（即1）；否則，該類為低價(jià)（即0）。對(duì)于喚醒類標(biāo)簽也進(jìn)行了類似的縮放。
第二步：
? ? ? ?信號(hào)模擬：在腦電圖模擬中，我們考慮了每個(gè)參與者60秒的時(shí)間窗口。60秒時(shí)間獲勝的原因是視頻長(zhǎng)度為60秒，在DEAP數(shù)據(jù)中，相應(yīng)的視頻可以使用情感標(biāo)簽。我們認(rèn)為，每個(gè)參與者一次觀看一個(gè)視頻，相應(yīng)參與者的EEG信號(hào)流不斷出現(xiàn)。數(shù)據(jù)流速率為2 Mb/60 s。流模擬系統(tǒng)是使用WebSockets開發(fā)的，其中連續(xù)的EEG數(shù)據(jù)流從客戶端傳輸?shù)椒?wù)器，服務(wù)器正在處理這些數(shù)據(jù)流以進(jìn)行實(shí)時(shí)情緒分類。
第三步：
? ? ? ?從腦電信號(hào)流中提取特征：在我們的實(shí)驗(yàn)中，使用每個(gè)子帶的小波系數(shù)從每個(gè)通道的腦電信號(hào)流中提取特征。提取的重要特征是小波能量、小波能量比和小波熵。在我們的實(shí)驗(yàn)中，我們使用Daubechies小波和近似最優(yōu)小波Daubechies 4（Db4）小波基作為小波基函數(shù)，將腦電信號(hào)分解為五個(gè)級(jí)別。
第四步：
? ? ? ?情緒分類模型：對(duì)于來自EEG流的情緒分類，我們使用邏輯回歸模型進(jìn)行高/低效價(jià)和覺醒分類。
第五步：
? ? ? ?模型測(cè)試和訓(xùn)練：使用隨機(jī)梯度下降算法（算法1）在增量學(xué)習(xí)中訓(xùn)練邏輯回歸模型。之所以使用中間測(cè)試-然后訓(xùn)練方法，是因?yàn)樵摷夹g(shù)不需要測(cè)試集的單獨(dú)內(nèi)存，并最大限度地利用了可用數(shù)據(jù)；分類器的測(cè)試和訓(xùn)練性能可以通過每個(gè)示例的最詳細(xì)的可能分辨率進(jìn)行檢查。這意味著，在將模型用于訓(xùn)練之前，可以使用每個(gè)單獨(dú)的示例來測(cè)試模型，并由此更新精度、FM分?jǐn)?shù)和混淆矩陣。因此，該模型總是在從未見過的例子上進(jìn)行測(cè)試。在交織測(cè)試和訓(xùn)練的初始階段（對(duì)于第一個(gè)數(shù)據(jù)元組），模型不會(huì)返回任何信息，因?yàn)樗恢罃?shù)據(jù)，因此精度和F1分?jǐn)?shù)將為零。然后，通過看到更多的數(shù)據(jù)元組，精確度和F1分?jǐn)?shù)將逐漸提高。對(duì)于每個(gè)EEG信號(hào)流，模型訓(xùn)練一次（即歷元為1），因?yàn)樵诹髦校Ｐ涂梢钥吹揭淮螖?shù)據(jù)。
1.? 機(jī)器配置為Ubuntu 18.04 64位操作系統(tǒng)，處理器核心為i7-7700HQ，RAM 16 Gb–2400 MHz，4Gb Nvidia GTX-1050
2.? SVM：對(duì)于SVM，C（正則化參數(shù)）設(shè)置為1.0，并按照規(guī)定使用徑向基核（rbf）。
3.? MLP：對(duì)于MLP，使用一個(gè)包含20個(gè)神經(jīng)元和乙狀結(jié)腸激活功能的隱藏層。在學(xué)習(xí)率為0.001的情況下，采用隨機(jī)梯度下降法對(duì)MLP進(jìn)行優(yōu)化。最大epoch設(shè)置為200。
3.? DT：對(duì)于DT，所有內(nèi)容都設(shè)置為規(guī)定的默認(rèn)值。
4.? RECS方法：在我們的方法中，SGD的學(xué)習(xí)率為0.05，在整個(gè)情緒分類中是固定的。為了設(shè)置學(xué)習(xí)率，我們使用RECS對(duì)一個(gè)受試者進(jìn)行了周期學(xué)習(xí)率（CLR），其中我們將SGD的學(xué)習(xí)率從0變?yōu)?，步長(zhǎng)增量為0.01。
和其他模型的比較：
論文和源碼見個(gè)人主頁：
