導(dǎo)讀

大腦活動(dòng)模式分類(lèi)是理解大腦，進(jìn)行神經(jīng)診斷和設(shè)計(jì)閉環(huán)神經(jīng)接口的重要工具。頭皮腦電圖(EEG)以其非侵入性和低成本的優(yōu)點(diǎn)被用于神經(jīng)信號(hào)的分類(lèi)，研究人員已經(jīng)使用了各種機(jī)器學(xué)習(xí)方法來(lái)進(jìn)行研究。近年來(lái)，深度學(xué)習(xí)(DL)因其能夠在闡明分類(lèi)的相關(guān)特征的同時(shí)顯著提高許多領(lǐng)域的分類(lèi)性能而廣受歡迎。本文旨在為對(duì)基于EEG的深度學(xué)習(xí)研究感興趣的研究人員提供全面的參考來(lái)源。

前言

深度學(xué)習(xí)(DL)在EEG應(yīng)用中的潛力

隨著深度學(xué)習(xí)算法的使用，EEG分析領(lǐng)域呈指數(shù)級(jí)增長(zhǎng)。對(duì)先前研究的分析為DL架構(gòu)的發(fā)展趨勢(shì)提供了豐富的來(lái)源。在EEG分析中，卷積神經(jīng)網(wǎng)絡(luò)（CNN）、深度信念網(wǎng)絡(luò)（DBM）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）越來(lái)越流行。這些深度學(xué)習(xí)算法已應(yīng)用于各種EEG分類(lèi)任務(wù)。具體而言，Craik等人分析了90項(xiàng)研究發(fā)現(xiàn)，大多數(shù)EEG分類(lèi)研究可分為六大類(lèi)：情緒識(shí)別、運(yùn)動(dòng)想象、心理負(fù)荷、癲癇檢測(cè)、事件相關(guān)電位和睡眠階段評(píng)分。根據(jù)任務(wù)類(lèi)型對(duì)研究進(jìn)行了分析，并給出了對(duì)最能成功分類(lèi)的DL架構(gòu)類(lèi)型的建議。此外，Craik還指出了特征選擇方法的總體分布，特別是針對(duì)六大任務(wù)類(lèi)別的分布，如圖1所示。除此之之外，少有研究嘗試使用DL算法來(lái)提高我們對(duì)阿爾茨海默癥，抑郁癥等方面的理解。

圖1

有些綜述還提供了對(duì)深度學(xué)習(xí)架構(gòu)設(shè)計(jì)選擇的進(jìn)一步分析。Craik等人就DBN、CNN和RNN(該綜述中發(fā)現(xiàn)的三種性能最高的架構(gòu)類(lèi)型)的特定架構(gòu)設(shè)計(jì)提供了建議。具體而言，具有三個(gè)受限玻爾茲曼機(jī)(RBM)的深度信念網(wǎng)絡(luò)(DBN)平均性能優(yōu)于其他DBN設(shè)計(jì)。當(dāng)使用信號(hào)值作為輸入時(shí)，具有四到五個(gè)卷積層的CNN的性能優(yōu)于其他公式，而當(dāng)使用圖像作為輸入時(shí)，具有兩個(gè)卷積層的CNN的性能優(yōu)于其他變式。最后，研究發(fā)現(xiàn)具有兩個(gè)LSTM層的RNN性能優(yōu)于此類(lèi)架構(gòu)的其他變式。Roy等人發(fā)現(xiàn)，應(yīng)用于EEG的DL架構(gòu)通常使用3-10層，而不考慮具體的DL架構(gòu)類(lèi)型或輸入公式。

深度學(xué)習(xí)方法概述

圖2概覽了EEG文獻(xiàn)中常用的DL方法。接下來(lái)描述和總結(jié)了以往的EEG DL分類(lèi)任務(wù)研究中使用的典型輸入特征和DL方法。

圖2

輸入特征

在使用DL的EEG神經(jīng)分類(lèi)中，主要有三種類(lèi)型的輸入用于訓(xùn)練模型：時(shí)域，頻域和圖像特征。時(shí)域和頻域特征是最常用的方法，圖像特征可以將此類(lèi)特征可視化為圖像，以最大限度地利用CNN。

①時(shí)域特征

時(shí)域或時(shí)域特征非常接近數(shù)據(jù)的原始形式，或者是線(xiàn)性求和的時(shí)間樣本，以創(chuàng)建事件相關(guān)電位(ERP)。這些是EEG神經(jīng)分類(lèi)中使用的一些常見(jiàn)特征。這些特征的優(yōu)點(diǎn)之一是它們可以很容易地生成，并且在平均信號(hào)時(shí)特別有用。

②頻域特征

頻域特征提取方法在EEG研究領(lǐng)域中得到了廣泛地應(yīng)用。提取此類(lèi)特征的常用方法之一是應(yīng)用快速傅里葉變換(FFT)。其他方法包括小波分解，主成分分析(PCA)，多錐功率譜分析等。

③圖像特征

圖像是特征的一種形式，它通過(guò)附加的空間信息可視化上述兩種特征，以便CNN等模型可以充分地利用輸入數(shù)據(jù)信息。CNN在圖像上的應(yīng)用是DL中最常見(jiàn)的應(yīng)用之一，EEG研究試圖復(fù)制這種趨勢(shì)是很自然的。早期的一項(xiàng)研究將FFT生成的頻帶進(jìn)行了可視化，將特征映射到拓?fù)鋱D上，并將其作為輸入特征輸入到類(lèi)似于VGG的模型中。

架構(gòu)

接下來(lái)將簡(jiǎn)要描述EEG DL分類(lèi)研究中使用的常見(jiàn)架構(gòu)。圖2描述了五種最常見(jiàn)的架構(gòu)。

①神經(jīng)網(wǎng)絡(luò)(NNs)

NNs是一個(gè)通用的框架，其中包含多個(gè)神經(jīng)元的相互連接。每個(gè)神經(jīng)元都是一個(gè)簡(jiǎn)單的計(jì)算器，通過(guò)激活函數(shù)計(jì)算輸入和輸出結(jié)果的線(xiàn)性組合。

②自編碼器(AEs)

AEs是最常用的無(wú)監(jiān)督NN框架之一。它們由兩個(gè)主要部分組成：編碼器和解碼器。編碼器學(xué)習(xí)特定的函數(shù)，這些函數(shù)將輸入數(shù)據(jù)從輸入域轉(zhuǎn)換為潛在或代碼空間中的一組特征向量。然后，解碼器學(xué)習(xí)將這種潛在表征轉(zhuǎn)換回輸入空間的函數(shù)，從而重建輸入。自編碼器框架需要不同的正則化來(lái)學(xué)習(xí)數(shù)據(jù)的壓縮、有損壓縮表征。

③受限玻爾茲曼機(jī)(RBMs)

深度信念網(wǎng)絡(luò)(DBNs)是一組具有多層潛變量的生成式神經(jīng)網(wǎng)絡(luò)模型，采用貪婪的逐層無(wú)監(jiān)督學(xué)習(xí)算法。DBN由獨(dú)立的無(wú)監(jiān)督概率模型(如RBMs)組成，這些模型形成單獨(dú)的層。RBMs是具有二分連接圖的受限玻爾茲曼機(jī)，其相鄰層之間有連接，但同一層中的單元之間沒(méi)有連接。

④卷積神經(jīng)網(wǎng)絡(luò)(CNNs)

在一個(gè)或多個(gè)完全連接層之前，CNNs的結(jié)構(gòu)包含一系列卷積和池化階段。卷積層的各個(gè)單元被組織成特征映射，它通過(guò)稱(chēng)為濾波器組的共享權(quán)重，將特定單元連接到來(lái)自上一層特征映射的局部斑塊。池化層將卷積層中的相似特征組合為單個(gè)特征。局部感受野、共享權(quán)重和池化層的使用有助于降低EEG數(shù)據(jù)的高維度。執(zhí)行這些卷積所需的濾波器組通過(guò)反向傳播自動(dòng)調(diào)整。

⑤循環(huán)神經(jīng)網(wǎng)絡(luò)(RNNs)

RNNs是一種特殊類(lèi)型的NN，它通過(guò)在整個(gè)數(shù)據(jù)持續(xù)時(shí)間內(nèi)解析權(quán)重來(lái)保留輸入時(shí)間序列中的權(quán)值。與CNNs相比，RNNs最初用于對(duì)數(shù)據(jù)建模，包括時(shí)間序列、語(yǔ)言建模和語(yǔ)音合成等順序特征。由于RNNs能夠?qū)π蛄幸蕾?lài)性進(jìn)行建模，因此它是基于EEG的BCI的必然選擇，其中大腦信號(hào)被視為時(shí)間序列。

特定于任務(wù)的分類(lèi)

根據(jù)任務(wù)類(lèi)型對(duì)最新的DL腦電圖分類(lèi)研究進(jìn)行分類(lèi)。將任務(wù)類(lèi)型大致分為：①意志過(guò)程（圖3），②外部刺激，③醫(yī)療應(yīng)用和④情感腦機(jī)接口(BCI)。在每個(gè)任務(wù)類(lèi)型中，將任務(wù)進(jìn)一步劃分為特定的子部分。

圖3.一般意志過(guò)程的示意圖。

目前基于DL的EEG分類(lèi)研究成果大致可分為3類(lèi)：(1)提高了分類(lèi)精度；(2)提出了一種新的特征解釋方法；以及(3)增強(qiáng)了實(shí)時(shí)可行性。第一類(lèi)傾向于研究EEG分類(lèi)任務(wù)中常用的DL方法(與傳統(tǒng)ML方法相比)的可行性和性能。第二類(lèi)傾向于分析層權(quán)重并對(duì)其進(jìn)行可視化，以便模型學(xué)習(xí)到的特征可以被解釋?zhuān)瑥亩斫獾讓犹卣魇侨绾斡兄诜诸?lèi)的。第三類(lèi)研究了深度學(xué)習(xí)在實(shí)時(shí)應(yīng)用中的可行性，通過(guò)減少計(jì)算參數(shù)的數(shù)量，實(shí)現(xiàn)實(shí)時(shí)分類(lèi)。有趣的是，早期基于DL的EEG研究重點(diǎn)關(guān)注第一類(lèi)貢獻(xiàn)，而后續(xù)的出版物中，則出現(xiàn)了更多關(guān)注第二和第三類(lèi)貢獻(xiàn)的研究。

①意志過(guò)程

A.運(yùn)動(dòng)想象(MI)

運(yùn)動(dòng)想象任務(wù)是用于外骨骼控制(exoskeleton control)最常見(jiàn)的EEG任務(wù)類(lèi)型，包括讓參與者想象四肢或舌頭的肌肉運(yùn)動(dòng)。這類(lèi)任務(wù)可分為兩組：視覺(jué)運(yùn)動(dòng)想象(VMI)和動(dòng)覺(jué)運(yùn)動(dòng)想象(KMI)。在VMI中，參與者想象自己或另一個(gè)人執(zhí)行運(yùn)動(dòng)動(dòng)作（第三人稱(chēng)過(guò)程）。KMI任務(wù)要求參與者通過(guò)關(guān)注與內(nèi)化運(yùn)動(dòng)動(dòng)作相關(guān)的肌肉群，以?xún)?nèi)部視角（第一人稱(chēng)過(guò)程）想象自我執(zhí)行的動(dòng)作。

有研究人員(5個(gè)研究團(tuán)隊(duì))試圖用非DL算法對(duì)運(yùn)動(dòng)想象數(shù)據(jù)進(jìn)行分類(lèi)。精度差異主要?dú)w因于最終分類(lèi)器。具體來(lái)說(shuō)，獲勝的算法采用了樸素貝葉斯Parzen窗口分類(lèi)器，實(shí)現(xiàn)了68%的分類(lèi)精度。其余四個(gè)團(tuán)隊(duì)使用線(xiàn)性判別分析(LDA)或支持向量機(jī)(SVM)的組合，分類(lèi)精度在47%到64%之間。大多數(shù)分析運(yùn)動(dòng)想象數(shù)據(jù)集的深度學(xué)習(xí)研究都重點(diǎn)關(guān)注分類(lèi)精度問(wèn)題。這些研究試圖通過(guò)處理特征提取和輸入公式過(guò)程或者優(yōu)化分類(lèi)器來(lái)提高精度。深度學(xué)習(xí)架構(gòu)具有大量的參數(shù)，這些參數(shù)在不同的研究中可能會(huì)有所不同，因此比較參數(shù)最相似的研究之間的性能非常重要。此外，必須對(duì)預(yù)測(cè)輸出類(lèi)別數(shù)目相同的研究進(jìn)行比較，因?yàn)轭?lèi)別數(shù)目的增加意味著分類(lèi)公式也更復(fù)雜。因此，只有對(duì)左手、右手、雙腳和舌頭的運(yùn)動(dòng)想象進(jìn)行分類(lèi)的研究才能進(jìn)行比較。總的來(lái)說(shuō)，深度學(xué)習(xí)架構(gòu)在運(yùn)動(dòng)想象應(yīng)用中的分類(lèi)精度方面是很有前景的。

B.精神疲勞

駕駛車(chē)輛需要駕駛員付出大量的認(rèn)知努力。Hajinoroozi等人是最早試圖在虛擬現(xiàn)實(shí)動(dòng)態(tài)駕駛模擬器中估計(jì)駕駛員困倦程度的研究之一。他們比較了多個(gè)DL和傳統(tǒng)ML模型的性能，以研究它們區(qū)分警覺(jué)/困倦狀態(tài)的能力。他們使用一種channel-wise卷積濾波器的CNN架構(gòu)，并將該模型引用為channel-wise CNN(CCNN)。他們報(bào)告稱(chēng)，CCNN的性能優(yōu)于常規(guī)的CNN，DNN，LDA和SVM模型。他們還用RBMs代替了常規(guī)的卷積濾波器，其性能優(yōu)于CCNN模型。

Hong等人在類(lèi)似的駕駛模擬環(huán)境中估計(jì)了駕駛員的心理負(fù)荷。他們?cè)u(píng)估了殘差CNN(CNN-R)模型的性能，該模型使用具有兩個(gè)卷積層的兩個(gè)卷積block之間的殘差連接，每個(gè)卷積層位于標(biāo)準(zhǔn)CNN之上。他們認(rèn)為，與沒(méi)有殘差連接的CNN架構(gòu)相比，CNN-R收斂速度更快，損失波動(dòng)率更低。對(duì)于CNN-R，盡管這種變化不僅僅在現(xiàn)有模型中增加了殘差連接，而且還改變了架構(gòu)(濾波器大小，單元數(shù)和層的順序)，但來(lái)自不同視覺(jué)研究的證據(jù)支持了這一觀點(diǎn)，即殘差連接可以幫助提高收斂速度。Gao等人還估計(jì)了與模擬環(huán)境中駕駛相關(guān)的疲勞。他們引入了一種架構(gòu)，該架構(gòu)使用多個(gè)一維卷積濾波器來(lái)學(xué)習(xí)時(shí)間特征，然后使用密集層來(lái)學(xué)習(xí)空間特征。他們認(rèn)為他們的模型優(yōu)于使用全局平均池來(lái)代替密集層的變體。Jeong等人并沒(méi)有將飛行員僅僅分為警覺(jué)和困倦狀態(tài)，而是開(kāi)發(fā)了一種CNN+雙向LSTM模型，該模型預(yù)測(cè)了飛行員在模擬駕駛環(huán)境中的五種不同的困倦狀態(tài)。他們報(bào)告稱(chēng)，這五種類(lèi)別的分類(lèi)得分為69%，兩種類(lèi)別的分類(lèi)得分為87%。他們將其模型與傳統(tǒng)的ML模型(如SVM)以及常規(guī)CNN和LSTM網(wǎng)絡(luò)的不同架構(gòu)進(jìn)行了比較，并證明了他們的模型優(yōu)于所有其他模型。

C.心理負(fù)荷

心理負(fù)荷是指“個(gè)體在完成任務(wù)時(shí)所承受的心理負(fù)擔(dān)量”。注意需求超過(guò)一定容量或低于要求的任何變化都可能導(dǎo)致性能下降甚至安全隱患。更好地了解這些認(rèn)知和能力的限制將有助于設(shè)計(jì)有效的人機(jī)界面系統(tǒng)。

一些研究進(jìn)行了不同的工作記憶任務(wù)，試圖引發(fā)不同水平的任務(wù)難度。大多數(shù)研究都試圖將RNN單獨(dú)或與CNN聯(lián)合添加到其模型中。其中，Bashivan等人首次使用了深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(RCNN)來(lái)預(yù)測(cè)心理負(fù)荷。然后，他們將預(yù)處理的EEG轉(zhuǎn)換為一組保留拓?fù)浣Y(jié)構(gòu)的多譜圖像，這與之前不考慮這種空間信息的研究不同。然后，他們訓(xùn)練了用于心理認(rèn)知負(fù)荷分類(lèi)的RCNN，與當(dāng)時(shí)最先進(jìn)的(SOTA)相比，該模型的分類(lèi)精度(初始精度為15.3%)顯著提高了8.9%。

②外部刺激

與運(yùn)動(dòng)想象等意志過(guò)程不同，光和聲音形式等外部刺激（圖4）可以在腦電波中引發(fā)特定的反應(yīng)，這些反應(yīng)能夠觸發(fā)用于某些接口的系統(tǒng)，如BCI。使用外部刺激的一些優(yōu)點(diǎn)是被試變異性相對(duì)較低。

圖4.一般外部刺激的示意圖。

幾乎所有的腦電深度學(xué)習(xí)研究都在外部刺激任務(wù)中使用了CNN。架構(gòu)范圍從具有兩到三層的相當(dāng)簡(jiǎn)單的CNN到使用深度可分離CNN的更復(fù)雜的CNN模型，如EEGNet。許多研究使用跨時(shí)間和跨通道的一維卷積層來(lái)提取與分類(lèi)相關(guān)的特征。一些正則化技術(shù)，如dropout和批歸一化在最近的研究中也被使用，也有研究提出了特定于EEG的正則化技術(shù)。然而，由于本文沒(méi)有將其性能與其他常用的ML正則化技術(shù)(如dropout，批歸一化以及L1和L2范數(shù))進(jìn)行徹底比較，因此這種特定于EEG的正則化技術(shù)是否值得實(shí)行仍然存在爭(zhēng)議。很少有研究在外部刺激任務(wù)中使用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)。由于研究數(shù)量相對(duì)較少，因此在使用RNN時(shí)必須謹(jǐn)慎，未來(lái)的研究在使用RNN時(shí)應(yīng)與其他架構(gòu)(如CNN)進(jìn)行性能比較。

A.視覺(jué)誘發(fā)電位(VEP)和快速序列視覺(jué)呈現(xiàn)任務(wù)(RSVP)

視覺(jué)誘發(fā)電位(VEP)是一種局限于視覺(jué)刺激的感覺(jué)誘發(fā)電位。Cecotti等人首次使用CNN進(jìn)行了EEG分類(lèi)任務(wù)的研究。該研究重點(diǎn)關(guān)注，已知被試之間存在變異性時(shí)，CNN是否可以穩(wěn)健地應(yīng)用于EEG信號(hào)。他們還研究了使用CNN作為模型學(xué)習(xí)特征的可視化工具，以了解信號(hào)的表征。BCI競(jìng)賽III，數(shù)據(jù)集2用于驗(yàn)證他們的方法。預(yù)處理包括降采樣至120Hz、帶通濾波范圍為0.1-20Hz以及歸一化。網(wǎng)絡(luò)的輸入是一個(gè)2D的EEG信號(hào)矩陣。網(wǎng)絡(luò)架構(gòu)很簡(jiǎn)單，僅使用幾個(gè)卷積層與池化層，然后將其連接到最終的完全連接層。卷積層專(zhuān)門(mén)用于學(xué)習(xí)空間和時(shí)間濾波。與其他使用學(xué)習(xí)向量量化(LVQ)、線(xiàn)性判別分析(LDA)和支持向量機(jī)(SVM)的研究相比，該研究在使用10個(gè)epoch時(shí)顯示出最佳的識(shí)別率，但另一項(xiàng)使用SVM集成的研究在使用15個(gè)epoch時(shí)表現(xiàn)出了優(yōu)越的性能。

B.穩(wěn)態(tài)視覺(jué)誘發(fā)電位(SSVEP)

SSVEP向被試提供恒定頻率的閃爍刺激，并且以相對(duì)較高的信息傳輸速率(ITR)和信噪比(SNR)而聞名。關(guān)于EEGNet研究，其他一些研究指出的一個(gè)方面是，對(duì)于他們使用的每個(gè)數(shù)據(jù)集，都需要不同的預(yù)處理。在EEG分析的典型管道中，應(yīng)用特定于任務(wù)的預(yù)處理來(lái)剔除偽跡和工程特征，但目前對(duì)端到端管道的研究興趣也越來(lái)越大。DL的潛力之一是其自動(dòng)特征提取能力。這在EEG分析中特別有用，因?yàn)槲覀兛梢暂斎朐紨?shù)據(jù)，剔除偽跡，提取特征，并對(duì)輸出進(jìn)行分類(lèi)，而無(wú)需依賴(lài)手動(dòng)選擇和特征加工。盡管這是最具挑戰(zhàn)性的領(lǐng)域之一，但人們對(duì)其應(yīng)用(EEG分析或其他方面)有著濃厚的興趣，這通常被稱(chēng)為端到端學(xué)習(xí)。

③醫(yī)療應(yīng)用

A.癲癇

癲癇是一種神經(jīng)系統(tǒng)疾病，患者的大腦活動(dòng)會(huì)變得異常。根據(jù)目前的臨床知識(shí)，尚無(wú)直接的方法來(lái)預(yù)測(cè)或治愈癲癇。但是，研究人員一般會(huì)使用EEG作為非侵入性工具（圖5）來(lái)闡明這種情況。如(1)識(shí)別有風(fēng)險(xiǎn)的人群，(2)對(duì)大腦狀態(tài)進(jìn)行分類(lèi)(如正常與發(fā)作)，(3)預(yù)測(cè)癲癇發(fā)作，以及(4)通過(guò)腦部刺激減輕癲癇發(fā)作。前兩個(gè)用途的相關(guān)研究最多，因?yàn)榘d癇和非癲癇性EEG信號(hào)的識(shí)別可以被視為一種典型的分類(lèi)問(wèn)題。最后一個(gè)用途需要在大腦成像的基礎(chǔ)上進(jìn)行刺激，并且實(shí)證研究表明，深部腦刺激(DBS)可減輕癲癇的發(fā)作。

圖5.一般醫(yī)療應(yīng)用的示意圖。

使用EEG識(shí)別癲癇活動(dòng)，需要專(zhuān)家手動(dòng)進(jìn)行分析。但是一名患者在一天內(nèi)會(huì)產(chǎn)生數(shù)小時(shí)的EEG監(jiān)測(cè)記錄，為了減輕此過(guò)程的負(fù)擔(dān)，研究人員探索使用深度學(xué)習(xí)分類(lèi)器來(lái)自動(dòng)識(shí)別發(fā)作性活動(dòng)。在自動(dòng)癲癇發(fā)作分析中，一個(gè)有前途但具有挑戰(zhàn)性的問(wèn)題是通過(guò)對(duì)發(fā)作前時(shí)期的分類(lèi)來(lái)預(yù)測(cè)即將發(fā)生的癲癇發(fā)作。發(fā)作前時(shí)期是指癲癇發(fā)作前的一種狀態(tài)，可能被誤解為發(fā)作間期，因?yàn)檫@兩種狀態(tài)很難區(qū)分。雖然癲癇發(fā)作前期的預(yù)測(cè)能夠?yàn)榘d癇患者提供明顯好處，但目前關(guān)于這方面的研究相對(duì)較少。

B.阿爾茨海默癥

阿爾茨海默癥(AD)是一種不可逆的腦部疾病，目前沒(méi)有有效的治愈或預(yù)防方法。目前關(guān)于阿爾茨海默癥的EEG研究是有限的，當(dāng)前的DL研究主要用于阿爾茨海默癥患者與其他人群的分類(lèi)。阿爾茨海默癥的嚴(yán)重程度通常分為五個(gè)階段：臨床前期AD、前驅(qū)AD、輕度AD、中度AD和重度AD。

C.睡眠分期

據(jù)美國(guó)國(guó)立衛(wèi)生研究院(NIH)的《患者和護(hù)理者指南》所示，睡眠有兩種基本類(lèi)型：快速眼動(dòng)(REM)睡眠和非REM睡眠。非快速眼動(dòng)睡眠進(jìn)一步劃分成三個(gè)階段。許多睡眠階段的研究都依賴(lài)于EEG。通過(guò)EEG進(jìn)行睡眠階段分類(lèi)的系統(tǒng)綜述顯示，許多早期研究嘗試使用DL方法(分類(lèi)為人工神經(jīng)網(wǎng)絡(luò))進(jìn)行睡眠階段分類(lèi)。其中最著名的研究工作是DeepSleepNet，它是一種基于原始單通道EEG的專(zhuān)用深度神經(jīng)網(wǎng)絡(luò)，結(jié)合了1D CNN和雙向LSTM模塊。這種單通道深度學(xué)習(xí)模型表明，睡眠專(zhuān)家與基于kappa系數(shù)值為0.80的模型預(yù)測(cè)之間存在很大的一致性。

④情感腦機(jī)接口

從2014年開(kāi)始，人們對(duì)通過(guò)EEG分析大腦活動(dòng)、將DL技術(shù)應(yīng)用于人類(lèi)生理情感識(shí)別產(chǎn)生了極大的興趣（圖6）。Craik等人發(fā)現(xiàn)，人類(lèi)情感識(shí)別是基于DL的EEG數(shù)據(jù)分類(lèi)研究的第二大應(yīng)用領(lǐng)域，占已發(fā)表研究的16%，僅次于運(yùn)動(dòng)想象任務(wù)分類(lèi)(22%)。研究人員，特別是來(lái)自計(jì)算機(jī)視覺(jué)領(lǐng)域的研究人員，傾向于針對(duì)EEG分類(lèi)問(wèn)題進(jìn)行人類(lèi)情緒識(shí)別。利用DL技術(shù)進(jìn)行情感分類(lèi)的EEG數(shù)據(jù)集包含：基于生理信號(hào)進(jìn)行情緒分析的數(shù)據(jù)庫(kù)(DEAP)，SJTU情緒EEG數(shù)據(jù)集(SEED)，以及個(gè)體和群體情感、個(gè)性和情緒研究數(shù)據(jù)集(AMIGOS)。此外，MPED和DREAMER等其他情感識(shí)別EEG數(shù)據(jù)集，進(jìn)一步擴(kuò)展了BCI社區(qū)在情感識(shí)別領(lǐng)域的可用資源。

圖6.一般情感計(jì)算的示意圖。

值得注意的問(wèn)題

①混合vs端到端

我們可以將處理管道的類(lèi)型分為兩組：(1)混合和(2)端到端。(1)混合處理管道是將數(shù)據(jù)(通常是DSP)的預(yù)處理結(jié)合起來(lái)，以便在輸入ML模型之前去除偽影或提取特征。(2)端到端處理管道是指通過(guò)輸入原始數(shù)據(jù)只使用了DL模型的研究。

A.混合

混合方法是指與DSP一起使用以去除偽影的數(shù)據(jù)處理類(lèi)型，它使用了某些特征工程技術(shù)，最后用DL技術(shù)進(jìn)行分類(lèi)（圖7）。在EEG文獻(xiàn)中，有很多使用混合方法（在使用DL之前結(jié)合預(yù)處理和偽影處理）的研究(72%)。這是一個(gè)必然選擇，因?yàn)镋EG很容易受到各種偽影的污染，并且如果沒(méi)有DL明確地顯示或說(shuō)明這些偽影是如何被刪除或最小化的，我們不能排除DL模型可能從這些偽影而不是神經(jīng)信號(hào)中學(xué)習(xí)的可能性。

圖7.典型的EEG處理管道。

B.端到端

目前，人們對(duì)EEG的端到端DL分類(lèi)越來(lái)越感興趣。端到端學(xué)習(xí)指的是創(chuàng)建一個(gè)數(shù)據(jù)處理和建模管道，該管道可以?xún)?yōu)化任務(wù)的總體目標(biāo)。人們對(duì)端到端DL感興趣，是因?yàn)樗锌赡芟A(yù)處理的必要性，而預(yù)處理往往依賴(lài)于特定領(lǐng)域知識(shí)或?qū)＜业目梢暬忉?。然而，在?dāng)前階段，如果不徹底分析DL如何學(xué)習(xí)和依賴(lài)什么進(jìn)行判斷，使用端到端的DL分類(lèi)仍然是有風(fēng)險(xiǎn)的。

②解釋

自DL出現(xiàn)以來(lái)，一些研究人員一直對(duì)它的使用持謹(jǐn)慎或懷疑態(tài)度，因?yàn)楹茈y解釋從模型中所學(xué)到的信息。在這里，可解釋性是指人類(lèi)能夠理解模型所做決策的原因的程度?？山忉屝栽谏窠?jīng)成像中尤為重要，例如EEG研究，因?yàn)槲覀兿胍私獾氖谴竽X如何運(yùn)作的以及如何利用它來(lái)構(gòu)建一個(gè)能增強(qiáng)人類(lèi)能力的系統(tǒng)。為此，有研究者總結(jié)了一些可用于使DL和ML可解釋的方法類(lèi)型，具體可以參考《可解釋機(jī)器學(xué)習(xí)：黑盒模型可解釋性理解指南》一書(shū)中的一些技術(shù)和可解釋的ML模型。

A.權(quán)重的可視化

大多數(shù)試圖分析模型的研究都嘗試從訓(xùn)練的模型中進(jìn)行權(quán)重可視化。特別是在EEG研究中，一種常見(jiàn)的方法是將學(xué)習(xí)到的權(quán)重投射到頭皮圖(拓?fù)鋱D)上。例如，Cecotti等人是最早將CNN應(yīng)用于EEG分類(lèi)的研究人員之一，但(與后來(lái)的研究相比)其分析并不全面。Cecotti等人后來(lái)進(jìn)行了另一項(xiàng)基于CNN的RSVP EEG分類(lèi)研究，該研究通過(guò)與其他空間濾波器(xDAWN和CSP)進(jìn)行比較，從而將空間濾波器可視化。在這里，研究人員可以將模型與其他傳統(tǒng)的空間濾波技術(shù)進(jìn)行比較。Schirrmeister等人和EEGNet文章也在模型分析的同時(shí)進(jìn)行了權(quán)重的可視化，這與許多進(jìn)行權(quán)重可視化分析的研究相比信息量更大。

B.激活分析

DL EEG研究中常用的另一種解釋方法是激活分析。由于其模型結(jié)構(gòu)是為了捕獲空間和時(shí)間元素，因此對(duì)激活函數(shù)的輸出進(jìn)行平均將提供關(guān)于空間和時(shí)間濾波方面的有意義的信息。例如，EEGNet文獻(xiàn)中展示了一個(gè)用拓?fù)鋱D表示的空間濾波器，我們可以根據(jù)大腦的哪個(gè)區(qū)域來(lái)解釋這些激活。此外，對(duì)激活區(qū)域的平均小波時(shí)頻分析可以提供豐富的時(shí)域和頻域信息。類(lèi)似地，Irene等人使用逐層相關(guān)性傳播(LRP)來(lái)解釋網(wǎng)絡(luò)做出的分類(lèi)決策。使用LRP，決策分?jǐn)?shù)被轉(zhuǎn)換為熱圖，表明每個(gè)數(shù)據(jù)點(diǎn)對(duì)決策的重要性。

③再現(xiàn)性

可重復(fù)性或再現(xiàn)性是科學(xué)研究的基礎(chǔ)和關(guān)鍵部分。鼓勵(lì)透明和開(kāi)放科學(xué)是ML和DL社區(qū)一直遵循和支持的想法。這包括開(kāi)源數(shù)據(jù)以及發(fā)布用于訓(xùn)練、分析和生成結(jié)果的代碼。最近一篇關(guān)于DL應(yīng)用于EEG的綜述文章顯示，在156篇研究中，由于數(shù)據(jù)和源代碼可用性方面的問(wèn)題，只有7%的研究是容易復(fù)制的。其中，80項(xiàng)研究(51%)只有數(shù)據(jù)或只有代碼，61項(xiàng)研究(39%)既沒(méi)有數(shù)據(jù)也沒(méi)有可用的代碼。因此，為了提高結(jié)果的再現(xiàn)性，重點(diǎn)是要提供這些關(guān)鍵部分(如源數(shù)據(jù)和代碼)，也可以參考來(lái)自FAIR神經(jīng)科學(xué)和腦成像數(shù)據(jù)結(jié)構(gòu)(BIDS)中專(zhuān)門(mén)針對(duì)EEG制定的指南。該綜述文章還提出了六項(xiàng)指南，以及DL EEG研究中要包含的項(xiàng)目清單，如表1所示。

表1.提高腦電深度學(xué)習(xí)研究再現(xiàn)性的六項(xiàng)指南。

參考文獻(xiàn)（上下滑動(dòng)查看）：

Vaughan, T.M., et al.: Brain-computer interface technology: a review of the Second International Meeting (2003)

Lotte, F., Congedo, M., Lécuyer, A., Lamarche, F., Arnaldi, B.: A review of classification?algorithms for EEG-based brain–computer interfaces. J. Neural Eng. 4(2), R1 (2007)

Yannick, R., Hubert, B., Isabela, A., Alexandre, G., Jocelyn, F., et al.: Deep learningbased electroencephalography analysis: a systematic review. arXiv preprint arXiv:1901.05498 (2019). https://github.com/hubertjb/dleeg-review

Sejnowski, T.J.: The unreasonable effectiveness of deep learning in artificial intelligence. In: Proceedings of the National Academy of Sciences (2020)

Craik, A., He, Y., Contreras-Vidal, J.L.P.: Deep learning for Electroencephalogram (EEG) classification tasks: a review. J. Neural Eng. 16, 031001 (2019)

Morabito, F.C., et al.: Deep convolutional neural networks for classification of mild cognitive impaired and Alzheimer’s disease patients from scalp EEG recordings. In: 2016 IEEE 2nd International Forum on Research and Technologies for Society and Industry Leveraging a Better Tomorrow (RTSI), pp. 1–6. IEEE (2016)

Kim, D., Kim, K.: Detection of early stage Alzheimer’s disease using EEG relative power with deep neural network. In: 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), pp. 352–355. IEEE (2018)

Zhao, Y., He, L.: Deep learning in the EEG diagnosis of Alzheimer’s disease. In: Asian Conference on Computer Vision, pp. 340–353. Springer (2014)

Acharya, U.R., Oh, S.L., Hagiwara, Y., Tan, J.H., Adeli, H., Subha, D.P.: Automated EEGbased screening of depression using deep convolutional neural network. Comput. Methods Programs Biomed. 161, 103–113 (2018)

Baltatzis, V., Bintsi, K.-M., Apostolidis, G.K., Hadjileontiadis, L.J.: Bullying incidences identification within an immersive environment using HD EEG-based analysis: a swarm decomposition and deep learning approach. Sci. Rep. 7(1), 1–8 (2017)

Guo, Y., Friston, K., Aldo, F., Hill, S., Peng, H.: Brain Informatics and Health: 8th International Conference, BIH 2015, London, 30 Aug–2 Sept 2015. Proceedings, vol. 9250. Springer (2015)

Bashivan, P., Rish, I., Yeasin, M., Codella, N.: Learning representations from EEG with deep recurrent-convolutional neural networks. arXiv preprint arXiv:1511.06448 (2015)

Le Roux, N., Bengio, Y.: Representational power of restricted Boltzmann machines and deep belief networks. Neural Comput. 20(6), 1631–1649 (2008)

Lawrence, S., Giles, C.L., Tsoi, A.C., Back, A.D.: Face recognition: a convolutional neuralnetwork approach. IEEE Trans. Neural Netw. 8(1), 98–113 (1997)

LeCun, Y.: Deep learning & convolutional networks. In: 27th IEEE Hot Chips Symposium,?HCS 2015. Institute of Electrical and Electronics Engineers Inc (2016)

Pearlmutter, B.A.: Learning state space trajectories in recurrent neural networks. Neural Comput. 1(2), 263–269 (1989)

Onose, G., et al.: On the feasibility of using motor imagery EEG-based brain–computer interface in chronic tetraplegics for assistive robotic arm control: a clinical test and long-term post-trial follow-up. Spinal Cord 50(8), 599 (2012)

Pfurtscheller, G., Neuper, C.: Motor imagery and direct brain-computer communication. Proc. IEEE 89(7), 1123–1134 (2001)

Féry, Y.-A.: Differentiating visual and kinesthetic imagery in mental practice. Can. J. Exp. Psychol./Revue Canadienne de Psychologie Expérimentale 57(1)), 1 (2003)

Tangermann, M., et al.: Review of the BCI competition IV. Front. Neurosci. 6, 55 (2012)

Abbas, W., Khan, N.A.: DeepMI: deep learning for multiclass motor imagery classification. In: 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), pp. 219–222. IEEE (2018)

Lawhern, V.J., Solon, A.J., Waytowich, N.R., Gordon, S.M., Hung, C.P., Lance, B.J.: EEGNet: a compact convolutional neural network for EEG-based brain–computer interfaces. J. Neural Eng. 15(5), 056013 (2018)

Sakhavi, S., Guan, C., Yan, S.: Learning temporal information for brain-computer interface using convolutional neural networks. IEEE Trans. Neural Netw. Learn. Syst. 99, 1–11 (2018)

Luo, T.-J., Chao, F., et al.: Exploring spatial-frequency-sequential relationships for motor imagery classification with recurrent neural network. BMC Bioinformatics 19(1), 344 (2018)

Wang, Z., Cao, L., Zhang, Z., Gong, X., Sun, Y., Wang, H.: Short time Fourier transformation and deep neural networks for motor imagery brain computer interface recognition. Concurr. Comput. Pract. Exp. 30(23), e4413 (2018)

Tefft, B.C., et al.: Prevalence of motor vehicle crashes involving drowsy drivers, United States, 2009–2013. Citeseer (2014)

Hajinoroozi, M., Mao, Z., Huang, Y.: Prediction of driver’s drowsy and alert states from EEG signals with deep learning. In: 2015 IEEE 6th International Workshop on Computational Advances in Multi-Sensor Adaptive Processing (CAMSAP), pp. 493–496. IEEE (2015)

Zeng, H., Yang, C., Dai, G., Qin, F., Zhang, J., Kong, W.: EEG classification of driver mental states by deep learning. Cogn. Neurodyn. 12(6), 597–606 (2018)

He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 770–778 (2016)

Szegedy, C., Ioffe, S., Vanhoucke, V., Alemi, A.A.: Inception-v4, inception-resnet and the impact of residual connections on learning. In: Thirty-First AAAI Conference on Artificial Intelligence (2017)

Gao, Z., et al.: EEG-based spatio-temporal convolutional neural network for driver fatigue evaluation. IEEE Trans. Neural Netw. Learn. Syst. 30, 2755–2763 (2019)

Jeong, J.-H., Yu, B.-W., Lee, D.-H., Lee, S.-W.: Classification of drowsiness levels based on a deep spatio-temporal convolutional bidirectional LSTM network using electroencephalography signals. Brain Sci. 9(12), 348 (2019)

Borghini, G., Astolfi, L., Vecchiato, G., Mattia, D., Babiloni, F.: Measuring neurophysiological signals in aircraft pilots and car drivers for the assessment of mental workload, fatigue and drowsiness. Neurosci. Biobehav. Rev. 44, 58–75 (2014)

Aghajani, H., Garbey, M., Omurtag, A.: Measuring mental workload with EEG+ fNIRS. Front. Hum. Neurosci. 11, 359 (2017)

Young, M.S., Brookhuis, K.A., Wickens, C.D., Hancock, P.A.: State of science: mental?workload in ergonomics. Ergonomics 58(1), 1–17 (2015)

Jiao, Z., Gao, X., Wang, Y., Li, J., Xu, H.: Deep convolutional neural networks for mental load classification based on EEG data. Pattern Recogn. 76, 582–595 (2018)

Zhang, P., Wang, X., Zhang, W., Chen, J.: Learning spatial–spectral–temporal EEG features with recurrent 3D convolutional neural networks for cross-task mental workload assessment. IEEE Trans. Neural Syst. Rehabil. Eng. 27, 31–42 (2018)

Munafò, M.R., et al.: A manifesto for reproducible science. Nat. Hum. Behav. 1, 0021 (2017)

Pernet, C., Appelhoff, S., Flandin, G., Phillips, C., Delorme, A., Oostenveld, R.: BIDS-EEG: an extension to the Brain Imaging Data Structure (BIDS) Specification for electroencephalography (2018). https://doi.org/10.31234/osf.io/63a4y

小伙伴們點(diǎn)個(gè)“在看”，加

(星標(biāo))關(guān)注茗創(chuàng)科技，將第一時(shí)間收到精彩內(nèi)容推送哦～