導(dǎo)讀

本研究介紹了一種深度學(xué)習(xí)架構(gòu)，用于評估40名癲癇患者的多模態(tài)腦電圖(EEG)和功能性近紅外光譜(fNIRS)記錄。長短期記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)集成在一個(gè)多模態(tài)序列到序列的自編碼器中。訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)通過從EEG全譜和特定EEG頻段中分層提取深度特征，從EEG中無先驗(yàn)地預(yù)測fNIRS信號(hào)。結(jié)果表明，與其他頻譜包絡(luò)相比，更高頻率的EEG范圍可以預(yù)測fNIRS信號(hào)，其中g(shù)amma頻段的輸入主導(dǎo)fNIRS預(yù)測。基于種子的功能連接驗(yàn)證了實(shí)驗(yàn)性fNIRS和本研究模型的fNIRS重建之間的相似模式。本研究首次證明，在關(guān)于EEG頻段如何解碼fNIRS信號(hào)的特定假設(shè)背景下，基于頻率振蕩的功率譜振幅調(diào)制，可以從靜息態(tài)人類癲癇腦中的編碼神經(jīng)數(shù)據(jù)(EEG)預(yù)測腦血流動(dòng)力學(xué)(fNIRS)。

前言

功能性近紅外光譜（fNIRS）是一種無創(chuàng)、便攜且經(jīng)濟(jì)高效的神經(jīng)成像技術(shù)，它使用近紅外光持續(xù)監(jiān)測大腦血流動(dòng)力學(xué)參數(shù)（即氧合血紅蛋白(HbO)、脫氧血紅蛋白(HbR)和總血紅蛋白(HbT)）的變化。fNIRS方法依賴于神經(jīng)血管耦合現(xiàn)象，該現(xiàn)象描述了神經(jīng)活動(dòng)和腦血流之間密切的時(shí)空關(guān)系，以繪制大腦的急性功能變化。在典型的fNIRS裝置中，與近紅外光源相對應(yīng)的光電器件及其附屬探測器被放置在受試者的頭部表面。從光源發(fā)出的紅外光在進(jìn)入大腦組織時(shí)被吸收或散射。使用修正的比爾-朗伯定律，檢測到的光用于計(jì)算與大腦血流動(dòng)力學(xué)活動(dòng)相關(guān)的血氧變化。血紅蛋白氧合濃度的變化可以量化大腦對紅外光的吸收。

fNIRS方法作為其他功能成像技術(shù)(如fMRI)的替代或補(bǔ)充具有以下優(yōu)點(diǎn)。與fMRI相比，fNIRS提供了更高的時(shí)間分辨率，并且fNIRS硬件可以與頭皮腦電圖（EEG）等其他模態(tài)集成。fNIRS信號(hào)最近已用于研究大腦狀態(tài)解碼，并在過去的十年中被證明可用于腦機(jī)接口(BCI)研究。

頭皮EEG技術(shù)是研究人腦的臨床黃金標(biāo)準(zhǔn)，EEG記錄可分為特定頻帶：alpha，beta，delta，gamma和theta。Delta頻率范圍包括振幅相對較高的低頻和0.25-3.0Hz的緩慢波形。Delta頻率在正常睡眠中很常見，可能偶然出現(xiàn)在局灶性病變、代謝性腦病或腦積水中。Theta頻率范圍介于4到7Hz之間。雖然在年輕人中是正常的，但在醒著的成年人中，theta頻率包絡(luò)被解釋為活動(dòng)緩慢。與delta波一樣，theta波可見于局灶性病變或彌漫性神經(jīng)疾病中更廣泛的分布。Alpha頻率在8至13Hz之間，是清醒成人的主要節(jié)律。Beta活動(dòng)的頻率范圍在14至30Hz之間，通常觀察到雙側(cè)額葉對稱分布。更高的頻率范圍(30-100Hz之間)用gamma波表示。Gamma活動(dòng)比較常見，在快速眼動(dòng)睡眠中會(huì)增強(qiáng)。

多模態(tài)EEG-fNIRS實(shí)驗(yàn)裝置記錄了大腦活動(dòng)的時(shí)空動(dòng)態(tài)，為觀察神經(jīng)集群的動(dòng)態(tài)提供了機(jī)會(huì)，并為基礎(chǔ)和臨床分析提供了更多益處。在這種情況下，頭皮EEG測量大腦的電活動(dòng)，而fNIRS信號(hào)編碼大腦的血流動(dòng)力學(xué)響應(yīng)，神經(jīng)活動(dòng)大約有3s的延遲。來自EEG-fNIRS裝置的數(shù)據(jù)已經(jīng)建立了神經(jīng)元放電與HbO、HbR和HbT變化之間的因果關(guān)系，反映了神經(jīng)血管耦合所導(dǎo)致的電和血流動(dòng)力學(xué)波動(dòng)。最近的興趣集中在從EEG記錄的活動(dòng)中確定空間血流動(dòng)力學(xué)相關(guān)性，特別是在血氧水平依賴信號(hào)(BOLD)中。靜息態(tài)研究已成功證明，低頻EEG頻帶信號(hào)(尤其是特低頻gamma EEG頻譜包絡(luò))與BOLD信號(hào)的調(diào)制呈負(fù)相關(guān)。

電生理學(xué)和腦血流動(dòng)力學(xué)之間關(guān)系的表征在癲癇中具有臨床意義。癲癇是大腦異?；顒?dòng)的反復(fù)發(fā)作，通常伴隨陣發(fā)性的功能紊亂。引起癲癇發(fā)作的神經(jīng)血管機(jī)制在正常功能的大腦中間歇存在，在某種程度上表明癲癇是一種動(dòng)態(tài)障礙。靜息態(tài)下的癲癇大腦顯示自發(fā)的神經(jīng)活動(dòng)，這反映了其功能組織。每個(gè)組成部分（即神經(jīng)和血管）的相互依賴性是更廣泛的臨床和神經(jīng)科學(xué)界感興趣的主題。功能磁共振成像研究表明，癲癇患者大腦中的靜息態(tài)網(wǎng)絡(luò)在其功能結(jié)構(gòu)上發(fā)生了變化。越來越多的fMRI研究中的無任務(wù)靜息態(tài)條件是基于這樣的假設(shè)進(jìn)行的：功能連接的大腦網(wǎng)絡(luò)隨著時(shí)間的推移表現(xiàn)出類似的活動(dòng)特征。

靜息態(tài)fMRI研究表明，癲癇患者的功能網(wǎng)絡(luò)異常。臨床前研究表明，靜息態(tài)BOLD信號(hào)（~0.1Hz）的緩慢波動(dòng)與gamma波段局部場電位神經(jīng)元放電速率的緩慢波動(dòng)之間存在相關(guān)性。這表明靜息態(tài)與生理活動(dòng)的動(dòng)態(tài)神經(jīng)元過程有關(guān)。利用fNIRS信號(hào)進(jìn)行靜息態(tài)功能連接已成為研究大腦功能的一種有前景的成像工具，并為研究人類癲癇腦內(nèi)的內(nèi)在網(wǎng)絡(luò)提供了有價(jià)值的見解。本研究假設(shè)，可以使用深度學(xué)習(xí)架構(gòu)從40名癲癇患者隊(duì)列收集的靜息態(tài)多模態(tài)EEG-fNIRS記錄中預(yù)測腦血流動(dòng)力學(xué)。此外，與低EEG頻率包絡(luò)相比，高EEG頻率包絡(luò)產(chǎn)生的功能連接模式增加。

方法

被試和流程

招募了40例難治性局灶性癲癇患者（男性27例，女性13例；年齡在11至62歲之間；平均年齡=32.42歲，標(biāo)準(zhǔn)差=13.97歲）進(jìn)行長時(shí)間的EEG-fNIRS記錄。癲癇診斷和癲癇灶定位是基于綜合評估，包括臨床病史、發(fā)作間期棘波和癲癇發(fā)作的視頻EEG記錄、磁共振成像(MRI)、正電子發(fā)射斷層掃描(PET)以及部分患者的單光子發(fā)射計(jì)算機(jī)斷層掃描(SPECT)和腦磁圖(MEG)掃描。

EEG-fNIRS數(shù)據(jù)采集和預(yù)處理

連續(xù)EEG-fNIRS記錄在加拿大蒙特利爾圣賈斯汀醫(yī)院光學(xué)成像實(shí)驗(yàn)室進(jìn)行。實(shí)驗(yàn)方案確保在數(shù)據(jù)采集過程中，環(huán)境噪音和燈光保持在最低限度，以使患者感到舒適。進(jìn)一步指導(dǎo)患者保持冷靜，并將其安置在舒適、氣候可控的房間內(nèi)，拉上窗簾以限制環(huán)境光線。訓(xùn)練有素的臨床工作人員對患者進(jìn)行持續(xù)遠(yuǎn)程監(jiān)測。使用Imagent組織血氧儀系統(tǒng)收集fNIRS數(shù)據(jù)，該系統(tǒng)是一種多通道頻域系統(tǒng)，記錄頻率為19.5Hz，波長為690nm和830nm，分別對HbR和HbO敏感。根據(jù)標(biāo)準(zhǔn)10-20系統(tǒng)，使用19個(gè)電極位置（Fp1、Fp2、F7、F3、Fz、F4、F8、T7、C3、Cz、C4、T8、P7、P3、Pz、P4、P8、O1、O2），在500 Hz時(shí)記錄EEG數(shù)據(jù)(Neuroscan Synamps 2TM系統(tǒng))。使用定制頭盔，考慮到不同的頭部尺寸和形狀，以便于舒適貼合。頭盔總共配備了64個(gè)光源、16個(gè)光探測器和19個(gè)EEG電極，以保證皮層區(qū)域和頭皮之間的穩(wěn)定光耦合。這在很大程度上進(jìn)一步防止了光極偏移和運(yùn)動(dòng)偽影。近紅外光對皮層組織的敏感度是通過將光電器件放置在相距約3-4cm的位置來保持的。電極按照10-20 EEG儀器標(biāo)準(zhǔn)放置，使頭部完全覆蓋。圖1顯示了放置在患者頭部的EEG-fNIRS頭盔。

圖1.用于EEG和fNIRS數(shù)據(jù)采集的多模態(tài)EEG-fNIRS頭盔。

EEG數(shù)據(jù)在0.1-100Hz之間進(jìn)行帶通濾波，以去除儀器噪聲和與生理活動(dòng)相關(guān)的漂移，尤其是高頻漂移。對HbO和HbR信號(hào)未經(jīng)處理的原始時(shí)間序列進(jìn)行帶通濾波，以去除心臟（約1Hz）或呼吸活動(dòng)（約0.2-0.3Hz）的特定頻率成分。在分析之前，通過對信號(hào)強(qiáng)度的通道驗(yàn)證檢查信號(hào)保真度。將帶通濾波應(yīng)用于EEG數(shù)據(jù)，以計(jì)算感興趣的頻段。使用FIR帶通濾波器，delta、theta、alpha、beta和gamma頻率的低截和高截值(Hz)分別設(shè)置為：[1，4]，[4，8]，[8，12]，[12，30]，[30，100]。用于通道分析的信噪比(SNR)閾值定義為小于所有通道平均信噪比30%的通道。剔除具有SNR的fNIRS通道，不納入后續(xù)的分析中。這導(dǎo)致每個(gè)患者平均有138個(gè)通道。通過HomER和MNE軟件包計(jì)算HbO和HbR的變化。

進(jìn)行了多次連續(xù)的記錄，每次記錄約15分鐘，共有200次記錄，總記錄時(shí)間為50小時(shí)。對靜息態(tài)數(shù)據(jù)進(jìn)行0.01-0.1Hz頻率范圍的帶通濾波。靜息態(tài)時(shí)間（取自患者舒適休息時(shí)）在7-10分鐘之間，平均為8.35分鐘。為了校正運(yùn)動(dòng)，本研究通過對EEG-fNIRS數(shù)據(jù)進(jìn)行主成分分析，并去除方差最大的成分。此外，應(yīng)用偽跡拒絕（與歸一化強(qiáng)度相差10%）來去除額外的運(yùn)動(dòng)偽跡。然后以0.2Hz的截止頻率濾除呼吸和心臟信號(hào)的影響。最后，使用修正的比爾-朗伯定律計(jì)算每個(gè)通道的HbO濃度。

利用神經(jīng)導(dǎo)航技術(shù)(Brainsight, RogueResearch Inc.)對光極和電極位置進(jìn)行結(jié)構(gòu)MRI配準(zhǔn)。通道位置與患者M(jìn)RI相互參照，并進(jìn)行調(diào)整，以確保癲癇病灶、對側(cè)同源區(qū)域以及其他腦區(qū)的覆蓋范圍。MRI被分為六層：空氣層、頭皮層、顱骨層、腦脊液層、灰質(zhì)層和白質(zhì)層。灰質(zhì)層用于提取六個(gè)二維皮層投影。每個(gè)通道的三維位置投影到這些二維地形圖上，其中考慮了以下視圖：背視圖、前視圖、左視圖和右視圖。

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本研究構(gòu)建了一個(gè)深度序列到序列的多模態(tài)自編碼器，從輸入的頭皮EEG信號(hào)中預(yù)測fNIRS信號(hào)。自編碼器是一種強(qiáng)大的機(jī)器學(xué)習(xí)模型，以自監(jiān)督的方式訓(xùn)練，通過學(xué)習(xí)其抽象表征來重建輸入。該自編碼器將信號(hào)嵌入低維潛在空間，其中編碼器和解碼器都用深度神經(jīng)網(wǎng)絡(luò)表示。

由于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)能夠描述數(shù)據(jù)的時(shí)間狀態(tài)，因此在時(shí)間序列建模中得到了廣泛的應(yīng)用。輸出取決于隱藏單元中的隱藏狀態(tài)和反饋連接。在本研究模型中，使用了時(shí)間反向傳播，這是一種常見的梯度下降式訓(xùn)練技術(shù)?；赗NN梯度訓(xùn)練的固有問題是，通過循環(huán)連接傳播的導(dǎo)數(shù)要么變得非常小，要么變得非常大，分別導(dǎo)致梯度消失或爆炸。長短期記憶單元（LSTM）是普通RNN體系結(jié)構(gòu)的變體，它克服了梯度消失的問題。LSTM單元接收外部輸入，通過輸入、輸出、遺忘門和記憶單元生成隱藏輸出。門和存儲(chǔ)單元用加權(quán)鏈接進(jìn)行內(nèi)部連接。這些門與外部源相連接，這些源是當(dāng)前狀態(tài)的順序輸入和先前的隱藏狀態(tài)。這樣可以防止LSTM存儲(chǔ)無用或有噪聲的輸入信息。

Srivastava等人(2015)提出的LSTM自編碼器模型（LSTM-AE），由編碼器LSTM單元和解碼器LSTM單元組成。編碼器LSTM接收輸入序列，并在LSTM生成隱藏輸出時(shí)將其編碼為特征向量。同樣，解碼器LSTM接收特征向量并將其解碼為原始輸入序列。LSTM-AEs學(xué)習(xí)序列數(shù)據(jù)的壓縮表示，并已用于視頻、文本、音頻和時(shí)序序列數(shù)據(jù)。本研究結(jié)合了多個(gè)LSTM層來學(xué)習(xí)時(shí)間表示。本研究模型還包括卷積層，用于從通道組合中提取高層空間感知。這里的輸入考慮血流動(dòng)力學(xué)延遲的EEG序列數(shù)據(jù)，以執(zhí)行序列到序列的編碼。這些輸入的EEG序列由兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)(CNN)卷積，然后輸入到前兩個(gè)編碼長短期記憶(LSTM)模塊。EEG數(shù)據(jù)樣本通過固定長度的向量投影到潛在空間中，提供更多的壓縮表示，然后由LSTM解碼模塊用于解碼和重建輸出的fNIRS數(shù)據(jù)。

在對多個(gè)體系結(jié)構(gòu)進(jìn)行了詳盡的超參數(shù)優(yōu)化測試后，將模型設(shè)計(jì)為：編碼器由LSTM層和卷積塊組成。每個(gè)塊中的卷積的核大小為（1，7），步長為（1，2）。解碼器由LSTM層組成，該層對潛在空間中的向量進(jìn)行操作，以提供與fNIRS樣本相同的最終輸出維數(shù)。根據(jù)跨模態(tài)重建誤差(RE)對模型進(jìn)行了評估。目標(biāo)是同時(shí)最小化fNIRS數(shù)據(jù)樣本之間的距離，并最大化每個(gè)fNIRS和EEG數(shù)據(jù)點(diǎn)之間的距離（即最小化RE等價(jià)于最大化似然函數(shù)）。一旦對模型進(jìn)行了訓(xùn)練，通過計(jì)算所有L維上xt與其相應(yīng)的重建

之間的歐氏距離之和，在一個(gè)獨(dú)立的測試子集上計(jì)算相應(yīng)的RE，如公式1所示：

模型輸出表示為

EEG數(shù)據(jù)處理如下。首先，從數(shù)據(jù)目錄中解析匹配的EEG和fNIRS數(shù)據(jù)，然后根據(jù)靜息態(tài)周期標(biāo)記相應(yīng)的數(shù)據(jù)(EEG或fNIRS)。使用MinMaxScaler類對EEG輸入數(shù)據(jù)進(jìn)行特征縮放，將該類值的范圍設(shè)置在0到1之間。輸入信號(hào)在輸入模型之前以均值為中心。然后，將數(shù)據(jù)饋入卷積層，并傳輸?shù)絃STM和反卷積模塊。模型的詳細(xì)示意圖如圖2所示。

圖2.使用患者特定序列到序列的LSTM自編碼器模型進(jìn)行多模態(tài)EEG到fNIRS的重建。

訓(xùn)練細(xì)節(jié)

該模型以患者特定的EEG信號(hào)作為輸入來解碼fNIRS信號(hào)。對于每個(gè)患者，數(shù)據(jù)被隨機(jī)分為訓(xùn)練、驗(yàn)證和測試子集，比例分別為60%、20%和20%。對不同的模型深度進(jìn)行實(shí)驗(yàn)，確定了深度LSTMs的性能優(yōu)于淺層LSTMs。這可能是由于層數(shù)增加導(dǎo)致隱藏狀態(tài)變大所致。完整的訓(xùn)練細(xì)節(jié)如下。

①使用0~1之間的均勻分布來初始化LSTMs的參數(shù)。這樣做是為了抵消LSTMs固有的梯度爆炸問題，從而對0到1之間的梯度范數(shù)施加硬約束。同時(shí)，通過準(zhǔn)備一個(gè)包含輸入EEG數(shù)據(jù)和目標(biāo)標(biāo)簽的饋入字典來指定LSTM計(jì)算的起始節(jié)點(diǎn)值。值得注意的是，LSTM可以學(xué)習(xí)如何將輸入序列映射為特定于患者的模型訓(xùn)練到固定維度的向量表示，并且可以學(xué)習(xí)時(shí)間依賴性。

②通過時(shí)間反向傳播，學(xué)習(xí)率為0.05，批大小為60和訓(xùn)練周期為50，所有這些都是啟發(fā)式確定的。

③每個(gè)fNIRS信號(hào)生成對應(yīng)于一個(gè)EEG序列輸入。EEG序列中的一個(gè)元素對應(yīng)于1秒的記錄，每個(gè)EEG通道有500個(gè)時(shí)間點(diǎn)(采樣率為500Hz)。通過使用Keras框架中用于批生成的實(shí)用程序類，生成用于序列處理的數(shù)據(jù)批次。簡單地說，該類使用一系列數(shù)據(jù)點(diǎn)作為輸入，以生成用于訓(xùn)練和驗(yàn)證的批次。輸出序列中不使用靜息態(tài)周期開始和結(jié)束之外的數(shù)據(jù)點(diǎn)。最終作為輸入的EEG數(shù)據(jù)是二維的，即[數(shù)據(jù)點(diǎn)，通道]。

模型驗(yàn)證

在訓(xùn)練并保存了模型的權(quán)重后，使用個(gè)體EEG記錄作為輸入來預(yù)測fNIRS信號(hào)，從而驗(yàn)證模型在患者內(nèi)的預(yù)測能力。因?yàn)楸狙芯繑?shù)據(jù)集包含每個(gè)患者的多個(gè)記錄。為了診斷性能，研究者繪制了學(xué)習(xí)曲線，以確保在訓(xùn)練期間沒有過擬合。圖3為患者1、4和23的學(xué)習(xí)曲線示例圖。

圖3.為訓(xùn)練集和驗(yàn)證集生成學(xué)習(xí)曲線。

模型預(yù)測

該模型通過附加“輸出狀態(tài)”和“輸出預(yù)測”矩陣來預(yù)測信號(hào)。LSTM單元之間是循環(huán)連接的。解碼器的輸入是傳遞到解碼器LSTM層的二維矩陣。fNIRS數(shù)據(jù)向前移動(dòng)一個(gè)序列以保存LSTM存儲(chǔ)器中的數(shù)據(jù)，最后由于數(shù)據(jù)通過反褶積層而返回解碼器輸出。

功能連接驗(yàn)證

從感興趣的區(qū)域中選擇種子通道，該區(qū)域由源/探測器蒙太奇確認(rèn)為具有足夠的光極覆蓋范圍和可接受的信號(hào)保真度水平。也就是說，將均值±2標(biāo)準(zhǔn)差且顯示低信噪比的信號(hào)（即信號(hào)振幅小于平均信號(hào)振幅的30%）從分析中去除。然后，計(jì)算種子通道的實(shí)驗(yàn)fNIRS時(shí)間序列與所有其他通道的實(shí)驗(yàn)fNIRS時(shí)間系列之間的皮爾遜積矩相關(guān)系數(shù)。隨后，計(jì)算實(shí)驗(yàn)種子通道時(shí)間序列和本研究模型預(yù)測的所有其他通道的fNIRS時(shí)間序列之間的皮爾遜積矩相關(guān)性（以及相應(yīng)的Fisher z分?jǐn)?shù)）?；谙鄳?yīng)通道的三維坐標(biāo)，使用Atlasviewer將兩組相關(guān)系數(shù)分別投影到MRI頭部模板上。從所有通道的相關(guān)系數(shù)中獲得皮層每個(gè)體素的連接值。

為了定量評估和比較功能連接結(jié)果，本研究計(jì)算了均方根誤差（公式2），即fNIRS中的功能連接值與根據(jù)全譜EEG和特定EEG頻段信號(hào)重建的fNIRS時(shí)間進(jìn)程之間殘差的標(biāo)準(zhǔn)差。

其中“C”是每個(gè)功能連接分析的通道數(shù)，fci是實(shí)驗(yàn)fNIRS的連接值，

是模型fNIRS重建的連接值。

結(jié)果

全譜EEG性能與特征分析

模型中輸入所有通道的靜息態(tài)全譜EEG信號(hào)。為了從編碼的EEG通道中解碼fNIRS通道，該模型的解碼器層使用編碼器的潛在狀態(tài)作為通過LSTM單元傳輸?shù)臄?shù)據(jù)輸入。圖4量化了以全譜EEG信號(hào)作為輸入的個(gè)別患者的表現(xiàn)。圖5提供了所有患者頭皮全譜EEG記錄的重建誤差的組估計(jì)值。

圖4.從腦電活動(dòng)解碼預(yù)測血流動(dòng)力學(xué)信號(hào)。

圖5.全譜EEG到fNIRS的重建。使用來自所有通道的全譜EEG信號(hào)的組估計(jì)作為輸入，重建所有fNIRS通道的全譜fNIRS信號(hào)。

單獨(dú)記錄Session的患者內(nèi)重建

這里報(bào)告了以EEG靜息態(tài)作為輸入的患者內(nèi)fNIRS重建結(jié)果。具體來說，假設(shè)本研究模型在使用患者的單一記錄進(jìn)行訓(xùn)練時(shí)，能夠從后續(xù)記錄中重建fNIRS信號(hào)。為了檢驗(yàn)?zāi)Ｐ偷念A(yù)測能力并交叉驗(yàn)證該模型，首先對患者的單個(gè)記錄進(jìn)行網(wǎng)絡(luò)訓(xùn)練。接下來，使用訓(xùn)練過的網(wǎng)絡(luò)，從同一患者的后續(xù)記錄中重建fNIRS信號(hào)。數(shù)據(jù)以60/20/20的方式劃分為訓(xùn)練、測試和驗(yàn)證子集。這是針對所有患者和記錄的所有數(shù)據(jù)進(jìn)行的。圖6顯示了患者內(nèi)fNIRS信號(hào)重建的結(jié)果，圖7顯示了患者10的通道5在記錄1、3、4之間的fNIRS重建結(jié)果。

圖6.患者內(nèi)fNIRS重建的結(jié)果。

圖7.從患者內(nèi)的腦電活動(dòng)預(yù)測血流動(dòng)力學(xué)信號(hào)。黑色和紅色曲線分別對應(yīng)實(shí)驗(yàn)信號(hào)和重建信號(hào)。

重建的空間變異性

然后，本研究考察了模型預(yù)測對頭部通道位置的靈敏度。該模型的地形魯棒性表明，預(yù)測在整個(gè)大腦中是相當(dāng)穩(wěn)定的。如果通道位置能夠在源/探測器蒙太奇的約束下覆蓋大部分大腦，并且信號(hào)保真度達(dá)到“EEG-fNIRS數(shù)據(jù)采集和預(yù)處理”部分所示的可接受水平，則選擇通道位置。圖8顯示了該模型對患者10的空間預(yù)測。

圖8.患者10的fNIRS空間重建。

EEG頻率分解與靜息態(tài)預(yù)測

在模型訓(xùn)練和驗(yàn)證后，本研究計(jì)算了EEG頻段，即：delta [0.5-3Hz]、theta[4-7Hz]、alpha[8-13Hz]、beta[14-30Hz]和gamma[30-100Hz]。為了確保在相應(yīng)的頻率范圍內(nèi)存在合適的功率，使用Welch功率譜密度函數(shù)獲得EEG信號(hào)的功率譜。Welch方法優(yōu)于其他方法（即標(biāo)準(zhǔn)周期圖譜估計(jì)和Bartlett方法），因?yàn)閃elch方法通過降低估計(jì)功率譜中的信號(hào)噪聲來抵消降低的頻率分辨率。Welch方法將信號(hào)劃分為重疊段，從而減少邊緣數(shù)據(jù)的丟失。然后對重疊的數(shù)據(jù)段進(jìn)行時(shí)域加窗。隨后的計(jì)算包括離散傅里葉變換，以及對周期圖進(jìn)行平均，得到最終的nxm陣列，該陣列通過頻率箱表示功率測量值。所有計(jì)算（包括傅里葉分解、Welch功率譜密度）均使用MNE軟件包進(jìn)行。圖9顯示了根據(jù)患者10（fNIRS通道10）輸入的EEG頻率范圍進(jìn)行的模型預(yù)測。

圖9.給定EEG頻率范圍輸入的靜息態(tài)fNIRS預(yù)測(患者10，fNIRS通道10)。

本研究計(jì)算了每個(gè)EEG頻率范圍的解碼fNIRS重建誤差指標(biāo)，并計(jì)算了患者的重建誤差，如圖10所示。gamma和beta頻段的錯(cuò)誤率最低，而在較低的EEG頻率范圍內(nèi)，可以觀察到fNIRS重建誤差增加，可能是因?yàn)楸狙芯磕Ｐ涂赡軣o法學(xué)習(xí)適當(dāng)?shù)奶卣鱽碇亟╢NIRS信號(hào)。

圖10.所有患者、所有通道的特定EEG頻率范圍的fNIRS重建誤差。

為了進(jìn)一步確定哪個(gè)EEG頻段能夠以最小平均重建誤差來重建fNIRS信號(hào)，研究者計(jì)算了所有患者的頻段重建誤差，如圖11所示。隨后進(jìn)行了單尾配對t檢驗(yàn)，以檢驗(yàn)以下組合中的重建誤差是否存在統(tǒng)計(jì)差異：[delta，gamma]，[theta，gamma]，[alpha，gamma]和[beta，gamma]。然后應(yīng)用Bonferroni校正將FWER控制在0.05以下。與其他頻段相比，gamma頻段重建fNIRS信號(hào)的平均保真度更高。

圖11.特定EEG頻率范圍內(nèi)的平均fNIRS重建誤差。與其他頻段相比，gamma頻段具有更高的保真度和最低的重建誤差。

功能連接結(jié)果

本研究計(jì)算了實(shí)驗(yàn)fNIRS和模型fNIRS重建的功能連接映射。比較了所有患者的實(shí)驗(yàn)fNIRS與來自全譜EEG和EEG gamma頻段的fNIRS重建信號(hào)。使用均方根誤差作為功能連接研究中的誤差估計(jì)量。在組水平上可以觀察到，與來自gamma頻段的實(shí)驗(yàn)fNIRS和fNIRS重建相比，從全譜EEG得出的實(shí)驗(yàn)fNIRS與fNIRS重建之間的功能連接分析誤差更小，如圖12所示。

圖12.所有患者功能連接結(jié)果的估計(jì)誤差(RMSE)。

圖13、14顯示了使用患者22(種子通道為20)的時(shí)間序列相關(guān)性生成的功能連接映射結(jié)果。首先，使用全譜EEG預(yù)測作為功能連接計(jì)算的輸入（圖13），然后使用EEG gamma頻段作為輸入進(jìn)行分析（圖14）。

圖13.實(shí)驗(yàn)fNIRS和以全譜EEG作為輸入預(yù)測靜息態(tài)fNIRS之間的功能連接結(jié)果。

圖14.實(shí)驗(yàn)fNIRS和以EEG gamma頻段作為輸入預(yù)測fNIRS靜息態(tài)之間的功能連接結(jié)果。

討論

深度學(xué)習(xí)模型避免了繁瑣的特征工程過程，取而代之的是分層特征學(xué)習(xí)。本研究開發(fā)了一種深度學(xué)習(xí)的CNN-LSTM序列對序列自編碼器來預(yù)測癲癇腦靜息態(tài)EEG信號(hào)中的fNIRS信號(hào)。本研究模型分別使用60/20/20劃分訓(xùn)練、測試和驗(yàn)證集。研究結(jié)果表明，在癲癇靜息態(tài)記錄的情況下，利用全譜EEG信號(hào)和特定頻率范圍的EEG信號(hào)都能在一定程度上預(yù)測fNIRS信號(hào)。為進(jìn)一步驗(yàn)證本研究方法，研究者使用了預(yù)測的fNIRS重建大腦功能連接，并將其與使用實(shí)驗(yàn)fNIRS的功能連接進(jìn)行了比較。

從神經(jīng)生理學(xué)的角度來看，靜息態(tài)癲癇腦處于動(dòng)態(tài)狀態(tài)，腦血流在不斷流動(dòng)。最近的研究表明，在發(fā)作間期存在異常的功能網(wǎng)絡(luò)。因此，即使去除了系統(tǒng)生理成分，分子和細(xì)胞機(jī)制的潛在補(bǔ)償也可能有助于預(yù)測除血液動(dòng)力學(xué)腦活動(dòng)外的系統(tǒng)生理學(xué)成分。本實(shí)驗(yàn)結(jié)果可能與以Mayer波頻率（~0.1Hz）產(chǎn)生的已知生理現(xiàn)象有關(guān)，因?yàn)檫@些振蕩反映了腦動(dòng)脈血壓的波動(dòng)。這些振蕩在濾波后持續(xù)存在，部分原因是它們與典型的血流動(dòng)力學(xué)響應(yīng)具有相同的光譜范圍。另一方面，這些振蕩對應(yīng)于腦血管運(yùn)動(dòng)，可能與血管調(diào)諧振蕩有關(guān)。

EEG信號(hào)中的這些細(xì)微特征被模型的結(jié)構(gòu)部分(特別是卷積LSTM參數(shù))編碼并隨后解碼。該模型的編碼器、解碼器以及參數(shù)(如激活函數(shù))可以增強(qiáng)靜息態(tài)EEG數(shù)據(jù)的特征提取和fNIRS信號(hào)中相應(yīng)的關(guān)聯(lián)。此外，利用循環(huán)單元的輸出或隱藏狀態(tài)和模型計(jì)算的特征可以通過門控機(jī)制從LSTM模塊中提取靜息態(tài)EEG信號(hào)的長期依賴性（電或生理）。此外，當(dāng)腦血流（CBF）變化時(shí)，皮層神經(jīng)元的代謝和電活動(dòng)都會(huì)發(fā)生變化，相應(yīng)的EEG也會(huì)發(fā)生變化。

引起fNIRS反應(yīng)的事件可分為閾下突觸傳導(dǎo)和閾上峰值活動(dòng)。興奮性和抑制性神經(jīng)元通常在大腦中離得很近，它們同時(shí)活躍可能有助于血流動(dòng)力學(xué)反應(yīng)。較慢的EEG頻率包絡(luò)（即delta和theta）由第II-VI層的丘腦和皮層細(xì)胞產(chǎn)生。更快的頻率（即beta和gamma）來自皮層第IV層和第V層的細(xì)胞。EEG記錄中的電位變化與腦血流（CBF）密切相關(guān)，當(dāng)正常CBF降至約25-35ml/100g/min時(shí)，EEG信號(hào)首先失去較快的頻率，然后隨著CBF降至大約17-18ml/100g/min，較慢的頻率逐漸增加。本研究模型從理論上捕捉到了CBF和靜息態(tài)癲癇腦中神經(jīng)元活動(dòng)之間的相互依賴關(guān)系。

與低頻范圍的EEG信號(hào)相比，高頻范圍的EEG信號(hào)重建fNIRS信號(hào)的誤差更小。本研究結(jié)果證實(shí)，與其他EEG頻率范圍不同的是，基于EEG gamma頻段的fNIRS重建顯示，觀察到的血流動(dòng)力學(xué)反應(yīng)與預(yù)測的血流動(dòng)力學(xué)反應(yīng)之間更接近。這可能是因?yàn)楦哳l活動(dòng)具有更多的神經(jīng)元參與。大腦中的gamma節(jié)律提供了神經(jīng)網(wǎng)絡(luò)參與的跡象，并在幾個(gè)皮層和皮層下結(jié)構(gòu)中觀察到。與其他刺激相比，這些節(jié)律通常在某些刺激下的活動(dòng)更強(qiáng)，從而顯示出對附近神經(jīng)元活動(dòng)的選擇性。GABA能抑制神經(jīng)元間的活動(dòng)，被認(rèn)為是產(chǎn)生EEG gamma頻率活動(dòng)的關(guān)鍵，并且可能通過與興奮性神經(jīng)元的相互作用而增加。然而，要充分解釋這種活動(dòng)的影響，就需要對其產(chǎn)生的細(xì)胞機(jī)制進(jìn)行研究。

此外，本研究探索了癲癇患者大腦靜息狀態(tài)下的功能連接。實(shí)驗(yàn)靜息態(tài)fNIRS數(shù)據(jù)和預(yù)測的fNIRS數(shù)據(jù)相互關(guān)聯(lián)，揭示了種子點(diǎn)附近的相似連接，但指標(biāo)會(huì)隨著與種子距離的增加而下降。這可能是由許多因素造成的：噪聲導(dǎo)致重建質(zhì)量下降；感興趣區(qū)域的gamma激活減少；模型參數(shù)無法完全學(xué)習(xí)信號(hào)中存在的細(xì)微差別。此外，頭皮和頭骨的系統(tǒng)偽影是靜息態(tài)fNIRS信號(hào)的主要噪聲源，這些偽影會(huì)導(dǎo)致重建不準(zhǔn)確。利用短距離通道EEG-fNIRS實(shí)驗(yàn)裝置，源和探測器之間的空間距離約1-2cm，可以充分降低噪聲并提高信號(hào)靈敏度。重建指標(biāo)和相應(yīng)的功能連接網(wǎng)絡(luò)指標(biāo)隨著信號(hào)質(zhì)量和靜息態(tài)持續(xù)時(shí)間的增加而更加穩(wěn)定，從而減少了實(shí)驗(yàn)和預(yù)測時(shí)間序列之間的差異。

結(jié)論

本研究設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)深度學(xué)習(xí)模型，根據(jù)癲癇患者隊(duì)列中特定的靜息態(tài)頭皮EEG頻率預(yù)測靜息態(tài)血流動(dòng)力學(xué)。這里使用的多維數(shù)據(jù)集使我們能夠通過神經(jīng)血管耦合研究大腦血流動(dòng)力學(xué)和神經(jīng)信號(hào)之間的關(guān)系。利用深度學(xué)習(xí)架構(gòu)對每個(gè)EEG頻率范圍及其互補(bǔ)的fNIRS預(yù)測進(jìn)行了全面分析；并進(jìn)一步使用頻率范圍預(yù)測分析了大腦區(qū)域之間的功能連接。結(jié)果發(fā)現(xiàn)，較高的EEG頻段可以更準(zhǔn)確地預(yù)測血流動(dòng)力學(xué)信號(hào)。

原文：Multimodal Autoencoder Predicts fNIRS Resting State From EEG Signals.

https://doi.org/10.1007/s12021-021-09538-3

小伙伴們點(diǎn)個(gè)“在看”，加

(星標(biāo))關(guān)注茗創(chuàng)科技，將第一時(shí)間收到精彩內(nèi)容推送哦～