摘要

腦成像數(shù)據(jù)解碼越來越受歡迎，可用于腦機(jī)接口和神經(jīng)表征等方面的研究。解碼通常是特定于個體的，由于不同被試之間的差異較大，因而不能很好地泛化。克服這一問題的技術(shù)不僅需要能夠提供更豐富的神經(jīng)科學(xué)見解，而且還能使組水平模型的性能優(yōu)于特定個體模型。在這里，本文提出了一種使用個體嵌入的方法(類似于自然語言處理中的詞嵌入)，來學(xué)習(xí)并利用個體間變異性的結(jié)構(gòu)作為解碼模型的一部分，即WaveNet架構(gòu)的分類自適應(yīng)。本研究將該方法應(yīng)用于腦磁圖數(shù)據(jù)，其中15名被試觀看了118張不同的圖像，每個圖像有30個示例，使用圖像呈現(xiàn)后的整個1s窗口來進(jìn)行圖像分類。本研究表明，深度學(xué)習(xí)和個體嵌入的結(jié)合對于縮小個體水平和組水平解碼模型之間的性能差距至關(guān)重要。重要的是，組水平模型在低精度被試上的表現(xiàn)優(yōu)于個體模型，并且可用于初始化個體模型。雖然總體上未發(fā)現(xiàn)組水平模型的性能顯著優(yōu)于個體水平模型，但是在更大的數(shù)據(jù)集上，組水平建模的性能預(yù)計(jì)會更高。為了提供組水平層面的生理學(xué)解釋，本研究利用了置換特征重要性方法，提供了模型中編碼的時空和頻譜信息。所有代碼均可在GitHub上獲得(https://github.com/ricsinaruto/MEG-group-decode)。

前言

近年來，解碼技術(shù)在神經(jīng)影像學(xué)領(lǐng)域越來越受歡迎，特別是從內(nèi)部狀態(tài)(即大腦活動)解碼外部變量(如刺激類別)。這種分析對于腦機(jī)接口(BCI)應(yīng)用或獲得神經(jīng)科學(xué)見解非常有用。對大腦記錄進(jìn)行解碼的應(yīng)用中通常為每個數(shù)據(jù)集和每個被試擬合單獨(dú)的模型(通常是線性模型)。這樣做的好處是解碼可以根據(jù)數(shù)據(jù)集/被試進(jìn)行調(diào)整，但缺點(diǎn)是無法利用可在數(shù)據(jù)集/被試之間傳遞的知識。這對于神經(jīng)影像學(xué)領(lǐng)域尤為重要，因?yàn)槭占鄶?shù)據(jù)既昂貴而且難度也較大(例如在臨床人群中)。特定被試(個體水平)模型的實(shí)際缺點(diǎn)還包括計(jì)算負(fù)荷增加、過擬合幾率更高以及無法適應(yīng)新的被試。本研究旨在利用多個被試的數(shù)據(jù)，訓(xùn)練一個可以在被試之間泛化的共享模型(組水平模型)。個體水平和組水平模型的概念可視化如圖1所示。

由于腦磁圖(MEG)具有高時間分辨率和相對較好的空間分辨率，因而是研究大腦活動快速動態(tài)的極好方法。MEG非常適合進(jìn)行解碼分析，這種分析通常使用個體水平模型進(jìn)行。這是因?yàn)樯窠?jīng)影像數(shù)據(jù)中存在很高的被試間變異性。另一種方法是在多個被試中訓(xùn)練和使用相同的解碼模型。將不明確地對任何被試間變異性進(jìn)行建模的方法稱為“樸素組水平建?！?。這種樸素方法實(shí)際上假設(shè)所有數(shù)據(jù)來自同一被試(參見圖1b)，但由于被試間差異很大，通常表現(xiàn)得非常糟糕。本研究旨在改進(jìn)這些方法。如果組水平建模能夠考慮到高度的被試間變異性，那么就可以在被試間共享相關(guān)信息，從而帶來兩個關(guān)鍵優(yōu)勢。首先，我們可以直接從組水平解碼模型中獲得神經(jīng)科學(xué)見解。其次，使用適當(dāng)規(guī)模的多被試數(shù)據(jù)集，組水平模型的性能將優(yōu)于個體水平模型。

本研究的主要目標(biāo)是通過使用單個組水平解碼模型來改進(jìn)個體水平模型，該模型可以在被試之間(以及被試內(nèi))進(jìn)行泛化。本文將其稱為跨被試解碼，即模型在所有被試的部分?jǐn)?shù)據(jù)上進(jìn)行訓(xùn)練，然后在留出數(shù)據(jù)上進(jìn)行測試。這是因?yàn)樵谶@種方式下表現(xiàn)良好的組水平模型有助于獲得與組水平相關(guān)的神經(jīng)科學(xué)信息。本文還介紹了另一種方法，即留一法分析(Leave-one-subject-out，LOSO)。在LOSO分析中，組水平模型在多個被試數(shù)據(jù)上進(jìn)行訓(xùn)練，并在一個新的未知數(shù)據(jù)上進(jìn)行測試，這在零樣本學(xué)習(xí)BCI應(yīng)用中特別有用。

在這里，本研究提出了一種通用架構(gòu)，借助個體嵌入(圖1c和圖2)對多個被試進(jìn)行聯(lián)合解碼。需要注意的是，我們在全時段解碼的背景下進(jìn)行此操作，因?yàn)樽罱难芯勘砻?，全時段模型的性能優(yōu)于滑動窗口解碼。本研究使用包含視覺任務(wù)的MEG數(shù)據(jù)集(15名被試)，并做出了以下貢獻(xiàn)。首先，本研究引入了具有個體嵌入的組水平模型，明顯改進(jìn)了樸素組水平建模，并展示了與個體水平解碼模型相比，可以提供的解碼方面的潛在改進(jìn)。其次，本研究深入探討了非線性和個體嵌入如何有助于組水平建模。第三，本文展示了可以從基于深度學(xué)習(xí)的解碼模型中獲得神經(jīng)科學(xué)見解，并使用置換特征重要性(PFI)來揭示有意義的時空和頻譜信息是如何編碼的。

方法

數(shù)據(jù)本研究使用任務(wù)態(tài)MEG數(shù)據(jù)集，其中包括15名被試觀看118張不同的圖像，每張圖像觀看30次。分段后的數(shù)據(jù)是公開的，但本研究直接從原作者那里獲得了連續(xù)的原始MEG數(shù)據(jù)，以便能夠使用MNE-Python運(yùn)行我們的預(yù)處理流程。原始數(shù)據(jù)經(jīng)過0.1-125Hz的帶通濾波，并使用陷波濾波器去除線噪聲。使用白化處理來消除個體水平模型中通道之間的協(xié)方差。先前的研究表明，去除通道間協(xié)方差(白化處理)，或者可以說是多元噪聲歸一化，可以提高線性解碼模型的性能。對于組水平模型，不執(zhí)行白化處理，而是通過去除均值并除以方差來對每個通道進(jìn)行單獨(dú)標(biāo)準(zhǔn)化。在組水平模型中不使用白化的原因是，當(dāng)每個PCA分解投射到不同的空間時，它會破壞被試間通道的對齊。在白化處理之后，將數(shù)據(jù)降采樣至250Hz并進(jìn)行1.024s的分段。這導(dǎo)致了來自306個MEG傳感器的306×256維試次(通道×?xí)r間點(diǎn))。我們進(jìn)行多類解碼，預(yù)測118個類(圖像)中每個類別的概率。有關(guān)分段數(shù)據(jù)的概要，詳見表1。

模型

本研究的目標(biāo)不是設(shè)計(jì)一種用于解碼MEG數(shù)據(jù)的新架構(gòu)，而是基于已被證明對時間序列數(shù)據(jù)有效的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)來構(gòu)建模型。因此，本研究使用了一種基于WaveNet的解碼模型進(jìn)行分類，該模型已經(jīng)成功地應(yīng)用于音頻領(lǐng)域，我們稱之為WaveNet分類器。WaveNet中的擴(kuò)張卷積對于建模時間序列數(shù)據(jù)非常有效，因?yàn)檫B續(xù)層可以提取輸入的互補(bǔ)頻率內(nèi)容。本研究的WaveNet分類器模型由兩部分組成：(時間)卷積塊用作特征提取器，全連接塊用于分類(圖2)。卷積塊使用一系列1D擴(kuò)張卷積層，其中包括隨機(jī)失活(dropout)和反雙曲正弦激活函數(shù)。對于個體水平的建模，本研究使用3個卷積層。對于組水平的建模，使用了6個卷積層。通過訓(xùn)練分別使用3層和6層的個體水平和組水平模型，并在每種情況下選擇最佳的模型版本，從而在個體水平和組水平之間進(jìn)行公平比較。

本研究評估了每個模型的兩個版本，分別是線性的和非線性的Wavenet分類器。這樣我們就可以看到非線性(深度學(xué)習(xí)的基石)如何與組水平建模相互作用。最后，將組水平建模分為兩種方法。首先，我們有一個樸素組水平模型，即標(biāo)準(zhǔn)的6層Wavenet分類器。其次是本研究提出的組水平模型，通過包含個體嵌入來改進(jìn)樸素組水平模型。下面給出了個體水平(方程(1))、樸素組水平(方程(2))和嵌入組水平(方程(3))模型的數(shù)學(xué)表示。

其中，s表示單個被試，S是所有被試的集合。ts和ys分別表示被試s的目標(biāo)變量和輸入試次，fs是被試特定模型，fg是跨被試共享的組水平模型。es是特定被試的學(xué)習(xí)嵌入。個體嵌入是一種處理被試間變異的方法，類似于自然語言處理(NLP)中的詞嵌入，每個被試都有一個對應(yīng)的稠密向量。將該向量與輸入試次數(shù)據(jù)的通道維度在所有時間點(diǎn)上進(jìn)行連接(在每個試次中)。

實(shí)驗(yàn)過程本研究的主要評估指標(biāo)是在118個類別上進(jìn)行跨被試解碼的分類準(zhǔn)確性。對于每個被試和類別，按照4∶1的比例劃分訓(xùn)練集和驗(yàn)證集。個體水平和組水平模型在相同的劃分上進(jìn)行訓(xùn)練和評估。請注意，對于每個模型，還進(jìn)行了額外的訓(xùn)練，其中(線性)恒等函數(shù)被用作激活函數(shù)，以評估非線性的影響。使用Adam優(yōu)化器分別訓(xùn)練500和2000個epoch的線性模型和非線性模型。表2列出了圖3中呈現(xiàn)的所有模型和訓(xùn)練組合。

在組水平和個體水平模型中，Dropout設(shè)置為0.4和0.7，批大小分別為590和59。組水平模型的學(xué)習(xí)率設(shè)置為0.0001，個體水平模型的學(xué)習(xí)率設(shè)置為0.00005。在NVIDIA A100 GPU上，單個個體水平和組水平模型的訓(xùn)練時間分別為5-15分鐘和4小時。

結(jié)果

所有訓(xùn)練模型的驗(yàn)證精度如圖3所示。有趣的是，在個體水平上，線性模型的表現(xiàn)略優(yōu)于非線性模型(增加了4%，p=5.7e-4)。本研究認(rèn)為，在被試內(nèi)進(jìn)行訓(xùn)練/驗(yàn)證時，數(shù)據(jù)規(guī)模和噪聲水平的限制都導(dǎo)致了非線性模型的性能欠佳。MEG數(shù)據(jù)集普遍存在較大的被試間差異，個體準(zhǔn)確率范圍從5%到88%不等。正如預(yù)期的那樣，訓(xùn)練樸素組水平模型，即將線性或非線性WaveNet分類器簡單應(yīng)用于組水平建模(橙色小提琴圖)時，會導(dǎo)致性能大大降低。在非線性模型中添加個體嵌入(non-linear group-emb)可將性能提高24%(p=1.9e-6)，但在線性模型中則沒有提高(linear group-emb)。這表明，在非線性激活函數(shù)中結(jié)合個體嵌入可以縮小與個體水平模型的差距。

本研究還對每個被試的訓(xùn)練數(shù)據(jù)分別進(jìn)行了500個epoch的嵌入組水平模型的微調(diào)(non-linear group-emb finetuned)。有效地使用組水平模型作為個體水平模型的初始化，相對于從頭開始訓(xùn)練的個體水平模型(linear subject)來說有所改進(jìn)，實(shí)現(xiàn)了50%的精度(提高了5%)。這表明在組水平上學(xué)習(xí)到的表征對于個體水平的建模是有用的。相比之下，對樸素組水平模型進(jìn)行微調(diào)(non-linear group finetuned)僅達(dá)到42%的精度，這表明將微調(diào)與最好的組水平模型相結(jié)合時，可以達(dá)到最佳性能。

在神經(jīng)解碼中，人們普遍認(rèn)為組水平模型的表現(xiàn)要比個體模型差。為什么會出現(xiàn)這種情況呢？通過繪制兩種模型中每個被試的表現(xiàn)(圖4)，可以得到一些啟示。對于non-linear group-emb模型，有4個精度較低(15%-30%)的被試比linear subject中的精度要高(盡管被試間的均值較低)。這表明如果能夠識別出這些被試，那么組水平模型可以成功地應(yīng)用于某些個體。事實(shí)上，在linear subject個體水平的精度與non-linear group-emb和non-linear group-emb finetuned模型的精度之間具有強(qiáng)烈的負(fù)相關(guān)(分別為?0.88和?0.54)。將finetuned與個體水平模型(linear subject)相比，只有兩個精度較高的被試略有下降，而較低/中等精度的被試通常比高精度被試顯示出更大的改進(jìn)(圖4)。

在訓(xùn)練non-linear group-emb模型時，對留一被試的嵌入進(jìn)行隨機(jī)初始化。在LOSO(零樣本)評估中，兩組模型都達(dá)到了5%的精度(圖5a)。直到使用留一被試訓(xùn)練數(shù)據(jù)的70%時，兩組模型都顯著優(yōu)于線性被試模型(p＜0.05，經(jīng)多重比較校正)。因此，當(dāng)微調(diào)組水平模型時，可以用比線性被試更少的數(shù)據(jù)來達(dá)到相同的性能水平。不出所料，non-linear group-emb模型沒有比樸素模型(non-linear group)更好，但重要的是，也沒有更差。與圖3中的微調(diào)設(shè)置不同的是，當(dāng)適應(yīng)新的被試時，更好的組水平性能并不意味著更好的微調(diào)性能。本研究認(rèn)為這是因?yàn)樵谶m應(yīng)新被試時，該被試的嵌入是隨機(jī)初始化的，因此在微調(diào)過程中需要重新學(xué)習(xí)。這是本研究方法的一個局限性。

圖5b顯示了訓(xùn)練后non-linear group-emb模型的時間和空間PFI。為了使結(jié)果更加穩(wěn)健和平滑，對于時間PFI，采用100ms時間窗的隨機(jī)混排，并對相同位置的磁強(qiáng)計(jì)和梯度計(jì)進(jìn)行空間PFI的混排處理。精度損失較高的時間窗或通道被解釋為包含更多有關(guān)視覺圖像的神經(jīng)可辨別性的信息。這表明了大腦中與呈現(xiàn)圖像相關(guān)的信息處理是在何時何地發(fā)生的。時間PFI在150ms左右顯示了一個巨大的峰值，這與之前在該數(shù)據(jù)集上的個體水平PFI結(jié)果一致。之后，信息內(nèi)容迅速下降，在650ms左右的出現(xiàn)了第二個較小的峰值，這可能對應(yīng)于500ms圖像呈現(xiàn)結(jié)束后的大腦響應(yīng)?？臻gPFI顯示，最重要的通道位于大腦后部視覺區(qū)域的傳感器中，這符合視覺任務(wù)的預(yù)期。這種PFI分析與深度學(xué)習(xí)模型中經(jīng)常使用的基于梯度的分析方法之間存在良好的一致性。

為了進(jìn)一步了解所訓(xùn)練的non-linear group-emb模型，可以通過分析學(xué)習(xí)到的權(quán)重來獲得可解釋的空間、時間和頻譜信息。這種分析之所以可行，是因?yàn)槲覀兪褂昧硕鄬由窠?jīng)網(wǎng)絡(luò)，而在經(jīng)典的線性模型中無法進(jìn)行等效的分析。我們可以利用模型自身的結(jié)構(gòu)(即連續(xù)的層)，以及卷積層中的濾波器可以被視為單個的計(jì)算單元。這里的目的是理解模型本身以及它如何表示和處理數(shù)據(jù)。

圖6顯示了6個卷積層中的3個層的結(jié)果，同一層內(nèi)的卷積核往往具有相似的時間敏感性，因此本研究只顯示了5個卷積核(圖6c)。為了比較具有不同輸出幅度的卷積核之間的時間PFI，對輸出偏差進(jìn)行標(biāo)準(zhǔn)化處理。在早期層中，敏感性在100ms左右達(dá)到峰值，然后迅速下降，最后再次緩慢上升。早期層中的卷積核具有一定的隨機(jī)空間敏感性(圖6a)，而且不同卷積核之間存在一些差異。這種敏感性類似于對分類性能來說信息量最大的空間特征(參見圖5b)。圖6b顯示了空間PFI的時間分布。這表明空間敏感性似乎不隨時間而變化；也就是說，最重要的通道始終是相同的。

在神經(jīng)生理學(xué)中，我們經(jīng)常對振蕩信號以及特定頻率與某些任務(wù)(這里是視覺刺激解碼)之間的關(guān)聯(lián)性感興趣。為此，本研究在頻譜域中使用PFI，用于測量卷積核輸出在特定頻段擾動下的變化(圖7a)。在所有層和卷積核中，該特征具有1/f(頻率)形狀，在10Hz處有一個明顯的峰值。這些都是MEG信號的常見特征，表明卷積核的頻譜敏感性與數(shù)據(jù)的功率譜一致。有趣的是，先前對該數(shù)據(jù)集的PFI分析未顯示出10Hz的峰值。因此，分析深度學(xué)習(xí)模型的權(quán)重可以揭示更多或不同的信息。在圖7b中，還觀察了4個通道鄰域的頻譜PFI，并發(fā)現(xiàn)卷積核對所有頻率下的相同通道(在視覺區(qū)域)都很敏感，并且這些通道具有更大的10Hz峰值。

結(jié)論

本研究專注于跨被試解碼，這是由于在組水平上表現(xiàn)良好的模型可用于獲得與組水平相關(guān)的神經(jīng)科學(xué)見解。在這種情況下，本研究提出的基于深度學(xué)習(xí)的組水平模型優(yōu)于樸素組模型，并實(shí)現(xiàn)了與個體水平模型相似的性能。該模型具有三個關(guān)鍵優(yōu)勢，首先，它在組水平上提供了更豐富的信息。其次，當(dāng)數(shù)據(jù)集較大時，組水平模型可能優(yōu)于個體水平模型。第三，組水平模型可用于初始化個體水平模型，其性能優(yōu)于隨機(jī)初始化的個體水平模型。此外，個體嵌入和非線性對于使用組水平模型解碼神經(jīng)成像數(shù)據(jù)的目標(biāo)是非常重要的，這將使我們能夠更好地利用這種固有的有限資源。

參考文獻(xiàn)：Csaky, R., van Es, M. W. J., Jones, O. P., & Woolrich, M. (2023). Group-level brain decoding with deep learning. Human Brain Mapping, 1-15. https://doi.org/10.1002/hbm.26500

小伙伴們關(guān)注茗創(chuàng)科技，將第一時間收到精彩內(nèi)容推送哦～