導(dǎo)讀

意義：光學(xué)神經(jīng)影像學(xué)已成為一種成熟的臨床和研究工具，用于監(jiān)測(cè)大腦皮層的激活。值得注意的是，功能性近紅外光譜(fNIRS)研究的結(jié)果在很大程度上取決于所采用的數(shù)據(jù)處理流程和分類模型。最近，深度學(xué)習(xí)(DL)方法在許多生物醫(yī)學(xué)領(lǐng)域的數(shù)據(jù)處理和分類任務(wù)中表現(xiàn)出快速和準(zhǔn)確的性能。

目的：本文旨在回顧新興的深度學(xué)習(xí)(DL)在fNIRS研究中的應(yīng)用。

方法：本文將首先介紹一些常用的深度學(xué)習(xí)技術(shù)。然后，總結(jié)了當(dāng)前深度學(xué)習(xí)在腦機(jī)接口、神經(jīng)損傷診斷和神經(jīng)科學(xué)發(fā)現(xiàn)等領(lǐng)域的研究進(jìn)展。

結(jié)果：在本綜述考慮的63篇論文中，32篇報(bào)告了DL技術(shù)與傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)的比較研究，其中26篇報(bào)告了DL在分類精度方面表現(xiàn)優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)。此外，有8篇研究利用深度學(xué)習(xí)來減少通常使用fNIRS數(shù)據(jù)進(jìn)行的預(yù)處理量，或通過數(shù)據(jù)增強(qiáng)來增加數(shù)據(jù)量。

結(jié)論：DL技術(shù)在fNIRS研究中的應(yīng)用已表明可以減輕fNIRS研究中存在的許多障礙，例如冗長的數(shù)據(jù)預(yù)處理或小樣本量，同時(shí)能夠?qū)崿F(xiàn)相當(dāng)或改進(jìn)的分類精度。

前言

在過去的二十年里，功能性近紅外光譜(fNIRS)已成為一種監(jiān)測(cè)大腦活動(dòng)的成熟的神經(jīng)成像模式。fNIRS能夠在較長時(shí)間內(nèi)量化皮質(zhì)組織血流動(dòng)力學(xué)，具有相對(duì)高的空間采樣和時(shí)間分辨率，使其能夠在許多臨床環(huán)境中被廣泛采用。fNIRS具有獨(dú)特的優(yōu)勢(shì)，可用于自由移動(dòng)的受試者，其限制比腦電圖(EEG)或功能性磁共振成像(fMRI)少。這允許我們?cè)谧匀粓?chǎng)景和通常被認(rèn)為不適合EEG或fMRI成像的患者群體中運(yùn)用fNIRS。但由于實(shí)驗(yàn)設(shè)置、統(tǒng)計(jì)結(jié)果的變化等原因，fNIRS在臨床應(yīng)用方面仍面臨著諸多挑戰(zhàn)。重要的是，fNIRS的當(dāng)前趨勢(shì)旨在通過增加空間采樣來提高空間分辨率，通過數(shù)據(jù)處理去除不必要的生理噪聲來提高皮層敏感度，通過解剖配準(zhǔn)改善量化，并通過偽影識(shí)別和去除來提高魯棒性。然而，當(dāng)前的算法實(shí)現(xiàn)需要高水平的專業(yè)知識(shí)來設(shè)置參數(shù)，這些參數(shù)可以是特定于系統(tǒng)或應(yīng)用程序的，但也會(huì)極大地影響處理數(shù)據(jù)的可解釋性。此外，這些方法的計(jì)算成本并不適合床邊實(shí)施。隨著數(shù)據(jù)處理和分析領(lǐng)域的普遍趨勢(shì)，最近提出了利用深度學(xué)習(xí)(DL)發(fā)展的新方法，在很大程度上有助于克服這些情況。

DL方法在所有生物醫(yī)學(xué)工程領(lǐng)域的成功為開發(fā)出具有強(qiáng)大性能、用戶友好和實(shí)時(shí)能力的專用數(shù)據(jù)驅(qū)動(dòng)、無模型數(shù)據(jù)處理工具提供了希望。DL方法越來越多地用于生物醫(yī)學(xué)成像領(lǐng)域，包括生物醫(yī)學(xué)光學(xué)和神經(jīng)成像方式，如fMRI、腦磁圖(MEG)和EEG。遵循這一趨勢(shì)，DL方法最近也被用于fNIRS應(yīng)用。在這篇綜述中，作者總結(jié)了這些當(dāng)前研究。本文首先介紹了DL的基本概念，包括訓(xùn)練和設(shè)計(jì)注意事項(xiàng)。其次，本文提供了DL模型在不同fNIRS研究中的應(yīng)用總結(jié)，包括腦機(jī)接口（BCI）、臨床診斷和皮層活動(dòng)分析。

深度學(xué)習(xí)方法論

DL可以看作是參數(shù)化機(jī)器學(xué)習(xí)技術(shù)的黑盒版本。傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)可能會(huì)對(duì)原始數(shù)據(jù)分布做出幾個(gè)假設(shè)。最值得注意的是，通過對(duì)輸入數(shù)據(jù)進(jìn)行適當(dāng)?shù)霓D(zhuǎn)換，可以將數(shù)據(jù)映射到不同的類別（分類數(shù)據(jù)）或回歸線（連續(xù)數(shù)據(jù)）。在參數(shù)化方法中，利用權(quán)重將多維輸入數(shù)據(jù)約簡到可分離的空間中。這些權(quán)重是通過最小化目標(biāo)函數(shù)來學(xué)習(xí)的，試圖減少分?jǐn)?shù)預(yù)測(cè)的誤差。通過在輸入和輸出空間之間引入隱藏層，有人認(rèn)為可以學(xué)習(xí)一些抽象概念以幫助更好地進(jìn)行區(qū)分。這些模型被稱為人工神經(jīng)網(wǎng)絡(luò)(ANNs)。

受生物神經(jīng)元的啟發(fā)，ANNs通過在節(jié)點(diǎn)或“神經(jīng)元”上執(zhí)行簡單的非線性操作，生成輸入訓(xùn)練數(shù)據(jù)(x)和輸出數(shù)據(jù)(y)之間的映射，形成一個(gè)計(jì)算圖。更新圖邊緣的權(quán)值(Θ)，即通過最小化損失函數(shù)

來進(jìn)行訓(xùn)練，該函數(shù)測(cè)量了模型輸出

和真實(shí)輸出(y)之間的差異。使用梯度下降的反向傳播算法中的微分鏈規(guī)則有效地完成網(wǎng)絡(luò)訓(xùn)練。圖中每一層的節(jié)點(diǎn)數(shù)定義了網(wǎng)絡(luò)的寬度，而層數(shù)定義了其深度。

深度網(wǎng)絡(luò)是具有足夠深度的網(wǎng)絡(luò)，盡管對(duì)于該網(wǎng)絡(luò)的深度如何才能被視為是“深度神經(jīng)網(wǎng)絡(luò)”(DNN)尚未達(dá)成共識(shí)。整個(gè)網(wǎng)絡(luò)可以看作是一個(gè)可微函數(shù)，它使用多層函數(shù)組合來學(xué)習(xí)輸入和輸出之間的關(guān)系，初始層學(xué)習(xí)輸入的低級(jí)特征，而更深層則提取更高層次的特征。高性能計(jì)算的出現(xiàn)和大規(guī)模數(shù)據(jù)的可用性正在推動(dòng)當(dāng)前深度學(xué)習(xí)的快速發(fā)展。

深度學(xué)習(xí)架構(gòu)

DL從可用的單元/節(jié)點(diǎn)操作中獲得其多功能性。這些操作包括受其他特定領(lǐng)域工具啟發(fā)的線性變換、過濾器和門(gates)，這些工具計(jì)算隱藏層中的抽象特征。通常，這些操作的選擇決定了網(wǎng)絡(luò)的應(yīng)用。fNIRS研究中最常用的三種網(wǎng)絡(luò)類型如圖1所示。

圖1.上圖顯示了綜述文章中三種最常見的網(wǎng)絡(luò)架構(gòu)。

多層感知器(MLPs)等密集網(wǎng)絡(luò)使用線性變換作為單元操作，是ANNs的同義詞。卷積神經(jīng)網(wǎng)絡(luò)(CNNs)使用卷積進(jìn)行運(yùn)算，其中使用固定大小的濾波器對(duì)輸入圖像或特征圖進(jìn)行卷積。一般來說，它們對(duì)數(shù)字、物體和圖像的識(shí)別能力很強(qiáng)。類似地，長-短時(shí)記憶網(wǎng)絡(luò)(LSTM)可以在時(shí)域中展開以學(xué)習(xí)時(shí)間序列數(shù)據(jù)。LSTM單元使用門來維持單元狀態(tài)記憶。適當(dāng)?shù)臄?shù)據(jù)以連續(xù)的時(shí)間步長通過單元，避免了長時(shí)間序列數(shù)據(jù)的梯度消失問題。

神經(jīng)網(wǎng)絡(luò)的一個(gè)基本屬性是使用所謂的“激活函數(shù)”引入非線性——基于生物神經(jīng)元放電的概念。表1列出了最常見的激活函數(shù)類型。sigmoid函數(shù)壓縮0和1范圍內(nèi)的值，激活較大的正值，同時(shí)將較大的負(fù)值清零。sigmoid函數(shù)也可以用于二元分類器的輸出，例如，Mirbagheri等人(2019)和Tanveer等人(2019)。Dolmans等人(2021)使用sigmoid輸出進(jìn)行七類分類，盡管softmax激活被廣泛用于多類分類。softmax激活使用取冪和歸一化來為輸出分配概率。輸出層更高的softmax輸出可以解釋為對(duì)預(yù)測(cè)的置信度。

表1.每個(gè)激活函數(shù)輸入x的激活輸出如下表所示，以及顯示了激活值的范圍。

深度學(xué)習(xí)中的實(shí)際考慮

（1）訓(xùn)練深度網(wǎng)絡(luò)

在確定了適合該問題的功能和架構(gòu)之后，重要的是要了解幫助網(wǎng)絡(luò)學(xué)習(xí)輸入-輸出映射所涉及的基本考慮因素。標(biāo)準(zhǔn)化或縮放輸入以將參數(shù)保持在可處理的范圍內(nèi)是很常見的。兩種常見的方法包括最小最大縮放，其中數(shù)據(jù)在0和1之間縮放，以及標(biāo)準(zhǔn)化，其中數(shù)據(jù)縮放到均值和單位方差為零。如果輸入數(shù)據(jù)范圍不大，一些網(wǎng)絡(luò)在沒有歸一化的情況下也能很好地學(xué)習(xí)，但建議進(jìn)行縮放以幫助收斂。權(quán)重初始化也有助于收斂。技術(shù)包括He和Glorot初始化，其中權(quán)重是從具有預(yù)定義統(tǒng)計(jì)矩的正態(tài)或均勻分布中隨機(jī)抽取的。此外，通常在層與層之間引入dropout以隨機(jī)關(guān)閉一定比例的節(jié)點(diǎn)，從而使網(wǎng)絡(luò)不會(huì)過擬合訓(xùn)練數(shù)據(jù)。

如果深度太大，反向傳播期間的梯度更新可能會(huì)激增或消失，ReLU和LSTM單元的開發(fā)主要是為了克服這個(gè)問題。此外，深層之間的跳躍式連接有助于反向傳播梯度，避免梯度消失。另一方面，已經(jīng)提出梯度裁剪和使用SELU激活函數(shù)來解決梯度激增問題。

深度網(wǎng)絡(luò)有多個(gè)超參數(shù)，這些超參數(shù)在訓(xùn)練期間不是主動(dòng)學(xué)習(xí)或更新的，而是基于文獻(xiàn)或使用系統(tǒng)搜索過程設(shè)置的。通過計(jì)算一批樣本的平均梯度，權(quán)重從輸出層依次向后更新。這個(gè)批量大小是一個(gè)超參數(shù)，通常設(shè)置為32，但它取決于架構(gòu)和硬件能力。較大的批量大小需要對(duì)單次迭代進(jìn)行更多的計(jì)算和存儲(chǔ)，而較小的批量大小意味著收斂速度較慢，例如，F(xiàn)ernandez Rojas等人在每次更新中使用64個(gè)批次，而Wickramaratne和Mahmud使用8個(gè)批次的大小?？刂剖諗克俣鹊牧硪粋€(gè)關(guān)鍵超參數(shù)是學(xué)習(xí)率，它與梯度下降算法中的損失梯度相乘。學(xué)習(xí)率通常在開始時(shí)設(shè)置為10?2，可以進(jìn)一步減小以進(jìn)行微調(diào)。例如，Ortega和Faisal使用0.03的初始學(xué)習(xí)率，在每個(gè)時(shí)期后以0.9的因子衰減。一個(gè)epoch是數(shù)據(jù)集中所有非重疊批次都已用于進(jìn)行訓(xùn)練的點(diǎn)。epoch的數(shù)量也是另一個(gè)超參數(shù)，嚴(yán)格取決于網(wǎng)絡(luò)開始收斂的時(shí)間。最常見的梯度下降優(yōu)化算法是Adam，它使用由動(dòng)量輔助的自適應(yīng)學(xué)習(xí)率，幫助網(wǎng)絡(luò)參數(shù)有效收斂。在fNIRS應(yīng)用中使用的其他算法有SGD和RMSprop。

訓(xùn)練DNNs的一個(gè)眾所周知的問題是每一層輸入分布的變化，這需要仔細(xì)地初始化權(quán)重、學(xué)習(xí)率計(jì)劃和dropout。Ioffe和Szegedy引入了一種稱為批量歸一化的技術(shù)，該技術(shù)有助于緩解“內(nèi)部協(xié)方差偏移”的問題。批量歸一化將原始研究中的訓(xùn)練步驟減少了14倍，同時(shí)對(duì)初始化和學(xué)習(xí)率的要求也不那么嚴(yán)格。因此，在CNN的批量訓(xùn)練期間，通常建議在每次卷積之后使用批量歸一化層。

大多數(shù)生物醫(yī)學(xué)應(yīng)用的被試數(shù)量和訓(xùn)練數(shù)據(jù)有限（表2總結(jié)了有關(guān)數(shù)據(jù)集的特征，包括被試數(shù)量、通道數(shù)量和所有研究檢測(cè)的皮層區(qū)域）。因此，必須采取適當(dāng)?shù)拇胧﹣肀苊馐褂镁哂行?shù)據(jù)集的大型網(wǎng)絡(luò)，以防止過擬合。該網(wǎng)絡(luò)減少了訓(xùn)練誤差，但失去了泛化到其他數(shù)據(jù)集的能力。為了緩解這種情況，最好從最簡單的網(wǎng)絡(luò)開始，使用更少的權(quán)重，并通過添加層/節(jié)點(diǎn)的數(shù)量來迭代地改進(jìn)網(wǎng)絡(luò)。此外，可以通過正則化權(quán)重和添加dropout層等方法來避免過擬合。

表2.對(duì)每篇論文中收集的數(shù)據(jù)進(jìn)行描述。

由于fNIRS數(shù)據(jù)是連續(xù)的時(shí)間序列數(shù)據(jù)，因此獲得數(shù)據(jù)段（例如靜息態(tài)）可以使用滑動(dòng)窗口方法進(jìn)行分析。這里，以固定間隔提取固定長度的數(shù)據(jù)段，允許后續(xù)窗口之間重疊。如果必須分析整個(gè)試次持續(xù)時(shí)間，則此方法不適用，因?yàn)樵谶@種情況下，每個(gè)試次都必須是單個(gè)樣本。

（2）模型評(píng)估

盡管有各種建模工具可用于分析心理和行為科學(xué)中收集到的數(shù)據(jù)，但也有越來越多的研究者擔(dān)心使用研究中報(bào)告結(jié)果的可重復(fù)性。盡管直接復(fù)制甚至概念復(fù)制在許多涉及人類神經(jīng)成像的研究中不可能實(shí)現(xiàn)，但現(xiàn)在的研究依賴于模擬復(fù)制作為次佳方法。這需要將數(shù)據(jù)劃分為多個(gè)子集，并在使用其余數(shù)據(jù)進(jìn)行訓(xùn)練后評(píng)估每個(gè)子集上的模型性能。對(duì)n個(gè)子集（也稱為測(cè)試集）的性能指標(biāo)進(jìn)行平均以獲得平均性能指標(biāo)，該指標(biāo)代表了對(duì)任何看不見的數(shù)據(jù)子集的預(yù)期模型性能。

選擇的子集類型取決于實(shí)驗(yàn)設(shè)置、研究問題或數(shù)據(jù)集的限制。所選擇的子集可以是隨機(jī)的試次子集、一個(gè)單個(gè)試次，或者每個(gè)被試的試次。這些交叉驗(yàn)證(CV)方案稱為K-折CV，leave-one-user-out(LOUO)CV和leave-one-subject-out(LOSO)CV。Leave-one-supertrial-out是另一種有效的嚴(yán)格CV技術(shù)。許多綜述論文執(zhí)行了10折CV，而少數(shù)執(zhí)行LOSO CV。用于評(píng)估的最常用指標(biāo)是精度、特異性和敏感性。

（3）深度網(wǎng)絡(luò)的輸入

經(jīng)過預(yù)處理步驟之后，得到氧合(ΔHbO)和脫氧(ΔHbR)血紅蛋白，及其總體變化(ΔHbT)的時(shí)間序列。然后根據(jù)任務(wù)設(shè)置對(duì)數(shù)據(jù)樣本進(jìn)行分割。對(duì)于基于任務(wù)的實(shí)驗(yàn)，數(shù)據(jù)被分段為試次，對(duì)于靜息態(tài)數(shù)據(jù)或長試次，使用如前所述的滑動(dòng)窗口法對(duì)數(shù)據(jù)進(jìn)行分段。

許多研究選擇濃度變化的離散概率分布，并提取均值、斜率、方差、偏度、峰度、最大值和范圍等統(tǒng)計(jì)特征。在其他情況下，網(wǎng)絡(luò)被允許學(xué)習(xí)和提取特征本身，數(shù)據(jù)以空間地圖或時(shí)間序列的形式提供。在一些研究中，數(shù)據(jù)片段被轉(zhuǎn)換為其他形式，例如格拉姆角場(chǎng)(GAF)或頻譜圖。圖2總結(jié)了研究中采用的樣本提取程序。

圖2.提取用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)(NNs)的樣本。N，Ns表示樣本數(shù)；T，Tw表示時(shí)間點(diǎn)的數(shù)量；nch代表通道數(shù)；h，w表示空間地圖圖像的高度和寬度；nstat表示統(tǒng)計(jì)矩/特征的數(shù)量。

深度學(xué)習(xí)在fNIRS中的應(yīng)用

近年來，DL技術(shù)在fNIRS研究中的應(yīng)用越來越多。雖然一些使用DL的研究將其用于特征提取或數(shù)據(jù)增強(qiáng)，但在大多數(shù)研究中，DL被用作分類器。因此，將DL用作分類器的那些研究，根據(jù)其在fNIRS中的應(yīng)用進(jìn)行進(jìn)一步的類別細(xì)分。表3是應(yīng)用程序和DL架構(gòu)的全面總結(jié)。目前，許多研究使用DL分類器對(duì)BCI應(yīng)用中的任務(wù)進(jìn)行分類。其他研究使用DL技術(shù)作為診斷工具，以檢測(cè)基于皮層活動(dòng)的各種生理和心理病理。最后，一些研究，例如那些使用DL技術(shù)來評(píng)估技能水平和功能連接的研究相對(duì)較少，因而無法歸為各自的類；但這些研究都使用了DL技術(shù)分析皮層活動(dòng)，因此被歸為皮層分析組。圖3顯示了在給定年份中每種類別研究的數(shù)量。

表3.每篇論文的應(yīng)用和主要結(jié)果。

圖3.本文納入分析的63篇論文按年份分布，并且每種研究類別使用不同的顏色編碼。

預(yù)處理

與大多數(shù)非侵入性神經(jīng)成像模式一樣，原始fNIRS信號(hào)通常包含混雜的生理信號(hào)和其他源自大腦皮層外部的噪聲，例如頭皮的血流動(dòng)力學(xué)以及血壓和心率的變化。大多數(shù)研究使用一些預(yù)處理方法來嘗試解決這個(gè)問題。雖然這里介紹的許多研究都使用帶通濾波或巴特沃斯濾波，但回顧整個(gè)文獻(xiàn)會(huì)發(fā)現(xiàn)，這些研究中使用到的方法是多種多樣的。獨(dú)立成分分析(ICA)去噪、小波濾波和基于相關(guān)的信號(hào)改進(jìn)濾波都是用于去除fNIRS信號(hào)中一些不良生理趨勢(shì)的方法。另一種推薦的方法是短距回歸，該方法將僅具有混雜生理信號(hào)的信號(hào)與fNIRS信號(hào)同時(shí)收集，并將這些信號(hào)的趨勢(shì)從fNIRS數(shù)據(jù)中刪除。其他算法，例如Savitsky–Golay濾波和時(shí)間導(dǎo)數(shù)分布修復(fù)是用于校正fNIRS信號(hào)中的運(yùn)動(dòng)偽影和基線漂移的方法。其中許多技術(shù)用于fNIRS研究以提高信號(hào)質(zhì)量，并確保被評(píng)估的信號(hào)來自大腦。其他推薦的技術(shù)包括對(duì)數(shù)據(jù)進(jìn)行預(yù)白化處理或通過PCA去相關(guān)，以在分析之前消除fNIRS信號(hào)之間的任何相關(guān)性，進(jìn)一步促進(jìn)對(duì)感興趣區(qū)域信號(hào)的分析。

特征提取和數(shù)據(jù)增強(qiáng)

fNIRS數(shù)據(jù)最顯著的問題之一是要分析的數(shù)據(jù)通常需要大量的手動(dòng)特征提取和偽影去除，這使得許多fNIRS研究數(shù)據(jù)無法實(shí)時(shí)應(yīng)用。因此，許多研究人員正在探索更有效的fNIRS數(shù)據(jù)預(yù)處理方法。DL方法的好處之一是能夠快速自動(dòng)地學(xué)習(xí)和提取fNIRS數(shù)據(jù)中的相關(guān)特征。例如Tanveer等人(2019)報(bào)告了使用DNN提取特征，并這些特征輸入K-近鄰(KNN)分類器，以檢測(cè)虛擬駕駛?cè)蝿?wù)期間被試的困倦程度。使用從DNN中提取的特征，KNN能夠達(dá)到83.3%的分類精度。盡管特征提取通常計(jì)算成本很高，即使使用強(qiáng)大的GPU也需要數(shù)小時(shí)，但DNN在10s的時(shí)間窗口中平均計(jì)算時(shí)間為0.024s，這一速度可以讓NVidia 1060 GTX GPU在5s內(nèi)完成30min信號(hào)的特征提取。除了計(jì)算速度外，DL自動(dòng)學(xué)習(xí)和提取特征的能力可以減少特征提取過程中的偏差和錯(cuò)誤，從而提高分類精度。

雖然有研究對(duì)使用DL提取特征以輸入到另一個(gè)分類器感興趣，但也有一些研究采用原始fNIRS數(shù)據(jù)并使用相同的神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和分類。盡管端到端神經(jīng)網(wǎng)絡(luò)被認(rèn)為是比手動(dòng)特征提取更理想的解決方案，但由于泛化性較低使其不太常用。Dargazany等人(2019)使用具有原始EEG、身體運(yùn)動(dòng)和fNIRS數(shù)據(jù)的MLP（有兩個(gè)隱藏層），在四類運(yùn)動(dòng)任務(wù)中實(shí)現(xiàn)了78%到80%的分類精度，盡管在沒有對(duì)數(shù)據(jù)進(jìn)行去噪或預(yù)處理的情況下。Fernandez Rojas等人(2020)使用原始fNIRS數(shù)據(jù)作為LSTM網(wǎng)絡(luò)的輸入，實(shí)現(xiàn)了90.6%的分類精度。采用10折CV進(jìn)行泛化評(píng)估，分類器的精度達(dá)到了93.1%。這兩項(xiàng)研究都為DL技術(shù)能夠省去從fNIRS數(shù)據(jù)中手動(dòng)提取特征的需要提供了證據(jù)，從而進(jìn)一步向?qū)崟r(shí)端到端BCI的發(fā)展。盡管上述研究能夠在沒有去噪或去除運(yùn)動(dòng)偽影的情況下實(shí)現(xiàn)高精度，而且一些研究是在被試頭動(dòng)時(shí)進(jìn)行的。在此類研究中，fNIRS數(shù)據(jù)可能會(huì)受到原始數(shù)據(jù)中的特定偽影的嚴(yán)重影響，這些偽影可能會(huì)導(dǎo)致任何分類任務(wù)產(chǎn)生偏差。雖然使用了許多算法來試圖去除運(yùn)動(dòng)偽影，但Lee等人(2018)試圖使用CNN來識(shí)別和去除運(yùn)動(dòng)偽影，而不依賴于必須定義的參數(shù)(這些參數(shù)必須使用許多流行的運(yùn)動(dòng)偽影去除算法)。在本研究中，原始的fNIRS時(shí)間序列和估計(jì)的典型響應(yīng)作為網(wǎng)絡(luò)的輸入，得到DL輸出的CNR為0.63，優(yōu)于小波去噪，平均CNR為0.36。通過DAE模型和圖4所示的過程，模擬數(shù)據(jù)中93%的運(yùn)動(dòng)偽影去除和真實(shí)數(shù)據(jù)中100%的偽影去除，優(yōu)于所有可比較的偽影去除技術(shù)，包括小波濾波和主成分分析。另一項(xiàng)使用DL去除運(yùn)動(dòng)偽影的研究中，Kim等人(2022)比較了CNN與小波去噪和自回歸去噪方法的性能，結(jié)果發(fā)現(xiàn)CNN的均方誤差(MSE)為~0.004到0.005，而小波和自回歸去噪相結(jié)合，得到的MSE為~0.009。盡管這些研究都使用不同的指標(biāo)來衡量網(wǎng)絡(luò)的有效性，但顯然研究者們對(duì)尋找到一種有效的方法來去除fNIRS數(shù)據(jù)中的運(yùn)動(dòng)偽影很感興趣。

圖4.顯示了fNIRS數(shù)據(jù)模擬過程和設(shè)計(jì)的DAE模型。(a)綠線是實(shí)驗(yàn)fNIRS數(shù)據(jù)，包括噪聲HRF和靜息態(tài)fNIRS數(shù)據(jù)，藍(lán)線和紅線是模擬數(shù)據(jù)。(b)DAE模型：DAE模型的輸入數(shù)據(jù)為模擬的有噪聲的HRF，輸出為相應(yīng)的無噪聲HRF。DAE模型包含九個(gè)卷積層，前四層是最大池化層，后四層是升采樣層，在輸出之前有一個(gè)卷積層。參數(shù)被標(biāo)記在每個(gè)卷積層的括號(hào)中，按照內(nèi)核大小、步幅、輸入通道大小和內(nèi)核數(shù)的順序。(c)和(d)分別為模擬數(shù)據(jù)集和實(shí)驗(yàn)數(shù)據(jù)集的運(yùn)動(dòng)偽影殘差數(shù)目。

很明顯，DL技術(shù)已經(jīng)顯示出處理和提取fNIRS數(shù)據(jù)特征的能力，但由于缺乏大量的開源fNIRS數(shù)據(jù)集，最近人們對(duì)使用DL生成更多fNIRS數(shù)據(jù)用于訓(xùn)練模型產(chǎn)生了興趣。數(shù)據(jù)增強(qiáng)是一種生成新數(shù)據(jù)的技術(shù)，以減少機(jī)器學(xué)習(xí)和DL算法對(duì)大量標(biāo)記數(shù)據(jù)集的需求。這個(gè)生成的數(shù)據(jù)不能與任何訓(xùn)練數(shù)據(jù)相同，但也必須是真實(shí)的，即它必須保持在原始數(shù)據(jù)集的分布范圍內(nèi)。雖然這具有挑戰(zhàn)性，但一些深度學(xué)習(xí)技術(shù)，如生成對(duì)抗網(wǎng)絡(luò)(GAN)，現(xiàn)已被用于實(shí)現(xiàn)這一目標(biāo)。Wickramaratne和Mahmud使用GAN來增強(qiáng)他們的fNIRS數(shù)據(jù)集，以提高手指和腳敲擊任務(wù)的分類精度。在沒有增強(qiáng)數(shù)據(jù)的情況下，使用SVM分類器的分類準(zhǔn)確率為70.4%，而CNN分類器在僅對(duì)真實(shí)數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)達(dá)到了80%的準(zhǔn)確率。使用GAN生成訓(xùn)練數(shù)據(jù)，CNN分類器在真實(shí)數(shù)據(jù)上訓(xùn)練的準(zhǔn)確率高達(dá)96.67%，而在生成數(shù)據(jù)上訓(xùn)練時(shí)的準(zhǔn)確率高達(dá)110%。同樣，Woo等人(2020)使用GAN生成激活t-maps，當(dāng)用于增強(qiáng)CNN的訓(xùn)練數(shù)據(jù)集時(shí)，將手指敲擊任務(wù)的分類精度從92%提高到97%，表明一個(gè)已經(jīng)表現(xiàn)良好的網(wǎng)絡(luò)可能會(huì)受益于數(shù)據(jù)增強(qiáng)。雖然之前的研究使用GAN來生成fNIRS數(shù)據(jù)的圖像表示，但只有一項(xiàng)研究直接使用GAN用原始時(shí)間序列fNIRS數(shù)據(jù)增強(qiáng)數(shù)據(jù)集。Nagasawa等人(2020)使用GAN生成fNIRS時(shí)間序列數(shù)據(jù)，以提高運(yùn)動(dòng)任務(wù)的分類精度，如圖5所示。他們報(bào)告說，當(dāng)用100個(gè)生成的數(shù)據(jù)集來增強(qiáng)16個(gè)原始數(shù)據(jù)集時(shí)，SVM分類器的準(zhǔn)確率從大約0.4提高到0.733，而神經(jīng)網(wǎng)絡(luò)分類器的準(zhǔn)確率從大約0.4提高到0.746。雖然fNIRS研究仍是一個(gè)相對(duì)較新的發(fā)展領(lǐng)域，但使用GANS生成的數(shù)據(jù)集已證明能夠提高常用分類器（如CNN或SVM分類器）的分類精度，再次證明了DL技術(shù)在fNIRS研究中的通用性。

圖5.GAN框架和數(shù)據(jù)增強(qiáng)。紅線和藍(lán)線分別表示實(shí)測(cè)的原始數(shù)據(jù)和使用WGANs生成的數(shù)據(jù)。

腦機(jī)接口(BCI)

BCI是fNIRS研究中最有前景的應(yīng)用之一。許多關(guān)于BCI的研究使用傳統(tǒng)的機(jī)器學(xué)習(xí)或DL技術(shù)來識(shí)別基于皮層激活的特定任務(wù)。Hennrich等人(2015)使用DNN對(duì)被試進(jìn)行心算、單詞生成、物體的心理旋轉(zhuǎn)和放松時(shí)進(jìn)行分類，兩個(gè)隱藏層的DNN的準(zhǔn)確率為64.1%，這與收縮LDA的65.7%的準(zhǔn)確率相當(dāng)，盡管LDA使用了自定義特征，而DNN的輸入是去噪和歸一化的fNIRS數(shù)據(jù)。Kwon和Im(2021)對(duì)其CNN使用了類似的輸入，對(duì)ΔHbR和ΔHbO2數(shù)據(jù)進(jìn)行了去噪和基線校正。該CNN實(shí)現(xiàn)了71.20%的分類精度，超過了使用特征向量作為輸入的收縮LDA分類器的65.74%的準(zhǔn)確率。Wickramaratne和Mahmud(2021)還使用CNN對(duì)心算和注視任進(jìn)行了分類。與Kwon和Im一樣，使用具有特征向量的收縮LDA作為輸入。然而，與之前的研究不同，CNN的輸入是格拉姆角求和場(chǎng)(GASF)，這是一種由時(shí)間序列數(shù)據(jù)構(gòu)建的圖像，它保持了點(diǎn)之間的時(shí)間相關(guān)性。在此CNN和GASF輸入下，分類精度達(dá)到了87.14%，再次超過了收縮LDA的66.08%的精度。同樣，Ho等人(2019)也使用fNIRS數(shù)據(jù)的二維(2D)表征來試圖區(qū)分不同水平的心理負(fù)荷。研究結(jié)果發(fā)現(xiàn)，使用帶有fNIRS數(shù)據(jù)生成的頻譜圖的CNN，實(shí)現(xiàn)了82.77%的分類精度。然而深度信念網(wǎng)絡(luò)(DBN)的表現(xiàn)要優(yōu)于此，這是一種類似MLP的網(wǎng)絡(luò)。深度信念網(wǎng)絡(luò)，對(duì)HbR和HbO2信號(hào)進(jìn)行手動(dòng)提取特征，準(zhǔn)確率可達(dá)84.26%。在一項(xiàng)類似的心理負(fù)荷任務(wù)中，Asgher等人(2020)發(fā)現(xiàn)，使用從HbR和HbO2時(shí)間信號(hào)中提取相似特征的LSTM，心理負(fù)荷的分類精度為89.31%。雖然許多研究將DL技術(shù)的性能與傳統(tǒng)機(jī)器學(xué)習(xí)或其他算法的性能進(jìn)行了比較，但Naseer等人(2016)將MLP的分類精度與kNN、樸素貝葉斯、SVM、線性判別分析(LDA)和QDA算法的分類精度進(jìn)行了比較。在這兩類心理負(fù)荷任務(wù)中，MLP達(dá)到了96%的分類精度，而QDA、樸素貝葉斯和SVM分類器的分類精度都達(dá)到了95%左右，但LDA和kNN算法的精度則更低，分別為80%和65%。本研究中的所有分類器都使用手動(dòng)提取的fNIRS的偏度和峰度等特征作為算法的輸入。Hakimi等人(2020)還使用從fNIRS時(shí)間序列中手動(dòng)提取的特征對(duì)壓力和放松狀態(tài)進(jìn)行了兩類分類，使用CNN時(shí)的分類精度達(dá)到了98.69%，這進(jìn)一步強(qiáng)化了DL可以為心理負(fù)荷任務(wù)提供非常高的分類精度。

在BCI研究中，比較流行的實(shí)驗(yàn)類型包括讓被試執(zhí)行某項(xiàng)運(yùn)動(dòng)任務(wù)。Trakoolwilaiwan等人(2017)使用CNN同時(shí)作為特征提取器和分類器，在三種測(cè)試任務(wù)(左手、右手和雙手的手指敲擊)中能夠達(dá)到92.68%的準(zhǔn)確率。在BCI fNIRS研究常用的提取特征輸入（信號(hào)均值、方差、峰度、偏度、峰值和斜率）條件下，CNN分類器的準(zhǔn)確率分別為86.19%和89.35%，優(yōu)于SVM和ANN分類器。由于許多BCI應(yīng)用都涉及到幫助那些缺乏運(yùn)動(dòng)能力的人，因此一些研究并不關(guān)注運(yùn)動(dòng)的皮層激活，而是關(guān)注運(yùn)動(dòng)想象的皮層激活。Erdogan等人(2019)的一項(xiàng)研究同樣使用MLP對(duì)運(yùn)動(dòng)想象與運(yùn)動(dòng)執(zhí)行之間進(jìn)行了分類，當(dāng)使用從fNIRS數(shù)據(jù)中手動(dòng)提取的特征時(shí)，手指敲擊任務(wù)和休息間的分類精度為96.3%，手指敲擊和想象手指敲擊之間的分類精度為80.1%。雖然許多研究最近才開始將fNIRS用于實(shí)時(shí)BCI應(yīng)用，但目前該領(lǐng)域的研究已發(fā)現(xiàn)DL技術(shù)可用于提高分類精度和自動(dòng)特征提取。

診斷工具

DL技術(shù)與fNIRS在臨床研究中也具有廣泛的應(yīng)用前景，尤其是作為一種診斷工具。Xu等人(2019)記錄了來自兒童雙側(cè)額回和雙側(cè)顳葉的靜息態(tài)fNIRS數(shù)據(jù)。使用左側(cè)顳葉中的單個(gè)通道，CGRNN分類器能夠以92.2%的準(zhǔn)確率、85.0%的敏感性和99.4%的特異性對(duì)7s的靜息態(tài)HbR數(shù)據(jù)成功分類兒童自閉癥譜系障礙(ASD)。如圖6所示，ASD組和對(duì)照組的多個(gè)HbO2和HbR通道顯示出統(tǒng)計(jì)學(xué)上的顯著差異。Xu等人(2021)使用帶有注意力層的CNN分類器，使用相似的靜息態(tài)數(shù)據(jù)在ASD和典型發(fā)育(TD)被試之間進(jìn)行分類，分別實(shí)現(xiàn)了93.3%、90.6%和97.5%的準(zhǔn)確度、靈敏度和特異性。Xu等人(2020)進(jìn)一步探索了使用fNIRS數(shù)據(jù)檢測(cè)自閉癥被試，發(fā)現(xiàn)使用CNN+LSTM分類器和HbO2數(shù)據(jù)，他們能夠?qū)崿F(xiàn)ASD檢測(cè)的單通道準(zhǔn)確度、靈敏度和特異性分別為95.7%、97.1%和94.3%。除自閉癥外，還研究了使用fNIRS診斷其他心理障礙。Ma等人(2020)在使用LSTM進(jìn)行語言流暢性任務(wù)時(shí)，能夠以96.2%的平均分類準(zhǔn)確率區(qū)分成人雙相抑郁癥和重度抑郁癥。Wang等人(2021)成功區(qū)分了健康被試和被診斷患有重度抑郁癥的患者，準(zhǔn)確率為83.3%。

圖6.結(jié)合LSTM和CNN(LAC)的DL模型，根據(jù)fNIRS自發(fā)血流動(dòng)力學(xué)波動(dòng)的時(shí)變特性準(zhǔn)確識(shí)別TD被試的ASD。

EEG技術(shù)通常用于臨床環(huán)境，但一些研究已將EEG與fNIRS一起用于診斷研究。Sirpal等人(2019)使用LSTM架構(gòu)和fNIRS數(shù)據(jù)檢測(cè)癲癇發(fā)作，準(zhǔn)確率為97.0%，使用EEG數(shù)據(jù)，準(zhǔn)確率達(dá)到97.6%，而結(jié)合EEG和fNIRS數(shù)據(jù)，準(zhǔn)確率提高到98.3%，再次展示了混合EEG-fNIRS記錄如何提高分類精度，即使精度已經(jīng)很高。fNIRS的另一個(gè)用途是幫助檢測(cè)輕度認(rèn)知障礙(MCI)，即阿爾茨海默病的前驅(qū)階段。此外，許多研究顯示出fNIRS與DL技術(shù)作為一種強(qiáng)大而準(zhǔn)確的診斷工具的有用性。

皮層激活分析

除了BCI和診斷工具之外，fNIRS數(shù)據(jù)還有很多用途。理解大腦的功能連接是理解眾多神經(jīng)現(xiàn)象背后的機(jī)制的重要部分。因此，越來越多的人對(duì)使用神經(jīng)影像學(xué)來了解大腦的功能連接產(chǎn)生了興趣。Behboodi等人(2019)使用fNIRS記錄了大腦感覺運(yùn)動(dòng)和運(yùn)動(dòng)區(qū)域的靜息態(tài)功能連接(RSFC)。在這項(xiàng)研究中，使用了四種方法，基于種子點(diǎn)、ICA、ANN和CNN。與前兩種方法不同，ANN和CNN使用非常有限的預(yù)處理，兩者都使用過濾后HbO2數(shù)據(jù)以形成連接圖。然后使用ROC曲線將每個(gè)連接圖與基于每個(gè)探測(cè)器的生理位置的預(yù)期激活進(jìn)行比較，如圖7所示，CNN的ROC曲線的曲線下面積(AUC)為0.92，優(yōu)于ANN(0.89)、ICA(0.88)和基于種子點(diǎn)(0.79)的方法。Sirpal等人(2021)的研究考察了RSFC，該研究收集了EEG和fNIRS數(shù)據(jù)，并嘗試使用EEG數(shù)據(jù)和LSTM來重建fNIRS信號(hào)。他們發(fā)現(xiàn)僅使用EEG信號(hào)的伽馬波段具有最低的重建誤差，低于0.25。通過將僅使用伽馬波段和使用全譜EEG信號(hào)構(gòu)建的信號(hào)的功能連接與實(shí)驗(yàn)fNIRS數(shù)據(jù)的功能連接進(jìn)行比較，進(jìn)一步驗(yàn)證了重建fNIRS信號(hào)的有效性。盡管使用伽馬波段形成的信號(hào)具有較低的重建誤差，但全頻譜EEG信號(hào)的根MSE始終較低。

圖7.(a)手部運(yùn)動(dòng)的皮層區(qū)域。(b)由fNIRS監(jiān)測(cè)的感覺運(yùn)動(dòng)解剖區(qū)域和與手部運(yùn)動(dòng)相關(guān)的運(yùn)動(dòng)區(qū)域用綠色突出顯示。(c)基于CNN的靜息態(tài)連接檢測(cè)得到的組RSFC圖。(d)不同方法的ROC曲線。

結(jié)論

本文回顧了近年來DL技術(shù)在fNIRS中的應(yīng)用。DL模型主要用于基于fNIRS數(shù)據(jù)的分類任務(wù)，并且在大多數(shù)情況下，DL模型的預(yù)測(cè)精度優(yōu)于傳統(tǒng)技術(shù)，包括已建立的ML方法。DL模型在所有情況下都提供了非?？焖俚耐茢嘤?jì)算時(shí)間。這些特征對(duì)整個(gè)fNIRS領(lǐng)域具有變革性的力量，因?yàn)樗鼈優(yōu)榭焖贉?zhǔn)確的數(shù)據(jù)處理或分類任務(wù)奠定了基礎(chǔ)。值得注意的是，DL模型在經(jīng)過驗(yàn)證和建立后，以最小的計(jì)算成本提供了床邊應(yīng)用實(shí)時(shí)處理的獨(dú)特潛力。雖然DL模型的應(yīng)用面臨著許多挑戰(zhàn)，但本綜述的結(jié)果提供的證據(jù)表明，DL將在fNIRS數(shù)據(jù)處理和床邊應(yīng)用中發(fā)揮更大的作用。

原文：Deep learning in fNIRS: a review.

DOI: 10.1117/1.NPh.9.4.041411

小伙伴們點(diǎn)個(gè)“在看”，加

(星標(biāo))關(guān)注茗創(chuàng)科技，將第一時(shí)間收到精彩內(nèi)容推送哦～