腦電接口綜述

摘要

?

關(guān)鍵字：腦機(jī)接口，深度學(xué)習(xí)

目錄

摘要

第一章 引言

1.1 研究背景

1.2 發(fā)展歷程

1.3 發(fā)展現(xiàn)狀

第二章 信號(hào)采集

2.1侵入式采集

2.1.1 Intracortical encephalogram

2.1.2 EGoG皮層電圖

2.2非侵入式采集

2.2.1 EEG腦電圖

2.2.2 fNIRS 功能近紅外光譜

2.2.3 fMRI功能磁共振成像

2.2.4 EOG眼電圖

2.2.5 MEG腦磁圖

2.3 混合采集

第三章 信號(hào)預(yù)處理

3.1 傅里葉變換

3.2 blind source separation (BSS)

3.3 小波變換

3.4 Empirical mode decomposition (EMD)

3.5 Hilbert transform

3.6 Hilbert-Huang transform

3.7 空間濾波方法

3.8.1 最小能量組合 (MEC)

3.8.2 最大對(duì)比度組合 (MCC)

3.8.3 生成空間過濾器 (Common spatial pattern, CSP)

第四章 特征提取

4.1典型相關(guān)分析(Canonical correlation analysis, CCA)

4.1.1 多路典型相關(guān)分析(multiway canonical correlation analysis, MwayCCA)

4.1.2 相位約束典型相關(guān)分析(phase constrained canonical correlation analysis, PCCA)

4.1.3 多數(shù)據(jù)集典型相關(guān)分析(multiset canonical correlation analysis, MsetCCA)

4.1.4 濾波器組典型相關(guān)分析(FBCCA)

4.1.5 基于個(gè)體模板典型相關(guān)分析(individual template based CCA, IT-CCA)

4.1.6 核典型相關(guān)分析(kernel CCA, KCCA)

4.1.7 相關(guān)成分典型相關(guān)分析(CORRCA)

4.1.8 任務(wù)相關(guān)典型相關(guān)分析(TRCA)

4.2 Principal component analysis (PCA)

4.3 Independent component analysis (ICA)

4.4 Auto regressive (AR)

4.5 Wavelet packet decomposition (WPD)

4.6 Wavelet transform

4.7 遺傳算法

4.8 濾波組濾波算法

4.9 稀疏光譜時(shí)間分解 (SSD)

4.10 黎曼幾何

4.11 公共空間特征 (CSP)

4.12 Kolmogorov復(fù)雜性算法

4.13 Empirical mode decomposition (EMD)

4.14 功率譜密度 (PSD)

4.15 Hjorth參數(shù)方法

4.16貝葉斯方法

第五章 特征分類

5.1 支持向量機(jī)

5.2 深度學(xué)習(xí)

5.2.1 有監(jiān)督學(xué)習(xí)

5.2.2 無監(jiān)督學(xué)習(xí)

第六章 應(yīng)用

6.1 生物應(yīng)用

6.1.1 中樞神經(jīng)系統(tǒng)替代品

6.1.2 評(píng)估與診斷

6.1.3 治療與康復(fù)

6.2 非生物應(yīng)用

6.2.1 游戲

6.2.2 工業(yè)

6.2.3 藝術(shù)應(yīng)用

6.2.4 交通

6.2.5 軍事

第七章 公開數(shù)據(jù)集

第八章 評(píng)估指標(biāo)

8.1 混淆矩陣(confused matrix)

8.2 分類準(zhǔn)確率和錯(cuò)誤率

8.3 信息傳輸速率(information transfer rate)

8.4 Cohen’s Kappa Coefficient

8.5 用戶評(píng)估系統(tǒng)

第九章 未來和展望

9.1 腦機(jī)接口技術(shù)的局限性

9.2 腦機(jī)接口技術(shù)的倫理性

9.3 腦機(jī)接口技術(shù)的前景

?

?

第一章 引言

腦機(jī)接口(Brain computer interface, BCI)是指通過在人腦神經(jīng)與外部設(shè)備(比如計(jì)算機(jī)、機(jī)器人等)建立直接連通通路，來實(shí)現(xiàn)神經(jīng)系統(tǒng)和外部設(shè)備間信息交互與功能整合的技術(shù)。

腦電接口技術(shù)包含以下幾個(gè)部分：信號(hào)采集、信號(hào)處理和應(yīng)用模塊。

信號(hào)采集主要指采集設(shè)備的類型、選型、特性和信號(hào)的基本屬性。

信號(hào)處理包含信號(hào)預(yù)處理、特征提取和特征分類三個(gè)部分。信號(hào)預(yù)處理主要是指去除信號(hào)清理、信號(hào)歸一化、信號(hào)增強(qiáng)和信號(hào)減少。特征提取是指信號(hào)通過預(yù)處理之后，將預(yù)處理后的信號(hào)提取出可用于分類的信號(hào)特征。特征分類是指將信號(hào)特征按照特定的算法做出區(qū)分并劃分類別，從而為應(yīng)用模塊提供相應(yīng)的數(shù)據(jù)。

應(yīng)用模塊是指接收已分類數(shù)據(jù)，并為用戶提供交互等服務(wù)的軟件和設(shè)備。

1.1 研究背景

1929年，Hans Berger成為第一個(gè)記錄腦電圖(EEG)的人，腦電圖顯示通過人腦頭皮測(cè)量的大腦電活動(dòng)。在1973年，Vidal首次嘗試使用EEG在人與計(jì)算機(jī)之間進(jìn)行通信，創(chuàng)建了BCI領(lǐng)域。

ECoG是1950年代初期由蒙特利爾神經(jīng)病學(xué)研究所的神經(jīng)外科醫(yī)生Wilder Penfield和Herbert Jasper開創(chuàng)的。

?

1.2 發(fā)展歷程

暫無。

1.3 發(fā)展現(xiàn)狀

目前，BCI應(yīng)用程序在醫(yī)療領(lǐng)域、保健領(lǐng)域、游戲、教育、自動(dòng)控制和營(yíng)銷等各個(gè)領(lǐng)域發(fā)揮著重要作用，并且探索BCI在記憶、注意力、視覺空間、學(xué)習(xí)、協(xié)作和溝通、社交、創(chuàng)造性和情感等領(lǐng)域的應(yīng)用研究。

BCI的研究分為基礎(chǔ)研究和應(yīng)用研究。基礎(chǔ)研究主要是研究大腦的運(yùn)作機(jī)制，為大腦的生理活動(dòng)和運(yùn)行機(jī)制提供更加精確的解釋。應(yīng)用研究主要是為了給用戶提供服務(wù)，提高生活水平和質(zhì)量，降低經(jīng)濟(jì)損失和生活的不適感。

應(yīng)用研究總體上分為生物應(yīng)用研究和非生物應(yīng)用研究。生物應(yīng)用研究包含了中樞神經(jīng)系統(tǒng)替代品、評(píng)估與診斷病情以及治療和康復(fù)。例如，智能控制輪椅、假肢控制、字符拼寫、診斷癲癇和老年癡呆等疾病、提高幼兒注意力和認(rèn)知能力等方面。在非生物應(yīng)用中，分別有游戲、工業(yè)、藝術(shù)應(yīng)用、交通和軍事等領(lǐng)域。

病殘用戶和健康用戶都是BCI應(yīng)用程序的目標(biāo)用戶。健康用戶是未來BCI應(yīng)用程序商業(yè)化的目標(biāo)用戶，有巨大的市場(chǎng)消費(fèi)潛力。盡管BCI在過去的二十年里有了較大的進(jìn)展，依然存在許多嚴(yán)重的局限性，這些局限性影響到了系統(tǒng)的整體性能。BCI的局限性為信息傳輸率較低、用戶可接受性差以及缺乏高精度和可靠性。信息傳輸率較低以及缺乏高精度和可靠性是由于大腦信號(hào)容易被各種生物本能(眨眼、肌肉偽影、疲勞和注意力水平)、采集機(jī)器的噪聲和環(huán)境偽影的影響。同時(shí)，這也是BCI最為艱難的挑戰(zhàn)。即在較低信噪比的情況下，準(zhǔn)確識(shí)別大腦信號(hào)表達(dá)的意義。而且，特征選擇和提取非常耗費(fèi)時(shí)間，甚至可能由于特征選擇和提取導(dǎo)致信息丟失的情況。

圖：一般的BCI系統(tǒng)流程

第二章 信號(hào)采集

信號(hào)采集需要通過多種技術(shù)記錄生物信號(hào)。根據(jù)對(duì)人體是否產(chǎn)生創(chuàng)傷，這些技術(shù)分為侵入式和非侵入式兩類。侵入式包含了皮質(zhì)內(nèi)采集和皮層腦電圖。非侵入式包含了EEG、fNIRS、fMRI、EOG和MEG。在侵入式采集技術(shù)中，手術(shù)植入的網(wǎng)絡(luò)或微電極記錄來自皮質(zhì)表面或內(nèi)部腦組織的顱內(nèi)信號(hào)。而在非侵入式采集技術(shù)中，不需要任何手術(shù)，即可測(cè)量經(jīng)顱信號(hào)。

圖：信號(hào)采集的分類樹狀圖

圖：腦部的信號(hào)源位置

2.1侵入式采集

侵入式采集技術(shù)可以提供高質(zhì)量的大腦信號(hào)，因?yàn)殡姌O直接從大腦神經(jīng)元附近的位置采集信號(hào)。采集的信號(hào)具有高時(shí)空分辨率和高信噪比。首先，電極的植入需要外科手術(shù)，由于移植排斥等潛在的醫(yī)療并發(fā)癥，手術(shù)費(fèi)用高且風(fēng)險(xiǎn)大。其次，植入的電極是固定的，因此只能測(cè)量來自相同位置的大腦信號(hào)。其三，植入電極后，人體自動(dòng)愈合傷口，采集的信號(hào)會(huì)越來越差，直至信號(hào)消失。由于上述原因，侵入式BCI技術(shù)在實(shí)踐中主要用于動(dòng)物和嚴(yán)重殘疾的人。而且侵入式腦機(jī)接口對(duì)硬件和實(shí)驗(yàn)環(huán)境的要求更高。

2.1.1 Intracortical encephalogram

皮層內(nèi)記錄技術(shù)將電極插入受試者大腦的皮層，植入的微電極可以是單個(gè)電極或電極陣列，記錄腦細(xì)胞群自發(fā)性、節(jié)律性電活動(dòng)。通常，皮質(zhì)內(nèi)電極提供高分辨率的運(yùn)動(dòng)控制大腦信號(hào)。

2.1.2 EGoG皮層電圖

皮層電圖是一種記錄大腦活動(dòng)的皮層外侵入式電生理監(jiān)測(cè)方法。手機(jī)ECoG信號(hào)的電極連接在顱骨下方、硬腦膜上方或下方，但不在腦實(shí)質(zhì)內(nèi)。作為一種高度侵入式的方法，皮層內(nèi)的大腦信號(hào)主要由醫(yī)學(xué)或生物領(lǐng)域的研究人員進(jìn)行研究。大多數(shù)與ECoG相關(guān)的研究都集中在醫(yī)療保健，尤其是癲癇發(fā)作的診斷上。電極被植入一個(gè)薄塑料墊中，該塑料墊固定在皮質(zhì)上，相對(duì)于腦膜的最小位置。

2.2非侵入式采集

非侵入式信號(hào)采集主要包括EEG、fNIRS、fMRI、EOG和MEG。

2.2.1 EEG腦電圖

EEG是通過精密的電子儀器，從頭皮上將腦部自發(fā)性生物電位加以放大記錄而獲得的圖形，是通過電極記錄下來的腦細(xì)胞群的自發(fā)性、節(jié)律性電活動(dòng)。EEG按照腦部活動(dòng)分為自發(fā)性腦電圖和誘發(fā)電位腦電圖。誘發(fā)電位腦電圖包括自發(fā)腦電圖和誘發(fā)電位腦電圖。誘發(fā)電位腦電圖包括事件相關(guān)電位和穩(wěn)態(tài)誘發(fā)電位。其中事件相關(guān)電位包含視覺誘發(fā)電位、聽覺誘發(fā)電位、體感誘發(fā)電位、P300電位、錯(cuò)誤相關(guān)電位。而穩(wěn)態(tài)誘發(fā)電位包括穩(wěn)態(tài)視覺誘發(fā)電位、穩(wěn)態(tài)聽覺誘發(fā)電位和穩(wěn)態(tài)體感誘發(fā)電位。

EEG具有幾個(gè)不重疊的頻帶，這些頻帶基于不同行為狀態(tài)的強(qiáng)帶內(nèi)相關(guān)性。意識(shí)程度表示個(gè)體在面對(duì)外部刺激時(shí)的感知，每個(gè)頻段代表一種大腦狀態(tài)和意識(shí)的定性評(píng)估：

(1)?? Delta模式：0.5~4 Hz，對(duì)應(yīng)于受試者意識(shí)較低的深度睡眠；

(2)?? Theta模式：4~8 Hz，對(duì)應(yīng)于低意識(shí)領(lǐng)域的輕度睡眠；

(3)?? Alpha模式：8~12 Hz，主要出現(xiàn)在閉眼和深度放松狀態(tài)，對(duì)應(yīng)于中等意識(shí)；

(4)?? Beta模式：12~30 Hz，是主要節(jié)奏，而受試者的眼睛是睜開的，并且與高度意識(shí)相關(guān)。該意識(shí)捕獲了人類大部分的日?；顒?dòng)。

(5)?? Gamma模式：60~100 Hz，代表了幾個(gè)大腦區(qū)域的協(xié)同作用，以執(zhí)行特定的運(yùn)動(dòng)和認(rèn)知功能。

EEG的優(yōu)勢(shì)分別是：(1)硬件具有更高的便攜性，價(jià)格更低，容易負(fù)擔(dān)，具有向公眾商業(yè)化的潛力；(2)毫秒級(jí)的時(shí)間分辨率，時(shí)間分辨率非常高；(3)EEG對(duì)主體運(yùn)動(dòng)和偽影的容忍度相對(duì)較高，可以通過現(xiàn)有的信號(hào)處理算法將其優(yōu)化；(4)受試者不用暴露在高強(qiáng)度(>1T)的磁場(chǎng)中，可以服務(wù)于體內(nèi)有金屬植入物的受試者。

EEG的劣勢(shì)分別是：(1)由于放置在頭發(fā)上的電極數(shù)量有限，信號(hào)的空間分辨率較低；(2)由于客觀因素，比如環(huán)境噪聲、電極位置不良、接地電極不良、電極路徑障礙、眨眼、電極阻抗、電磁噪聲、設(shè)備問題、電源線干擾、眼部偽影、心臟偽影和、肌肉障礙、顱骨和皮質(zhì)之間其他組織的阻塞以及不同的刺激，和主觀因素，比如受試者的心理階段、疲勞狀態(tài)以及不同受試者的個(gè)體差異，信號(hào)的信噪比低。

2.2.1.1 自發(fā)腦電圖

Spontaneous EEG(自發(fā)腦電圖)，它是在沒有外部刺激的情況下測(cè)量特定狀態(tài)下的大腦信號(hào)。

按照研究場(chǎng)景的分類，自發(fā)腦電圖包括睡眠腦電圖、運(yùn)動(dòng)想象腦電圖、情緒腦電圖、精神疾病腦電圖等。自發(fā)腦電圖分為以下幾個(gè)方面：睡眠、運(yùn)動(dòng)想象、情緒、精神疾病、數(shù)據(jù)增強(qiáng)等。

2.2.1.2 誘發(fā)電位腦電圖EP

誘發(fā)電位或誘發(fā)反應(yīng)是指由事件刺激而不是自發(fā)誘發(fā)的EEG信號(hào)。誘發(fā)電位對(duì)外部刺激是時(shí)間鎖定的，而自發(fā)電位是非時(shí)間鎖定的。與自發(fā)腦電圖相比，誘發(fā)電位通常具有更高的振幅和更低的頻率。因此，誘發(fā)電位在受試者之間更加穩(wěn)定。根據(jù)刺激的方法，誘發(fā)電位分為事件相關(guān)電位和穩(wěn)態(tài)誘發(fā)電位。

2.2.1.2.1 事件相關(guān)電位ERP

ERP記錄EEG信號(hào)以響應(yīng)孤立的離散刺激事件。為了實(shí)現(xiàn)這種隔離，ERP實(shí)驗(yàn)中的刺激通常通過較長(zhǎng)的刺激間隔而相互分離，從而允許估計(jì)與刺激無關(guān)的極限參考。ERP的頻率刺激一般低于2Hz。

2.2.1.2.1.1 視覺誘發(fā)電位VEP

視覺誘發(fā)電位是由視覺刺激引起的特定類別的ERP。與其他刺激相比，視覺刺激更容易呈現(xiàn)并且更適用于現(xiàn)實(shí)世界。VEP可根據(jù)視覺刺激的形態(tài)和頻率或屏幕刺激的面積進(jìn)行分類。VEP的頻率小于2Hz?；谔囟ù碳つＪ秸{(diào)制的適使用，

2.2.1.2.1.2 聽覺誘發(fā)電位AEP

聽覺誘發(fā)電位是ERP的一種特定子類，其中記錄了對(duì)聽覺刺激的反應(yīng)。AEP主要從頭皮記錄，但起源于腦干或皮層。最常見的AEP測(cè)量是聽覺腦干反應(yīng)(ABR)，通常用于測(cè)試新生兒和嬰兒的聽力。在BCI領(lǐng)域，AEP主要用于臨床測(cè)試，因?yàn)樗跈z測(cè)單側(cè)丟失方面具有準(zhǔn)確定和可靠性。

2.2.1.2.1.3 體感誘發(fā)電位SEP

體感誘發(fā)電位是另一種常用的ERP子類別，它是通過對(duì)周圍神經(jīng)的電刺激引起的。SEP幾乎可以由任何感覺刺激觸發(fā)。

2.2.1.2.1.4 P300電位

P300是ERP中的重要組成部分。波形主要包含五個(gè)分量：P1、N1、P2、N2和P3。大寫字母P/N代表正負(fù)電位。數(shù)字是指特定電位的發(fā)生時(shí)間。與其他組件相比，P300的振幅最高，最容易被檢測(cè)到。因此，大量BCI研究集中在P300分析上。

在古怪范式中，受試者接受一系列刺激，其中低概率目標(biāo)項(xiàng)目與高概率非目標(biāo)項(xiàng)目混合。視覺和聽覺刺激是古怪范式中最常用的。

在大多數(shù)情況下，P300信號(hào)是根據(jù)峰值來分析的。P300是ERP的一個(gè)正峰值，大小范圍為5到10微伏，在事件發(fā)生后的200到500毫秒之間存在延遲。

視覺P300最重要的優(yōu)點(diǎn)是大多數(shù)受試者都可以以非常高的精度使用它，并且在幾分鐘內(nèi)完成校準(zhǔn)。用戶可以非常方便快捷地使用該系統(tǒng)來控制設(shè)備。

P300的缺點(diǎn)是使用該系統(tǒng)需要高度注意力和視覺焦點(diǎn)，導(dǎo)致受試者疲勞，以視力障礙者無法使用該系統(tǒng)。而且P300的幅度受到許多因素的影響，例如目標(biāo)出現(xiàn)的頻率、試驗(yàn)持續(xù)時(shí)間、實(shí)驗(yàn)難度、參與者的注意力狀態(tài)和習(xí)慣性影響。

更快的P300反應(yīng)表明在注意力和即時(shí)記憶任務(wù)的認(rèn)知表現(xiàn)更好。延遲抖動(dòng)會(huì)使P300偏轉(zhuǎn)而難以提取。因此，需要呈現(xiàn)多個(gè)試驗(yàn)并對(duì)EEG相應(yīng)進(jìn)行平均，以提高信噪比，從而提高解碼精度。但是，當(dāng)出現(xiàn)更多試驗(yàn)時(shí)，通信速度會(huì)變慢，這會(huì)導(dǎo)致速度/準(zhǔn)確性的權(quán)衡。

P300最常見的應(yīng)用是開發(fā)假體鍵盤，為殘疾患者提供交流途徑。傳統(tǒng)的P300處理與事件相關(guān)電位先關(guān)的刺激，這種類型的刺激產(chǎn)生的準(zhǔn)確性相對(duì)低于基于SSVEP的視覺刺激技術(shù)。

2.2.1.2.1.5 錯(cuò)誤相關(guān)電位ErrP

錯(cuò)誤相關(guān)電位是ERP的子類。錯(cuò)誤相關(guān)電位主要在額葉和中央葉，延遲為200~700毫秒。在閉環(huán)BCI系統(tǒng)中使用錯(cuò)誤相關(guān)電位的過程可以被視為類似于“從錯(cuò)誤中學(xué)習(xí)”。以下為其中一個(gè)錯(cuò)誤相關(guān)電位的分析方法。

在錯(cuò)誤試驗(yàn)中，在大約300ms處觀察到一個(gè)尖銳的正峰，然后大約在400ms處出現(xiàn)一個(gè)負(fù)峰。平均EEG波形分兩步導(dǎo)出：首先，選擇范圍(150~700ms)內(nèi)的內(nèi)側(cè)和后部區(qū)域的雙極通道，去除偏移分量，應(yīng)用0.5~10Hz的帶通濾波器，然后結(jié)果被下采樣到64Hz；其次，他們?cè)?/span>Adaboost分類算法中將功能?????? 決策樹應(yīng)用于生成特征向量。十倍交叉驗(yàn)證表明，由此產(chǎn)生的平均EEG波形可以區(qū)分機(jī)器人的正確和不正確行動(dòng)。

2.2.1.2.2 穩(wěn)態(tài)誘發(fā)電位SSEP

穩(wěn)態(tài)誘發(fā)電位是誘發(fā)電位的另一個(gè)子類。它是由具有恒定頻率的某些重復(fù)刺激誘發(fā)的周期性皮層電位。SSEP被定義為對(duì)重復(fù)感覺刺激的一種響應(yīng)模式，其中響應(yīng)的組成頻率分量在幅度和相位上隨時(shí)間表示恒定。根據(jù)刺激的類型，SSEP可分為三個(gè)子類別：穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)、穩(wěn)態(tài)聽覺誘發(fā)電位(SSAEP)、穩(wěn)態(tài)體感誘發(fā)電位(SSSEP)。在穩(wěn)態(tài)誘發(fā)電位的研究主要集中于穩(wěn)態(tài)視覺誘發(fā)電位。

相比之下，SSEP是響應(yīng)于固定速率的周期性刺激而生成的。SSEP的刺激頻率一般在3.5~75Hz范圍內(nèi)。

2.2.1.2.2.1 穩(wěn)態(tài)視覺誘發(fā)電位SSVEP

穩(wěn)態(tài)視覺誘發(fā)電位是BCI流行的另一種組件。SSVEP也稱為光驅(qū)動(dòng)，因?yàn)檫@種反應(yīng)的發(fā)生器位于視覺皮層。在SSVEP范例中，中央視網(wǎng)膜上的恒定頻率閃爍刺激會(huì)產(chǎn)生與閃爍一致的EEG模式。刺激的頻率可以從低頻(1~3.5Hz)到高頻(75~100Hz)不等。因?yàn)榇碳な峭庠吹?，所以它是一種可以被許多受試者使用的非訓(xùn)練范式。由于SSVEP范例中的信息位于窄帶頻率范圍內(nèi)，因此窄帶帶通濾波器通常是SSVEP信號(hào)預(yù)處理的一部分。然而，SSVEP的幅度和相位特性取決于刺激的強(qiáng)度和頻率。

在SSVEP范例中，多個(gè)項(xiàng)目將同時(shí)呈現(xiàn)在屏幕上，而這些項(xiàng)目以不同的頻率顯示在不同的位置。SSVEP是由閃爍的視覺刺激引起大腦頂葉和枕葉區(qū)域的神經(jīng)震蕩。

基于SSVEP的BCI系統(tǒng)是基于頻率編碼和相位編碼設(shè)計(jì)的，但許多工作集中在幅度調(diào)制上。對(duì)于基于SSVEP的BCI系統(tǒng)來說，預(yù)測(cè)各種振幅調(diào)制模式是非常有用和關(guān)鍵的，特別是對(duì)于神經(jīng)康復(fù)任務(wù)的穩(wěn)定性。

除了診斷任務(wù)，基于SSVEP的BCI系統(tǒng)在為殘障人士提供控制康復(fù)或輔助設(shè)備的命令方面也顯示出巨大的潛力?；?/span>SSVEP的BCI在智能環(huán)境領(lǐng)域的發(fā)展可能會(huì)大大提高殘疾人的獨(dú)立性、自主性、機(jī)動(dòng)性和能力，從而降低社會(huì)成本。

在特征提取方法中，基于SSVEP的非參數(shù)提取技術(shù)比基于ERP的參數(shù)特征提取技術(shù)提供了更多的時(shí)域特征和時(shí)空特征等信息。

基于SSVEP的BCI可進(jìn)一步分為以下幾類：

(1)時(shí)間調(diào)制的VEP-BCI(不同目標(biāo)上的閃光順序在時(shí)間上是正交的)

(2)頻率調(diào)制的VEP-BCI(每個(gè)目標(biāo)以特定頻率閃光)

(3)偽隨機(jī)碼調(diào)制的VEP-BCI(每個(gè)目標(biāo)閃光的開啟和關(guān)閉狀態(tài)所用的時(shí)間是根據(jù)偽隨機(jī)順序確定的)

2.2.1.2.2.2 穩(wěn)態(tài)聽覺誘發(fā)電位SSAEP

?

2.2.1.2.2.3 穩(wěn)態(tài)體感誘發(fā)電位SSSEP

?

2.2.2 fNIRS 功能近紅外光譜

功能性近紅外光譜(functional Near Infrared Spectroscopy, fNIRS)是一種使用近紅外光的無創(chuàng)功能性神經(jīng)成像技術(shù)。fNIRS采用NIR光來測(cè)量含氧血紅蛋白和脫氧血紅蛋白的劇集程度，因?yàn)楹跹t蛋白和脫氧血紅蛋白對(duì)光的吸收比其他頭部組件(如顱骨和頭皮)更高。fNIRS依賴于血氧水平依賴性反應(yīng)(BOLD)或血流動(dòng)力學(xué)反應(yīng)來形成功能性神經(jīng)圖像。BOLD反應(yīng)可以檢測(cè)腦血中的含氧或脫氧血液水平。相對(duì)水平反映了血流量和神經(jīng)激活，其中增加的血流量意味著有活躍的神經(jīng)元引起的更高的代謝需求。大多數(shù)現(xiàn)有研究使用fNIRS技術(shù)來測(cè)量前額葉和運(yùn)動(dòng)皮層的狀態(tài)。前額葉是對(duì)心理任務(wù)和音樂圖像意向的反應(yīng)。運(yùn)動(dòng)皮層是對(duì)運(yùn)動(dòng)相關(guān)任務(wù)的反應(yīng)。

與電或磁信號(hào)比較，fNIRS信號(hào)的時(shí)間分辨率較低，而空間分辨率取決于發(fā)射器和檢測(cè)器對(duì)的數(shù)量。在目前的研究中，三個(gè)發(fā)射器和八個(gè)檢測(cè)器足以充分獲取前額葉皮層信號(hào)。六個(gè)發(fā)射器和六個(gè)檢測(cè)器足以覆蓋運(yùn)動(dòng)皮層區(qū)域。

fNIRS的缺點(diǎn)在于，由于光發(fā)射器功率和空間分辨率的限制，它不能用于檢測(cè)大腦中深度超過4厘米的皮層運(yùn)動(dòng)。

2.2.3 fMRI功能磁共振成像

功能性磁共振成像通過檢測(cè)與腦區(qū)血流相關(guān)的變化來檢測(cè)大腦活動(dòng)。與fNIRS類似，fMRI依賴于BOLD。磁場(chǎng)比NIR光具有更高的穿透力，這使得fMRI從大腦深處捕獲信息的能力比fNIRS強(qiáng)。fMRI具有比fNIRS更高的空間分辨率，因?yàn)楹笳呤艿桨l(fā)射器和檢測(cè)器對(duì)的限制。然而，fMRI和fNIRS的時(shí)間分辨率處于相同水平，因?yàn)樗鼈兌际艿窖魉氐南拗啤?/span>

fMRI需要昂貴的掃描儀來產(chǎn)生磁場(chǎng)。而且掃描儀較重，便攜性差。

2.2.4 EOG眼電圖

眼電圖是一種測(cè)量存在于人眼前部和后部之間的角膜-視網(wǎng)膜站立電位的技術(shù)。EOG可用于與用戶和外部交流，因?yàn)椴煌难矍蜻\(yùn)動(dòng)會(huì)導(dǎo)致不同的電位。電極通常放置在眼睛上下方或者左右方，以測(cè)量EOG信號(hào)。EOG信號(hào)在不同場(chǎng)景之間存在較大的差異，表明它們具有較高的SNR。EOG的時(shí)間分辨率高于神經(jīng)成像技術(shù)，因?yàn)殡姷淖兓赡鼙却x特征更快。與其他腦電信號(hào)比較，EOG的空間分辨率較低，因?yàn)樗荒軝z測(cè)垂直或水平電位。

EOG在情緒檢測(cè)、睡眠階段識(shí)別和駕駛疲勞檢測(cè)等多個(gè)課題中已被廣泛用作參考信號(hào)。

2.2.5 MEG腦磁圖

腦磁圖是一種功能性神經(jīng)成像技術(shù)，通過使用非常靈敏的磁力計(jì)記錄大腦中電流產(chǎn)生的磁場(chǎng)來繪制大腦活動(dòng)圖。產(chǎn)生的磁場(chǎng)可以通過SQUID(超導(dǎo)量子干涉裝置)等磁力計(jì)進(jìn)行測(cè)量。

MEG測(cè)量的磁場(chǎng)源是垂直于皮層表面的錐體細(xì)胞。MEG具有較低的空間分辨率，因?yàn)樾盘?hào)高度依賴于大腦區(qū)域、神經(jīng)元方向、神經(jīng)元深度等因素。但是MEG可以提供非常高的時(shí)間分辨率(>1000Hz)。MEG從神經(jīng)元層面直接檢測(cè)大腦活動(dòng)，與皮層內(nèi)信號(hào)處于同一水平。MEG設(shè)備價(jià)格昂貴且不易攜帶，影響了使用的場(chǎng)景。

2.3 混合采集

單一模態(tài)的腦電信號(hào)具有局限性。為了提高BCI系統(tǒng)的保真度和性能，研究人員會(huì)采用多種模態(tài)的腦電信號(hào)或者其他信號(hào)共同進(jìn)行處理。混合BCI系統(tǒng)按照信號(hào)的來源分為兩類。第一類是將不同采集設(shè)備的BCI信號(hào)相結(jié)合。第二類是將其他信號(hào)與BCI信號(hào)相結(jié)合。

其他信號(hào)可以是其他的生物信號(hào)，例如心率、眼球運(yùn)動(dòng)或血流動(dòng)力學(xué)信號(hào)。在混合BCI系統(tǒng)中，P300、SSVEP和SMR范式是混合BCI系統(tǒng)開發(fā)中最流行的范式。

任何混合BCI系統(tǒng)都必須滿足以下四個(gè)主要標(biāo)準(zhǔn)：

(1)腦機(jī)接口系統(tǒng)必須使用腦信號(hào)；

(2)用戶應(yīng)能夠有意控制其中一個(gè)大腦信號(hào)；

(3)BCI系統(tǒng)應(yīng)對(duì)信號(hào)進(jìn)行實(shí)時(shí)處理；

(4)必須向用戶提供BCI輸出的反饋。

第三章 信號(hào)預(yù)處理

信號(hào)預(yù)處理是對(duì)采集的原始腦電信號(hào)進(jìn)行處理，以提高采集的腦信號(hào)與實(shí)際腦信號(hào)之間的相符程度。信號(hào)預(yù)處理包含多個(gè)步驟，例如信號(hào)清理(平滑噪聲信號(hào)或解決不一致性)、信號(hào)歸一化(沿時(shí)間軸對(duì)信號(hào)的每個(gè)通道進(jìn)行歸一化)、信號(hào)增強(qiáng)(去除直流電)和信號(hào)減少(呈現(xiàn)減少信號(hào)的表示)。

偽影是指大腦活動(dòng)通常受到多種環(huán)境、生理和活動(dòng)特定噪聲聲源的影響產(chǎn)生的噪聲。

腦電信號(hào)在采集之后，一般有兩種預(yù)處理方式：基本預(yù)處理和高級(jí)預(yù)處理?；绢A(yù)處理主要指濾波，包括高通、低通、帶通和陷波濾波器。高級(jí)預(yù)處理包括盲源分離方法和半盲源分離方法，如小波增強(qiáng)獨(dú)立分量分析。

腦電信號(hào)具有以下的特點(diǎn)，也是采用預(yù)處理方法抑制偽影的原因。

非平穩(wěn)性。在時(shí)間有限的數(shù)據(jù)量上訓(xùn)練的學(xué)習(xí)模型可能無法概括同一個(gè)人在不同時(shí)間記錄的數(shù)據(jù)的原因。

由于個(gè)體之間的生理差異，受試者之間的偽影變異性很高。

數(shù)據(jù)收集耗時(shí)且有限。由于個(gè)人數(shù)據(jù)監(jiān)管，醫(yī)療數(shù)據(jù)通常不可用。

3.1 傅里葉變換

傅里葉變換包括離散傅里葉變換和快速傅里葉變換。離散傅里葉變換和快速額變換之間的差別在于計(jì)算效率的快慢。傅里葉變換是一種基于預(yù)定義基函數(shù)的線性方法，一般要假設(shè)平穩(wěn)，因此無法很好地處理具有非線性和非平穩(wěn)特征的高度復(fù)雜的腦電信號(hào)。

低通濾波器和高通濾波器是兩種類型的線性濾波器。這種典型的線性濾波用于去除EEG信號(hào)中的ECOG、EOG和EMG偽影。低通濾波用于去除肌電偽影，高通濾波用于去除EOG偽影。?

3.2 blind source separation (BSS)

BBS

3.3 小波變換

小波的概念是由Jean Morlet在1981年提出的。

Daubechies博士于1988年提出的Daubechies小波變換。

小波變換可以看做是窗口可調(diào)的傅里葉變換，擅長(zhǎng)處理SSVEP等非平穩(wěn)信號(hào)。由于小波變換能夠同時(shí)提供信號(hào)中的頻率分量及其出現(xiàn)時(shí)間信息，因此受到了許多關(guān)注。小波變換在處理非平穩(wěn)信號(hào)方面表現(xiàn)出了較高的質(zhì)量，但對(duì)于具有非線性動(dòng)力學(xué)和混沌特性的高度復(fù)雜腦信號(hào)，小波變換仍難以表現(xiàn)出良好的性能。

小波去噪和閾值化操作。使用多分辨率分析將腦電信號(hào)傳輸?shù)诫x散小波域。對(duì)比度或自適應(yīng)閾值電平用于減少與噪聲信號(hào)相關(guān)聯(lián)的特定系數(shù)。

較短的系數(shù)將傾向于匹配良好的小波表示中定義時(shí)間和尺度的噪聲特性。相比之下，閾值選擇是成功的小波去噪最關(guān)鍵的方面之一。閾值化可以將信號(hào)與噪聲隔離開來。因此，閾值方法有多種形狀和大小。在硬閾值處理中，所有低于預(yù)定閾值的系數(shù)都設(shè)置為0。軟閾值是一種將剩余系數(shù)的值減少一半的方法。

3.4 Empirical mode decomposition (EMD)

經(jīng)驗(yàn)?zāi)B(tài)分解是一種適合與處理動(dòng)態(tài)復(fù)雜信號(hào)的非線性技術(shù)。EMD可以將信號(hào)自適應(yīng)分解為一組在非平穩(wěn)信號(hào)中表現(xiàn)出震蕩特征的固有模式函數(shù)。此外，IMF是解析的、自構(gòu)造的、定義良好的函數(shù)，振幅和頻率隨時(shí)間變化。EMD是完全數(shù)據(jù)驅(qū)動(dòng)的方法，因?yàn)樗腔谛盘?hào)的原始特征。

EMD技術(shù)的另一個(gè)障礙多通道分解中的模態(tài)錯(cuò)位，有學(xué)者提出了多元經(jīng)驗(yàn)?zāi)B(tài)分解(MEMD)，以更好地對(duì)齊多通道信號(hào)對(duì)應(yīng)的模態(tài)函數(shù)。

在基于EMD的方法中，目標(biāo)識(shí)別需要進(jìn)一步分析IMF。此外，EMD還可以與CCA結(jié)合，其中IMF包含幾乎所有能量，被選擇并輸入CCA進(jìn)行檢測(cè)。

3.5 Hilbert transform

HT。

3.6 Hilbert-Huang transform

Hilbert-Huang transforms思想，包括EMD和HT。經(jīng)驗(yàn)?zāi)B(tài)分解是一種適合與處理動(dòng)態(tài)復(fù)雜信號(hào)的非線性技術(shù)。EMD可以將信號(hào)自適應(yīng)分解為一組在非平穩(wěn)信號(hào)中表現(xiàn)出震蕩特征的IMF，滿足HT的要求。

考慮到FFT和小波的區(qū)別，HHT處理非線性非平穩(wěn)信號(hào)具有更好的通用性。它不僅吸收了小波變換多分辨率的優(yōu)點(diǎn)，而且克服了小波變換的關(guān)鍵問題，選取合適小波基函數(shù)的困難。但HHT算法計(jì)算復(fù)雜，增加了計(jì)算時(shí)間。

3.7 空間濾波方法

基本的空間濾波方法：將不同電極采集到的信號(hào)組合起來稱為空間濾波?？臻g濾波器的一個(gè)優(yōu)點(diǎn)是將信號(hào)預(yù)處理和特征選擇相結(jié)合，減少了計(jì)算時(shí)間。對(duì)于每個(gè)參考信號(hào)，EMC或MCC可以得到一個(gè)空間濾波器，并將其應(yīng)用于原始腦電圖數(shù)據(jù)。然后估計(jì)清洗后的腦電信號(hào)在每個(gè)刺激頻率下所包含的總功率。目標(biāo)頻率應(yīng)該是使信號(hào)功率最大的參考信號(hào)頻率。

3.8.1 最小能量組合 (MEC)

MEC的核心思想是尋找一個(gè)空間濾波器，對(duì)原始多通道信號(hào)進(jìn)行投影，得到一個(gè)低維的組合濾波器，以減弱噪聲和其他信號(hào)。

3.8.2 最大對(duì)比度組合 (MCC)

MCC方法試圖通過計(jì)算權(quán)矩陣使信號(hào)頻率中的能量最大化。

3.8.3 生成空間過濾器 (Common spatial pattern, CSP)

生成空間過濾器，使一個(gè)類的方差最小化，同時(shí)使另一類的方差最大化。多通道腦電信號(hào)通過帶通濾波進(jìn)行頻率選擇。在頻率濾波之后，執(zhí)行FIR濾波器。CSP是二進(jìn)制運(yùn)動(dòng)圖像任務(wù)分類中最有效的特征提取方法之一。

通用空間模式及其變體在BCI中很流行并被廣泛使用，但它沒有考慮導(dǎo)致時(shí)間信息丟失的信號(hào)時(shí)間結(jié)構(gòu)。因此，需要考慮時(shí)間動(dòng)態(tài)的復(fù)雜時(shí)間序列建模技術(shù)。CSP性能高度依賴信號(hào)中的存在的各種特征，如頻帶、空間濾波器和偽影。在C維空間中有兩個(gè)分布，其中C是已知信道的數(shù)量，CSP試圖找到最小化一類方差但最大化另一類方差的投影。

圖：CSP運(yùn)算過程

3.8.3.1 稀疏光譜空間模式 (CSSSP)

稀疏光譜空間模式通過在CSP算法中同時(shí)優(yōu)化任意FIR濾波器來改進(jìn)CSSP算法。

3.8.3.2 可分離公共空間光譜模式 (SCSSP)

SCSSP聯(lián)合處理光譜和空間域中的數(shù)據(jù)，并且計(jì)算成本比FBCSP低，這種方法適用于可穿戴移動(dòng)BCI系統(tǒng)。

3.8.3.3 FBCSP

FBCSP使用頻帶的固定分區(qū)，這會(huì)導(dǎo)致頻域中的信息丟失。

第四章 特征提取

BCI系統(tǒng)使用特征提取最小化特征空間中的維數(shù)和減少分類器計(jì)算負(fù)荷。BCI系統(tǒng)的腦電信號(hào)通常有以下特征，信號(hào)幅度、頻帶功率、功率譜密度值、自適應(yīng)自回歸參數(shù)、相位相干性、公共空間模式等。

特征提取是指通過領(lǐng)域知識(shí)從輸入信號(hào)中提取可區(qū)分特征的過程。傳統(tǒng)的特征是從時(shí)域、頻域和時(shí)頻域中提取的。特征提取高度依賴領(lǐng)域知識(shí)。它們可以豐富用于區(qū)分信號(hào)的相關(guān)信息。特征提取包括減少大量數(shù)據(jù)所需的資源數(shù)量。在對(duì)不同數(shù)據(jù)進(jìn)行分析時(shí)，首要問題之一來自所考慮因素的數(shù)量。通常用更大的范圍對(duì)信號(hào)進(jìn)行分析，這種分析需要大量的內(nèi)存和計(jì)算能力。

特征提取包含幅度測(cè)量、頻帶功率、Hjorth參數(shù)、小波變換、傅里葉變換、自回歸模型、公共空間模式等方法。

特征提取的一般統(tǒng)計(jì)特征如下：

where x(n) is the pre-processed EEG signal with N number of samples; μn refers to the meaning of the samples. Statistical features are useful at low computational cost.

相位滯后指數(shù)(PIL)：通過計(jì)算兩隊(duì)通道的PIL來確定功能連通性。PIL用于測(cè)量?jī)蓚€(gè)信號(hào)之間相位差分布的不對(duì)稱性。由于它描述了信號(hào)之間的實(shí)際相互作用，該指數(shù)可能有助于估計(jì)EEG時(shí)間序列中的相位同步。PIL的優(yōu)點(diǎn)在于受相位延遲的影響較小，量化了兩個(gè)信號(hào)的時(shí)間序列之間的非零相位滯后，使其不易受到信號(hào)的影響。

4.1典型相關(guān)分析(Canonical correlation analysis, CCA)

典型相關(guān)分析(Canonical correlation analysis, CCA)發(fā)現(xiàn)兩組數(shù)據(jù)之間的關(guān)系。可作為基于SSVEP的特征提取方法。CCA試圖找到一對(duì)多通道信號(hào)和人工參考信號(hào)的線性組合。它們?cè)诿總€(gè)刺激頻率上具有最大的相關(guān)性。然后確定與最大系數(shù)相關(guān)的頻率為目標(biāo)。CCA變換使提取的多維特征之間互信息最大化，但無法處理真實(shí)信號(hào)中存在的非線性關(guān)系。CCA在應(yīng)用上不斷優(yōu)化和發(fā)展，與其他方法結(jié)合，開發(fā)了大量子類算法。

4.1.1 多路典型相關(guān)分析(multiway canonical correlation analysis, MwayCCA)

多路典型相關(guān)分析通過最大化三階EEG張量與預(yù)先構(gòu)造的正弦參考信號(hào)矩陣之間的相關(guān)性來優(yōu)化參考信號(hào)。然后，在測(cè)試腦電圖數(shù)據(jù)與優(yōu)化后的參考信號(hào)之間應(yīng)用多元線性回歸或CCA來識(shí)別目標(biāo)頻率。多路典型相關(guān)分析及其變體增加了參考信號(hào)的優(yōu)化過程，使參考信號(hào)更豐富了腦電信號(hào)的真實(shí)信息，從而提高了標(biāo)準(zhǔn)CCA的性能。唯一的缺點(diǎn)是增加了計(jì)算時(shí)間。

4.1.2 相位約束典型相關(guān)分析(phase constrained canonical correlation analysis, PCCA)

除振幅信息外，SSVEP相位對(duì)提高目標(biāo)頻率檢測(cè)精度也很重要，用于增加視覺刺激次數(shù)。L對(duì)于特定的主體是固定的。但對(duì)于所有的刺激頻率是未知的。L被定義為基本分量與最近的先驗(yàn)刺激之間的相位滯后，它可以使用SSVEP相位估計(jì)。然后利用腦電訓(xùn)練數(shù)據(jù)計(jì)算出相位，利用估計(jì)相位的結(jié)果進(jìn)行窮舉搜索求解L。PCCA從相位角度優(yōu)化參考信號(hào)，能夠在相同頻率下區(qū)分不同相位的SVEP響應(yīng)，從而增加了視覺刺激編碼的多樣性。與普通CCA相比，PCCA更具有普適性和綜合性。

4.1.3 多數(shù)據(jù)集典型相關(guān)分析(multiset canonical correlation analysis, MsetCCA)

多數(shù)據(jù)集典型相關(guān)分析與預(yù)定義信號(hào)相比，腦電圖信號(hào)共享的特征可能更真實(shí)自然。對(duì)于某一特定主體，在某一刺激頻率下的一組試驗(yàn)中所包含的一些共同特征，可以用來構(gòu)建最優(yōu)參考信號(hào)，以達(dá)到更高的檢測(cè)精度。具體來說，多數(shù)據(jù)集典型相關(guān)分析從多組隨機(jī)變量中學(xué)習(xí)多個(gè)線性變換，使規(guī)范變量之間的整體相關(guān)性最大化。通過多組腦電數(shù)據(jù)集的聯(lián)合空間濾波，多數(shù)據(jù)集典型相關(guān)分析可以確定最有參考信號(hào)。

4.1.4 濾波器組典型相關(guān)分析(FBCCA)

結(jié)合基頻和諧波頻率分量提出了一種新方法，稱為濾波器組典型相關(guān)分析。濾波器組典型相關(guān)分析包括三個(gè)步驟：首先，利用多個(gè)不同通帶的濾波器對(duì)腦電信號(hào)進(jìn)行子帶分解；然后，利用CCA計(jì)算所有刺激頻率下正弦波相關(guān)的子帶分量與構(gòu)造的參考信號(hào)之間的相關(guān)性；最后，將所有子帶分量的相關(guān)系數(shù)的加權(quán)平方和組合起來作為最終的頻率識(shí)別特征。

4.1.5 基于個(gè)體模板典型相關(guān)分析(individual template based CCA, IT-CCA)

通過檢測(cè)腦電圖數(shù)據(jù)的時(shí)間特征來優(yōu)化正弦波參考信號(hào)?；趥€(gè)體模板典型相關(guān)分析計(jì)算測(cè)試數(shù)據(jù)和通過多次訓(xùn)練試驗(yàn)平均獲得的單個(gè)模板信號(hào)之間的典型相關(guān)性。利用三個(gè)權(quán)向量作為空間濾波器來增強(qiáng)目標(biāo)檢測(cè)，分別是測(cè)試數(shù)據(jù)和單個(gè)模板之間的空間濾波器、測(cè)試數(shù)據(jù)與預(yù)構(gòu)造參考信號(hào)之間的空間濾波器、單個(gè)模板與預(yù)構(gòu)造參考信號(hào)之間的空間濾波器。然后通過上述空間濾波器得到4個(gè)相關(guān)向量作為識(shí)別特征，利用集成分類器將四個(gè)向量組合成加權(quán)相關(guān)系數(shù)作為最終特征。

4.1.6 核典型相關(guān)分析(kernel CCA, KCCA)

基于KCCA的空閑狀態(tài)檢測(cè)方法，為提取多維腦電信號(hào)的非線性特征提供了一種切實(shí)可行的方法。但是，KCCA方法具有兩個(gè)局限性。其一，它的表示受到固定和的限制。其二，它的訓(xùn)練時(shí)間隨著訓(xùn)練數(shù)據(jù)集的大小而變化。

4.1.7 相關(guān)成分典型相關(guān)分析(CORRCA)

相關(guān)成分典型相關(guān)分析基于最大化兩個(gè)多通道信號(hào)的線性分量，計(jì)算兩個(gè)多通道信號(hào)的相同空間濾波器。引入了CORRCA，通過對(duì)SSVEP的BCI系統(tǒng)的單個(gè)訓(xùn)練數(shù)據(jù)進(jìn)行多次試驗(yàn)來學(xué)習(xí)空間濾波器，這是減少EEG背景信號(hào)的潛在技術(shù)。與CCA相比，CORRCA減少了參數(shù)數(shù)量，提高了識(shí)別精度。為了進(jìn)一步提高性能，兩級(jí)CORRCA被引入了集成空間濾波策略。

4.1.8 任務(wù)相關(guān)典型相關(guān)分析(TRCA)

任務(wù)相關(guān)典型相關(guān)分析比其他任務(wù)相關(guān)方法有更好的性能。因?yàn)樗畲笙薅鹊靥岣吡苏麄€(gè)試驗(yàn)中鎖定時(shí)間的活動(dòng)的再現(xiàn)性?；?/span>TRCA的分析引入到EEG研究中，尤其是基于SSVEP的BCI系統(tǒng)，該系統(tǒng)通過消除背景噪聲成功地提高了EEG的信噪比，并在通信和控制的不同應(yīng)用中顯示出巨大的潛力。基于TRCA的技術(shù)很有可能獲得更高的EEG信噪比。

4.2 Principal component analysis (PCA)

?

?

4.3 Independent component analysis (ICA)

獨(dú)立分量分析的基本數(shù)學(xué)原理是區(qū)分源的次高斯和超高斯分布，以減少數(shù)據(jù)投影之間的互信息或最大化它們的聯(lián)合熵。

?

?

4.4 Auto regressive (AR)

對(duì)于腦電圖分析，經(jīng)常使用自回歸模型。自回歸模型的中心前提是，可以使用自回歸過程近似真實(shí)EEG。在此前提下，設(shè)定近似自回歸模型的階數(shù)和參數(shù)，以盡可能精確地適應(yīng)觀測(cè)到的EEG信號(hào)。如果模型階數(shù)太低，AR會(huì)產(chǎn)生平滑的頻譜。而如果模型階數(shù)太高，AR會(huì)產(chǎn)生虛假峰值。AR還可以減少泄露并提高頻率分辨率，但在譜估計(jì)中選擇模型階數(shù)比較困難。AR系數(shù)使用Burg技術(shù)進(jìn)行估計(jì)，階數(shù)使用Akaike準(zhǔn)則確定。通過前向后向方法估計(jì)AR系數(shù)。估計(jì)的系數(shù)被用作特征，這些特征是根據(jù)AR階數(shù)、記錄的時(shí)間長(zhǎng)度和選擇的信道決定的。

4.5 Wavelet packet decomposition (WPD)

WPD是一種時(shí)頻域特征分析技術(shù)。在小波包分解中，信號(hào)被投影到一組相互正交的小波基函數(shù)所跨越的空間上，并被分解為高頻和低頻部分。

4.6 Wavelet transform

小波變換是另一種流行的時(shí)頻域分析方案。在小波變換中，函數(shù)是通過移動(dòng)或縮放一個(gè)稱為母小波的函數(shù)來獲得。在小波變換的應(yīng)用中，信號(hào)被分解成不同的頻率范圍，這些頻率范圍被進(jìn)一步劃分為細(xì)節(jié)和近似級(jí)別。在初始水平，EEG信號(hào)被轉(zhuǎn)換為長(zhǎng)度為原始信號(hào)一般的低頻和高頻分量。

4.7 遺傳算法

?

?

4.8 濾波組濾波算法

?

?

4.9 稀疏光譜時(shí)間分解 (SSD)

?

?

4.10 黎曼幾何

黎曼幾何和公共特征方法進(jìn)行腦電特征提取，并使用粒子群(PSO)方案將不相關(guān)特征替換為相鄰特征的平均值。這是一種空間濾波技術(shù)，通常用于基于EEG和ECoG的BCI系統(tǒng)，以提取分類相關(guān)特征。

4.11 公共空間特征 (CSP)

參照3.8.3

?

4.12 Kolmogorov復(fù)雜性算法

?

?

4.13 Empirical mode decomposition (EMD)

參考3.4

?

4.14 功率譜密度 (PSD)

?

?

4.15 Hjorth參數(shù)方法

Bo Hjorth于1970年引入了Hjorth參數(shù)。Hjorth特征在實(shí)時(shí)分析方面具有優(yōu)勢(shì)，因?yàn)樗哂休^低的計(jì)算成本。然而，它在信號(hào)參數(shù)計(jì)算上存在偏差。

4.16貝葉斯方法

可以通過貝葉斯方法提取腦電信號(hào)特征。

第五章 特征分類

特征分類是指使用特定分類方法將特征信號(hào)劃分類別并將其轉(zhuǎn)換為外部設(shè)備名利的過程。特征分類高度依賴于特定領(lǐng)域的人類專業(yè)知識(shí)。分類方法主要分為線性分類器、非線性貝葉斯分類器、神經(jīng)網(wǎng)絡(luò)、最近鄰分類器以及這些分類器的任意組合。

大多數(shù)現(xiàn)有的機(jī)器學(xué)習(xí)研究都集中在靜態(tài)數(shù)據(jù)上，不能準(zhǔn)確分了變化速度極快的電腦信號(hào)。

深度學(xué)習(xí)的發(fā)展改變了機(jī)器學(xué)習(xí)在許多領(lǐng)域的發(fā)展，它提供了通用且靈活的模型，可以使用原始數(shù)據(jù)直接學(xué)習(xí)特征，并以高度且適應(yīng)性強(qiáng)的方式捕獲數(shù)據(jù)的特征，已用于不同的任務(wù)。

5.1 支持向量機(jī)

?

?

5.2 深度學(xué)習(xí)

與傳統(tǒng)的機(jī)器學(xué)習(xí)算法不同，深度學(xué)習(xí)可以從原始大腦信號(hào)中學(xué)習(xí)不同層次的特征，無需進(jìn)行理論假設(shè)，并且其準(zhǔn)確性與數(shù)據(jù)集的數(shù)量有比較密切的關(guān)系。相較于傳統(tǒng)方法，深度學(xué)習(xí)可以實(shí)現(xiàn)實(shí)時(shí)分類的功能，且準(zhǔn)確度不低。深度學(xué)習(xí)直接作用與原始大腦信號(hào)，從而避免了耗時(shí)的預(yù)處理和特征提取過程。而深度學(xué)習(xí)可以通過深層結(jié)構(gòu)捕獲具有代表性的高級(jí)特征和潛在的依賴性。最后，在腦電處理中使用深度學(xué)習(xí)的最重要?jiǎng)訖C(jī)是自動(dòng)特征學(xué)習(xí)。

5.2.1 有監(jiān)督學(xué)習(xí)

有監(jiān)督學(xué)習(xí)需要昂貴且耗時(shí)的手動(dòng)標(biāo)注來收集豐富的類別標(biāo)簽。

2018年，Heilmeyer等人提出了五層的EEGNet模型，在High-Gamma Dataset、KUKA Pouring Observation、Robot-Grasping Observation、Error-Related Negativity、Semantic Categories和Real vs. Pseudo Words五個(gè)數(shù)據(jù)集上均能完成分類任務(wù)[1]。

Jzau-sheng Lin等人計(jì)算MI-EEG信號(hào)的平均功率譜，并確定有效時(shí)間段，然后，將離散小波變換應(yīng)用與MI-EEG的每個(gè)通道，以提取有效的時(shí)頻域特征。最后，使用LSTM和GRNN作為分類器來識(shí)別MI-EEG信號(hào)[2]。

Kuhner等人通過混合深度卷積神經(jīng)網(wǎng)絡(luò)將基于引用表達(dá)式的EEG-BCI采集的腦電信號(hào)轉(zhuǎn)化為命令，控制機(jī)器人導(dǎo)航和完成操作等多個(gè)高級(jí)命令。該系統(tǒng)可以實(shí)時(shí)地完成機(jī)器人控制任務(wù)[3]。

Chiarelli等人將運(yùn)動(dòng)想象的fNIRS和EEG信號(hào)結(jié)合起來，使用深度卷積神經(jīng)網(wǎng)路對(duì)信號(hào)進(jìn)行分類，并使用LDA和SVM作為對(duì)比算法。該算法所使用的的模型較為簡(jiǎn)單，分類效果比機(jī)器學(xué)習(xí)算法好[4]。

Ko等人使用大型拉普拉斯變換對(duì)運(yùn)動(dòng)想象EEG信號(hào)進(jìn)行預(yù)處理，然后通過RSTNN對(duì)信號(hào)進(jìn)行提取和分類[5]。

Abbas等人使用CSP和快速傅里葉變換能量圖對(duì)運(yùn)動(dòng)想象EEG信號(hào)進(jìn)行特征計(jì)算和選擇，而卷積神經(jīng)網(wǎng)路作為特征的分類器，輸出分別為右手、左手、腳和舌頭四個(gè)分類[6]。

2019年，Nagabushan等人使用Deep4Net和EEGNet與機(jī)器學(xué)習(xí)比較，在EEG和iEEG兩類數(shù)據(jù)上進(jìn)行試驗(yàn)，實(shí)驗(yàn)結(jié)果表明，基于深度學(xué)習(xí)的方法的平均表現(xiàn)優(yōu)于經(jīng)典的機(jī)器學(xué)習(xí)技術(shù)[7]。

Xuebin Tang等人通過訓(xùn)練TSCNN來提取運(yùn)動(dòng)想象EEG信號(hào)的特征，然后將這些特征應(yīng)用到SAE網(wǎng)絡(luò)中進(jìn)行分類。該組合網(wǎng)絡(luò)在BCI competition數(shù)據(jù)集上表現(xiàn)最優(yōu)[8]。

Dargazany等人將EEG、MoCap和fNIRS原始數(shù)據(jù)結(jié)合起來，使用端到端的神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，不需要經(jīng)過任何的預(yù)處理和特征提取過程[9]。

Zgallai等人從Emotive EPOC和頭戴式采集設(shè)備獲得14個(gè)電極的腦電圖數(shù)據(jù)，使用卷積神經(jīng)網(wǎng)絡(luò)用于識(shí)別腦電信號(hào)，識(shí)別為左、右、前和停四個(gè)分類，用于控制腦電接口電動(dòng)輪椅中[10]。

Tanveer等人使用深度學(xué)習(xí)模型將fNIRS信號(hào)識(shí)別為睡意/警報(bào)狀態(tài)，使用卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)fNIRS信號(hào)的每個(gè)通道的強(qiáng)度，以檢測(cè)疲勞情況[11]。

Fahimi等人構(gòu)建端到端的卷積神經(jīng)網(wǎng)絡(luò)，通過跨項(xiàng)目的遷移學(xué)習(xí)，可以有效地從原始EEG信號(hào)數(shù)據(jù)中提取特征，增強(qiáng)了對(duì)EEG信號(hào)中注意力心里狀態(tài)的檢測(cè)[12]。

Kundu等人提出使用基于遷移學(xué)習(xí)的MsCNN框架，用于有限訓(xùn)練數(shù)據(jù)集下基于P300的字符識(shí)別。該框架不僅能夠提取多分辨率深度特征，還能夠容忍腦電信號(hào)中幅度和延遲的變化[13]。

Saadati等人研究了深度學(xué)習(xí)在運(yùn)動(dòng)想象和心理負(fù)荷任務(wù)的混合EEG-fNIRS記錄分類中的性能，多模態(tài)分類精度比單模態(tài)信號(hào)高[14]。

Xuyang Zhu等人提出一種基于遷移項(xiàng)目學(xué)習(xí)的分離通道卷積神經(jīng)網(wǎng)絡(luò)，利用CSP空間中信道之間的形變信息和各種響應(yīng)機(jī)制作為輸入信號(hào)，將MI-EEG信號(hào)進(jìn)行分類[15]。

Saha等人提出深層深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由并行的卷積神經(jīng)網(wǎng)絡(luò)和自動(dòng)編碼器構(gòu)成，用于從想象的語音EEG數(shù)據(jù)中預(yù)測(cè)語音類別，然后使用預(yù)測(cè)結(jié)果來幫助識(shí)別語音標(biāo)記的想象語音[16]。

Bitrate等人將深度學(xué)習(xí)與EEG2Code方法相結(jié)合，從VEP響應(yīng)預(yù)測(cè)任意刺激模式，該系統(tǒng)具有1237bit/s的信息傳輸速率[17]。

2020年，Zhongke Gao等人獲取多類別SSVEP-EEG和SSMVEP-EEG腦電信號(hào)圖，對(duì)EEG信號(hào)進(jìn)行FFT以獲得頻率序列，然后使用LPVG和相應(yīng)的度序列來提取與頻率相關(guān)的特征，最后將其輸入BLS，分別對(duì)信號(hào)特征進(jìn)行分類[18]。

Francisco等人使用低成本和低侵入性頭帶采集左右手運(yùn)動(dòng)想象信號(hào)，使用卷積層和LSTM層構(gòu)建的深度學(xué)習(xí)模型對(duì)信號(hào)進(jìn)行分類[19]。

Kalaganis等人利用腦電圖信號(hào)的時(shí)空特征，結(jié)合傳感器陣列的拓?fù)渑判蚝瓦B續(xù)信號(hào)樣本之間的時(shí)間連續(xù)性構(gòu)造一個(gè)稀疏二元圖，將此圖與圖EMD集合使用進(jìn)行數(shù)據(jù)擴(kuò)充，使用圖卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)駕駛員的響應(yīng)[20]。

Jun Yang等人使用公共平均參考和濾波作為MI-EEG信號(hào)的預(yù)處理，然后將特征信號(hào)作為卷積網(wǎng)絡(luò)的輸入，獲得的信號(hào)融合后使用SAE網(wǎng)絡(luò)進(jìn)行分類[21]。

Feng Li等人在簡(jiǎn)單濾波后，使用CWT方法映射MI-EEG信號(hào)，將特征信號(hào)調(diào)整之后輸入到SCNN中，提取信號(hào)特征并對(duì)其進(jìn)行分類，與一般分類網(wǎng)絡(luò)不通的是不采用池化層[22]。

Fadel等人提出了棋盤運(yùn)動(dòng)圖像EEG信號(hào)到圖像的轉(zhuǎn)換方法，并使用卷積層和LSTM層構(gòu)成的深度學(xué)習(xí)模型將棋盤運(yùn)動(dòng)圖像分為五個(gè)分類[23]。

Mansoor等人證實(shí)了基于CNN的架構(gòu)對(duì)中風(fēng)患者運(yùn)動(dòng)想象腦電圖數(shù)據(jù)進(jìn)行分類的有效性。而且，采用遷移學(xué)習(xí)比采用MEMD方法的效果更好[24]。

Kachhia等人使用DNN提取EEG-BCI信號(hào)的特征，然后使用LSTM作為分類器，獲取三個(gè)基本圖形(球體，圓柱體和長(zhǎng)方體)和基本參數(shù)，保存到STL文件中。通過三維打印的工作流，將相關(guān)文件生成三維圖形[25]。

Tortora等人為了解碼步態(tài)階段，記錄了EEG、EMG和腳踏開關(guān)數(shù)據(jù)，使用切比雪夫?yàn)V波器通過高通濾波和低通濾波消除噪聲和偽影，提取特征數(shù)據(jù)。使用自適應(yīng)ICA將EEG信號(hào)計(jì)算分解矩陣，返回ICA權(quán)重，將濾波后的數(shù)據(jù)投影到IC域中。將預(yù)處理的EEG信號(hào)輸入到LSTM網(wǎng)絡(luò)中處理。處理方法有兩種方案，雙腿同時(shí)預(yù)測(cè)和雙腿分別預(yù)測(cè)步態(tài)。同時(shí)預(yù)測(cè)步態(tài)的方法比雙腿分別預(yù)測(cè)步態(tài)的表現(xiàn)更好[26]。

Anwar等人用三次網(wǎng)格插值將22個(gè)電極讀數(shù)構(gòu)成長(zhǎng)寬為50像素的地形圖，使用二維AlexNet對(duì)運(yùn)動(dòng)想象任務(wù)進(jìn)行分類。該方法將EEG信號(hào)的空間和時(shí)間維度聯(lián)系起來，且相較于同一數(shù)據(jù)集的最佳研究的準(zhǔn)確度高[27]。

Rashid等人對(duì)二分類運(yùn)動(dòng)想象ECoG數(shù)據(jù)進(jìn)行分類，使用LSTM網(wǎng)絡(luò)對(duì)原始ECoG數(shù)據(jù)（一維數(shù)據(jù)）訓(xùn)練，由混合矩陣、分類準(zhǔn)確性、敏感性和特異性進(jìn)行評(píng)估。證實(shí)了深度學(xué)習(xí)有處理非平穩(wěn)ECoG和EEG信號(hào)的能力[28]。

Penchina等人使用卷積神經(jīng)網(wǎng)絡(luò)、EEGNet、LSTM等網(wǎng)絡(luò)對(duì)ASD和普通青少年記錄的EEG進(jìn)行分類，在應(yīng)激誘導(dǎo)期、靜息期、引導(dǎo)呼吸期和非引導(dǎo)呼吸期執(zhí)行分類任務(wù)[29]。

Cooney等人評(píng)估了三種不同的EEG解碼CNN架構(gòu)在想象語音EEG上的性能，想象的單詞和元音分別用來訓(xùn)練CNN以及基準(zhǔn)SVM、RdF和rLDA分類器，使用嵌套交叉驗(yàn)證方法對(duì)每個(gè)分類器進(jìn)行超參數(shù)優(yōu)化，并對(duì)不同超參數(shù)優(yōu)化的方法進(jìn)行統(tǒng)計(jì)和評(píng)估[30]。

Ghazani等人應(yīng)用圖理論構(gòu)建深度學(xué)習(xí)模型，使用DeepCSP損失函數(shù)作為提取運(yùn)動(dòng)想象EEG信號(hào)的特征，再使用一般的全連接網(wǎng)絡(luò)對(duì)信號(hào)進(jìn)行分類[31]。

Janani等人將一維fNIRS信號(hào)通過譜圖法和采樣點(diǎn)表示方法生成二維特征圖，再使用CNN分類四個(gè)運(yùn)動(dòng)圖像任務(wù)。結(jié)果表明譜圖法可以改進(jìn)CNN的分類性能[32]。

Cortez等人提出了一種基于DBN的P300單次試驗(yàn)分類器。DBN的貪婪分層訓(xùn)練只需要較少的輸入，其缺點(diǎn)在于訓(xùn)練需要大量的計(jì)算能力[33]。

2021年，Cooney等人提出解碼雙模型神經(jīng)網(wǎng)絡(luò)，并使用EEG-fNIRS與單模態(tài)EEG和單模態(tài)fNIRS方法進(jìn)行比較。該實(shí)驗(yàn)旨在檢驗(yàn)三種刺激類型和語音的兩種語言特性（顯性、想象）對(duì)解碼精度的影響[34]。

圖：64通道EEG蒙太奇使用國(guó)際10-5系統(tǒng)進(jìn)行配置，旨在覆蓋所有頭皮區(qū)域，同時(shí)也允許放置fNIRS視電極。接地電極位于AFz處，參比電極連接至右耳垂。fNIRS視電極位于中央運(yùn)動(dòng)區(qū)的雙半球上。接收器光電二極管（橙色）分別位于C3和C4，每個(gè)光電二極管位于四個(gè)相關(guān)發(fā)射器光電二極管（綠色）的中心。T傳輸光電二極管精確定位在距離接收器30 mm處。每個(gè)發(fā)射器光電二極管由兩個(gè)通道組成，分別傳輸波長(zhǎng)為760nm和850nm的光

Stieger等人證明了基于深度學(xué)習(xí)的分類和高密度腦電是提高腦機(jī)接口效率的重要工具。除了標(biāo)準(zhǔn)感覺運(yùn)動(dòng)節(jié)律外，還發(fā)現(xiàn)了腦機(jī)接口生物標(biāo)記物的新組合，如枕骨特征和額葉伽馬功率，表明EEG信號(hào)可能還包含了其他有價(jià)值的信息[35]。

Lin等人設(shè)計(jì)了一種雙向卷積神經(jīng)網(wǎng)絡(luò)，使用一維卷積層從EEG功能連通性學(xué)習(xí)特征，使用二維結(jié)構(gòu)從EEG功能譜（三維，分別代表EEG信號(hào)通道、EEG數(shù)據(jù)的時(shí)間戳和EEG數(shù)據(jù)頻率）學(xué)習(xí)特征，從而預(yù)測(cè)中風(fēng)患者的恢復(fù)率。實(shí)驗(yàn)證明，運(yùn)動(dòng)狀態(tài)腦電圖信號(hào)在預(yù)測(cè)中風(fēng)后患者上肢運(yùn)動(dòng)恢復(fù)方面比靜息狀態(tài)信號(hào)更可靠[36]。

Lee等人提出了基于瞬時(shí)頻率和譜熵的遷移神經(jīng)網(wǎng)絡(luò)框架，用于使用EEG對(duì)想象語音完成多分類任務(wù)[37]。

Naebi等人介紹了BGA算法，以減少腦信號(hào)中的特征維數(shù)。該算法在一般函數(shù)上的性能優(yōu)于遺傳算法和粒子群算法。當(dāng)將特定濾波器組上的維數(shù)減少到100個(gè)特征時(shí)，與其他算法相比，該算法性能更好[38]。

Vinoj等人開發(fā)了深度學(xué)習(xí)大腦系統(tǒng)，識(shí)別中風(fēng)患者上肢運(yùn)動(dòng)的意圖，通過周期性映射EEG模式實(shí)現(xiàn)減少精神疲勞和持續(xù)控制[39]。

Wonjun等人提出一種深度多尺度神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以學(xué)習(xí)多尺度腦電信號(hào)特征。作者在不同EEG范式、MI、SSVEP、癲癇和昏睡EEG信號(hào)的有效性[40]。

Villamizar等人開發(fā)并測(cè)試了CNNeeg網(wǎng)絡(luò)，用于使用兩個(gè)不同的數(shù)據(jù)庫(kù)進(jìn)行EEG想象元音信號(hào)識(shí)別，在想象元音信號(hào)方面優(yōu)于淺層CNN和EEGNet[41]。

?

5.2.2 無監(jiān)督學(xué)習(xí)

無監(jiān)督學(xué)習(xí)不需要標(biāo)簽。

自監(jiān)督學(xué)些是無監(jiān)督學(xué)習(xí)的一個(gè)子類。它利用無監(jiān)督域自適應(yīng)學(xué)習(xí)將腦電信號(hào)的分布和目標(biāo)信號(hào)的分布與線性變換對(duì)齊。

第六章 應(yīng)用

腦電接口技術(shù)在腦部交流、安全系統(tǒng)、情感計(jì)算、駕駛員疲勞檢測(cè)、心理負(fù)荷測(cè)量、繪畫、智能家居控制、注意力訓(xùn)練游戲、中風(fēng)康復(fù)、測(cè)謊，并且可以替代常見的控制設(shè)備。腦電接口分為兩大類，分別是生物應(yīng)用和非生物應(yīng)用。生物應(yīng)用是指腦電接口技術(shù)用作中樞神經(jīng)系統(tǒng)替代品、評(píng)估和診斷病情、治療和康復(fù)三個(gè)方面。而非生物應(yīng)用則是游戲、工業(yè)、藝術(shù)應(yīng)用、交通和軍事。生物應(yīng)用和非生物應(yīng)用關(guān)系密切，互相滲透。

6.1 生物應(yīng)用

生物應(yīng)用在醫(yī)療保健中有著巨大的潛力，在疾病的預(yù)防、早起診斷和治療等各個(gè)方面都非常重要。

6.1.1 中樞神經(jīng)系統(tǒng)替代品

中樞神經(jīng)系統(tǒng)CNS替代品：這些替代物意味著它可以修復(fù)或替代因中風(fēng)或創(chuàng)傷導(dǎo)致的癱瘓和脊髓損傷等疾病導(dǎo)致的中樞神經(jīng)系統(tǒng)功能喪失，例如腦電拼寫器、腦控輪椅、腦控機(jī)械肢等應(yīng)用。

專門研究運(yùn)動(dòng)神經(jīng)假肢的BCI意味著重建癱瘓個(gè)體的發(fā)育，或者是提供支持他們的設(shè)備。

2018年，Jzau-sheng Lin等人使用DB小波變換提取信息，并使用LSTM和GRNN分類信號(hào)，在訓(xùn)練好神經(jīng)網(wǎng)絡(luò)后，將以上BCI系統(tǒng)嵌入到電動(dòng)輪椅中[2]。

Zgallai等人從Emotive EPOC和頭戴式采集設(shè)備獲得14個(gè)電極的腦電圖數(shù)據(jù)，使用卷積神經(jīng)網(wǎng)絡(luò)用于識(shí)別腦電信號(hào)，識(shí)別為左、右、前和停四個(gè)分類，用于控制腦電接口電動(dòng)輪椅中[10]。

Tortora等人為了解碼步態(tài)階段，記錄了EEG、EMG和腳踏開關(guān)數(shù)據(jù)，使用切比雪夫?yàn)V波器通過高通濾波和低通濾波消除噪聲和偽影，提取特征數(shù)據(jù)。使用自適應(yīng)ICA將EEG信號(hào)計(jì)算分解矩陣，返回ICA權(quán)重，將濾波后的數(shù)據(jù)投影到IC域中。將預(yù)處理的EEG信號(hào)輸入到LSTM網(wǎng)絡(luò)中處理。處理方法有兩種方案，雙腿同時(shí)預(yù)測(cè)和雙腿分別預(yù)測(cè)步態(tài)。同時(shí)預(yù)測(cè)步態(tài)的方法比雙腿分別預(yù)測(cè)步態(tài)的表現(xiàn)更好[26]。

圖：顯示耳機(jī)、微控制器和輪椅的系統(tǒng)示意圖

Kundu等人提出使用基于遷移學(xué)習(xí)的MsCNN框架，用于有限訓(xùn)練數(shù)據(jù)集下基于P300的字符識(shí)別。該框架不僅能夠提取多分辨率深度特征，還能夠容忍腦電信號(hào)中幅度和延遲的變化[13]。

Saha等人提出深層深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由并行的卷積神經(jīng)網(wǎng)絡(luò)和自動(dòng)編碼器構(gòu)成，用于從想象的語音EEG數(shù)據(jù)中預(yù)測(cè)語音類別，然后使用預(yù)測(cè)結(jié)果來幫助識(shí)別語音標(biāo)記的想象語音[16]。

2020年，Cooney等人評(píng)估了三種不同的EEG解碼CNN架構(gòu)在想象語音EEG上的性能，想象的單詞和元音分別用來訓(xùn)練CNN以及基準(zhǔn)SVM、RdF和rLDA分類器，使用嵌套交叉驗(yàn)證方法對(duì)每個(gè)分類器進(jìn)行超參數(shù)優(yōu)化，并對(duì)不同超參數(shù)優(yōu)化的方法進(jìn)行統(tǒng)計(jì)和評(píng)估[30]。

2021年，Cooney等人提出解碼雙模型神經(jīng)網(wǎng)絡(luò)，并使用EEG-fNIRS與單模態(tài)EEG和單模態(tài)fNIRS方法進(jìn)行比較。該實(shí)驗(yàn)旨在檢驗(yàn)三種刺激類型和語音的兩種語言特性對(duì)解碼精度的影響[34]。

Lee等人提出了基于瞬時(shí)頻率和譜熵的遷移神經(jīng)網(wǎng)絡(luò)框架，用于使用EEG對(duì)想象語音完成多分類任務(wù)[37]。

Vinoj等人開發(fā)了深度學(xué)習(xí)大腦系統(tǒng)，識(shí)別中風(fēng)患者上肢運(yùn)動(dòng)的意圖，通過周期性映射EEG模式實(shí)現(xiàn)減少精神疲勞和持續(xù)控制[39]。

Villamizar等人開發(fā)并測(cè)試了CNNeeg網(wǎng)絡(luò)，用于使用兩個(gè)不同的數(shù)據(jù)庫(kù)進(jìn)行EEG想象元音信號(hào)識(shí)別，在想象元音信號(hào)方面優(yōu)于淺層CNN和EEGNet[41]。

?

6.1.2 評(píng)估與診斷

評(píng)估和診斷：各種各樣的診斷方法，如檢測(cè)腦腫瘤、識(shí)別乳腺癌、帕金森病等?？梢栽\斷兒童的幾種疾病，包括癲癇、神經(jīng)退行性疾病、運(yùn)動(dòng)障礙、注意力不集中或不同類型的ADHD。

早期檢測(cè)BCI技術(shù)有助于預(yù)測(cè)和識(shí)別病理狀態(tài)的異常大腦結(jié)構(gòu)和功能，例如占位性病變、異常神經(jīng)元放電和與睡眠相關(guān)的障礙。

2021年，Lin等人設(shè)計(jì)了一種雙向卷積神經(jīng)網(wǎng)絡(luò)，使用一維卷積層從EEG功能連通性學(xué)習(xí)特征，使用二維結(jié)構(gòu)從EEG功能譜（三維，分別代表EEG信號(hào)通道、EEG數(shù)據(jù)的時(shí)間戳和EEG數(shù)據(jù)頻率）學(xué)習(xí)特征，從而預(yù)測(cè)中風(fēng)患者的恢復(fù)率。實(shí)驗(yàn)證明，運(yùn)動(dòng)狀態(tài)腦電圖信號(hào)在預(yù)測(cè)中風(fēng)后患者上肢運(yùn)動(dòng)恢復(fù)方面比靜息狀態(tài)信號(hào)更可靠[36]。

EEG功率譜是一個(gè)三維矩陣，其中三維分別表示EEG信號(hào)的通道、EEG數(shù)據(jù)的時(shí)間戳（以500Hz進(jìn)行3秒EEG采樣）和EEG數(shù)據(jù)頻率（4-30Hz，間隔0.5Hz）。

6.1.2.1 精神疾病和認(rèn)知

以精神狀態(tài)為導(dǎo)向的腦機(jī)接口，不同種類的精神行為觸發(fā)大腦皮層的不同部分，并激發(fā)不同的腦電信號(hào)。

使用BCI捕捉腦電圖特征作為診斷精神分裂癥的工具。利用BCI和虛擬現(xiàn)實(shí)產(chǎn)生有用的反應(yīng)信息以保持在某些大腦狀態(tài)，從而幫助患者提高他們的認(rèn)知技能?？臻g能力，即理解、推理和記憶物體或空間之間關(guān)系的能力。在使用輕型腦電圖設(shè)備進(jìn)行腦電圖空間活動(dòng)時(shí)，參與者的速度、記憶力、注意力、靈活性和解決問題的能力都有顯著提高。

神經(jīng)反饋BCI治療被認(rèn)為是調(diào)節(jié)大腦活動(dòng)、認(rèn)知和行為的有效方法。

BCI探索自閉癥和其他疾病中額葉、顳葉、中央葉、頂葉和枕葉之間的連通性以及隨訪以證明BCI訓(xùn)練對(duì)患有ASD影響他們的社交、情感和認(rèn)知功能。

Fahimi等人構(gòu)建端到端的卷積神經(jīng)網(wǎng)絡(luò)，通過跨項(xiàng)目的遷移學(xué)習(xí)，可以有效地從原始EEG信號(hào)數(shù)據(jù)中提取特征，增強(qiáng)了對(duì)EEG信號(hào)中注意力心里狀態(tài)的檢測(cè)[12]。

2020年，Penchina等人使用卷積神經(jīng)網(wǎng)絡(luò)、EEGNet、LSTM等網(wǎng)絡(luò)對(duì)ASD和普通青少年記錄的EEG進(jìn)行分類，在應(yīng)激誘導(dǎo)期、靜息期、引導(dǎo)呼吸期和非引導(dǎo)呼吸期執(zhí)行分類任務(wù)[29]。

圖：焦慮分類實(shí)驗(yàn)設(shè)計(jì)

?

6.1.2.2 睡眠狀態(tài)

睡眠腦電圖。睡眠質(zhì)量對(duì)于診斷睡眠障礙和培養(yǎng)健康習(xí)慣具有重要意義。睡眠腦電圖主要用于識(shí)別睡眠階段。在Rechtschaffen和Kales(R&K)規(guī)則中，睡眠狀態(tài)包括清醒、非快速眼動(dòng)1、非快速眼動(dòng)2、非快速眼動(dòng)3、非快速眼動(dòng)4和快速眼動(dòng)。然而非快速眼動(dòng)3和非快速眼動(dòng)4之間沒有明顯的區(qū)別。因此，它們被稱作慢波睡眠(SWS)。

6.1.2.3 情感計(jì)算Affective Computing

情緒腦電圖。一個(gè)人的情緒可以從三個(gè)方面來評(píng)價(jià)：效價(jià)、喚醒和支配。每個(gè)方面都可以用1~9之間的整數(shù)進(jìn)行評(píng)分，也可以分為正面和負(fù)面。這三個(gè)方面的結(jié)合形成了我們熟悉的情緒，如恐懼、悲傷、憤怒等。受試者的腦電信號(hào)可用于預(yù)測(cè)情感狀態(tài)。情緒受許多主觀和環(huán)境因素的影響，如性別、疲勞等。大多數(shù)情感識(shí)別工作將用戶的情緒識(shí)別為積極，中性和消極。

情緒可以根據(jù)幾個(gè)維度來定義。情感的維度模型試圖通過定義人類情感在兩個(gè)或三個(gè)維度中的位置來概念化人類情感。最廣泛使用的circumplex模型表明情緒分布在兩個(gè)維度：效價(jià)和喚醒。喚醒是指情緒刺激的強(qiáng)度或情緒的強(qiáng)度。效價(jià)是指體驗(yàn)情緒的人內(nèi)部的關(guān)系。

在情緒檢測(cè)中，問題與主題引發(fā)的情緒與事件引發(fā)的情緒、實(shí)驗(yàn)室設(shè)計(jì)與現(xiàn)實(shí)世界、表達(dá)與感覺、開放記錄與隱藏記錄以及情感目的與其他目的有關(guān)。

在情感計(jì)算BCIs中觀察用戶的情緒和心理狀態(tài)，并有可能改變他們周圍的環(huán)境來改善或改變這種情緒。

6.1.3 治療與康復(fù)

治療或康復(fù)：中風(fēng)是一種導(dǎo)致人體長(zhǎng)期殘疾的疾病，由于血液流動(dòng)受阻，阻礙了各種運(yùn)動(dòng)或劇烈活動(dòng)。其他一些應(yīng)用治療神經(jīng)系統(tǒng)疾病，如帕金森病（PD）、叢集性頭痛、耳鳴等。

康復(fù)治療神經(jīng)功能障礙后護(hù)理的一個(gè)重要方面是恢復(fù)受損的運(yùn)動(dòng)功能或溝通能力。通過康復(fù)提高生活質(zhì)量，對(duì)于因神經(jīng)損傷而出現(xiàn)運(yùn)動(dòng)、通信和控制問題的患者，使用BCI技術(shù)可以加強(qiáng)神經(jīng)康復(fù)。

BCI機(jī)器人系統(tǒng)在康復(fù)中的策略是通過神經(jīng)或生理信號(hào)識(shí)別患者移動(dòng)或執(zhí)行任務(wù)的意圖，然后使用機(jī)器人設(shè)備以模仿治療師在標(biāo)準(zhǔn)治療過程中的動(dòng)作方式提供輔助力。

6.1.3.1 運(yùn)動(dòng)想象

運(yùn)動(dòng)想象是利用運(yùn)動(dòng)表象條件將運(yùn)動(dòng)者的運(yùn)動(dòng)意圖轉(zhuǎn)換為控制信號(hào)的過程。運(yùn)動(dòng)想象腦電圖廣泛使用頻帶功率特性。大多數(shù)用于運(yùn)動(dòng)想象腦電接口中的特征提取技術(shù)是短期傅里葉變換、自回歸模型、小波變換和通用空間模式。

運(yùn)動(dòng)想象腦電接口最具挑戰(zhàn)性的主題之一是尋找和分析記錄的大腦活動(dòng)與人體、生物力學(xué)和認(rèn)知處理的基礎(chǔ)模型之間的關(guān)系。

位于運(yùn)動(dòng)皮層上的 EEG 信號(hào)的低頻分量（<2 Hz）攜帶運(yùn)動(dòng)學(xué)信息。他們發(fā)現(xiàn)離散的想象運(yùn)動(dòng)編碼在運(yùn)動(dòng)相關(guān)皮層電位（MRCP）中。

想象身體運(yùn)動(dòng)學(xué)(IBK)是一種運(yùn)動(dòng)想象范式，起源于侵入性BCI技術(shù)。非侵入性工作已經(jīng)注意到，這種范式的信息是從低頻SMR信號(hào)(小于2Hz)中提取的。IBK范式對(duì)于非侵入式腦電信號(hào)是新穎的。由于腦電信號(hào)解碼不佳，應(yīng)用數(shù)量有限。

運(yùn)動(dòng)想象不僅關(guān)注EEG信號(hào)的能量屬性，還需要關(guān)注時(shí)間數(shù)據(jù)。對(duì)于運(yùn)動(dòng)想象，特征提取方法可分為以下7類：

(1)利用EEG信號(hào)嵌入時(shí)間信息的時(shí)域方法；

(2)譜方法提取嵌入腦電信號(hào)頻域的信息；

(3)時(shí)頻域方法在時(shí)域和頻域的信息上協(xié)同工作；

(4)空間方法從多電極信號(hào)中提取空間信息；

(5)時(shí)空方法結(jié)合時(shí)空信息提取特征；

(6)空間譜方法利用多變量腦電信號(hào)的空間和光譜信息進(jìn)行特征提??；

(7)黎曼流形方法，本質(zhì)上是時(shí)空方法的一個(gè)子類

2018年，Jzau-sheng Lin等人計(jì)算MI-EEG信號(hào)的平均功率譜，并確定有效時(shí)間段，然后，將離散小波變換應(yīng)用與MI-EEG的每個(gè)通道，以提取有效的時(shí)頻域特征。最后，使用LSTM和GRNN作為分類器來識(shí)別MI-EEG信號(hào)[2]。

Chiarelli等人將運(yùn)動(dòng)想象的fNIRS和EEG信號(hào)結(jié)合起來，使用深度卷積神經(jīng)網(wǎng)路對(duì)信號(hào)進(jìn)行分類，并使用LDA和SVM作為對(duì)比算法。該算法所使用的的模型較為簡(jiǎn)單，分類效果比機(jī)器學(xué)習(xí)算法好[4]。

Ko等人使用大型拉普拉斯變換對(duì)運(yùn)動(dòng)想象EEG信號(hào)進(jìn)行預(yù)處理，然后通過RSTNN對(duì)信號(hào)進(jìn)行提取和分類[5]。

Abbas等人使用CSP和快速傅里葉變換能量圖對(duì)運(yùn)動(dòng)想象EEG信號(hào)進(jìn)行特征計(jì)算和選擇，而卷積神經(jīng)網(wǎng)路作為特征的分類器，輸出分別為右手、左手、腳和舌頭四個(gè)分類[6]。

2019年，Xuebin Tang等人通過訓(xùn)練TSCNN來提取運(yùn)動(dòng)想象EEG信號(hào)的特征，然后將這些特征應(yīng)用到SAE網(wǎng)絡(luò)中進(jìn)行分類。該組合網(wǎng)絡(luò)在BCI competition數(shù)據(jù)集上表現(xiàn)最優(yōu)[8]。

Xuyang Zhu等人提出一種基于遷移項(xiàng)目學(xué)習(xí)的分離通道卷積神經(jīng)網(wǎng)絡(luò)，利用CSP空間中信道之間的形變信息和各種響應(yīng)機(jī)制作為輸入信號(hào)，將MI-EEG信號(hào)進(jìn)行分類[15]。

2020年，Francisco等人使用低成本和低侵入性頭帶采集左右手運(yùn)動(dòng)想象信號(hào)，使用卷積層和LSTM層構(gòu)建的深度學(xué)習(xí)模型對(duì)信號(hào)進(jìn)行分類[19]。

Jun Yang等人使用公共平均參考和濾波作為MI-EEG信號(hào)的預(yù)處理，然后將特征信號(hào)作為卷積網(wǎng)絡(luò)的輸入，獲得的信號(hào)融合后使用SAE網(wǎng)絡(luò)進(jìn)行分類[21]。

Feng Li等人在簡(jiǎn)單濾波后，使用CWT方法映射MI-EEG信號(hào)，將特征信號(hào)調(diào)整之后輸入到SCNN中，提取信號(hào)特征并對(duì)其進(jìn)行分類，與一般分類網(wǎng)絡(luò)不通的是不采用池化層[22]。

Fadel等人提出了棋盤運(yùn)動(dòng)圖像EEG信號(hào)到圖像的轉(zhuǎn)換方法，并使用卷積層和LSTM層構(gòu)成的深度學(xué)習(xí)模型將棋盤運(yùn)動(dòng)圖像分為五個(gè)分類[23]。

Mansoor等人證實(shí)了基于CNN的架構(gòu)對(duì)中風(fēng)患者運(yùn)動(dòng)想象腦電圖數(shù)據(jù)進(jìn)行分類的有效性。而且，采用遷移學(xué)習(xí)比采用MEMD方法的效果更好[24]。

Anwar等人用三次網(wǎng)格插值將22個(gè)電極讀數(shù)構(gòu)成長(zhǎng)寬為50像素的地形圖，使用二維AlexNet對(duì)運(yùn)動(dòng)想象任務(wù)進(jìn)行分類。該方法將EEG信號(hào)的空間和時(shí)間維度聯(lián)系起來，且相較于同一數(shù)據(jù)集的最佳研究的準(zhǔn)確度高[27]。

Rashid等人對(duì)二分類運(yùn)動(dòng)想象ECoG數(shù)據(jù)進(jìn)行分類，使用LSTM網(wǎng)絡(luò)對(duì)原始ECoG數(shù)據(jù)（一維數(shù)據(jù)）訓(xùn)練，由混合矩陣、分類準(zhǔn)確性、敏感性和特異性進(jìn)行評(píng)估。證實(shí)了深度學(xué)習(xí)有處理非平穩(wěn)ECoG和EEG信號(hào)的能力[28]。

Ghazani等人應(yīng)用圖理論構(gòu)建深度學(xué)習(xí)模型，使用DeepCSP損失函數(shù)作為提取運(yùn)動(dòng)想象EEG信號(hào)的特征，再使用一般的全連接網(wǎng)絡(luò)對(duì)信號(hào)進(jìn)行分類[31]。

圖：應(yīng)用圖理論和DeepCSP損失函數(shù)構(gòu)造的深度學(xué)習(xí)網(wǎng)絡(luò)

Janani等人將一維fNIRS信號(hào)通過譜圖法和采樣點(diǎn)表示方法生成二維特征圖，再使用CNN分類四個(gè)運(yùn)動(dòng)圖像任務(wù)。結(jié)果表明譜圖法可以改進(jìn)CNN的分類性能[32]。

?

6.1.3.2 運(yùn)動(dòng)感覺節(jié)律(sensorimotor rhythms, SMR)

感覺運(yùn)動(dòng)節(jié)律是指把被試腦電中的12Hz~15Hz的正弦節(jié)律反饋給其本人的方法。由于腦電信號(hào)發(fā)生在大腦皮層的感覺運(yùn)動(dòng)區(qū)，稱為運(yùn)動(dòng)感覺節(jié)律。

SMR范例的主要缺點(diǎn)是2D和3D光標(biāo)控制的訓(xùn)練時(shí)間可能需要數(shù)周或數(shù)月。該系統(tǒng)的訓(xùn)練要求受試者學(xué)習(xí)如何調(diào)節(jié)神經(jīng)活動(dòng)的特定頻帶以在不同方向上移動(dòng)光標(biāo)以選擇所需的目標(biāo)。SMR范式一直是四肢癱瘓、脊髓損傷和肌萎側(cè)索硬化(ALS)患者最有希望使用的范式之一。

運(yùn)動(dòng)感覺節(jié)律缺乏直接提取運(yùn)動(dòng)學(xué)參數(shù)的能力。盡管該技術(shù)可以區(qū)分對(duì)應(yīng)于大腦身體部位的運(yùn)動(dòng)活動(dòng)，但解碼的運(yùn)動(dòng)信息不包含運(yùn)動(dòng)學(xué)參數(shù)的大小和方向。

2021年，Stieger等人證明了基于深度學(xué)習(xí)的分類和高密度腦電是提高腦機(jī)接口效率的重要工具。除了標(biāo)準(zhǔn)感覺運(yùn)動(dòng)節(jié)律外，還發(fā)現(xiàn)了腦機(jī)接口生物標(biāo)記物的新組合，如枕骨特征和額葉伽馬功率，表明EEG信號(hào)可能還包含了其他有價(jià)值的信息[35]。

?

6.2 非生物應(yīng)用

研究人員將重點(diǎn)放在醫(yī)療和軍事應(yīng)用的穩(wěn)健性和高效性上，而針對(duì)休閑或生活方式的創(chuàng)新要求更加重視享受和社會(huì)因素。此娛樂應(yīng)用程序最具挑戰(zhàn)性的方面是，它必須是用戶的最愛，才能在商業(yè)上取得成功。

6.2.1 游戲

在某些情況下，EEG數(shù)據(jù)使BCI游戲更具實(shí)用性并增加參與度，系統(tǒng)跟蹤每個(gè)玩家的熱情水平，并在玩家的興奮度下降時(shí)激活動(dòng)態(tài)難度調(diào)整（DDA）。

基于EEG的漸進(jìn)式 訓(xùn)練游戲，可以訓(xùn)練用戶提高注意力。多動(dòng)癥兒童在游戲中必須控制的角色，以與孩子注意力水平相當(dāng)?shù)乃俣纫苿?dòng)，因此他們需要將全部注意力放在游戲上，以便在給定的時(shí)間內(nèi)完成。這種形式的注意力訓(xùn)練降低了兒童的ADHD癥狀。

BCI/EEG最適合產(chǎn)生交互式的計(jì)算機(jī)游戲，因?yàn)樗哂懈邥r(shí)間分辨率、可負(fù)擔(dān)性、便攜性、非侵入式訪問、安全性以及豐富健全和身體受損用戶的體驗(yàn)。

BCI游戲?yàn)榍楦杏?jì)算和認(rèn)知方面做出了極大的貢獻(xiàn)。

6.2.2 工業(yè)

這些技術(shù)可以替代用于在工業(yè)應(yīng)用中教授機(jī)器人的耗時(shí)的按鈕和操縱桿系統(tǒng)；可以檢測(cè)出人員是否太累或生病而無法操作機(jī)器；并且可以采取必要的預(yù)防措施避免受傷，例如停止機(jī)器。

2018年，Kuhner等人通過混合深度卷積神經(jīng)網(wǎng)絡(luò)將基于引用表達(dá)式的EEG-BCI采集的腦電信號(hào)轉(zhuǎn)化為命令，控制機(jī)器人導(dǎo)航和完成操作等多個(gè)高級(jí)命令。該系統(tǒng)可以實(shí)時(shí)地完成機(jī)器人控制任務(wù)[3]。

Kachhia等人使用DNN提取EEG-BCI信號(hào)的特征，然后使用LSTM作為分類器，獲取三個(gè)基本圖形(球體，圓柱體和長(zhǎng)方體)和基本參數(shù)，保存到STL文件中。通過三維打印的工作流，將相關(guān)文件生成三維圖形[25]。

6.2.3 藝術(shù)應(yīng)用

BCIs認(rèn)可的四種藝術(shù)應(yīng)用是被動(dòng)的、選擇性的、直接的和協(xié)作的。直接藝術(shù)BCI為用戶提供了更大的靈活性，通常允許他們從廣泛的菜單中選擇項(xiàng)目，例如畫筆類型和管理畫筆筆劃運(yùn)動(dòng)。

在創(chuàng)造力方面，神經(jīng)反饋訓(xùn)練確實(shí)在音樂、舞蹈和表演以及發(fā)散性思維領(lǐng)域的創(chuàng)造力水平方面取得了顯著進(jìn)展。

6.2.4 交通

疲勞檢測(cè)主要用于交通監(jiān)控，跟蹤意識(shí)，以評(píng)估駕駛員疲勞程度，并提高駕駛員的績(jī)效。通過持續(xù)的腦電圖評(píng)估操作員的心理工作量水平在人機(jī)協(xié)作任務(wù)環(huán)境中，以便在操作員性能下降時(shí)發(fā)出警報(bào)。

心理疲勞是用戶和研究人員面臨的難題。大多數(shù)研究側(cè)重于頻率識(shí)別的性能，但分類的準(zhǔn)確性可能會(huì)因操作中出現(xiàn)疲勞癥狀而受損。疲勞會(huì)導(dǎo)致許多嚴(yán)重的問題，如信號(hào)質(zhì)量下降、識(shí)別能力退化、甚至出現(xiàn)光敏癲癇發(fā)作的風(fēng)險(xiǎn)。

腦機(jī)接口通過評(píng)估員工的認(rèn)知狀態(tài)、工作量和工作時(shí)間對(duì)精神疲勞的影響來改善工作條件。

Tanveer等人使用深度學(xué)習(xí)模型將fNIRS信號(hào)識(shí)別為睡意/警報(bào)狀態(tài)，使用卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)fNIRS信號(hào)的每個(gè)通道的強(qiáng)度，以檢測(cè)疲勞情況[11]。

Kalaganis等人利用腦電圖信號(hào)的時(shí)空特征，結(jié)合傳感器陣列的拓?fù)渑判蚝瓦B續(xù)信號(hào)樣本之間的時(shí)間連續(xù)性構(gòu)造一個(gè)稀疏二元圖，將此圖與圖EMD集合使用進(jìn)行數(shù)據(jù)擴(kuò)充，使用圖卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)駕駛員的響應(yīng)[20]。

?

6.2.5 軍事

混合BCI在腦控?zé)o人機(jī)的應(yīng)用僅限于一些使用眼動(dòng)追蹤器和面部/頭部手勢(shì)檢測(cè)器作為系統(tǒng)補(bǔ)充輸入模式的研究。

第七章 公開數(shù)據(jù)集

我們提供了 31 個(gè)可重復(fù)使用的公共數(shù)據(jù)集和下載鏈接，涵蓋了大多數(shù) BCI 信號(hào)。 BCI 競(jìng)賽 IV (BCI-C IV) 包含五個(gè)數(shù)據(jù)集。 我們?cè)诘谝粋€(gè)數(shù)據(jù)集上給出訪問鏈接。 為了更好地理解，我們給出了每個(gè)數(shù)據(jù)集的主題數(shù)、類數(shù)（有多少類別）、采樣率和通道數(shù)。

第八章 評(píng)估指標(biāo)

評(píng)估指標(biāo)是用于評(píng)估腦電信號(hào)算法優(yōu)劣的標(biāo)準(zhǔn)。

8.1 混淆矩陣(confused matrix)

混淆矩陣表示實(shí)際類的用戶意圖輸出類和實(shí)際預(yù)測(cè)類之間的關(guān)系。真陽性率(TPR)、假陰性率(FNR)、假陽性率(FPR)、陽性預(yù)測(cè)值(PPV)和陰性預(yù)測(cè)值(NPV)用于描述敏感性、特異性和精密度等。

8.2 分類準(zhǔn)確率和錯(cuò)誤率

分類準(zhǔn)確性是最常見的評(píng)估指標(biāo)，通常稱為錯(cuò)誤率。由于具體的嚴(yán)格要求，準(zhǔn)確性并不總是有絕對(duì)的說服力的。

8.3 信息傳輸速率(information transfer rate)

Shannon提出了信息傳輸速率作為信號(hào)傳輸效率的評(píng)估指標(biāo)。ITR表示在一個(gè)時(shí)間單位內(nèi)可能通過系統(tǒng)的數(shù)據(jù)量。

N代表目標(biāo)信號(hào)的數(shù)量，p代表分類準(zhǔn)確性。

8.4 Cohen’s Kappa Coefficient

科恩卡帕系數(shù)衡量?jī)蓚€(gè)觀察者之間的一致性。它用于測(cè)量基于BCI系統(tǒng)的正確輸出與BCI域命令之間的契約?？贫骺ㄅ料禂?shù)解決了許多精度度量的異議。

?

?

8.5 用戶評(píng)估系統(tǒng)

用戶評(píng)估系統(tǒng)主要包含可用性、感受、是否符合人類工程學(xué)和是否影響到生活質(zhì)量。

?

8.6 顯著圖（Saliency map）

顯著性圖用于可視化模型結(jié)果，以便于解釋。顯著性圖的保真度可以通過預(yù)后結(jié)果中相當(dāng)高的R2和MSE值來證明。

第九章 未來和展望

?

9.1 腦機(jī)接口技術(shù)的局限性

腦電接口技術(shù)的挑戰(zhàn)和困難分為三類：基于可用性的挑戰(zhàn)、技術(shù)挑戰(zhàn)和倫理挑戰(zhàn)。

基于可用性的挑戰(zhàn)是指訓(xùn)練時(shí)間和疲勞。訓(xùn)練時(shí)間影響用戶適應(yīng)系統(tǒng)的功能和使用，影響用戶的生活質(zhì)量和生活水平。而用于收集腦電信號(hào)的訓(xùn)練時(shí)間，則是大大提高了信號(hào)采集的成本。大多數(shù)腦電接口技術(shù)會(huì)導(dǎo)致用戶疲勞，因?yàn)檫@項(xiàng)技術(shù)需要集中注意力和意識(shí)來快速、間歇地輸入。如果用戶過于疲憊，采集的信號(hào)質(zhì)量過低，導(dǎo)致腦電接口技術(shù)無法繼續(xù)運(yùn)行下去。

技術(shù)挑戰(zhàn)包含了非線性、非平穩(wěn)性、信號(hào)傳輸速率、信號(hào)處理、缺乏數(shù)據(jù)分析方法和評(píng)估指標(biāo)。在不同用戶之間，腦電信號(hào)呈現(xiàn)非線性、非平穩(wěn)性的變化。盡管是同一個(gè)用戶，在不同的環(huán)境、不同的時(shí)間、不同的情緒、不同的任務(wù)、不同的健康情況，也可能導(dǎo)致腦電信號(hào)出現(xiàn)非線性、非平穩(wěn)性的變化。腦電信號(hào)的信號(hào)傳輸速率低，信號(hào)處理面臨巨大的挑戰(zhàn)。而且缺乏比較普適的數(shù)據(jù)分析方法和評(píng)估指標(biāo)，腦電信號(hào)的應(yīng)用以及評(píng)估不能提供比較客觀的標(biāo)準(zhǔn)。

9.2 腦機(jī)接口技術(shù)的倫理性

由于人類需要佩戴這些電極，這對(duì)他們來說總是有風(fēng)險(xiǎn)的，并且會(huì)對(duì)人體造成更嚴(yán)重的傷害。BCI還要求在信號(hào)采集過程中嚴(yán)格維護(hù)人體，因此受試者必須長(zhǎng)時(shí)間坐在原地。除此之外，用戶或參與者必須按照電極的需要行事，這樣他們就不能心甘情愿地做任何事情。這一事實(shí)可能對(duì)人體產(chǎn)生重大影響。

9.3 腦機(jī)接口技術(shù)的前景

未來的方向是實(shí)現(xiàn)與人無關(guān)的分類，使測(cè)試數(shù)據(jù)永遠(yuǎn)不會(huì)出現(xiàn)在訓(xùn)練集中。高性能的人獨(dú)立分類對(duì)于 BCI 系統(tǒng)在現(xiàn)實(shí)世界中的廣泛應(yīng)用是必要的。

BCI腦-機(jī)接口技術(shù)應(yīng)用中的陷阱和挫折吸引了不同領(lǐng)域的研究人員，因?yàn)樵摷夹g(shù)在醫(yī)療和非醫(yī)療領(lǐng)域都很有用，如前面討論的智能環(huán)境、游戲、安全等。

BCI技術(shù)進(jìn)步分為四個(gè)階段：初級(jí)科學(xué)發(fā)展、臨床前實(shí)驗(yàn)、臨床研究和商業(yè)化。目前，大多數(shù)腦機(jī)接口技術(shù)都處于臨床前和臨床階段。需要科學(xué)研究人員和技術(shù)產(chǎn)業(yè)的共同努力，才能通過商業(yè)化將這一偉大領(lǐng)域的利益帶給普通人。