1.前言?

無人機（Unmanned Aerial Vehicle, UAV）在日常生活中具有監(jiān)視、運輸和攝影等許多領域的多種用途，極大地便利和豐富了人們的生活。當前大多數(shù)無人機使用遙控器操作，這對肢體損傷或殘缺的使用者非常不友好，史蒂芬霍金說過：“殘疾不該是一個人成功路上的障礙”[1]。使用意念隨心所欲的控制機器人是科學家們長久以來的夢想。腦機接口技術（Brain Computer Interference，BCI）可以采集使用者的運動意圖作為機器人的控制信號，能夠真正實現(xiàn)無人機的智能化控制，并且能夠為肢體損傷患者提供一條新的控制途徑。當前BCI技術已經(jīng)在虛擬鍵盤、電動輪椅和服務機器人等方面有了初步的應用[2]。

2.BCI系統(tǒng)的介紹

表面腦電信號（Electroencephalogram, EEG）由于其無創(chuàng)性以及采集方便，當前大多數(shù)BCI系統(tǒng)均基于EEG信號?；贓EG的BCI系統(tǒng)主要分為EEG信號采集、EEG信號的預處理、EEG信號的特征提取和訓練分類器幾個步驟，使用人工智能的方法從EEG信號中提取人的意圖作為機器人的控制信號。

通常使用有監(jiān)督的分類策略，將人做運動或者運動想象時的腦電信號采集，所做動作作為標簽（Label），使用人工智能方法訓練分類器，可以實時的從使用者的EEG信號中提取運動意圖控制機器人。

3.腦電信號的采集與分析

EEG信號由大腦皮層神經(jīng)元的電活動產(chǎn)生，是一種微幅級別的神經(jīng)電信號，可以通過腦電帽無創(chuàng)采集（分為干電極、濕電極兩種型號，濕電極信號效果好，但是需要打?qū)щ姼啵?。對于腦電的標準電極放置位置的介紹如圖1所示。

實際分析中根據(jù)所需要的功能選擇腦電通道（比如C3、C4與人體運動功能相關，對于運動的分析我們通常只需分析C3、C4通道），對于EEG信號，由于其幅值小、干擾大，所以必須對提取的EEG信號進行預處理。?

提取的EEG信號首先要進行50Hz陷波濾波，去除由工頻干擾引起的高頻噪聲；接下來去除眼電（眨眼引起的電信號）引起的噪聲和偽影；之后，使用0.5 -30Hz濾波器來進行濾波，通常大部分的EEG信息處于此頻帶。如果信號的振幅高于50-70μV。它們通常被視為肌肉噪聲、眼球運動、眼球鏈接和心跳等低頻噪聲產(chǎn)生的偽影[3]，預處理過后的EEG信號可以用于提取運動意圖作為機器人的控制信號。

4.BCI技術用于機器人控制

為了實現(xiàn)BCI系統(tǒng)，特征提取和分類是兩個不可或缺的部分。預處理過后的腦電進行特征提取，提取后的特征送入神經(jīng)網(wǎng)絡進行分類。對于EEG等生理信號，最常提取的特征為時域特征(均方根值、過零點數(shù)、眾數(shù)等)，此外，頻域特征也被廣泛用于生理信號的分析。

特征提取采用滑動時間窗，為了滿足在線分類的實時性需求，窗長通常不小于0.1 s。從滑動時間窗提取EEG信號進行特征提取，將提取的特征送入分類器進行分類。分類器通常使用傳統(tǒng)機器學習算法(支持向量機、線性判別分析)或者神經(jīng)網(wǎng)絡(多層感知器、卷積神經(jīng)網(wǎng)絡)。

整體的控制系統(tǒng)如圖2所示，首先進行數(shù)據(jù)采集實驗采集受試者EEG信號，接下來離線訓練分類器，在線分類（實際使用）過程中，將實時提取的EEG特征送入之前離線訓練好的分類器，從而獲得運動意圖作為機器人的控制信號。

5.無人機的BCI控制策略?

對于UAV的控制，整體使用BCI控制系統(tǒng)框架（數(shù)據(jù)采集、數(shù)據(jù)預處理、特征提取、分類），但是目前有幾種不同的控制策略，分別為面部運動控制策略、運動想象控制策略和穩(wěn)態(tài)視覺誘發(fā)電位控制策略。

三種策略的不同之處在于數(shù)據(jù)采集過程中的實驗設定。對于面部運動控制策略，EEG信號采集過程中，受試者面部做一些表情；對于運動想象控制策略，受試者只是大腦中在想象做運動（實際并沒有做）；對于穩(wěn)態(tài)視覺誘發(fā)電位控制策略，信號采集過程中，給予受試者不同頻率的視覺刺激。

對于不同的實驗內(nèi)容，大腦激活的區(qū)域也不相同（比如對于面部運動和運動想象，激活的是大腦皮層運動功能區(qū)；對于穩(wěn)態(tài)視覺誘發(fā)電位控制策略，激活的是大腦皮層視覺功能區(qū)），后續(xù)的分析需要從激活區(qū)域處的電極提取EEG信號，接下來我們將對三種策略進行簡單介紹。

5.1 面部運動控制策略

面部運動控制策略使用機器學習或深度學習的方法將面部表情和頭部運動與無人機的運動相匹配，將分類器的輸出轉(zhuǎn)換為控制指令。簡言之，就是人使用面部的運動來控制無人機的運動。比如：揚起眉毛（起飛）、用力眨眼（著陸）、向右看（向右移動）[4]。數(shù)據(jù)采集過程中，受試者分別做不同的動作并采集EEG信號用于訓練分類器。

在做面部運動時，大腦皮層運動功能區(qū)激活，此時我們主要分析運動功能區(qū)處電極采集到的EEG信號（中央?yún)^(qū)C3、C4）。（注：根據(jù)設備電極數(shù)目的不同，不同設備對于同一功能區(qū)選擇的電極通道數(shù)目也不相同。比如Neuroscan Electrode Cap設備，采集的是運動功能區(qū)C3、C4、CP3、CP4、FC3和FC4通道。）

5.2 運動想象控制策略

對于運動想象控制策略，使用者在大腦中通過想象來控制UAV的運動。數(shù)據(jù)采集實驗中，屏幕出現(xiàn)隨機圖像（圖像含有向左轉(zhuǎn)、向右轉(zhuǎn)、懸停等信息提示），受試者根據(jù)圖像提示進行想象，完成數(shù)據(jù)采集。運動想象過程中，大腦皮層運動功能區(qū)激活（中央?yún)^(qū)C3、C4通道），我們主要分析中央?yún)^(qū)部位電極采集到的EEG信號。實際控制中，可以想象向左運動，UAV向左轉(zhuǎn)，想象向右運動，UAV向右轉(zhuǎn)，不做想象時UAV空轉(zhuǎn)向前飛[5]。

5.3 穩(wěn)態(tài)視覺誘發(fā)電位控制策略

穩(wěn)態(tài)視覺誘發(fā)電位具有高信噪比和魯棒性的優(yōu)點，被廣泛用于BCI系統(tǒng)。通常使用閃爍頻率不同的圖像給予受試者視覺刺激，從枕葉后極的視覺皮層（通道O1和O2）提取大腦活動，（比如使用快速傅里葉變換提取頻域的特征，用于獲得受試者的運動意圖）實現(xiàn)UAV的運動控制[1]。
比如，當受試者看向左邊的圖像，UAV向左轉(zhuǎn)，當受試者看向上方的圖像，UAV起飛。不同方位的圖像閃爍頻率不同，如圖3所示。同時UAV將實時視頻發(fā)送到LCD顯示器。根據(jù)實時反饋，受試者執(zhí)行指定的任務以完成無人機連續(xù)飛行[6]。

6.總結(jié)與展望

當前從EEG信號中提取運動意圖控制UAV的方法局限性還是比較大，本質(zhì)原因在于無創(chuàng)EEG信號比較微弱，外界干擾很難完全消除，極大的限制了BCI系統(tǒng)的應用，相信隨著科學家們的不斷努力，使用意念隨心所欲控制UAV的理想一定會實現(xiàn)。

參考文獻

[1] A. Chiuzbaian et al., “Mind Controlled Drone: An Innovative Multiclass SSVEP based Brain Computer Interface,” 7th International Winter Conference on Brain-Computer Interface, 2019, pp. 1-5.

[2] A. Nourmohammadi et al., “A Survey on Unmanned Aerial Vehicle Remote Control Using Brain–Computer Interface,” in IEEE Transactions on Human-Machine Systems, vol. 48, no. 4, pp. 337-348, Aug. 2018.

[3] 李穎潔, 腦電信號分析方法及其應用[M], 科學出版社, 2009.

[4] A. E. Itsueli et al., “Drone Control Using Electroencephalogram (EEG) Signals,” SoutheastCon Conference, 2022, pp. 87-88, doi: 10.1109/SoutheastCon48659.2022.9764002.

[5] Y. An et al., “UAV control in 2D space based on brain computer interface,” 2017 4th International Conference on Systems and Informatics (ICSAI), 2017, pp. 594-598.

[6] M. Chung et al., “The Human-Unmanned Aerial Vehicle System Based on SSVEP-Brain Computer Interface,” Electronics, vol.10, p.3025, Jan.2022, doi: 10.3390/electronics10233025.

本文共2368字

由西湖大學智能無人系統(tǒng)實驗室博士生李鄭振原創(chuàng)

申請文章授權請聯(lián)系后臺相關運營人員

▌微信公眾號：空中機器人前沿

▌知乎：空中機器人前沿（本文鏈接：https://zhuanlan.zhihu.com/p/565138637）

▌Youtube：Aerial robotics @ Westlake University

▌實驗室網(wǎng)站：https://shiyuzhao.westlake.edu.cn??