Directly wireless communication of human minds via non-invasive brain-computer-metasurface platform

https://arxiv.org/pdf/2205.00280 2022-04-30

1.標(biāo)題：直接無(wú)創(chuàng)腦-計(jì)算機(jī)-超表面平臺(tái)實(shí)現(xiàn)人類思維的無(wú)線通信

2.作者：Qian Ma, Wei Gao, Qiang Xiao, Lingsong Ding, Tianyi Gao, Yajun Zhou, Xinxin Gao, Tao Yan, Che Liu, Ze Gu, Xianghong Kong, Qammer H. Abbasi, Lianlin Li, Cheng-Wei Qiu, Yuanqing Li, Tie Jun Cui

3.所屬單位：Institute of Electromagnetic Space, Southeast University, Nanjing 210096, China

4.關(guān)鍵字：brain-computer interface, non-invasive, electromagnetic metasurface, wireless communication

5.網(wǎng)址：https://arxiv.org/pdf/2205.00280

?

6.總結(jié)：

- (1): 本文的研究背景是探索通過(guò)腦-計(jì)算機(jī)接口實(shí)現(xiàn)人類思維的無(wú)線通信。

- (2): 過(guò)去的方法是通過(guò)收集腦電圖信號(hào)進(jìn)行解碼，但存在需使用侵入性設(shè)備、精度不高等問(wèn)題。本方法的動(dòng)機(jī)是通過(guò)無(wú)創(chuàng)方法實(shí)現(xiàn)高精度的思維控制。

- (3): 本文提出了一種基于電磁腦-計(jì)算機(jī)-超表面的方法，通過(guò)腦信號(hào)的識(shí)別和電磁調(diào)控，實(shí)現(xiàn)無(wú)創(chuàng)的腦-計(jì)算機(jī)通信。

- (4): 本文的方法實(shí)現(xiàn)了無(wú)線的文本傳輸和其他幾個(gè)思維控制任務(wù)，具有高準(zhǔn)確性。實(shí)驗(yàn)結(jié)果支持了目標(biāo)的實(shí)現(xiàn)。

8.結(jié)論：

(1):此作品的意義在于探索并解決通過(guò)無(wú)創(chuàng)方法實(shí)現(xiàn)高精度思維控制的問(wèn)題，為腦-計(jì)算機(jī)接口領(lǐng)域的發(fā)展和人機(jī)交互方式的改進(jìn)提供了新的思路。

(2):創(chuàng)新點(diǎn)：本文的創(chuàng)新點(diǎn)在于提出了一種基于電磁腦-計(jì)算機(jī)-超表面的方法，實(shí)現(xiàn)了對(duì)腦信號(hào)的識(shí)別和調(diào)控，從而實(shí)現(xiàn)了高精度的無(wú)創(chuàng)腦-計(jì)算機(jī)通信。

性能表現(xiàn)：該方法在無(wú)線文本傳輸和其他思維控制任務(wù)方面具有高準(zhǔn)確性，實(shí)驗(yàn)結(jié)果支持了其目標(biāo)的實(shí)現(xiàn)；

T-WaveNet: Tree-Structured Wavelet Neural Network for Sensor-Based Time Series Analysis

https://arxiv.org/pdf/2012.05456 2020-12-10

1.標(biāo)題：T-WaveNet：基于樹(shù)結(jié)構(gòu)小波神經(jīng)網(wǎng)絡(luò)的基于傳感器的時(shí)間序列分析

2.作者：Minhao Liu, Ailing Zeng, Qiuxia Lai, Qiang Xu

3.所屬單位：中國(guó)香港中文大學(xué)

4.關(guān)鍵字：傳感器數(shù)據(jù)分析，深度神經(jīng)網(wǎng)絡(luò)，小波變換，頻譜分

5.網(wǎng)址：https://arxiv.org/pdf/2012.05456

?

6.總結(jié)：

(1): 本文的研究背景是基于傳感器的時(shí)間序列分析在活動(dòng)識(shí)別和腦機(jī)接口等應(yīng)用中的重要性。

(2): 過(guò)去的方法主要是使用手工制作的特征或深度神經(jīng)網(wǎng)絡(luò)提取特征。然而，這些方法主要依賴網(wǎng)絡(luò)來(lái)提取傳感器數(shù)據(jù)中攜帶的應(yīng)用特定信息。本文的方法動(dòng)機(jī)良好，考慮到了通常只有幾個(gè)頻率分量攜帶傳感器數(shù)據(jù)的主要信息。

(3): 本文提出了一種基于樹(shù)結(jié)構(gòu)的小波神經(jīng)網(wǎng)絡(luò)方法，即T-WaveNet。首先，對(duì)傳感器數(shù)據(jù)進(jìn)行功率譜分析，然后將輸入信號(hào)分解成不同的頻率子帶。然后，構(gòu)建一個(gè)樹(shù)狀結(jié)構(gòu)網(wǎng)絡(luò)，樹(shù)上的每個(gè)節(jié)點(diǎn)（對(duì)應(yīng)一個(gè)頻率子帶）使用可逆神經(jīng)網(wǎng)絡(luò)（INN）的小波變換構(gòu)建。通過(guò)這種方式，T-WaveNet為傳感器信息提供了比現(xiàn)有的基于DNN的技術(shù)更有效的表示方法。

(4): 本文的方法在各種傳感器數(shù)據(jù)集上實(shí)現(xiàn)了先進(jìn)的性能，包括UCI-HAR（活動(dòng)識(shí)別）、OPPORTUNITY（手勢(shì)識(shí)別）、BCICIV2a（意圖識(shí)別）和NinaPro DB1（肌肉運(yùn)動(dòng)識(shí)別）。該方法的性能能夠支持他們的目標(biāo)。

7.方法：

(1): 首先，對(duì)傳感器數(shù)據(jù)進(jìn)行功率譜分析，以獲得數(shù)據(jù)的頻域表示。

(2): 將輸入信號(hào)分解成不同的頻率子帶，通過(guò)小波變換和可逆神經(jīng)網(wǎng)絡(luò)（INN）構(gòu)建一個(gè)樹(shù)狀結(jié)構(gòu)網(wǎng)絡(luò)。每個(gè)子帶對(duì)應(yīng)樹(shù)上的一個(gè)節(jié)點(diǎn)。

(3): 在樹(shù)狀結(jié)構(gòu)網(wǎng)絡(luò)中，通過(guò)學(xué)習(xí)節(jié)點(diǎn)之間的連接權(quán)重，對(duì)不同頻率的子帶進(jìn)行信息交互，并且利用小波變換的可逆性質(zhì)，確保在信息傳遞的過(guò)程中不會(huì)丟失信息。

(4): 通過(guò)對(duì)傳感器數(shù)據(jù)進(jìn)行樹(shù)狀結(jié)構(gòu)網(wǎng)絡(luò)的前向傳播，獲得有效的特征表示。這些特征能夠更好地表示傳感器數(shù)據(jù)中的主要信息。

(5): 最后，使用基于樹(shù)結(jié)構(gòu)的小波神經(jīng)網(wǎng)絡(luò)（T-WaveNet）進(jìn)行傳感器數(shù)據(jù)分析，包括活動(dòng)識(shí)別、手勢(shì)識(shí)別、意圖識(shí)別和肌肉運(yùn)動(dòng)識(shí)別等任務(wù)。在各種傳感器數(shù)據(jù)集上驗(yàn)證了其性能。

(6): 實(shí)驗(yàn)證明，T-WaveNet方法相比于傳統(tǒng)方法和基于深度學(xué)習(xí)的方法，在傳感器數(shù)據(jù)的分析中能夠提供更準(zhǔn)確且更有效的結(jié)果。

8.結(jié)論：

(1): 本文的意義在于提出了一種基于樹(shù)結(jié)構(gòu)小波神經(jīng)網(wǎng)絡(luò)的傳感器數(shù)據(jù)分析方法，即T-WaveNet。這種方法能夠有效地提取傳感器數(shù)據(jù)中的主要信息，并在活動(dòng)識(shí)別、手勢(shì)識(shí)別、意圖識(shí)別和肌肉運(yùn)動(dòng)識(shí)別等任務(wù)中取得了先進(jìn)的性能。

(2): 創(chuàng)新點(diǎn)：本文的創(chuàng)新點(diǎn)主要包括將傳感器數(shù)據(jù)進(jìn)行功率譜分析，并利用樹(shù)狀結(jié)構(gòu)和小波變換構(gòu)建了T-WaveNet。這種方法能夠更有效地提取傳感器數(shù)據(jù)中的頻譜信息，以及通過(guò)學(xué)習(xí)節(jié)點(diǎn)之間的連接權(quán)重進(jìn)行信息交互和傳遞。

性能表現(xiàn)：T-WaveNet在多個(gè)傳感器數(shù)據(jù)集上實(shí)現(xiàn)了先進(jìn)的性能，包括UCI-HAR、OPPORTUNITY、BCICIV2a和NinaPro DB1等。實(shí)驗(yàn)證明，相比于傳統(tǒng)方法和基于深度學(xué)習(xí)的方法，T-WaveNet能夠提供更準(zhǔn)確且更有效的結(jié)果。

工作量：本文的工作量主要包括理論構(gòu)建、模型設(shè)計(jì)和實(shí)驗(yàn)驗(yàn)證。通過(guò)頻譜分析、小波變換和樹(shù)狀結(jié)構(gòu)網(wǎng)絡(luò)的構(gòu)建，作者成功地完成了T-WaveNet的設(shè)計(jì)和實(shí)現(xiàn)，并在多個(gè)傳感器數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)測(cè)試。

綜上所述，本文的方法在傳感器數(shù)據(jù)分析領(lǐng)域具有重要的意義，創(chuàng)新性明顯，并取得了優(yōu)異的性能表現(xiàn)。但是，還需要進(jìn)一步研究和探索，以進(jìn)一步提升方法的效果和推廣應(yīng)用。

Real or Virtual? Using Brain Activity Patterns to differentiate Attended Targets during Augmented Reality Scenarios

https://arxiv.org/pdf/2101.05272 2021-01-12

1.標(biāo)題：使用腦電活動(dòng)模式區(qū)分增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的真實(shí)目標(biāo)還是虛擬目標(biāo)

2.作者：Lisa-Marie Vortmann, Leonid Schwenke, and Felix Putze

3.所屬單位：Department of Mathematics and Computer Science, University of Bremen, Bremen, Germany (德國(guó)不來(lái)梅大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)系)

4.關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí)，神經(jīng)網(wǎng)絡(luò)，眼動(dòng)追蹤，分類，注意力，腦電圖

5.網(wǎng)址：https://arxiv.org/pdf/2101.05272

?

6.總結(jié)：

- (1): 本文的研究背景是在增強(qiáng)現(xiàn)實(shí)場(chǎng)景中，識(shí)別用戶關(guān)注的目標(biāo)是真實(shí)的還是虛擬的。

- (2): 過(guò)去的方法通常依賴于眼動(dòng)追蹤來(lái)判斷用戶的注意力目標(biāo)，但該方法存在一些問(wèn)題，比如受到眼動(dòng)追蹤器準(zhǔn)確性的限制以及用戶的眼動(dòng)可能受到其他因素的干擾。因此，本文提出基于腦電圖數(shù)據(jù)的分類方法，以更可靠地判斷用戶關(guān)注的目標(biāo)。

- (3): 本文提出的研究方法是使用淺層卷積神經(jīng)網(wǎng)絡(luò)對(duì)從20名參與者收集的腦電圖數(shù)據(jù)進(jìn)行分類。通過(guò)將3秒的數(shù)據(jù)窗口進(jìn)行分類，可以以超過(guò)70%的平均準(zhǔn)確率將不同試驗(yàn)中的測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)區(qū)分開(kāi)。針對(duì)20名參與者中的6名參與者，可以在超過(guò)隨機(jī)水平的情況下進(jìn)行個(gè)體獨(dú)立的分類。

- (4): 本文的方法可以作為增強(qiáng)現(xiàn)實(shí)應(yīng)用中可靠的腦-計(jì)算機(jī)接口輸入機(jī)制，實(shí)現(xiàn)對(duì)用戶關(guān)注目標(biāo)進(jìn)行判斷。該方法的性能支持其目標(biāo)，但個(gè)體獨(dú)立分類方面的準(zhǔn)確率還有進(jìn)一步提高的空間。

7. 方法：

(1):本文采用的方法是記錄20名具有正常或矯正到正常視力的參與者的數(shù)據(jù)。實(shí)驗(yàn)過(guò)程中，參與者通過(guò)佩戴眼動(dòng)追蹤設(shè)備和腦電圖頭環(huán)來(lái)進(jìn)行任務(wù)。在實(shí)驗(yàn)開(kāi)始前，所有參與者接受了實(shí)驗(yàn)的介紹并簽署了書(shū)面同意。實(shí)驗(yàn)共包括20個(gè)試驗(yàn)塊，每個(gè)試驗(yàn)塊包含4個(gè)試驗(yàn)。每個(gè)試驗(yàn)有兩種條件：真實(shí)條件和虛擬條件。實(shí)驗(yàn)過(guò)程中，記錄眼動(dòng)追蹤數(shù)據(jù)、腦電圖數(shù)據(jù)和任務(wù)數(shù)據(jù)。

(2): 眼動(dòng)追蹤數(shù)據(jù)和腦電圖數(shù)據(jù)的收集使用了相應(yīng)的設(shè)備和軟件。眼動(dòng)追蹤數(shù)據(jù)的收集利用了佩戴在HoloLens上的PupilLabs雙目眼動(dòng)追蹤器，可以記錄參與者的注視位置和瞳孔直徑。腦電圖數(shù)據(jù)的收集使用了g.tec公司的g.Nautilus EEG頭環(huán)，通過(guò)16個(gè)電極記錄腦電活動(dòng)。數(shù)據(jù)收集過(guò)程中，控制了護(hù)眼和腦電圖的質(zhì)量以確保數(shù)據(jù)的準(zhǔn)確性。

(3): 對(duì)于腦電圖數(shù)據(jù)的預(yù)處理，使用了MNE工具進(jìn)行信號(hào)的濾波、通道處理和參考選擇。腦電圖數(shù)據(jù)被分割成3秒的Windows，并進(jìn)行了濾波處理，去除了50Hz的電源噪聲。處理后的腦電圖數(shù)據(jù)被用作淺層卷積神經(jīng)網(wǎng)絡(luò)的輸入。網(wǎng)絡(luò)的訓(xùn)練參數(shù)和結(jié)構(gòu)遵循了Filter Bank Common Spatial Pattern（FBCSP）特征提取方法。神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)150個(gè)epochs的訓(xùn)練。

(4): 對(duì)于數(shù)據(jù)的分類，本文采用了不同的訓(xùn)練和測(cè)試數(shù)據(jù)的分割方法。其中包括忽略試驗(yàn)的分割方法、試驗(yàn)相關(guān)的分割方法和BCI應(yīng)用的分割方法。在實(shí)際應(yīng)用中，將考慮試驗(yàn)的時(shí)間順序，并將模型訓(xùn)練在前一部分試驗(yàn)中，測(cè)試在后一部分試驗(yàn)中。分類準(zhǔn)確率的計(jì)算使用了測(cè)量模型在預(yù)測(cè)任務(wù)中的性能指標(biāo)。

(5): 最后，通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析，本文探討了腦電圖數(shù)據(jù)在增強(qiáng)現(xiàn)實(shí)場(chǎng)景中識(shí)別用戶關(guān)注目標(biāo)的可行性和有效性。同時(shí)也比較了眼動(dòng)追蹤數(shù)據(jù)和腦電圖數(shù)據(jù)在目標(biāo)識(shí)別中的性能表現(xiàn)。

8.結(jié)論：

(1): 這部作品的意義在于探索使用腦電圖數(shù)據(jù)進(jìn)行增強(qiáng)現(xiàn)實(shí)場(chǎng)景中用戶關(guān)注目標(biāo)的識(shí)別，并提供了一種可靠的腦-計(jì)算機(jī)接口輸入機(jī)制。

(2): 創(chuàng)新點(diǎn)：該研究提出了基于腦電圖數(shù)據(jù)的分類方法，相比傳統(tǒng)的眼動(dòng)追蹤方法，減少了受到眼動(dòng)儀準(zhǔn)確性和干擾因素的限制，提供了一種更可靠的目標(biāo)識(shí)別方法。

性能表現(xiàn)：通過(guò)使用淺層卷積神經(jīng)網(wǎng)絡(luò)對(duì)腦電圖數(shù)據(jù)進(jìn)行分類，該方法在將測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)區(qū)分開(kāi)的任務(wù)中達(dá)到了超過(guò)70%的平均準(zhǔn)確率，并在個(gè)體獨(dú)立分類中取得了超過(guò)隨機(jī)水平的成績(jī)。

工作量：本研究涉及記錄20名參與者的腦電圖數(shù)據(jù)和眼動(dòng)追蹤數(shù)據(jù)，進(jìn)行數(shù)據(jù)預(yù)處理和模型訓(xùn)練。使用了眼動(dòng)追蹤設(shè)備和腦電圖頭環(huán)等專業(yè)設(shè)備進(jìn)行數(shù)據(jù)采集。

參考文獻(xiàn)

[1]Ma, Qian et al. “Directly wireless communication of human minds via non-invasive brain-computer-metasurface platform.”eLight2 (2022): n. pag.

[2]Liu, Minhao et al. “T-WaveNet: Tree-Structured Wavelet Neural Network for Sensor-Based Time Series Analysis.”ArXivabs/2012.05456 (2020): n. pag.

[3]Vortmann, Lisa-Marie et al. “Real or Virtual? Using Brain Activity Patterns to differentiate Attended Targets during Augmented Reality Scenarios.”ArXivabs/2101.05272 (2021): n. pag.

?創(chuàng)作聲明：包含 AI 輔助創(chuàng)作