Beyond Geometry: Comparing the Temporal Structure of Computation in Neural Circuits with Dynamical Similarity Analysis

https://arxiv.org/pdf/2306.10168

1.標(biāo)題：超越幾何：使用動態(tài)相似性分析比較神經(jīng)回路中計(jì)算的時間結(jié)構(gòu)

2.作者：Mitchell Ostrow, Adam Eisen, Leo Kozachkov, Ila Fiete

3.所屬單位：Department of Brain and Cognitive Sciences, MIT (麻省理工學(xué)院大腦與認(rèn)知科學(xué)系)

4.關(guān)鍵字：neural circuits, temporal structure, computation, dynamical similarity analysis

5.網(wǎng)址：https://arxiv.org/pdf/2306.10168

?

6.總結(jié)：

(1) 本文研究的背景是如何確定兩個神經(jīng)網(wǎng)絡(luò)是否在進(jìn)行某個特定計(jì)算時利用相同的內(nèi)部過程。這個問題涉及到神經(jīng)科學(xué)和機(jī)器學(xué)習(xí)的多個子領(lǐng)域，包括神經(jīng)人工智能、機(jī)械解釋性和腦機(jī)接口。

(2) 過去的方法主要集中在比較神經(jīng)網(wǎng)絡(luò)隱藏狀態(tài)的空間幾何結(jié)構(gòu)。然而，在循環(huán)網(wǎng)絡(luò)中，計(jì)算是在神經(jīng)動態(tài)的層面上實(shí)現(xiàn)的，并且神經(jīng)動態(tài)與幾何沒有簡單的一對一映射關(guān)系。因此，本文提出了一種新的相似性度量方法，可以在動態(tài)的層面上比較兩個系統(tǒng)。該方法結(jié)合了數(shù)據(jù)驅(qū)動的動態(tài)系統(tǒng)理論的最新進(jìn)展，通過學(xué)習(xí)一個能準(zhǔn)確捕捉原始非線性動態(tài)核心特征的高維線性系統(tǒng)，然后通過Procrustes分析的擴(kuò)展來比較這些線性近似。該方法的動機(jī)是彌合動態(tài)和幾何之間的差距。

(3) 本文提出的研究方法主要包括兩個組成部分：首先，使用數(shù)據(jù)驅(qū)動的動態(tài)系統(tǒng)理論的最新進(jìn)展，學(xué)習(xí)一個能準(zhǔn)確捕捉原始非線性動態(tài)核心特征的高維線性系統(tǒng)；然后，通過Procrustes分析的擴(kuò)展來比較這些線性近似，考慮了向量場在正交變換下的變化。

(4) 通過四個案例研究，本文展示了我們的方法有效地識別和區(qū)分循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）中的動態(tài)結(jié)構(gòu)，而幾何方法則不足以做到這一點(diǎn)。此外，我們還展示了我們的方法可以在無監(jiān)督的情況下區(qū)分學(xué)習(xí)規(guī)則。因此，我們的方法為對神經(jīng)計(jì)算的時間結(jié)構(gòu)進(jìn)行新穎的數(shù)據(jù)驅(qū)動分析，并更嚴(yán)格地測試RNNs作為大腦模型打開了大門。

7.方法：

(1): 該研究使用數(shù)據(jù)驅(qū)動的動態(tài)系統(tǒng)理論的最新進(jìn)展，通過學(xué)習(xí)一個能準(zhǔn)確捕捉原始非線性動態(tài)核心特征的高維線性系統(tǒng)。這里采用了動態(tài)模式分解 (Dynamic Mode Decomposition, DMD) 方法。通過將非線性動力學(xué)系統(tǒng)嵌入無限維希爾伯特空間中的Koopman算子來線性化非線性系統(tǒng)。

(2): 在DMD的基礎(chǔ)上，使用延遲嵌入技術(shù)來處理數(shù)據(jù)，將數(shù)據(jù)延遲成Hankel矩陣的形式，以更好地捕捉系統(tǒng)的動態(tài)結(jié)構(gòu)。

(3): 在得到延遲嵌入的Hankel矩陣后，使用基于降秩回歸模型的擬合方法，將數(shù)據(jù)投影到降秩空間中，并根據(jù)模型的預(yù)測能力進(jìn)行模型選擇。同時，為了比較兩個神經(jīng)系統(tǒng)的動態(tài)結(jié)構(gòu)，使用改進(jìn)的Procrustes分析算法比較DMD矩陣。

(4): 在比較神經(jīng)系統(tǒng)的動態(tài)結(jié)構(gòu)時，根據(jù)DMD矩陣的變化情況，引入了一種新的相似性度量方法，稱為Dynamical Similarity Analysis (DSA)，該方法通過比較兩個神經(jīng)系統(tǒng)的動態(tài)模態(tài)矩陣來評估它們之間的相似性。

(5): 為了驗(yàn)證方法的有效性，作者在四個案例研究中應(yīng)用了該方法，并與傳統(tǒng)的幾何結(jié)構(gòu)分析方法進(jìn)行了比較。通過這些案例研究，展示了該方法可以有效地識別和區(qū)分神經(jīng)網(wǎng)絡(luò)中的動態(tài)結(jié)構(gòu)，并且在無監(jiān)督的情況下可以區(qū)分學(xué)習(xí)規(guī)則。

(6): 在實(shí)驗(yàn)中，根據(jù)具體需求選擇了合適的DMD參數(shù)，如延遲、降秩等，并使用改進(jìn)的Procrustes分析算法進(jìn)行神經(jīng)網(wǎng)絡(luò)的動態(tài)結(jié)構(gòu)比較。

以上是本文的方法論思想，通過將動態(tài)系統(tǒng)嵌入高維線性系統(tǒng)，使用DMD進(jìn)行動態(tài)模態(tài)矩陣的計(jì)算，延遲嵌入和降秩回歸模型的應(yīng)用，以及改進(jìn)的Procrustes分析方法的使用，實(shí)現(xiàn)了對神經(jīng)網(wǎng)絡(luò)的動態(tài)結(jié)構(gòu)進(jìn)行比較和評估。

8.結(jié)論：

(1):這篇文章的意義在于提出了一種新的相似性度量方法——動態(tài)相似性分析（Dynamical Similarity Analysis，DSA），用于比較神經(jīng)網(wǎng)絡(luò)中計(jì)算的時間結(jié)構(gòu)。該方法有效地彌補(bǔ)了動態(tài)和幾何之間的差距，為研究神經(jīng)計(jì)算的時間結(jié)構(gòu)提供了新的數(shù)據(jù)驅(qū)動分析方法。

(2):創(chuàng)新點(diǎn)：本文的創(chuàng)新之處在于將動態(tài)系統(tǒng)嵌入高維線性系統(tǒng)，使用數(shù)據(jù)驅(qū)動的動態(tài)系統(tǒng)理論以及延遲嵌入和降秩回歸模型等方法，實(shí)現(xiàn)了對神經(jīng)網(wǎng)絡(luò)動態(tài)結(jié)構(gòu)的比較和評估。這一方法的創(chuàng)新性體現(xiàn)在將非線性動力學(xué)系統(tǒng)線性化，并通過DMD矩陣計(jì)算和DSA相似性度量。

性能表現(xiàn)：通過四個案例研究，本文展示了該方法在識別和區(qū)分循環(huán)神經(jīng)網(wǎng)絡(luò)中的動態(tài)結(jié)構(gòu)方面的有效性，相較于傳統(tǒng)的幾何方法具有優(yōu)勢。

工作量：本文提出的方法在計(jì)算上相對復(fù)雜，需要對DMD參數(shù)進(jìn)行選擇，并進(jìn)行改進(jìn)的Procrustes分析算法，所需的工作量相對較大。

Source Free Domain Adaptation of a DNN for SSVEP-based Brain-Computer Interfaces

https://arxiv.org/pdf/2305.17403

1.標(biāo)題：Source Free Domain Adaptation of a DNN for SSVEP-based Brain-Computer Interfaces（基于深度神經(jīng)網(wǎng)絡(luò)的SSVEP大腦-電腦界面的無源域適應(yīng)）

2.作者：Osman Berke Guney, Deniz Kucukahmetler, Huseyin Ozkan

3.所屬單位：Sabanci University（薩班齊大學(xué)）

4.關(guān)鍵字：Steady-state visually evoked potential, brain-computer interfaces, deep learning, domain adaptation, speller（穩(wěn)態(tài)視覺誘發(fā)電位，大腦-電腦界面，深度學(xué)習(xí)，域適應(yīng)，拼寫器）

5.網(wǎng)址：https://arxiv.org/pdf/2305.17403?；Github: None

?

6.總結(jié)：

- (1): 這篇論文的研究背景是怎樣在SSVEP大腦-電腦界面中實(shí)現(xiàn)無源域適應(yīng)，以減少新用戶的不適感。

- (2): 過去的方法需要進(jìn)行長時間的校準(zhǔn)期，給新用戶帶來不適感，該方法的動機(jī)是消除用戶的不適感并提高目標(biāo)識別性能。

- (3): 本文提出了一種方法，通過最小化自適應(yīng)損失函數(shù)來適應(yīng)深度神經(jīng)網(wǎng)絡(luò)，該函數(shù)由自適應(yīng)和本地一致性損失項(xiàng)組成。

- (4): 該方法在基準(zhǔn)數(shù)據(jù)集和BETA數(shù)據(jù)集上取得了201.15 bits/min和145.02 bits/min的ITR，優(yōu)于現(xiàn)有的技術(shù)。該方法緩解了用戶的不適感，并具有出色的識別性能，有潛力在日常生活中廣泛應(yīng)用于SSVEP大腦-電腦界面系統(tǒng)。

7. 方法：

(1): 提出了一種用于 SSVEP 大腦-電腦界面無源域適應(yīng)的新的損失函數(shù)。

(2): 該方法通過最小化自適應(yīng)損失函數(shù)進(jìn)行模型適應(yīng)，并使用期望最大化（EM）框架采集新用戶的無標(biāo)簽數(shù)據(jù)。

(3): 提出的損失函數(shù)主要由兩個部分組成，即自適應(yīng)損失（Lsl）和局部正則化損失（Lll）。

(4): 自適應(yīng)損失利用標(biāo)簽信息最小化交叉熵?fù)p失函數(shù)，而局部正則化損失利用數(shù)據(jù)結(jié)構(gòu)來約束模型輸出。

(5): 通過權(quán)衡自適應(yīng)損失和局部正則化損失以及 L2 正則化項(xiàng)，使用權(quán)重進(jìn)行組合，構(gòu)建了總體損失函數(shù)（Ltotal）。

(6): 通過對不同權(quán)重值進(jìn)行實(shí)驗(yàn)，選擇最優(yōu)的權(quán)重值 λ，并使用聚類度量方法（Silhouette）來選擇最佳模型參數(shù)。

(7): 提出了一個迭代的訓(xùn)練算法，在每次迭代中，更新網(wǎng)絡(luò)參數(shù)并計(jì)算聚類評分來判斷是否收斂。

(8): 使用提出的方法在基準(zhǔn)數(shù)據(jù)集和 BETA 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，評估了模型的性能。

8.結(jié)論：

(1):本文的意義在于提出了一種無源域適應(yīng)的方法，用于SSVEP大腦-電腦界面系統(tǒng)，旨在減少新用戶的不適感，并提高目標(biāo)識別性能。

(2):創(chuàng)新點(diǎn)：本文首次提出了一種利用最小化損失函數(shù)進(jìn)行模型適應(yīng)的方法，通過自適應(yīng)損失和局部正則化損失來提高SSVEP大腦-電腦界面系統(tǒng)的性能。

性能表現(xiàn)：該方法在基準(zhǔn)數(shù)據(jù)集和BETA數(shù)據(jù)集上得到了較高的信息傳輸率（ITR），分別為201.15 bits/min和145.02 bits/min，優(yōu)于現(xiàn)有方法。

工作量：提出的方法需要進(jìn)行模型訓(xùn)練和參數(shù)優(yōu)化，需要使用EM框架采集無標(biāo)簽數(shù)據(jù)。但方法的詳細(xì)實(shí)現(xiàn)和工作量未在文章中詳細(xì)提及。

Information Transfer Rate in BCIs: Towards Tightly Integrated Symbiosis

https://arxiv.org/pdf/2301.00488

1.標(biāo)題：Information Transfer Rate in BCIs: Towards Tightly Integrated Symbiosis (腦機(jī)接口中的信息傳輸速率：朝向緊密集成的共生)

2.作者：Suayb S. Arslan and Pawan Sinha

3.所屬單位：麻省理工學(xué)院認(rèn)知科學(xué)與大腦科學(xué)系 (Department of Brain and Cognitive Sciences, Massachusetts Institute of Technology)

4.關(guān)鍵詞：information transfer rate, SSVEP, BCI, target identification, channel capacity

5.網(wǎng)址：https://arxiv.org/pdf/2301.00488

?

6.總結(jié)：

(1): 本文的研究背景是對腦機(jī)接口中的信息傳輸速率進(jìn)行細(xì)致的研究和定義，以便更貼切地評估和比較不同BCI社區(qū)中的目標(biāo)識別算法。

(2): 過去的方法常常假設(shè)輸入分布均勻，通道模型簡化為無記憶、穩(wěn)定和對稱性質(zhì)，并使用離散字母表尺寸。然而，這些方法在刻畫性能和對未來BCI設(shè)計(jì)的啟發(fā)方面存在不足。本文旨在重新定義信息傳輸速率，將腦和計(jì)算機(jī)系統(tǒng)之間的緊密共生聯(lián)系考慮進(jìn)去。

(3): 本文將視覺通路作為離散無記憶通道，使用修改后的容量表達(dá)式重新定義信息傳輸速率。同時，該文利用有向圖的結(jié)果來描述轉(zhuǎn)換統(tǒng)計(jì)的不對稱性與信息傳輸速率增益之間的關(guān)系，從而在數(shù)據(jù)傳輸性能上確定潛在的上下界。另外，本文還提出了一種用于找到二元分類容量的算法，并通過集合技術(shù)將其擴(kuò)展到多類情況。

(4): 本文在兩個已知的SSVEP數(shù)據(jù)集上比較了兩種切割邊緣的目標(biāo)識別方法。結(jié)果表明，由于通道不對稱性的影響，產(chǎn)生的DM通道影響了實(shí)際感知的信息傳輸速率，而輸入分布的改變相對較小。此外，實(shí)驗(yàn)證明，新定義下的信息傳輸速率增益與通道轉(zhuǎn)換統(tǒng)計(jì)不對稱性呈負(fù)相關(guān)關(guān)系。個體輸入自定義進(jìn)一步顯示出了感知信息傳輸速率性能的改進(jìn)。最后，作者還給出了一種用于計(jì)算二元分類容量的算法，并討論了如何通過集成技術(shù)將其擴(kuò)展到多類情況中。通過本文的研究，有望對高動態(tài)BCI通道容量、性能閾值和改進(jìn)BCI刺激設(shè)計(jì)進(jìn)行更深入的表征，從而實(shí)現(xiàn)人腦和計(jì)算機(jī)系統(tǒng)之間更緊密的共生，同時確保底層通信資源的高效利用。

7.方法：

(1): 本文采用了一個離散的腦機(jī)接口（BCI）通信系統(tǒng)模型，其中輸入為一組包含M個符號的集合X = {x1, . . . , xM}。

(2): 本文重新定義了信息傳輸速率（ITR），考慮了腦和計(jì)算機(jī)系統(tǒng)之間的緊密共生聯(lián)系。其中，ITR的計(jì)算公式基于離散無記憶通道的容量表達(dá)式。通道轉(zhuǎn)換矩陣P被用來描述通道的轉(zhuǎn)換統(tǒng)計(jì)。

(3): 本文通過引入有向圖的概念，描述了轉(zhuǎn)換統(tǒng)計(jì)的不對稱性與信息傳輸速率增益之間的關(guān)系，并確定了數(shù)據(jù)傳輸性能的上下界。此外，本文還提出了一種用于計(jì)算二元分類容量的算法，并通過集合技術(shù)將其擴(kuò)展到多類情況。

(4): 在實(shí)驗(yàn)中，作者使用兩個已知的SSVEP數(shù)據(jù)集對兩種切割邊緣的目標(biāo)識別方法進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明通道的不對稱性會影響實(shí)際感知的信息傳輸速率，而輸入分布的改變相對較小。此外，作者還發(fā)現(xiàn)，新定義的ITR增益與通道轉(zhuǎn)換統(tǒng)計(jì)的不對稱性呈負(fù)相關(guān)關(guān)系。

(5): 本文的方法還包括了算法的數(shù)值計(jì)算，通過迭代計(jì)算容量和優(yōu)化輸入分布來估計(jì)信息傳輸速率。

通過這些方法的研究，本文有望更準(zhǔn)確地評估和比較不同BCI社區(qū)中的目標(biāo)識別算法，實(shí)現(xiàn)人腦和計(jì)算機(jī)系統(tǒng)之間更緊密的共生，并有效利用底層通信資源。

8.結(jié)論：

(1): 這部作品的意義在于重新定義了腦機(jī)接口中的信息傳輸速率，考慮了腦和計(jì)算機(jī)系統(tǒng)之間的緊密共生聯(lián)系。通過新的ITR定義，可以更準(zhǔn)確地評估和比較不同BCI社區(qū)中的目標(biāo)識別算法，實(shí)現(xiàn)人腦和計(jì)算機(jī)系統(tǒng)之間更緊密的共生，并有效利用底層通信資源。

(2): 創(chuàng)新點(diǎn)：本文采用了一種離散無記憶通道的ITR定義方法，考慮了通道轉(zhuǎn)換統(tǒng)計(jì)的不對稱性，以及轉(zhuǎn)換統(tǒng)計(jì)與信息傳輸速率增益的關(guān)系。這一方法較以往的方法更貼切地刻畫了性能和未來設(shè)計(jì)的啟示，為研究提供了新的視角。

性能表現(xiàn)：作者在兩個SSVEP數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，結(jié)果顯示通道不對稱性對信息傳輸速率有影響，而輸入分布改變的影響相對較小。此外，作者還提出了計(jì)算二元分類容量的算法，并通過集成技術(shù)將其擴(kuò)展到多類情況，進(jìn)一步改進(jìn)了傳輸性能。

工作量：本文通過數(shù)值計(jì)算的方式對算法進(jìn)行估計(jì)和優(yōu)化，同時使用了兩個已知的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證，工作量相對較大。通過這些工作，本文為進(jìn)一步研究高動態(tài)BCI通道容量、優(yōu)化性能和改進(jìn)刺激設(shè)計(jì)提供了一個堅(jiān)實(shí)的基礎(chǔ)。

參考文獻(xiàn)

[1]Ostrow, Mitchell et al. “Beyond Geometry: Comparing the Temporal Structure of Computation in Neural Circuits with Dynamical Similarity Analysis.”ArXivabs/2306.10168 (2023): n. pag.

[2]Güney, Osman Berke et al. “Source Free Domain Adaptation of a DNN for SSVEP-based Brain-Computer Interfaces.”ArXivabs/2305.17403 (2023): n. pag.

[3]Arslan, Suayb S. and Pawan Sinha. “Information Transfer Rate in BCIs: Towards Tightly Integrated Symbiosis.”ArXivabs/2301.00488 (2023): n. pag.

?創(chuàng)作聲明：包含 AI 輔助創(chuàng)作?