Hopfield網(wǎng)絡(luò)本質(zhì)上時(shí)間維度上的前饋神經(jīng)網(wǎng)絡(luò)，并且每層的權(quán)重相同。

X(t+1) = F(X(t), W), t∈N,? F為任意函數(shù)

事實(shí)上普通的向前傳遞的神經(jīng)網(wǎng)絡(luò)都可以看作是時(shí)間維度上的是神經(jīng)網(wǎng)絡(luò)，比如Transformer等等。

反過(guò)來(lái)他們也可以去掉時(shí)間維度被表示為像Hopfield網(wǎng)絡(luò)這樣只關(guān)注空間維度上的動(dòng)力系統(tǒng)網(wǎng)絡(luò)。

X(t+1) = F(X(t), W(t)), t∈N,? 其中F為相乘、求和和激活函數(shù)等操作，以下簡(jiǎn)稱(chēng)為神經(jīng)網(wǎng)絡(luò)基本操作

而神經(jīng)網(wǎng)絡(luò)常微分方程就是一個(gè)動(dòng)力系統(tǒng)網(wǎng)絡(luò)在連續(xù)時(shí)間上演變的過(guò)程。同時(shí)也可以看作一個(gè)在時(shí)間維度上“不普通”的神經(jīng)網(wǎng)絡(luò)，之所以說(shuō)它不普通，是因?yàn)檫@個(gè)神經(jīng)網(wǎng)絡(luò)的層數(shù)，也就是t，是連續(xù)的，它可以擁有第1.25層。

dX/dt = F(X(t), W), t∈R,? F為神經(jīng)網(wǎng)絡(luò)基本操作

注意，我們常見(jiàn)的神經(jīng)網(wǎng)絡(luò)之所以可以看作動(dòng)力系統(tǒng)本質(zhì)上就是把每一層看作一個(gè)離散的時(shí)間。同理以上所有公式中的t都可以看作神經(jīng)網(wǎng)絡(luò)的第t層。

人腦在空間上為一個(gè)動(dòng)力系統(tǒng)網(wǎng)絡(luò)，那么它可以表達(dá)為時(shí)間維度上“不普通”的神經(jīng)網(wǎng)絡(luò)：

dX/dt = F(X(t), W(t)), t∈R,? F為神經(jīng)網(wǎng)絡(luò)基本操作

只不過(guò)W即權(quán)重隨t的改變非常緩慢，涉及到神經(jīng)細(xì)胞之間突觸連接的改變。

當(dāng)然對(duì)于人腦，我們也可以用微分方程的形式描述它：

dX/dt = F(X(t), W(t))

dW/dt = G(X(t), W(t), t)

t只能取自然數(shù)，這里Xt就是t時(shí)刻每個(gè)神經(jīng)元的狀態(tài)構(gòu)成的向量，Wt就是t時(shí)刻各個(gè)神經(jīng)元之間突觸相互連接的權(quán)重狀態(tài)構(gòu)成的向量。

F為神經(jīng)網(wǎng)絡(luò)基本操作，G為內(nèi)積等操作（比如大腦中t時(shí)刻兩個(gè)物理意義上神經(jīng)元xt1和xt2同時(shí)被點(diǎn)亮?xí)r兩者作內(nèi)積，根據(jù)內(nèi)積大小來(lái)來(lái)改變?cè)瓉?lái)兩者之間的t時(shí)刻的權(quán)重wt12，使得權(quán)重增大或減小，讓兩個(gè)大腦中的神經(jīng)元突觸聯(lián)系更密切或者更疏離，并且W隨t而減小，即大腦的遺忘功能）。

由這兩個(gè)方程構(gòu)成的動(dòng)力系統(tǒng)網(wǎng)絡(luò)，可以看作是一個(gè)實(shí)時(shí)在微調(diào)的時(shí)間維度上“不普通”的神經(jīng)網(wǎng)絡(luò)。

由此我們可以研發(fā)一種算法，即：基于Transformer的神經(jīng)網(wǎng)絡(luò)常微分方程，并且基于同一時(shí)刻神經(jīng)元內(nèi)積以及隨時(shí)間衰減來(lái)調(diào)整權(quán)重大小。其核心就是以上的一組微分方程。

此算法可能會(huì)取得很好的效果，真正的創(chuàng)造一個(gè)人工的大腦， 為后續(xù)“意識(shí)上傳”等研究打下基礎(chǔ)。