大腦的可塑性電路已知受到突觸權重分布通過突觸整合和突觸強度的局部調節(jié)機制的影響。然而，大多數(shù)迄今為止設計的人工神經網絡訓練算法忽略了刺激相關可塑性與局部學習信號的復雜相互作用。在這里，我們提出了一種新穎的受生物學啟發(fā)的人工神經網絡和尖峰神經網絡優(yōu)化器，它包含了在皮質樹突觸中觀察到的突觸可塑性的關鍵原理：GRAPES（負責調整誤差信號傳播的群體責任）。GRAPES在網絡的每個節(jié)點上實現(xiàn)了基于權重分布的誤差信號調制。我們展示了這個受生物學啟發(fā)的機制如何大幅提高前饋、卷積和循環(huán)結構的人工神經網絡和尖峰網絡的性能，它能減輕災難性遺忘，并且非常適合專用硬件實現(xiàn)?？傮w而言，我們的工作表明，將神經生理學見解與機器智能相結合對于提升神經網絡的性能至關重要。

人工神經網絡（ANN）最早在20世紀40年代被提出，作為哺乳動物大腦神經電路的簡化計算模型1。隨著計算能力的提升2，ANN逐漸遠離了最初的神經生物學系統(tǒng)，轉向開發(fā)目前在各種應用中使用的計算技術。在訓練多層神經網絡中，反向傳播（BP）算法3,4被證明是一種有效的訓練方案。盡管機器智能取得了令人印象深刻的進展，但ANN的潛力與大腦的計算能力之間的差距仍然很大。解決ANN的基本問題，例如漫長的訓練時間、災難性遺忘5以及無法利用不斷增加的網絡復雜性6，不僅可以接近人腦的能力，還可以提高日常使用設備的性能。例如，在機器人應用中縮短在線學習的訓練時間對于確保機器人智能體快速適應新環(huán)境7并降低與訓練相關的能源成本至關重要。已經提出了一些技術，如批量歸一化8、層歸一化9和權重歸一化10，以加快ANN的訓練速度。雖然這些方法在提高收斂速度方面取得了成功，但它們與生物大腦的學習能力仍存在很大差距。

ANN相對于大腦的局限性主要歸因于其結構和動力學與哺乳動物神經電路相比的極大簡化。大腦功能的幾個重要機制，包括突觸整合和突觸權重的局部調節(jié)，通常未在基于BP的ANN訓練中建模?？朔@種局限性可能是使人工網絡的性能更接近動物智能的關鍵11。突觸整合是指神經元在產生動作電位（APs）之前將收到的來自成千上萬個突觸前神經元的尖峰信號進行組合的過程12。軸突APs在細胞軸突中由細胞樹突輸入接收到的刺激產生作為整體輸出信號。實驗證據(jù)表明，至少在CA1細胞中，來自不同突觸前神經元的達到同一突觸后神經元的輸入信號可能會與非線性動力學相互作用，這是由樹突的活動特性引起的13,14。具體而言，在樹突分支中出現(xiàn)強偏極化時，會在該區(qū)域激發(fā)出樹突AP。樹突AP會增強產生它的興奮性突觸后電位（EPSPs）的總和的振幅，從而放大在達到細胞體激發(fā)軸突AP之前的樹突輸入。產生樹突尖峰需要足夠多的空間連接到同一分支的突觸前細胞在時間上緊密活躍且具有足夠的突觸強度。因此，突觸輸入影響突觸后神經元的能力取決于它們在樹突樹中的位置。軸突和樹突尖峰之間的差異在參考文獻13中進行了討論。神經元的強大計算能力被認為源于樹突尖峰產生的復雜非線性動力學15。圖1a說明了這樣的機制，并顯示了每個突觸前神經元的影響也取決于通過其他突觸前連接傳遞給同一突觸后神經元的信號。因此，局部權重分布可能負責在特定節(jié)點處提高輸入信號。與大腦中的神經元類似，ANN中的節(jié)點接收來自許多細胞的輸入并產生單一輸出。我們可以將人工節(jié)點的激活關聯(lián)到軸突APs，但是找不到從樹突APs的機制嚴格轉化為點狀神經元動力學的方式。然而，樹突尖峰受突觸強度分布在樹突分支內的影響較大。類似地，人工節(jié)點的非線性動力學受到傳入到節(jié)點層的突觸權重分布的影響。令人驚訝的是，在ANN的常見訓練方法中，缺乏一種考慮到每個節(jié)點的權重分布的機制。

此外，大腦中的突觸可塑性主要受到局部信號的驅動，如相鄰神經元的活動16。突觸之間的局部相互作用在學習過程中調節(jié)突觸變化起著至關重要的作用。在這種情況下，異突間競爭機制通過限制連接到同一突觸前或突觸后神經元的突觸總強度來調節(jié)突觸生長17。此現(xiàn)象存在于每個神經元的突觸之間的非線性競爭中。具體而言，當突觸的總權重（進或出）達到閾值時，所有連接到該神經元的傳入（傳出）突觸都會經歷輕微的異突間長期抑制（“總權重限制規(guī)則”）18。此外，在皮質中，每個神經元傾向于目標特定的發(fā)放率，突觸強度會調節(jié)以保持這種發(fā)放率的穩(wěn)定，盡管輸入受到干擾19。突觸縮放作為突觸強度的全局負反饋控制，根據(jù)神經元的局部活動調節(jié)權重變化20-22。這些穩(wěn)態(tài)機制通常在標準ANN的訓練中不予考慮，而是依賴全局信號而非局部信息23,24。實際上，BP算法依賴于通過逐個權重分配錯誤的簡化訓練策略。每個突觸權重的更新基于其對網絡全局輸出錯誤在特定輸入樣本下的個別貢獻。我們稱這種特定輸入的貢獻為輸入驅動責任。盡管早期的研究嘗試通過權重依賴學習規(guī)則26-29在網絡訓練中編碼元可塑性（即突觸可塑性的改變）的，但它們依賴于對Hebbian學習規(guī)則的調制，而不是ANN的訓練，并且不考慮局部權重分布。一些比BP更生物學上可行的訓練策略16，如反饋對齊（FA）算法30及其直接和間接反饋對齊（DFA，IFA）變體31，已經被提出，但它們并未明確地建模上述神經機制。

在這里，我們通過提出一種受生物學啟發(fā)的優(yōu)化器，結合突觸整合、異突間競爭32和突觸縮放19等生物學原理，進展了神經生理學洞察與機器智能的融合，取得了在全連接神經網絡（FCNNs）的訓練中實質性的收益，包括更快的訓練收斂、更高的推斷準確性和減輕災難性遺忘。我們的新方法還有效地提升了卷積神經網絡（CNNs）和脈沖神經網絡（SNNs）在時間數(shù)據(jù)上的性能33。這些結果驗證了受生物啟發(fā)的人工神經網絡和脈沖神經網絡模型在軟件模擬中具有卓越性能的假設34，并提供了設計新一代神經形態(tài)計算技術的指導35。