音樂是生命體驗中不可或缺的一部分。過去，人們想要表達音樂只能憑歌喉哼唱、靠樂器演奏；而如今，科學(xué)家已經(jīng)能通過解碼大腦來呈現(xiàn)腦中音樂——近期，加州大學(xué)伯克利分校（University of California, Berkeley，UC Berkeley）的科學(xué)家們成功地從腦電波中重建了大腦所聽到的音樂。

這項成果來自UC Berkeley的Helen Wills神經(jīng)科學(xué)實驗室，于今年8月15日發(fā)表于Plos?Biology雜志，天橋腦科學(xué)研究院（Tianqiao and Chrissy Chen Institute，TCCI）應(yīng)用神經(jīng)技術(shù)前沿實驗室主任Gerwin Schalk教授也是研究者之一。此前，該團隊已經(jīng)成功通過腦電波重建腦內(nèi)語音。而這次的研究更進了一步，音樂所包含的信息顯然遠(yuǎn)遠(yuǎn)大于語音。正如研究團隊成員介紹，“音樂本質(zhì)上是充滿情感和韻律的——它有節(jié)奏、重音、抑揚頓挫，包含了比任何語言中有限的音素更廣泛的含義?！?/p>

有趣的是，與使用古典音樂的傳統(tǒng)方式不同，研究人員重建的音樂片段是來自英國搖滾樂隊Pink Floyd發(fā)表于1979年的歌曲“Another Brick in the Wall, Part 1”。為什么團隊選擇了Pink Floyd的音樂、特別是這個片段呢？“在論文中，我們提到的科學(xué)原因是：這首歌非常具有層次感，它引入了復(fù)雜的和弦、不同的樂器和不同的節(jié)奏，使得分析變得有趣?！闭J(rèn)知神經(jīng)科學(xué)家、該研究的主要作者Ludovic Bellier說道?！安贿^，不太科學(xué)的原因是我們真的很喜歡Pink Floyd?！?/p>

這項研究共納入了29名耐藥性癲癇患者，他們均接受過顱內(nèi)電極植入，以監(jiān)測癲癇的發(fā)作。納入本次研究的電極共2668個，每位患者36個到250個不等。研究人員為患者播放了“Another Brick in the Wall, Part 1”，讓他們聆聽這段音樂，此后利用人工智能對電極記錄的信息進行解碼、重建。

哪些腦區(qū)記錄了音樂？

為了確定哪些部位的電極記錄了歌曲聲學(xué)信息的編碼，研究者利用人工智能對2379個無偽跡電極記錄的腦波信息進行了譜時感受野（STRF）擬合，評估不同位置電極記錄的神經(jīng)元高頻活動到底能夠多準(zhǔn)確地被歌曲的聽覺頻譜圖預(yù)測：預(yù)測程度越好，則該位置的電極便與記錄音樂越相關(guān)。

圖1A表示所有電極的覆蓋范圍。圖1B顯示，347個電極具有顯著的STRF擬合結(jié)果，位于左半球的有199個，右半球的有148個。這347個響應(yīng)電極絕大多數(shù)（87%）集中在三個區(qū)域：68%位于雙側(cè)顳上溝（STG），14.4%位于雙側(cè)感覺運動皮層（SMC，位于中央前回和中央后回），4.6%位于雙側(cè)額下回（IFG）。圖1C、D中，較深的顏色表示電極位于右半球，較淺的表示位于左半球；雙因素ANOVA分析顯示，兩側(cè)半球的對比有統(tǒng)計學(xué)意義，電極響應(yīng)更加集中的區(qū)域均是右半球。

從腦海中重建歌曲需要多少信息？

科學(xué)家們從347個響應(yīng)電極中隨機抽取電極記錄的數(shù)據(jù)，再利用人工智能解碼其中信息、進行歌曲的重建。研究者發(fā)現(xiàn)，隨機使用43個電極的數(shù)據(jù)即可達到最佳準(zhǔn)確預(yù)測能力的80%；在單個患者上也類似，43個電極的信息已經(jīng)可以進行解碼，盡管解碼的準(zhǔn)確性較低；使用數(shù)據(jù)的持續(xù)時間與預(yù)測準(zhǔn)確性之間也存在類似關(guān)系，例如，相比于使用完整的190.72秒的歌曲數(shù)據(jù)，使用69秒的數(shù)據(jù)即可以獲得90%的重建準(zhǔn)確性。

那么，放置電極的解剖位置對重建是否有影響呢？在移除不同解剖位對的電極信息后再解碼，發(fā)現(xiàn)：

（1）相比其他腦區(qū)，雙側(cè)STG具有獨特的音樂信息；

（2）相比左側(cè)STG，右側(cè)STG具有獨特的信息；

（3）左側(cè)STG的部分音樂信息在右側(cè)STG存在冗余編碼。

不同解剖位置的電極在解碼音樂時是否具有不一樣的功能？確實如此。在對所有響應(yīng)電極的獨立成分分析后，結(jié)果如圖2所示：

-?僅位于雙側(cè)后STG的“起始成分”，記錄主音吉他或合成器的起始部分、及人聲中音節(jié)核心的起始部分（圖2B、C、D的第一行）；

-?位于雙側(cè)中、前STG以及雙側(cè)SMC的“持續(xù)成分”，記錄歌曲的人聲部分（圖2B、C、D的第二行）；

-?位于雙側(cè)后、前STG，以及雙側(cè)SMC的“遲發(fā)型起始成分”，也與主音吉他或合成器的起始部分、及人聲中音節(jié)核心相關(guān)，只是潛伏期更長（圖2B、C、D的第三行）；

-?位于雙側(cè)中STG的“節(jié)奏成分”，記錄歌曲中速度為99bpm、貫穿整個歌曲的節(jié)奏吉他中的16分音符（圖2E）。

了解了大腦是如何“接收”與“理解”音樂信號后，再來看響應(yīng)電極的功能成分對音樂重建又有哪些影響？在移除不同相關(guān)功能的響應(yīng)電極后再解碼，發(fā)現(xiàn)：

-?右側(cè)起始電極相比左側(cè)具有獨特的信息；左側(cè)起始電極的部分信息在右側(cè)起始電極中存在冗余編碼。對于遲發(fā)性起始電極也觀察到類似現(xiàn)象。

-?右側(cè)節(jié)奏成分電極具有獨特的信息，沒有任何信息在左側(cè)節(jié)奏電極中存在冗余編碼。

-?盡管持續(xù)電極數(shù)量很多，但移除它們的信息未發(fā)現(xiàn)任何影響。

不過，由于電極的功能成分存在一定重疊性，所以對它們功能重要性的解讀沒有解剖位置那么準(zhǔn)確。

為什么關(guān)注大腦中重建的音樂？

或許有人會對這項研究的目的產(chǎn)生疑問，為何我們要去聽大腦對外界聲音的映射？

其實，這類研究能夠幫助我們更好地理解音樂和語言的處理方式。另外，在對疾病的認(rèn)識上也能給我們一些實證性的啟發(fā)，例如揭示為什么布羅卡失語癥患者講話費力，但通常卻可以毫無困難地用唱歌的方式唱出相同的詞。

這項研究也為將情感賦予合成語音奠定了基礎(chǔ)。盡管研究重點放在音樂上，但研究人員認(rèn)為，這項結(jié)果對于基于腦電波的語音合成將有很大幫助。無論哪種語言，人類的話語都包含著節(jié)奏、重音、抑揚頓挫等音樂性要素，這些要素構(gòu)成了話語之中隱含的情感成分?！斑@些元素，我們稱之為韻律，攜帶著無法僅僅用語言表達的意義?！毖芯空連ellier希望這個模型能夠改進腦機接口技術(shù)，使語言輔助不僅能重構(gòu)語音本身，還能重構(gòu)話語中用韻律表達的意圖。

過去，科學(xué)家們已成功重建腦內(nèi)語音，能使中風(fēng)或肌萎縮側(cè)索硬化癥等神經(jīng)系統(tǒng)疾病患者通過植入式語音解碼器來表達自己；但此類重建通常是機械、刻板的。研究者們希望這項成果最終能幫助失語患者恢復(fù)自然言語的音樂性。

“如果腦機接口能夠用音樂中固有的韻律和情感來重新創(chuàng)造某人的言語，那么它所能重建的不僅僅是單詞，不是機械地說，‘我，愛，你，’而是可以像真人一樣大喊，‘我愛你！’”

另外，這項研究重建的是研究對象聽到的音樂，而研究者Robert Knight認(rèn)為，未來的研究應(yīng)向重建腦中想象的語音、音樂發(fā)展?！半m然他們沒有記錄受試者想象音樂時的大腦反應(yīng)，但這可能是腦機接口未來的用途之一：將想象的音樂轉(zhuǎn)化為真實的音樂?！?/p>

不過，這項技術(shù)離實際運用還有很長的路要走，比如，目前獲取的數(shù)據(jù)還基于有創(chuàng)的顱內(nèi)植入電極；或許未來可以利用無創(chuàng)電極來實現(xiàn)數(shù)據(jù)收集，這將建立在腦機接口技術(shù)的發(fā)展之上。

總之，一旦這項技術(shù)成熟應(yīng)用，是否我們就能依靠一個輕型頭盔來創(chuàng)作心中的音樂呢？那時候會有怎樣瑰麗的想象化為現(xiàn)實？讓我們無限遐想。

參考文獻：

Bellier L, Llorens A, Marciano D, Gunduz A, Schalk G, Brunner P, et al. (2023) Music can be reconstructed from human auditory cortex activity using nonlinear decoding models. PLoS Biol 21(8): e3002176. https://doi.org/10.1371/journal.pbio.3002176