大腦是人類最精妙、復(fù)雜的器官。它控制著人的思想、情緒，儲存著人的記憶。而音樂，由人類創(chuàng)作而成，轉(zhuǎn)而又影響人類，成為了人和人之間交流的橋梁。隨著AI技術(shù)的強勁加持，如今AI音樂的一系列創(chuàng)新又將為人類理解大腦帶來無限的可能與契機。

北京時間7月19日，天橋腦科學(xué)研究院（Tianqiao?and?Chrissy?Chen?Institute，TCCI）與網(wǎng)易云音樂聯(lián)合舉辦了AI for?Brain?Science系列會議第三期，主題為“探索音樂創(chuàng)造的未來：AI、人腦與治療”。?

會議邀請了計算機科學(xué)、生命科學(xué)、心理學(xué)以及音樂治療學(xué)等領(lǐng)域的5位專家學(xué)者聚焦AI創(chuàng)作音樂、人腦創(chuàng)作音樂、音樂人機交互系統(tǒng)，以及音樂在腦疾病治療中的應(yīng)用，分享他們的研究成果和經(jīng)驗，共話對未來的展望。本次會議由網(wǎng)易云音樂梁曉晶博士和天橋腦科學(xué)研究院耿海洋博士共同主持。

AI作曲會受人類歡迎嗎？

前不久，“AI孫燕姿”火遍全網(wǎng)，她的音色被逼真地合成在了各種各樣的歌曲當(dāng)中。那么，AI是否真的可以創(chuàng)作音樂呢？為此，卡內(nèi)基梅隆大學(xué)計算機科學(xué)系博士生戴舒琪介紹了生成式人工智能背景下音樂感知分析與治療應(yīng)用前景。

首先，想要自動生成一段音樂并不簡單。除了旋律生成，還需要考慮多軌伴奏生成、歌詞生成、配器和編曲等元素。既往，這些過程都需要靠作曲家的靈感、合理排布和個人經(jīng)驗來完成。如今，利用AI技術(shù)也可以將這些復(fù)雜過程進行處理，來自動生成一段音樂。據(jù)戴舒琪介紹，生成式人工智能在音樂方向的應(yīng)用主要包括以下三種類型：（1）符號層面的樂譜生成，如旋律生成、多軌伴奏生成、歌詞生成、配器、編曲等；（2）音頻層面生成，如歌聲合成、器樂合成、演奏控制合成、音頻端到端作曲等；（3）多模態(tài)生成。這些相應(yīng)的技術(shù)主要基于規(guī)則的模板、傳統(tǒng)機器學(xué)習(xí)模型、以及深度學(xué)習(xí)大模型來實現(xiàn)。

其次，戴舒琪指出，以重復(fù)為基礎(chǔ)的音樂結(jié)構(gòu)，是音樂的重要特征，且具有多層次、技法多樣性、和高度邏輯化的特點。音樂的重復(fù)和結(jié)構(gòu)會影響人聽音樂時對音樂的預(yù)期，從而進一步影響人對這些預(yù)期的情感反應(yīng)。基于此，可以通過算法分析音樂的重復(fù)結(jié)構(gòu)和預(yù)期的感知曲線，針對用戶熟悉且喜歡的音樂進行風(fēng)格模仿產(chǎn)生個性化定制音樂。

在應(yīng)用層面，生成式人工智能音樂存在著諸多有價值的應(yīng)用場景。例如，帕金森患者可采用節(jié)律性音樂治療有效改善其運動功能障礙，提高肢體的協(xié)調(diào)性；在輔助行走方面，老年人也可以通過耳機或穿戴感知設(shè)備傳輸?shù)囊魳坊蚬?jié)律性聲音，提升日常行走的安全性。此外，音樂還可以用于刺激和喚醒植物人。未來，AI生成音樂勢必還能帶來應(yīng)用層面的更多可能性。

用腦波創(chuàng)造的音樂能否自我療愈？

音樂與大腦有著緊密的聯(lián)系——它從大腦中產(chǎn)生，也影響著大腦。由此，幾十年來科學(xué)家們也試圖通過腦電波制作音樂。1965年，世界上第一首腦波音樂發(fā)布。它通過放大物理信號，組織幾個樂器生成音樂片段。如今隨著技術(shù)的發(fā)展，人們也開始借助人工智能技術(shù)生成腦波音樂。

電子科技大學(xué)生命科學(xué)與技術(shù)學(xué)院副教授盧競展示了腦波音樂的制作過程和原理，并從神經(jīng)科學(xué)角度介紹了人們會喜歡音樂的原因。人聽到音樂后，人類大腦的獎賞系統(tǒng)會被激活，并分泌多巴胺，從而讓人們感到快樂。經(jīng)過研究探索，大腦的神經(jīng)信號與音樂遵循一種1/f?α的冪定律（power law），可以通過這種相同的信號特征，建立EEG信號到音樂之間的無標度映射。

在無標度腦波音樂的應(yīng)用層面，科學(xué)家們將癲癇、阿爾茲海默癥患者的腦波轉(zhuǎn)化成音樂，可以進行疾病狀態(tài)的檢測，觀察緊張和平和兩種不同狀態(tài)；在拔牙時，如果患者聽腦波音樂，鎮(zhèn)痛效果會比認知行為療法更好；此外，腦波音樂還有調(diào)節(jié)睡眠的作用，且慢波睡眠期音樂具有更好的促眠效果。

最后，盧競展望道，腦波音樂可以有更廣泛的應(yīng)用，改善人的生活行為方式，甚至治療某些疾病。

音樂治療，在神經(jīng)系統(tǒng)疾病中大有可為？

音樂能怡情，但音樂能夠在臨床醫(yī)學(xué)中起到治療的作用嗎？為此，中國康復(fù)研究中心心理科音樂治療中心副研究員張曉穎介紹了音樂治療的循證基礎(chǔ)與臨床應(yīng)用。

張曉穎首先介紹了文獻中提出的音樂信號刺激對聽覺通路、皮層及腦網(wǎng)絡(luò)的三個不同軸線，及其對中樞神經(jīng)系統(tǒng)的影響；隨后介紹了音樂治療在干預(yù)腦疾病中起效的原因。從系統(tǒng)解剖學(xué)的角度來說，目前臨床音樂治療在神經(jīng)系統(tǒng)、運動系統(tǒng)、循環(huán)系統(tǒng)、呼吸系統(tǒng)、內(nèi)分泌系統(tǒng)等領(lǐng)域中有明確的應(yīng)用。

在神經(jīng)系統(tǒng)疾病方面，一些常見的腦損傷疾病主要會影響到患者的言語認知、感覺運動、心理情緒等功能，這些功能障礙大多與損傷腦區(qū)有關(guān)。研究探索顯示，音樂治療可以改善腦損傷導(dǎo)致功能障礙患者的康復(fù)預(yù)后。

此外，張曉穎介紹，針對不同功能障礙的患者設(shè)計相應(yīng)的音樂治療方案，可以改善患者的功能水平，提高生活質(zhì)量，使其更快地回歸家庭和社會。這些音樂治療的新技術(shù)都已經(jīng)被臨床證實有效，但如何設(shè)計更好的標準化音樂治療方案還有待進一步探索。

跟著機器學(xué)習(xí)音樂，或許學(xué)得更快、更好？

學(xué)音樂是一個漫長且需要積累的過程。如果你嘗試過學(xué)樂器，但半年彈不出一個曲子，就會明白有多么挫敗。然而，“手把手”教音樂的機器，可以讓你在最快的時間形成“肌肉記憶”學(xué)會一首曲子，還能修正你的錯誤。

國王AI大學(xué)助理教授夏光宇和上海紐約大學(xué)博士生秦楠楓以新穎的雙簧形式對于用機器教音樂主題展開了分享。

首先，他們介紹了采用觸感指導(dǎo)在物理層面上指導(dǎo)用戶的肢體完成目標動作，從而實現(xiàn)用機器教人類演奏音樂的目標。同時，這也可以用于機器輔助的神經(jīng)康復(fù)訓(xùn)練，使本來無法完成動作的用戶能夠在輔助下完成動作；或者通過逐漸減弱觸感指導(dǎo)，讓用戶逐漸自主完成訓(xùn)練動作。

然而，夏光宇坦言，這種“強迫式”的物理教學(xué)方式體驗感不佳，難以讓習(xí)練者產(chǎn)生較好的練習(xí)依從性。由此，他們進一步介紹了借助觸感反饋和其他模塊建立的智能多模態(tài)音樂教育系統(tǒng)。觸感反饋學(xué)習(xí)主要由三種模式：（1）在傀儡模式中，用戶無腦地被動完成動作學(xué)習(xí)；（2）在提示模式中，用戶主動用力維持手指狀態(tài)；（3）在自適應(yīng)模式中，用戶采用自主演奏和安全網(wǎng)兩種方式進行學(xué)習(xí)。實驗結(jié)果表明，論學(xué)會單曲時間，通過這三種模式結(jié)合訓(xùn)練比僅采用傀儡模式的效率提高45%。

最后，秦楠楓介紹了音樂在音、象、動的三個模態(tài)，從內(nèi)、外兩種角度又分為內(nèi)音、內(nèi)象、內(nèi)動、外音、外象、外動共六種模態(tài)。其中，內(nèi)音是人類內(nèi)在的聽覺、內(nèi)象則是內(nèi)在的視覺、內(nèi)動是內(nèi)在的運動感知。同時，他們指出，相比只有動作訓(xùn)練的神經(jīng)康復(fù)訓(xùn)練，這種多模態(tài)的音樂學(xué)習(xí)與演奏教學(xué)方式刺激了更多更廣的神經(jīng)通路。而這種技能-任務(wù)形成的課程網(wǎng)絡(luò)圖，結(jié)合圖算法尋找最短路徑，有望在課程網(wǎng)絡(luò)技能樹學(xué)習(xí)上展開應(yīng)用。

本次會議在嘉賓與參會者的積極提問與熱烈思想交鋒中落下帷幕，追問媒體將追問環(huán)節(jié)的精華內(nèi)容梳理成文，以饗讀者。

會議追問

@耿海洋：在AI創(chuàng)作音樂和臨床實踐當(dāng)中，如何充分處理個性化定制音樂的問題？

@戴舒琪：從根本上來說，個性化定制需要回歸到感知層面上。而計算模型模擬人類的感知目前非常具有挑戰(zhàn)。因此在我們研究中采用模仿的方式，根據(jù)用戶喜好模仿特定風(fēng)格的音樂，提升用戶的感知體驗。同時模仿音樂的過程中要把握模仿的程度，避免出現(xiàn)“恐怖谷效應(yīng)”。

@張曉穎：對于患者來說，每個人都會有個體化的問題。治療的方式和技術(shù)有共性的特征因素，治療技術(shù)有一部分是標準化的實施流程。音樂治療，是一個有目標情況下的功能性干預(yù)。即治療目標是設(shè)定好的，比如治療言語、行為、或情緒，目標是提升功能，然后根據(jù)目標來實施治療訓(xùn)練。結(jié)合人工智能的治療需要分級分類來實現(xiàn)，比如在語音模擬、語義理解、數(shù)據(jù)分類方面，現(xiàn)在的人工智能技術(shù)可以完全實現(xiàn)，那就可以把音樂治療中涉及這一部分的工作交由AI來完成。但是在理解人類的情感和邏輯方面，AI還需要經(jīng)歷大量的數(shù)據(jù)訓(xùn)練和學(xué)習(xí)，以便于將來能更好地與臨床治療結(jié)合。我們發(fā)展人工智能的目的是讓AI服務(wù)于人，在經(jīng)過AI輔助的檢驗篩查之后，由醫(yī)生團隊來決定最佳的治療方案，造福人類健康。

@梁曉晶：音樂治療中針對病人使用的音樂需要是病人熟悉的音樂作品，而這和病人過往的聽歌習(xí)慣有關(guān)。目前的80、90后已經(jīng)廣泛接觸數(shù)字媒體，因此這可以為未來個性化定制音樂提供很好的數(shù)據(jù)樣本庫。

@盧競：每個人在每個狀態(tài)下的腦電都是不一樣的，因此根據(jù)腦電生成的音樂也是不一樣的。以及音樂聽覺反饋上，對于聽自己的腦波音樂、聽別人的音樂，聽一種標準模板的音樂哪種更好，暫時也沒有定論。個性化定制音樂對音樂創(chuàng)作家來說可能是比較有實用價值的，但在臨床治療上不一定是最好的。即個性化的一定是最獨特的，但不一定是最好的。

@耿海洋：目前，在音樂治療疾病方面，哪些是比較有效的臨床驗證標準？音樂治療帕金森是否證明真實有效？

@戴舒琪：目前的音樂療法治療帕金森步態(tài)上已經(jīng)有20多年的臨床歷史，在很多文獻中都被證明有效。但在這個過程是音樂更重要，還是音樂中的鼓點或節(jié)奏更重要目前尚有爭論。這種療法還是具有不錯的前景，因為目前暫時沒有針對帕金森的藥物以及病人會對藥物產(chǎn)生耐藥性。但是，每個病人需要音樂治療師對其進行專業(yè)的定制，成本過高導(dǎo)致療法并沒有很好地得到推廣。并且，這種了解音樂和人工智能的交叉型復(fù)合人才也相對較少。

@耿海洋：人與機器如何融合？

@秦楠楓：個性化的終點其實是對音樂更加深入的本質(zhì)探討，音樂本身是人類社會的產(chǎn)物，在追求個性化、追求讓機器生成人類喜歡的音樂過程中，其實就是在研究人類本身和音樂為什么會產(chǎn)生。

@夏光宇：人和機器的結(jié)合最終會以一種非常自然的結(jié)合形式出現(xiàn)。在結(jié)合過程中讓人意識不到機器的存在，而不是以一種例如打開手機或電腦輸入特定指令這種方式出現(xiàn)。這種才是更智能、更自然的交互。

@盧競：腦機接口技術(shù)有望于音樂進行結(jié)合，即通過人的腦電或人工智能算法生成音樂，結(jié)合腦機接口，生成的音樂閉環(huán)反饋作用于對人。這種方式或許對于之后的治療和創(chuàng)作音樂實現(xiàn)一種自適應(yīng)的模式。

@梁曉晶：目前國外有一些消費級的腦電檢測產(chǎn)品，這些產(chǎn)品可以通過腦電檢測佩戴者的精神狀態(tài)，根據(jù)這種狀態(tài)調(diào)整音效或音樂類型，這是根據(jù)腦電實時性生成音樂的一種雛形。通過這種腦電和音樂的閉環(huán)系統(tǒng)，使得佩戴者的狀態(tài)達到一種收斂的程度，如睡眠、緩解抑郁，或許這會是未來一種新的人機交互形式。

@耿海洋：機器創(chuàng)造音樂和人創(chuàng)造音樂如何結(jié)合？AI創(chuàng)作的音樂有什么獨特的價值？

@梁曉晶：目前AI的效率高，可以作為創(chuàng)作靈感素材來源和一種意圖溝通的工具。但人在中間也是有不可取代的地位，例如讓音樂與人類產(chǎn)生共鳴的感覺需要人的參與，人參與音樂治療中的篩選工作，人在AI基礎(chǔ)上做潤色修改。目前，人在個性化和更高品質(zhì)化服務(wù)上更具優(yōu)勢。

@夏光宇：目前機器的音樂智能在結(jié)構(gòu)導(dǎo)向上主要體現(xiàn)在產(chǎn)生質(zhì)量好的音樂。但在更深入的溝通交流層面上，人工智能目前存在一定的缺陷，例如在圍棋領(lǐng)域，AlphaGo可以打敗人類棋手，但是并不能教會人類如何下棋。目前AI也不能夠理解人的感情，進而和音樂建立起聯(lián)系。

@戴舒琪：目前的AI音樂可以大大降低音樂制作的門檻，降低音樂生成的成本，以及極大地改變音樂創(chuàng)作的方式。而另一個角度上，如何用AI更好地理解人的本身，接下來AI要往哪里發(fā)展？很重要的一點是情感計算和對人腦感知的理解。當(dāng)AI能夠理解某個音樂為什么是好聽的，這可以更新我們對世界的理解，這也需要更多地理解情感和腦科學(xué)的機制。我認為這是一個待探索且非常有意義的方向。

關(guān)于AI for Brain Science系列會議

AI for Brain Science系列會議致力于促進腦科學(xué)與人工智能的跨學(xué)科合作和交流，以推動學(xué)科深度融合。2023年，我們將組織一些列聚焦于AI for Brain Science主題的學(xué)術(shù)研討會，包括：AI與數(shù)據(jù)合成，AI、音樂與大腦，AI與腦機接口，AI與睡眠/夢境， AI與精神健康等主題。

作為系列品牌活動，AI for Brain Science系列會議將提供一個重要的平臺，讓學(xué)術(shù)界和工業(yè)界的專家們可以展示他們的最新研究成果、交流合作機會，并分享在人工智能與腦科學(xué)領(lǐng)域的最佳實踐。

我們熱忱歡迎對人工智能和腦科學(xué)領(lǐng)域感興趣的學(xué)者、研究人員和業(yè)界從業(yè)者參加AI for Brain Science系列會議。通過這個平臺，我們希望推動人工智能和腦科學(xué)的前沿進展，為解決大腦功能和疾病的挑戰(zhàn)提供創(chuàng)新的解決方案。