本文是我與沈希辰 @希辰Xichen 2021年6月26日在上海溫哥華電影學(xué)院，由Wwise舉辦的?Audiokinetic 中國(guó)2021互動(dòng)音樂(lè)沙龍上分享的部分文字版本。?

除了這一場(chǎng)外，我推薦非音頻專業(yè)的朋友聽(tīng)聽(tīng)侯老師談的《線性音樂(lè)創(chuàng)作與非線性音樂(lè)創(chuàng)作距離到底有多遠(yuǎn)》以及最后重輕老師參與的行業(yè)討論會(huì)。

這是同時(shí)希望面向音頻設(shè)計(jì)師與游戲設(shè)計(jì)師的分享，當(dāng)然我認(rèn)為沒(méi)有門(mén)檻，所以也推薦任何對(duì)游戲、聲音藝術(shù)有興趣的朋友進(jìn)行閱讀和觀看。

介于我在分享中使用了大量的視頻與游戲展示，文字內(nèi)容會(huì)有縮減，

建議直接觀看視頻，文本作為補(bǔ)充。

《再重聚：音頻驅(qū)動(dòng)的游戲設(shè)計(jì)視角 Re-Reunion: Audio-Gameplay Design》

（侯老師，希辰，還有重輕老師的視頻和節(jié)目都給了我很大的幫助）。

再重聚：音頻驅(qū)動(dòng)的游戲設(shè)計(jì)視角 Re-Reunion: Audio-Gameplay Design

本次分享的內(nèi)容主要分為三個(gè)層次。

首先我會(huì)談?wù)撨@樣一個(gè)奇怪的主題「Re-Reunion」從何而來(lái)，其次下落到具體的游戲設(shè)計(jì)與例子、Demo實(shí)踐層面去談?wù)撐宜f(shuō)的「音頻-游戲設(shè)計(jì) Audio-Gameplay Design」，最后我希望重思電子游戲作為「視-聽(tīng)-交互的遞歸系統(tǒng)」，從而試圖在生成式音樂(lè)（Generative Music）與音頻-游戲設(shè)計(jì)（Audio-Gameplay ）之間做一次展望與勾連。

Reunion

今天我分享的題目是 再重聚：音頻驅(qū)動(dòng)的游戲設(shè)計(jì)視角 Re-Reunion: Audio-Gameplay Design，這個(gè)Re-Reunion是我一個(gè)生造的詞，首先要問(wèn)的是：Reunion是什么？

Reunion是在1968年的一次當(dāng)代藝術(shù)實(shí)踐，是由大家想必熟悉的蘑菇學(xué)者（順便是個(gè)做音樂(lè)的）傳世沉默之作《4：33s》的作者約翰凱奇 John Cage, 和國(guó)際象棋大師（順便也是個(gè)藝術(shù)家）馬歇爾杜尚 Marcel Duchamp 以及其夫人Teeny Duchamp進(jìn)行的實(shí)踐。

Reunion is an event without a score; originally performed by playing a game of chess on a chessboard created by Lowell Cross. The game works as an indeterminate structure: as a game of chess is played, the moves of the players on the board activate four compositions and distribute them to eight speakers surrounding the audience.
《團(tuán)圓》是一個(gè)沒(méi)有樂(lè)譜的活動(dòng)；最初是通過(guò)在洛厄爾-克洛斯（Lowell Cross）創(chuàng)造的棋盤(pán)上下棋來(lái)表演。這個(gè)游戲作為一個(gè)不確定的結(jié)構(gòu)起作用：隨著棋局的進(jìn)行，棋盤(pán)上的棋手們的動(dòng)作激活了四個(gè)作品，并將它們分配給觀眾周?chē)陌藗€(gè)揚(yáng)聲器。

今天在網(wǎng)上有人重置了這個(gè)行為的網(wǎng)絡(luò)版本（https://johncage.org/reunion/?），區(qū)別在于，當(dāng)時(shí)的演奏是即興，而現(xiàn)在的網(wǎng)絡(luò)版本是保存的版本。

我其實(shí)嘗試了幾次，與我想象的不同，我以為是完全由下棋來(lái)觸發(fā)的各類(lèi)音樂(lè)的生成，但似乎不是，音樂(lè)和下棋之間的邏輯似乎沒(méi)有那么容易可以被辨識(shí)出來(lái)。

關(guān)于這個(gè)這個(gè)棋盤(pán)的設(shè)計(jì)者后來(lái)寫(xiě)了一篇論文分享，有興趣的朋友可以去讀讀看：Lowell Cross Reunion: John Cage, Marcel Duchamp, Electronic Music, and Chess

這或許是一次難得的 前電子游戲時(shí)代的游戲互動(dòng)音樂(lè)設(shè)計(jì)的例子。

我理解這里的Reunion，是Reunion of Play and Audio，是作為游戲高手杜尚，與作曲家John Cage之間的交鋒、也是「玩」與「聲音」之間、棋盤(pán)與樂(lè)手之間的交鋒與某種重聚。

或許從這里，我們可以觀察到在那個(gè)可能可以作為標(biāo)志性的，交互和聲音還未分化的點(diǎn)，在這個(gè)作品中，聲音和游戲是各自以某種獨(dú)立的邏輯結(jié)合并且運(yùn)行，之間更多是一種平行的狀態(tài)。

Re-Reunion

但如果我們看今天的游戲中的音頻設(shè)計(jì)，就像是希辰常常跟我開(kāi)玩笑的，在代碼中，往往是這樣寫(xiě)的

這里想要說(shuō)的是今天的聲音常常被人所忽視，在大部分的游戲中，它僅僅只是一個(gè)純粹反饋的增加，甚至可以在工作流的最末端才被添上，作為效果的補(bǔ)充與Polish，不參與任何gameplay意義上的內(nèi)容。

這樣的問(wèn)題原因想來(lái)有很多，對(duì)于聲音的濫用，今天不同媒介都尋求響度上能夠奪人耳目，聲音嘈雜，濫用高音量，敘事性音頻的強(qiáng)化，使得聲音的豐富的意義被壓扁了，人們平均的音樂(lè)和聲音的素質(zhì)并不高，而其從表現(xiàn)上也遠(yuǎn)不及類(lèi)似視覺(jué)，交互等刺激性強(qiáng)烈地東西來(lái)得容易抓人眼球，而今天的音樂(lè)制作對(duì)一般人也有高的門(mén)檻，合成器的使用和理解都顯得復(fù)雜不易上手。

這就導(dǎo)致了某種雙向的問(wèn)題，游戲設(shè)計(jì)師可能會(huì)無(wú)意識(shí)地忽略聲音設(shè)計(jì)的重要地位，而就算有意識(shí)，或許無(wú)論在工作流或者是在理論能力上有難有辦法在早期便與作曲家做深入的交互音樂(lè)的設(shè)計(jì)。

美國(guó)作曲家艾倫·科普蘭寫(xiě)道：

富有意味的音樂(lè)要求聆聽(tīng)者全神貫注，唯有當(dāng)個(gè)體愿意全心接納時(shí)才能做到一心一意，才能感受到對(duì)音樂(lè)的需要。將音樂(lè)看作用來(lái)挑逗聽(tīng)覺(jué)感官的仙饌密酒，與此同時(shí)，思想意識(shí)又被其他事務(wù)所侵占，任何嚴(yán)肅對(duì)待創(chuàng)作的作曲家對(duì)這種做法皆深?lèi)和唇^?！?艾倫·科普蘭 《論音樂(lè)》

在今天的游戲聲音中聽(tīng)來(lái)顯得有些諷刺，因?yàn)檫@正是如今游戲中的聲音的存在，某種意義上，今天大部分的游戲聲音更多之所以存在是為了不存在，存在是為了讓玩家不注意到自己（為了讓玩家不感覺(jué)到異樣，「不出戲」，自然地認(rèn)為這就是一個(gè)真實(shí)可信的虛擬世界）

所謂標(biāo)題中的Re-Reunion，這里的Reunion涉及到的是聲音和游戲之間的某種聯(lián)結(jié)，而我加這個(gè)Re首先是我們或許應(yīng)該重新回到杜尚和John Cage的那次合作中去重思電子游戲和音樂(lè)聲音之間的相互關(guān)系，尋找到另一種可能性的道路；

而Re當(dāng)然也有反的意思，那也是我這次的分享的主要內(nèi)容：我們能不能構(gòu)想出為了聲音呈現(xiàn)，或者是聲音作為核心的驅(qū)動(dòng)的那類(lèi)電子游戲，顛倒 Gameplay-Centric 的邏輯，尋找某些聲音應(yīng)該在其中占有核心地位，而不總是「第二性」的創(chuàng)作可能。

Audio-Gameplay Design 音頻-游戲設(shè)計(jì)

Audio-Driven

（這一部分?jǐn)⑹鲎詈脜⒖家曨l內(nèi)容）

我試圖談?wù)撨@部分內(nèi)容的框架來(lái)自一種抽象，在這種系統(tǒng)視角式的抽象中，就如同前文談?wù)摰腞eunion，我將游戲的交互與游戲系統(tǒng)Gameplay System / Mechanics 與聲音相關(guān)的 Audio 區(qū)分開(kāi)來(lái)，并且構(gòu)造出兩條談?wù)摰幕芈罚阂纛l驅(qū)動(dòng)（Audio-Driven）系統(tǒng)設(shè)計(jì)，與系統(tǒng)驅(qū)動(dòng)音頻設(shè)計(jì) System-Driven，除此之外，我還希望簡(jiǎn)單談?wù)撘幌缕渌曇舻目赡堋?/p>

這里我使用 Audio-Gameplay 連字符的表達(dá) 聲音-游戲，來(lái)試圖說(shuō)明在這樣的游戲創(chuàng)作中，聲音與游戲玩法緊密聯(lián)系，難解難分的狀態(tài)，互相生成。

Audio-Driven: Audio as Level Design

首先談?wù)摰铰曇粲螒蜃钕认氲降氖且粲?，而音游的某種意義上可以理解為是將音樂(lè)作為關(guān)卡設(shè)計(jì) Level Design + Visual Feedback | Gameplay 。本質(zhì)是將音樂(lè)的樂(lè)音（Notes）映射為對(duì)玩法系統(tǒng)有意義的關(guān)卡訊號(hào)，例如今天借助Unity的插件便可直接將Midi文件導(dǎo)入并且轉(zhuǎn)化為可使用的映射到不同位置的下落音符：Midi - System - Level Signal。

（此處有視頻展示）

在我希望展示的以下這些作品中《Dynamix》《Muse Dash》《Dancing Line》還有《Beat Racer》《再見(jiàn)：狂野之心 sayonara wild hearts》《Just Shapes & Beats》《Rez: Infinite》中。

我希望你們以游戲設(shè)計(jì)視角留心觀察的是：樂(lè)音是在多少個(gè)維度上出現(xiàn)的？是離散的還是連續(xù)的？對(duì)應(yīng)了多少種交互？為什么？（音樂(lè)游戲、muse dash、跳舞的線）。

其次的觀察是，在這些游戲中，樂(lè)音是完全作為關(guān)卡挑戰(zhàn)一定需要玩家去精確響應(yīng)，或只是作為非必要的關(guān)卡要素來(lái)進(jìn)行引導(dǎo)或躲避?（電音超跑，sayonara wild hearts，just shapes & beats）。

這會(huì)造成不同的影響，例如在《再見(jiàn)：狂野之心 sayonara wild hearts》中，設(shè)計(jì)雖然大量使用的音畫(huà)協(xié)同，但是我覺(jué)得他們希望呈現(xiàn)的是某種自由和解放的感覺(jué)，所以你能看到玩家移動(dòng)空間是連續(xù)的，而這些樂(lè)音只是作為非必要的引導(dǎo)與強(qiáng)化，并不強(qiáng)制玩家的交互;

而在《只有形狀與節(jié)奏 Just Shapes & Beats》中，即便音畫(huà)如此具有表演性與反饋，但是本質(zhì)上玩家是作為一個(gè)躲避者而不是響應(yīng)者——意味著是其音畫(huà)訊號(hào)所勾勒的負(fù)空間在起作用而不是樂(lè)音的訊號(hào)本身。

所以這個(gè)是這種做法的優(yōu)劣：

優(yōu)勢(shì)在于，輸入與輸出的音樂(lè)的mApping帶來(lái)了強(qiáng)烈的演奏快感，而這種效果的身體性的體驗(yàn)，增強(qiáng)了反饋，與視覺(jué)形成了呼應(yīng)，并且在玩法成立了之后內(nèi)容生產(chǎn)成本較低，重玩性高。

缺點(diǎn)也明顯，在于on-rails 的軌道式體驗(yàn)，固定化，每首歌每關(guān)都是相對(duì)固定且與時(shí)間點(diǎn)一一對(duì)應(yīng)的，而對(duì)于類(lèi)似音畫(huà)協(xié)同表演性的作品，其中音樂(lè)訊號(hào)追求視聽(tīng)表現(xiàn)，但玩法層面難以掌控，難以保證其有其Gameplay意義。

Audio Driven - Beat

除了旋律樂(lè)音之外，聲音的重要屬性便是節(jié)奏/節(jié)拍，而其本身的玩法，即對(duì)于節(jié)奏的時(shí)間性掌握，預(yù)測(cè)，重復(fù)，本身就完全可以單獨(dú)作為作品加以擴(kuò)大。

大家也很熟悉：例如處理節(jié)奏 Timing的《太鼓達(dá)人》，對(duì)節(jié)奏進(jìn)行預(yù)測(cè)與變化的獨(dú)立游戲《節(jié)奏醫(yī)生 Rhythm Doctor》，對(duì)節(jié)奏進(jìn)行重復(fù)的《節(jié)奏天國(guó)》與《Planet Quest》

但這里希望談?wù)摰膬蓚€(gè)更復(fù)雜的設(shè)計(jì)（此處有視頻展示）

Audio Driven - Beat-Driven

首先是由節(jié)拍來(lái)驅(qū)動(dòng)游戲性 Beat-Driven，可以理解為節(jié)拍可以觸發(fā)玩家/游戲世界中的某些改變，在諸如《140》《Laserwave》中是這樣做的，玩家的角色會(huì)在不同節(jié)拍點(diǎn)上自動(dòng)觸發(fā)對(duì)應(yīng)動(dòng)作，其好處在于節(jié)拍驅(qū)動(dòng)非常容易浮現(xiàn)出不同種的模式，并可進(jìn)行參數(shù)式的替換。

例如在我制作的Demo中，其展現(xiàn)為當(dāng)玩家在進(jìn)行OOXOOOXX的節(jié)拍，并且當(dāng)O的時(shí)候觸發(fā)沖刺，而X的時(shí)候觸發(fā)攻擊，那我們完全可以輕易地替換OX的節(jié)拍和循環(huán)風(fēng)格（Style），可以從不同的BPM中去構(gòu)造出不同的游戲戰(zhàn)斗體驗(yàn)，而僅僅只需要去調(diào)整速度，替換武器類(lèi)型，替換動(dòng)作，那如果整體游戲世界調(diào)校清楚，那近乎可以浮現(xiàn)出無(wú)限的戰(zhàn)斗體驗(yàn)。而缺點(diǎn)也很明顯，這類(lèi)游戲往往較為不可控，體驗(yàn)不是所有人都能接受。

Audio Driven - Beat- Driven Input Timing

此處為另外一種節(jié)拍驅(qū)動(dòng)的方式，節(jié)拍驅(qū)動(dòng)輸入時(shí)間窗。

在《節(jié)奏地牢 Crypt of the NecroDancer》以及《每分鐘子彈數(shù) BPM: BULLETS PER MINUTE》中，我們可以看到這種設(shè)計(jì)，不同于節(jié)拍直接驅(qū)動(dòng)游戲，而是節(jié)拍在這里如同音游一樣，創(chuàng)造了一個(gè)時(shí)間窗口，玩家的行為節(jié)奏被固定在了這樣一個(gè)窗口中。

而這實(shí)際上構(gòu)成了一層輸入濾鏡，使得某些你會(huì)立刻反應(yīng)的交互需要延遲（開(kāi)槍節(jié)奏），而某些你來(lái)不及反應(yīng)的交互（瞄準(zhǔn)）需要提前，并且從聲音上強(qiáng)化了游戲的世界邏輯（例如給回合制作品加入了動(dòng)作感，帶動(dòng)整體游戲循環(huán)的遞進(jìn)和展開(kāi)）。

其效果是驚人的，這使得一個(gè)如果脫離了節(jié)拍玩法就乏善可陳，內(nèi)容稀少的射擊游戲，加上了這層濾鏡后，拿到了很高的評(píng)價(jià)，并且在我游玩了四五個(gè)小時(shí)之后，才堪堪掌握其基礎(chǔ)的快速射擊與換彈的邏輯，并且有很深的樂(lè)趣。

Audio as Input

還有值得一提的，便是聲音作為輸入，無(wú)論是在節(jié)拍輸入上做文章的《啪嗒砰 Patapon》，還是曾經(jīng)在主播圈備受歡迎的，處理響度檢測(cè)的《八分音符醬 休むな！8分音符ちゃん》，再或是前段時(shí)間推出的，進(jìn)行頻率和音高判斷的《One Hand ClApping - sing your song》都是很不錯(cuò)的例子。

System Driven 系統(tǒng)驅(qū)動(dòng)

就如同前文所說(shuō)，大部分今天的游戲音頻是服務(wù)于玩法的，即由玩法系統(tǒng)驅(qū)動(dòng)和觸發(fā)的，這里我所要談?wù)摰氖穷?lèi)似的邏輯，但不同的是：在有些游戲中，這樣的由玩法驅(qū)動(dòng)的 System-Driven 卻有著聲音的呈現(xiàn)效果為目的的！

即希望玩家所觸發(fā)的這些聲音能夠形成具有良好可聽(tīng)性的聲音，其核心在于如何將游戲的音效Audio Effect作為音樂(lè)性的一個(gè)有機(jī)組成，進(jìn)入電子游戲的整體性系統(tǒng)holistic system之中。（而這部分也正是下文可與Generative Music進(jìn)行的對(duì)照）

（此處有視頻展示）

這塊的內(nèi)容可能大家會(huì)比較熟悉，我自己認(rèn)為比較好的例子是《Ape Out》的爵士鼓的即興設(shè)計(jì)，背景音樂(lè)的虛擬鼓手會(huì)隨著整體游戲情形改變其激烈程度，音色，伴隨著玩家的擊殺，會(huì)有鼓手的即興的加花等等。

《Tetris Effect》是《Rez：Infinite》的游戲設(shè)計(jì)師水口哲野的作品，他的作品一向以聯(lián)覺(jué)著稱，通過(guò)分層和類(lèi)似Stinger，節(jié)奏量化的方式讓整個(gè)游玩的過(guò)程非常順暢，以至于能夠進(jìn)行沉浸和代入。

《My Singing Monster》也是一個(gè)很好的例子，在這個(gè)游戲里，聲音成為了一個(gè)玩家主要搜集的對(duì)象，這是非常性價(jià)比的設(shè)計(jì)，對(duì)照在的大家動(dòng)輒卡面動(dòng)輒劇情故事動(dòng)畫(huà)皮膚的高制作成本，而聲音本身制作成本可能較低，并且能夠通過(guò)在首頁(yè)的組合出各種有趣的音效Loop，完全就是一個(gè)鼓機(jī)。

（此處有視頻展示）

我做了一個(gè)構(gòu)想，這樣的一個(gè)System driven需要的是是什么？需要循環(huán)，其中的某些部分可以被量化處理，玩家需要去改變和調(diào)整這樣的整體的音色，循環(huán)等等。基于這樣的考慮，我做了兩個(gè)塔防Demo，塔本身在攻擊的時(shí)候是有一定各自的聲音和循環(huán)的，而我根據(jù)位置制作了一個(gè)鼓機(jī)，其觸發(fā)是由其位置決定的，玩家去改變塔的位置，那么同時(shí)也會(huì)改變整體音樂(lè)的循環(huán)，甚至玩家可以使用某些覆蓋式的法術(shù)（Filter），由此帶來(lái)對(duì)其中某些聲音的改變效果Effects（音調(diào)、響度、高通、低通等等）等等。

這部分的內(nèi)容其實(shí)完全可以與Generative Music以及聲音玩件結(jié)合在一起思考：《Play Ground》《The Sound Forest 》友人Wenzy 的《Bouncing Music》John Mak 的《Everyday Shotter》，《Get Even》《ELECTROPLANKTON》等等有許多實(shí)踐。

Audio-Itself 音頻自身的可能

除了我剛才說(shuō)的這種更加粗線條的audio-driven，system-driven的思路外，其實(shí)audio還有無(wú)數(shù)的維度可以供挖掘，我不是專業(yè)的，這些例子僅供參考。

例如前段時(shí)間放出Demo的《The Signal State》本身就是對(duì)于模塊合成器的信號(hào)處理邏輯而做的數(shù)學(xué)解謎，《Circuits》作為以多軌音樂(lè)還原為目的，間接讓我體會(huì)到了對(duì)于音樂(lè)不同層的覺(jué)察。

《140》我是極推薦的，它也是2014年的IGF最佳音效獎(jiǎng)的得主，對(duì)于聲音微妙屬性變化的視覺(jué)式呈現(xiàn)，以及以140bpm為節(jié)拍貫穿始終的平臺(tái)跳躍設(shè)計(jì)都很巧妙?！禗ark Echo》將聲音的音波傳播的方式作為恐怖游戲進(jìn)行制作，騰訊功能游戲《長(zhǎng)空暗影》則采用聲像（Panning）來(lái)標(biāo)識(shí)方位，確實(shí)構(gòu)造出可以給盲人游玩的游戲。

而從VJ的角度，同樣以Shader作為主要調(diào)制玩法的《Mu Cartographer》讓人想到了頻譜分析，而從一些互動(dòng)音頻的教程上也能看到更多的交互可能，例如Ableton Live 的 Learning Synth 中具象的小蜜蜂對(duì)應(yīng)frequency，以及圖形化的合成器應(yīng)用 ROTOR的交互。

重思電子游戲作為視-聽(tīng)-交互的遞歸系統(tǒng)
Music as Generative System

在分享的前幾天，我正好翻譯了氛圍音樂(lè)的開(kāi)創(chuàng)者 Brian Eno的演講《生成式音樂(lè) Generative Music》，他是這樣描述和理解生成式音樂(lè)的創(chuàng)作的：

The Considerations that are important, then, become questions of how system works and most important of all what you feed into the system. 那么，重要的考慮因素就變成了「系統(tǒng)如何運(yùn)作」，以及最重要的「你提供給系統(tǒng)了什么」

—— Generative Music. Brian Eno, 1996

Brian Eno自己晚年也做了很多交互式的音樂(lè)軟件，其中最有名的就是他講自己的一張專輯Reflection以交互應(yīng)用的方式發(fā)布，如今依舊可以在AppStore找到這個(gè)208塊人民幣的應(yīng)用

除此之外John Cage 也同樣說(shuō)過(guò)類(lèi)似的話：

"ask questions rather than make choices", then the answers, instead of coming from my likes and dislikes, come from chance operations, and that has the effect of opening me to possibilities that I hadn't considered. Chance-determined answers will open my mind to the world around.

問(wèn)問(wèn)題，而不是做決定。其給出的回答，與其說(shuō)來(lái)自于我個(gè)人的喜好，不如說(shuō)來(lái)自于運(yùn)氣（chance）的運(yùn)作，并且為我敞開(kāi)某種我從未考慮過(guò)的可能性，這種取決于運(yùn)氣的回答打開(kāi)了我對(duì)于周遭世界的思維。

—— John Cage 1985

我們能在他們對(duì)于系統(tǒng)音樂(lè)的設(shè)計(jì)過(guò)程的描述中尋找到許多與游戲設(shè)計(jì)相類(lèi)似的表述，因?yàn)橛螒蛟O(shè)計(jì)本身也是對(duì)可能性空間的探索與約束：無(wú)論是Jonathan Blow在演講《游戲設(shè)計(jì)的真如 Truth in Game Design》中的談的「系統(tǒng)會(huì)你答案你」Systems give you something back that you didn't put in，亦或是在Steve Swink 的《游戲感 Game Feel》一書(shū)中將電子游戲和游戲設(shè)計(jì)同樣理解為關(guān)于可能性空間的設(shè)計(jì)（Game Design is also about set up possibilities space），這其中有非常類(lèi)似的思路：

即我們完全可以將游戲系統(tǒng)理解為一個(gè)已經(jīng)成型的系統(tǒng)，即回答了Brian Eno的第一個(gè)問(wèn)題：「系統(tǒng)如何運(yùn)作？」，而將我們音頻設(shè)計(jì)師需要進(jìn)行的聲音設(shè)計(jì)理解為對(duì)第二個(gè)問(wèn)題的回答「你提供給系統(tǒng)了什么？」，當(dāng)然這需要的是音頻設(shè)計(jì)高度了解游戲的互動(dòng)層面甚至算法與數(shù)據(jù)層面的事情并且將其用做自己創(chuàng)作的領(lǐng)域。

這在2018年IGF 最佳音效獎(jiǎng)獲獎(jiǎng)作品《Mini Metro 迷你地鐵》的作者Rich Vreeland分享《GDC 2018 Serialism & Sonification in Mini Metro 》（筆記可見(jiàn)豆瓣@葉梓濤）中可以窺見(jiàn)這種合作的影子：

在這個(gè)短小只有16分鐘的演講中，他敘述了一種Generative的方式，來(lái)自于Game Data 游戲數(shù)據(jù)與Authored Data 作者賦予的數(shù)據(jù)之間的結(jié)合（Reunion），即如何將這些數(shù)據(jù)進(jìn)行十二音階化，使其變得可聽(tīng)sonification，不使用循環(huán)的音軌，而是使用sequential sets of data to generate music and sound. 用游戲數(shù)據(jù)來(lái)設(shè)置聲音的音高，響度，節(jié)奏，音長(zhǎng)... 例如通過(guò)玩家的不同線路上的車(chē)站數(shù)量和位置進(jìn)行不同節(jié)拍的生成，將車(chē)站形狀映射為不同聲音，將X軸的位置映射為聲像，乘客映射為音量等等。

在采訪《The Programmed Music of Mini Metro》中，他也提到了啟發(fā)了他的作曲家Steve Reich and Philip Glass，還有遠(yuǎn)被低估和在中文世界被忽視的動(dòng)畫(huà)大家，Norman McLaren的兩分鐘的實(shí)驗(yàn)動(dòng)畫(huà)作品《Dots 舞動(dòng)的點(diǎn)》（Norman McLaren - Dots (1940)）。

而實(shí)際上McLaren可能最令人驚嘆的作品是他對(duì)于卡農(nóng)的可視化表達(dá)和實(shí)驗(yàn)，1964年拍攝的實(shí)驗(yàn)短片《卡農(nóng) Canon》，可以說(shuō)是在視覺(jué)動(dòng)畫(huà)與聲音上開(kāi)了先河與做了大量的工作，而這也是在視覺(jué)和聲音上可能是更早的某種未被完全揭示（可能之后我會(huì)寫(xiě)McLaren以及音畫(huà)協(xié)同）的Reunion。

但實(shí)際上在這里希望揭示的是在玩法系統(tǒng)與聲音之外再講視覺(jué)同樣作為一個(gè)生成式的存在拉入考量，這樣的System Reunion所面向的某種目標(biāo)，Rich Vreeland 也有很好的描述，對(duì)此，我認(rèn)為對(duì)于一個(gè)游戲「好」的評(píng)價(jià)，至少需要有這個(gè)標(biāo)準(zhǔn) ——?Holistic 整體化，這或許來(lái)自于對(duì)于交互、視覺(jué)、聲音之間不同顆粒度切分與展開(kāi)的對(duì)應(yīng)，某種意義上，所有的生成性的音樂(lè)與視覺(jué)都是對(duì)于不同系統(tǒng)的規(guī)則的設(shè)定與顆粒度切分。

Granularity of System allows the soundscape to respond to game state instaneously and evolve with the metro system as it grows and a holistic system handles all of the gradation for you, ambient signature just becomes a part of music.

系統(tǒng)的顆粒性允許了整體的聲景去立刻地回應(yīng)并且隨著游戲的狀態(tài)生長(zhǎng)，就像是一個(gè)整體性的系統(tǒng)為你展現(xiàn)出每段層次，氛圍式音效緩緩成為整體音樂(lè)的一部分。

所以在這個(gè)角度上來(lái)說(shuō)，游戲音頻設(shè)計(jì)在于如何用將聲音與整個(gè)游戲貫穿起來(lái)，然后你可以用無(wú)人深空的那個(gè)的表達(dá)，就是將整個(gè)樂(lè)隊(duì)搬進(jìn)游戲中，也可以用另一個(gè)比方：

把整個(gè)游戲變成一件量身定做的樂(lè)器。

所以在這個(gè)意義上，Reunion不僅僅是指聲音和游戲系統(tǒng)之間的某種糾纏與重聚，背后也是對(duì)于音頻設(shè)計(jì)師與游戲設(shè)計(jì)師的雙向要求，如何相互理解對(duì)方所擁有的工具，如何對(duì)于整體游戲系統(tǒng)有精細(xì)化的理解并且能夠相互協(xié)作構(gòu)建映射，這樣的整體性系統(tǒng)的一定是建立在視-聽(tīng)-玩法三方相互深刻理解的上的。

這也是我這次演講希望給大家?guī)С龅奈业囊稽c(diǎn)對(duì)電子游戲的整體性思考，希望能有所啟發(fā)。

End

此外我與音頻設(shè)計(jì)師Xichen在今年與去年的Global Game Jam 中進(jìn)行了兩次48小時(shí)的緊密合作，其中《C(8,3)?游戲0x007C：Là-bas #1》可能更多是在今天所說(shuō)的音樂(lè)分層Layering，節(jié)奏驅(qū)動(dòng)輸入時(shí)間窗 Audio Driven - Beat- Driven Input Timing，以及嘗試性的做出了Generative Music的一次嘗試；

而《劍入禪境》?劍入禪境 Sword Zen | Global Game Jam 2021?則可能是更完整的關(guān)于聲音敘述的體驗(yàn)，核心在于用一個(gè)判斷玩家呼吸是否控制好的一個(gè)參數(shù)驅(qū)動(dòng)Wwise的RTPC曲線來(lái)控制不同聲音狀態(tài)的變化，以此來(lái)傳遞出「控制好呼吸則感知更敏銳」的體驗(yàn)。

可以算是我作為非典型游戲設(shè)計(jì)師，Xichen作為非典型作為游戲開(kāi)發(fā)者的音頻設(shè)計(jì)師 Audio Designer as Game Developer的兩次Reunion的成果。

（視頻的后面對(duì)這兩個(gè)Game Jam作品的解說(shuō)，并且Xichen也談?wù)撊绾沃苯釉赨E4中使用Wwise的回調(diào)來(lái)生成關(guān)卡的技術(shù)分享）

分享者：葉梓濤 NExT Studios 游戲設(shè)計(jì)師，媒體實(shí)驗(yàn)室落日間主理人

感謝Wwise邀請(qǐng)及視頻的錄制編輯。

后記

關(guān)于這段時(shí)間為什么落日間談?wù)揂udio和游戲音頻的原因：

前些天在看爵士鋼琴家比爾·埃文斯Bill Evans的一場(chǎng)談話紀(jì)錄片《比爾·埃文斯的普世性音樂(lè)思維 The Universal Mind of Bill Evans：The Creative Process and Self-Teaching》（B站 掘火中譯），開(kāi)場(chǎng)埃文斯就談到了一種常人容易犯下的錯(cuò)誤：

大部分人只是大而化之的地想要得到一個(gè)答案，一個(gè)差不多的成品 Approximate the product ，卻不肯去鉆進(jìn)去哪怕從一個(gè)真實(shí)的小的地方去做研究，從任何基本的層面與之發(fā)生實(shí)際的、真實(shí)的正面交鋒，無(wú)論這種交鋒多么基礎(chǔ)，但一定要是全然真實(shí)，準(zhǔn)確，且真刀真槍的。

他談?wù)摰綄W(xué)習(xí)爵士在于，在實(shí)踐中一點(diǎn)點(diǎn)地處理例如和聲/節(jié)奏/變換等內(nèi)容，對(duì)于每個(gè)問(wèn)題都有意識(shí)地投入極其專注的注意力，直到這一處理過(guò)程退居二線而變?yōu)橐环N潛意識(shí)，而在這種過(guò)程中并不是依靠天賦，也不僅僅是粗略地某種感覺(jué)。

所以回到這次的分享以及這段時(shí)間落日間涉及到的音樂(lè)/聲音問(wèn)題也是如此，作為一個(gè)超高維的設(shè)計(jì)求解問(wèn)題，游戲設(shè)計(jì)同樣需要對(duì)于程序/物理/文字/聲音/圖形各層次地解構(gòu)性理解，或許有助于在其中尋找到能夠相互映照地創(chuàng)作地機(jī)會(huì)，而我認(rèn)為從這個(gè)角度去做研究分析推進(jìn)對(duì)系統(tǒng)與聲音、圖像的關(guān)系是有益的。

過(guò)幾天可能會(huì)談一下自己在7/11-7/12的CiGA Game Jam中個(gè)人制作的聲音解謎的交互式小原型的開(kāi)發(fā)始末以及其背后這段時(shí)間的技術(shù)和設(shè)計(jì)思路復(fù)盤(pán)與分享。

發(fā)布于落日間公眾號(hào)