使用動(dòng)態(tài)音頻混音的游戲可以為玩家提供真正身臨其境的體驗(yàn)

讓我們?cè)O(shè)想如下情景：玩家正在穿過(guò)一片熱帶雨林。他們聽(tīng)到了周圍的環(huán)境噪音，其間零星地穿插著一些單發(fā)的聲音，同時(shí)他們還可以聽(tīng)到自己的腳步聲。突然，他們的任務(wù)目標(biāo)更新了，屏幕上出現(xiàn)了一個(gè)UI提示伴隨著音效。當(dāng)玩家深入雨林時(shí)，分配給該地區(qū)的環(huán)境音樂(lè)開(kāi)始播放。

隨著玩家的繼續(xù)前行，他們聽(tīng)到自己踩過(guò)樹(shù)葉和不同的地面類型的腳步聲。突然，敵人的腳步聲在不遠(yuǎn)處響起，接著一場(chǎng)沖突爆發(fā)了。人物們相互喊叫著，到處跑動(dòng)，槍聲在雨林中回響。由于后臺(tái)混響插件的作用，所有這些環(huán)境音效似乎都來(lái)自同一個(gè)物理空間。

突然間，聲景變得更加復(fù)雜和廣闊。盡管這個(gè)例子是考慮的開(kāi)放世界中該設(shè)計(jì)的音效和聲景，但這個(gè)例子可以引申應(yīng)用于多種游戲類型。所有在世界中被觸發(fā)的聲音都需要以合乎邏輯，聲音優(yōu)美的方式來(lái)控制并傳遞給玩家。解決這個(gè)問(wèn)題的第一種方法是通過(guò)一個(gè)簡(jiǎn)單的策略 -- 組織。

1. 組織混音總線（Organize Mixer Buses）

在 DAW[1]中創(chuàng)建歌曲時(shí)，通常的混音組織方法是按照樂(lè)器或功能進(jìn)行分組。在處理游戲音頻時(shí)也可以應(yīng)用相同的方式。音頻中間件[2]以及游戲引擎都具有混音功能，其行為方式與在DAW 非常相似。

這里的方式與為歌曲構(gòu)建混音結(jié)構(gòu)的方式相同。同類型的音效應(yīng)該放置在同一混音總線結(jié)構(gòu)中。就像在處理大型編排時(shí)一樣，從大的聲音類別中逐漸細(xì)分出更加具體的類別。

通常，在為游戲設(shè)計(jì)混音總線結(jié)構(gòu)時(shí)，最好采用分層的“Top-Down” [自上而下]方法。這將有利于稍后對(duì)更大的聲音類別進(jìn)行全面的更改。下圖專用于角色聲音的混音總線示例。

如圖所示，所有角色相關(guān)的走路和動(dòng)作聲音都可以放置在同一個(gè)父總線中。在這個(gè)父類別中，我們可以將角色聲音分成幾個(gè)不同的子類別，比如玩家聲音、敵人聲音、玩家擬聲[3]、玩家腳步聲、敵人擬聲、敵人腳步聲等。

1.1 如何考慮組織混音總線

如果需要，設(shè)計(jì)師可以通過(guò)將擬音和腳步聲按照特定特征（如表面類型）分離，使組別更加精細(xì)。在這樣的布局中，應(yīng)用于頂層“角色”總線的任何混音規(guī)則或插件都將影響所有后續(xù)子總線。同樣，可以向這些子總線添加規(guī)則集[4]和插件，以影響更小的子組的更具體的行為。

組織混音總線可以有許多不同的方法。雖然存在一些經(jīng)過(guò)驗(yàn)證的方法，但混音總線結(jié)構(gòu)可以完全取決于游戲的類型。在上面的示例中，就需要由設(shè)計(jì)師決定什么可以被算作“角色聲音”。例如，在我們的示例中，設(shè)計(jì)師可以不將武器聲音放置在角色類別中，而可能將武器效果放置在一個(gè)獨(dú)立的混音類別中。

1.2 選擇組織混音總線的方式是一件很重要的事

當(dāng)然，有時(shí)候?qū)⑽淦骰蛲婕夷芰Ψ胖迷诮巧偩€下也是有意義的。哪一種方式最適合正在開(kāi)發(fā)的項(xiàng)目？這是游戲音頻設(shè)計(jì)師要做出的選擇。您可能已經(jīng)明白，組織方法是一件很重要的事。一旦層次結(jié)構(gòu)到位，設(shè)計(jì)師便可以輕松地為游戲的大部分添加規(guī)則集和效果。

2. 在混音組上添加插件

就像音樂(lè)制作人會(huì)在DAW中的混音組上添加混響插件一樣，游戲音頻設(shè)計(jì)師通常也會(huì)想要將混響插件添加到不同的混音組中，以改變聲音在整個(gè)游戲世界中的傳播方式，這就是組織這一行為體現(xiàn)重要性的地方。混響將根據(jù)玩家的位置影響大量的聲音。在下圖中，您可以看到有一個(gè)名為“World”的混音組，和其中包含的其他子類別。

這個(gè)更大的組包含了大部分diegetic聲音（發(fā)生在游戲世界中的聲音），在這種情況下，這些聲音應(yīng)該會(huì)受到World的混響設(shè)置的影響。現(xiàn)在，我們可以向World總線中開(kāi)始添加混響插件了，或者創(chuàng)建一個(gè)包含該效果的輔助發(fā)送（auxiliary send）。使用兩種方法，結(jié)果都是相同的，父總線以及包含的子組中的所有聲音都將受到混響的影響。

3. 游戲中的混響行為（Reverb Behavior）

在游戲中應(yīng)用的混響[5]通常是由一個(gè)稱為混響區(qū)域（Reverb Zone）的游戲?qū)ο髞?lái)確定的。混響區(qū)域可以以多種方式被理解和應(yīng)用于引擎中。簡(jiǎn)單來(lái)解釋，混響區(qū)域就是觸發(fā)區(qū)域。一旦玩家進(jìn)入這個(gè)觸發(fā)區(qū)域，就會(huì)向音頻引擎發(fā)送消息以啟用必要的混響效果。

下圖展示了游戲引擎中的一個(gè)混響區(qū)域的示例：

一旦玩家進(jìn)入該混響區(qū)域，相應(yīng)位置的混響設(shè)置就需要被正確地應(yīng)用到對(duì)應(yīng)的混響插件上。這些設(shè)置通常由混音狀態(tài)來(lái)決定。

4. 混音狀態(tài)（Mix States）

在游戲音頻中間件中，混音狀態(tài)可以被視為一種預(yù)設(shè)，以保存混音總線上插件設(shè)置。當(dāng)玩家進(jìn)入我們游戲示例中雨林的混響區(qū)域時(shí)，將觸發(fā)與雨林環(huán)境相對(duì)應(yīng)的混音狀態(tài)。同樣，如果玩家進(jìn)入包含不同混響區(qū)域的位置，例如倉(cāng)庫(kù)，這將觸發(fā)與倉(cāng)庫(kù)環(huán)境相關(guān)聯(lián)的混音狀態(tài)。這個(gè)功能使得單個(gè)混響插件可以對(duì)應(yīng)于多種不同的預(yù)設(shè)，并且一個(gè)混音組可以通過(guò)不同的混響通道發(fā)送音頻。

4.1 混音狀態(tài)的多功能性

混音狀態(tài)的用途不僅限于混響，還可以用于任何需要將實(shí)時(shí)效果與特定游戲狀態(tài)相關(guān)聯(lián)的情況。例如，當(dāng)玩家的生命值較低時(shí)，設(shè)計(jì)師希望在World音效中添加低通濾波器[6]并淡入（Fade in）心跳聲效果。這可以通過(guò)多種方式實(shí)現(xiàn)。在下圖的示例中，濾波器插件上的低通頻率值與World混音組中的“玩家生命值”參數(shù)相關(guān)聯(lián)。

此外，還可以在循環(huán)心跳聲上放置音量調(diào)制，這樣只有在特定的混音狀態(tài)下才能聽(tīng)到。通過(guò)制定這些規(guī)則，游戲音頻設(shè)計(jì)師可以通過(guò)創(chuàng)建動(dòng)態(tài)混音，并不斷調(diào)整以最好地服務(wù)于當(dāng)前游戲玩法的情境。

5. 聲音限制和優(yōu)先級(jí)（Voice Limiting and Prioritization）

正確地使用混音組織和混音狀態(tài)可以大大提高游戲的聲音表現(xiàn)，從而將一個(gè)聽(tīng)起來(lái)比較好的游戲變成一個(gè)聽(tīng)起來(lái)非常好的游戲。然而，在本文開(kāi)頭描述的游戲情景中，我們有許多聲音組同時(shí)從數(shù)十個(gè)（甚至數(shù)百個(gè)）發(fā)射器中發(fā)出。請(qǐng)記住，游戲中的每個(gè)角色和每個(gè)武器都有自己的發(fā)射器和相應(yīng)的聲音實(shí)例。如果玩家要面對(duì)多個(gè)敵人，每個(gè)敵人都有自己的發(fā)射器，聲音景觀很快就會(huì)增加。此外，如果還加入了像武器或車輛這樣的其他組，我們的聲音世界很快就會(huì)失控。

5.1 時(shí)刻關(guān)注CPU使用率

一旦混音層次結(jié)構(gòu)組織好了，我們就需要考慮如何限制聲音。這非常重要，因?yàn)橛螒蛑邪l(fā)生的每個(gè)聲音實(shí)例都會(huì)直接影響音頻引擎使用的 CPU 量。如果 CPU 使用率開(kāi)始變得太高，聲音就會(huì)延遲，如果情況變得更加嚴(yán)重，可能會(huì)減慢游戲的幀率[7]。通常，游戲音頻中間件中的分析器會(huì)幫助您監(jiān)視 CPU 使用情況，以便得知哪些實(shí)例可以通過(guò)限制聲音數(shù)量來(lái)優(yōu)化。即使您沒(méi)有使用中間件，許多游戲引擎也有自己內(nèi)置的分析器。

通過(guò)分析游戲中存在的不同游戲循環(huán)，設(shè)計(jì)師可以開(kāi)始推斷出是否有過(guò)多音頻實(shí)例的冗余混音組，并著手開(kāi)始限制它們。

5.2 聲音和“兩個(gè)半“法則（Voices and the Law of “two-and-a-half”）

在游戲音頻領(lǐng)域中，“voice”指的是單個(gè)聲音實(shí)例。當(dāng)面對(duì)一個(gè)聲音景觀中存在大量“voices”時(shí)，很難判斷哪些聲音應(yīng)該被消除以提高性能。

在這種情況下，設(shè)計(jì)師需要考慮的問(wèn)題是：“玩家在這個(gè)游戲過(guò)程中最關(guān)注的是什么？”，回答這個(gè)問(wèn)題的一個(gè)方法是參考Walter Murch的“兩個(gè)半”法則。總結(jié)一下，這個(gè)法則規(guī)定，當(dāng)屏幕上有兩個(gè)可見(jiàn)的主體時(shí)，這兩個(gè)主體所對(duì)應(yīng)的聲音需要與主體的運(yùn)動(dòng)完美同步。然而，當(dāng)主體超過(guò)兩個(gè)時(shí)，任何不同主體的聲音同步之間沒(méi)有優(yōu)劣之分[8]。這個(gè)法則在考慮腳步聲時(shí)最有效，但也可以應(yīng)用于其他情況，特別是在電子游戲中。

有了這個(gè)想法，游戲音頻設(shè)計(jì)師就可以確定在某個(gè)時(shí)刻需要聽(tīng)到每個(gè)混音組中的多少聲音。例如，在一場(chǎng)槍戰(zhàn)中，玩家真正需要同時(shí)聽(tīng)到多少個(gè)敵方武器聲音？如果在一次戰(zhàn)斗中有三個(gè)或更多敵人，那么最有可能的答案是，需要關(guān)注定位最重要的兩個(gè)敵方武器聲音。在這種情況下，額外的武器聲音只會(huì)用來(lái)填充音景。這種限制理論也可以應(yīng)用于諸如車輛之類的混音組。應(yīng)該同時(shí)清晰聽(tīng)到多少輛車？

在游戲的整體范圍內(nèi)，這個(gè)原則可以應(yīng)用于存在于游戲世界中的許多聲音。限制聲音不僅可以提高游戲的整體性能，還有額外的好處，可以讓混音聽(tīng)起來(lái)更加清晰。

5.3 優(yōu)先級(jí)

如上所述，在任何游戲場(chǎng)景中，可能會(huì)同時(shí)觸發(fā)數(shù)百個(gè)發(fā)射器。每個(gè)發(fā)射器都包含自己的音頻聲音和額外的聲音層。限制混音組和單獨(dú)的音效類型確實(shí)有所幫助，但這只是整體的一部分。為了創(chuàng)建一個(gè)清晰、連貫的混音，同時(shí)不過(guò)載 CPU，游戲音頻設(shè)計(jì)師需要定義游戲中最重要的聲音。這就是優(yōu)先級(jí)的作用所在。

如果沒(méi)有適當(dāng)?shù)膬?yōu)先級(jí)設(shè)置，當(dāng)聲音引擎在一個(gè)給定的幀中觸發(fā)了最大數(shù)量的聲音，它會(huì)開(kāi)始不加選擇地限制聲音。為了防止意外截?cái)?，設(shè)計(jì)師有必要選擇出其中最重要的聲音。這可能因游戲類型而異，但有一些經(jīng)驗(yàn)規(guī)則可以幫助定義游戲中最高優(yōu)先級(jí)的聲音。

5.4 如何決定優(yōu)先級(jí)

第一優(yōu)先級(jí)通常是原聲音樂(lè)。由于原聲音樂(lè)是“2D”的且一直存在于游戲世界中，在密集的動(dòng)作序列中意外被切斷音樂(lè)將會(huì)是很糟糕的。因此，原聲音樂(lè)應(yīng)始終位于最高優(yōu)先級(jí)。同樣適用的是重要的UI提示音，無(wú)論是從游戲玩法還是無(wú)障礙性的角度考慮都很重要。例如，像“ping”系統(tǒng)這樣的提示音在激烈的戰(zhàn)斗中應(yīng)始終可聽(tīng)到。

現(xiàn)在，容易處理的聲音已經(jīng)處理完畢，接下來(lái)就會(huì)變得更加微妙。首先，與玩家角色直接相關(guān)并且在屏幕上可見(jiàn)的聲音應(yīng)始終具有高優(yōu)先級(jí)。例如，在一個(gè)具有固定角色的第三人稱游戲中，這可能包括從腳步聲到施法和武器開(kāi)火聲等一切聲音，因?yàn)樗鼈兊娜笔?huì)破壞玩家的沉浸感。

處理了玩家的聲音之后，就需要把注意力轉(zhuǎn)向游戲的其他方面。請(qǐng)注意，這里給出的考慮內(nèi)容可能嚴(yán)重依賴于游戲玩法。例如，玩家正在進(jìn)行一個(gè)設(shè)計(jì)好的戰(zhàn)斗場(chǎng)景，在場(chǎng)景中他們聽(tīng)到了適量的槍聲、敵人的腳步聲和語(yǔ)音。然后，一個(gè)大物體開(kāi)始在遠(yuǎn)處移動(dòng)，引起了玩家的注意。這個(gè)物體對(duì)戰(zhàn)斗場(chǎng)景有多重要？這個(gè)物體是任務(wù)中重要的敘事物體嗎？是否發(fā)生了破壞？這些都是非常微妙和難以處理的問(wèn)題，但這都與正確的混音總線組織有關(guān)。

在上述情景中，設(shè)計(jì)師可能會(huì)建立兩個(gè)獨(dú)立的“物體”混音組，一個(gè)指定為基于故事驅(qū)動(dòng)的物體，另一個(gè)指定為世界物體。在這種情況下，基于故事驅(qū)動(dòng)的物體可能會(huì)被指定為更高優(yōu)先級(jí)的類別，以確保它們?cè)谛枰獣r(shí)總是觸發(fā)。相反，如果涉及的物體在遠(yuǎn)處，不那么重要的世界物體可能會(huì)在激烈的戰(zhàn)斗中被從聲景中移除。

6. 虛擬化（Virtualization）

我們已經(jīng)談?wù)摿撕芏嚓P(guān)于性能原因而限制聲音的內(nèi)容，但是還沒(méi)有涉及到不同類型的限制。有些情況下，聲音根本不能播放，有些情況下聲音會(huì)被打斷，甚至有時(shí)聲音會(huì)被虛擬化。

虛擬化是一個(gè)過(guò)程，引擎會(huì)跟蹤與聲音相關(guān)的所有數(shù)據(jù)，但聲音本身卻不會(huì)播放。當(dāng)一個(gè)聲音被激活時(shí)，首先檢查它的限制參數(shù)。如果不應(yīng)該播放，則將其虛擬化。同樣，如果一個(gè)聲音正在播放但應(yīng)該被一個(gè)更高優(yōu)先級(jí)的聲音取代，它也可以被虛擬化，以便它之后在它離開(kāi)的地方繼續(xù)進(jìn)行，但實(shí)際的聲音不再被聽(tīng)到。

這樣做可以節(jié)省大量的處理開(kāi)銷，但仍會(huì)占用一定的 CPU使用率 。這是因?yàn)槁曇舻臅r(shí)間線位置仍在被跟蹤，并且如果突然不再需要限制，需要進(jìn)行額外的操作才能開(kāi)始恢復(fù)播放。因此，這種優(yōu)化最適合用于循環(huán)播放的聲音，這些聲音很可能會(huì)在限制狀態(tài)之間來(lái)回切換 - 比如循環(huán)環(huán)境聲音或車輛引擎聲。

在一次性聲音的情況下，因?yàn)樗鼈冎皇嵌虝旱囊淮涡圆シ牛詈猛ㄟ^(guò)中斷它們或根本不播放來(lái)完全限制它們的聲音。設(shè)計(jì)師不希望使用CPU資源來(lái)跟蹤一個(gè)即將結(jié)束的聲音的時(shí)間軸；在限制條件過(guò)期時(shí)，很有可能會(huì)觸發(fā)新的聲音實(shí)例。在這種情況下，玩家在游戲過(guò)程中很可能不會(huì)注意到其重新啟動(dòng)、中斷或完全不存在的情況。

游戲音頻引擎有時(shí)是按照這種設(shè)計(jì)構(gòu)建的，即在限制的情況下，一次性聲音將從播放隊(duì)列中消除，而循環(huán)聲音將被虛擬化。然而，有時(shí)優(yōu)化選擇會(huì)留給設(shè)計(jì)師決定。這讓設(shè)計(jì)師能夠?qū)崿F(xiàn)根據(jù)其游戲的專門優(yōu)化。

結(jié)論

創(chuàng)建一個(gè)連貫的游戲音頻環(huán)境時(shí)，重要的是要記住，聲音景觀的每個(gè)元素在游戲過(guò)程中都會(huì)與玩家互動(dòng)。就像混音歌曲一樣，重要的是考慮這些部分是否有利于整體。一組聲音在獨(dú)自聽(tīng)起來(lái)很好，但與游戲的其他部分不協(xié)調(diào)，這將對(duì)游戲的整體音頻產(chǎn)生不利影響。請(qǐng)牢記，音頻服務(wù)于游戲玩法。音頻、混音和實(shí)現(xiàn)策略應(yīng)該將襯托玩家在游戲中的體驗(yàn)作為第一目標(biāo)，并減少突兀感，盡可能達(dá)到如同自然存在的聲音一般。

作者：Rony Mraz 著于2021.2.8

• Avalanche Studios音效設(shè)計(jì)師

• 紐約大學(xué)斯坦哈特分校兼職教師

• 代表作：《正當(dāng)防衛(wèi)4》及DLC

譯者：Satieadherent 譯于2023.3.21

一些“后話”

首先感謝你能看到最后，希望這篇文章的翻譯能讓你滿意。如果文中有錯(cuò)誤請(qǐng)盡管指出，謝謝！

關(guān)于這篇文章是我在搜索動(dòng)態(tài)混音時(shí)偶然發(fā)現(xiàn)的，在這之前通過(guò)Marshell Mcgee分析守望先鋒中槍聲與腳步優(yōu)先級(jí)關(guān)系的視頻中對(duì)動(dòng)態(tài)混音有了一定了解，便產(chǎn)生了興趣。Rony這篇《如何設(shè)計(jì)動(dòng)態(tài)的游戲音頻混音》從一個(gè)設(shè)想的游戲情景入手，依次講解了組織混音總線、混響行為、混音狀態(tài)、聲音限制和優(yōu)先級(jí)等內(nèi)容，在仰取俯拾間還是有一定的感觸。礙于中文社區(qū)確實(shí)缺少這方面的資料，便產(chǎn)生了翻譯這蚍蜉撼樹(shù)的想法。過(guò)程很痛苦，但最終也僥幸完成了。o(′^｀)o

初于音頻領(lǐng)域，如墮煙海，似霧里看花，但也深信最后的峰回路轉(zhuǎn)、柳暗花明。

[1]?數(shù)字音頻工作站：Pro Tools, Ableton Live, Reaper, Studio One等。——譯者注

[2] 音頻中間件：位于游戲引擎和音頻硬件之間的第三方工具集，它提供了游戲音頻項(xiàng)目所需的多種功能。例如：Wwise, Fmod, Criware等?！g者注

[3] 擬聲：可以是任何聲音，例如衣服摩擦的聲音、腳步聲、吱吱作響的門和玻璃破碎的聲音等?！g者注

[4] 規(guī)則集Rulesets：指定游戲的規(guī)則，如游戲中角色的屬性、技能和能力，游戲機(jī)制、物理規(guī)則等?！g者注

[5] 混響Reverb：指聲源發(fā)音停止后聲音繼續(xù)存在的聲學(xué)現(xiàn)象?！g者注

[6] 低通濾波器：容許低頻信號(hào)通過(guò)，但減弱（或減少）頻率高于截止頻率的信號(hào)的通過(guò)?！g者注

[7] 幀率Frame Rate：以幀稱為單位的位圖圖像連續(xù)出現(xiàn)在顯示器上的頻率（速率）?！g者注

[8] 關(guān)于“兩個(gè)半”法則的解釋不是很好理解，其核心思想是在超過(guò)兩個(gè)主體同時(shí)存在的場(chǎng)合，音效設(shè)計(jì)師需要確定兩個(gè)最為重要的主體，然后剩余的主體聲音都只能作為背景存在。法則名字中的“兩”指代兩個(gè)最重要的主體的聲音，“半”指代剩余充當(dāng)背景的主體的聲音。在接下來(lái)的例子中作者有通過(guò)射擊游戲的武器聲音來(lái)解釋該法則?！g者注