在游戲音頻設(shè)計(jì)入門「上篇」和「中篇」，NExT音頻設(shè)計(jì)師希辰和大家分享了游戲音頻設(shè)計(jì)的技能樹、工作流和分工。

在這個(gè)系列的「下篇」，希辰將作為一個(gè)堅(jiān)定的技術(shù)派，結(jié)合實(shí)際工作中遇到的痛點(diǎn)，繼續(xù)聊一聊游戲音頻設(shè)計(jì)在設(shè)計(jì)思路、開發(fā)工具和終端體驗(yàn)上會有哪些可以改進(jìn)的地方，以及對游戲音頻未來發(fā)展的展望。

去年年中的時(shí)候，與朋友做了一期名為「2020了，游戲還能給我們帶來什么」的播客節(jié)目，作為一個(gè)堅(jiān)定的技術(shù)派，我在其中表達(dá)了一個(gè)觀點(diǎn)，新體驗(yàn)的產(chǎn)生很大程度上依賴于硬件性能的提升和開發(fā)工具的進(jìn)化。如果把問題具體到游戲音頻設(shè)計(jì)，我認(rèn)為值得展開討論的話題就是，基于硬件軟件不斷發(fā)展的前提下，游戲音頻設(shè)計(jì)自身會發(fā)生哪些變化？從業(yè)者在開發(fā)流程中會運(yùn)用哪些新方法？玩家在游戲過程中能獲得哪些新體驗(yàn)？

最初在列文章大綱時(shí)起的英文標(biāo)題是“What will The Next Gen of Game Audio Design be like”，這是一個(gè)疑問句，對此我并沒有清晰明確的答案，所以說我只能是結(jié)合實(shí)際工作中遇到的痛點(diǎn)，來聊一聊游戲音頻設(shè)計(jì)在設(shè)計(jì)思路、開發(fā)工具和終端體驗(yàn)等各個(gè)環(huán)節(jié)上還有哪些可以改進(jìn)的地方。譯成中文的話，就高大上一點(diǎn)地叫“展望游戲音頻設(shè)計(jì)的發(fā)展方向”吧。

1983年，任天堂推出了風(fēng)靡全球的?Nintendo Famicom，經(jīng)典配色的“紅白機(jī)”。這算是我最早認(rèn)識的游戲機(jī)了，就把它作為標(biāo)尺來分析一下硬件性能：8-bit 1.79MHz 處理器，2KB 內(nèi)存，音頻方面支持 4-bit 波表合成器和最高 7-bit 15.7458kHz 采樣文件，最多可同時(shí)播放五個(gè)聲音。

2013年，Sony 推出了?PlayStation 4?主機(jī)，而它的性能已經(jīng)達(dá)到了：八個(gè) 64-bit 1.6GHz 處理器，8GB 內(nèi)存，24-bit 48KHz 音頻文件格式成為開發(fā)標(biāo)配，八通道輸出支持多種環(huán)繞聲音響設(shè)置，可同時(shí)發(fā)聲數(shù)方面也沒有了硬性限制。

顯而易見，這三十年的硬件發(fā)展是非常迅速的，性能水平的提升幾乎是以百千倍計(jì)的。而就在2020年年底，Sony 和 Microsoft 也都相繼推出了新一代的游戲主機(jī)，性能方面更是有了進(jìn)一步的提高。

其實(shí)，移動(dòng)端設(shè)備的性能也已經(jīng)到了非常高的水準(zhǔn)，越來越多的游戲開始嘗試主機(jī)端和移動(dòng)端的多平臺支持。雖然由于手機(jī)本身的功能定位和物理機(jī)能的限制，在實(shí)際表現(xiàn)上與主機(jī)相比還有些差距，但游戲開發(fā)的思路和目標(biāo)在這兩個(gè)平臺之間并無明顯的差異，只是側(cè)重不同而已：主機(jī)端追求的是在極限的性能要求下達(dá)到最極致的表現(xiàn)，而移動(dòng)端則更注重在保證盡可能好的表現(xiàn)下去適配更廣泛的機(jī)型。

總的來說，從內(nèi)存和處理器這兩個(gè)指標(biāo)來理解，硬件性能的提升對游戲音頻設(shè)計(jì)意味著：更大的內(nèi)存意味著可以使用更多高質(zhì)量的聲音資源，更快的處理器意味著可以處理更多高精度的實(shí)時(shí)控制。

因此在這樣的硬件性能水平之下，游戲音頻設(shè)計(jì)也形成了目前一套相對成熟的開發(fā)流程，借用游戲音頻設(shè)計(jì)入門「中篇」：工作流和分工一文中的圖示來說明：在數(shù)字音頻工作站中制作出高質(zhì)量的聲音資源，導(dǎo)入音頻中間件中進(jìn)行統(tǒng)一管理和進(jìn)一步處理，并與游戲引擎深度結(jié)合來構(gòu)建實(shí)現(xiàn)邏輯，最終以音頻數(shù)據(jù)的形式與游戲中其它元素配合來實(shí)現(xiàn)各種豐富的條件觸發(fā)和實(shí)時(shí)變化。

以上，從硬件性能和開發(fā)流程這兩個(gè)角度入手，簡單闡述了游戲音頻設(shè)計(jì)的現(xiàn)狀是怎樣的。接下來我將以在實(shí)際項(xiàng)目中遇到的3個(gè)例子，來聊一聊游戲音頻設(shè)計(jì)目前尚存的一些問題，以及可行的改進(jìn)方案。

在第三人稱射擊游戲類型中，玩家能夠清楚地觀察到整個(gè)角色的各種行為，因此角色在動(dòng)作表現(xiàn)上的細(xì)節(jié)就顯得尤為重要，特別對于寫實(shí)風(fēng)格的游戲來說更是如此。針對此類角色動(dòng)畫的開發(fā)需求，目前常見的做法是基于骨骼動(dòng)畫（Skeleton Animation）和關(guān)鍵幀動(dòng)畫（Keyframe Animation）的。
以?Unreal Engine?為例，首先根據(jù)角色表現(xiàn)進(jìn)行細(xì)致的行為分類，比如基礎(chǔ)的 Idle、Turn、Walk、Run 以及各種行為之間起停和過渡等行為，通過動(dòng)作捕捉（Motion Capture）的方式采集原始動(dòng)作素材并制作出大量的動(dòng)畫序列（Animation Sequence），再在游戲引擎中運(yùn)用混合空間（Blend Space）和狀態(tài)機(jī)（State Machine）等功能對動(dòng)畫序列進(jìn)行整合，實(shí)現(xiàn)各種行為的觸發(fā)和轉(zhuǎn)換。在這樣的開發(fā)工序下，角色衣服和腳步等 Foley 相關(guān)的聲音一般是以動(dòng)畫通知（Animation Notify）的形式整合進(jìn)動(dòng)畫序列中，只要?jiǎng)赢嬓蛄斜挥|發(fā)，其中相應(yīng)的聲音就會被播放。

狀態(tài)機(jī)截圖（供參考）

接下來就以腳步聲為例來具體分析一下到底需要準(zhǔn)備多少聲音資源。通常有以下幾個(gè)重要因素需要考慮：
歩態(tài)：與動(dòng)畫行為分類相關(guān)聯(lián)，如走、跑、跳、落地、起停等，如果更細(xì)致一些還可以考慮各種步態(tài)在前后左右行進(jìn)方向上的差異，比如向前走和向后退在腳跟腳尖的著地順序上是不同的；
體型：主要是由體型等相關(guān)因素引起的腳步聲在整體聽感上的差異，比如通常會有男女之分，女性的腳步聲可以顯得更輕盈一些；
鞋子：穿著拖鞋、皮鞋、運(yùn)動(dòng)鞋和登山靴等不同鞋子所發(fā)出的腳步聲有各自明顯的特點(diǎn)，具體種類取決于角色換裝的豐富程度；
材質(zhì)：角色處在水泥、沙石、草地等不同材質(zhì)上發(fā)出的腳步聲有明顯差異，具體種類一般由游戲中定義的物理材質(zhì)所決定。
素材變化：即每一個(gè)種類的腳步聲需要制作多少個(gè)隨機(jī)樣本，以保證在高頻率觸發(fā)的情況下不會出現(xiàn)明顯的重復(fù)感。
根據(jù)上述考量因素可以制定出整體所需的數(shù)據(jù)結(jié)構(gòu)和資源規(guī)模。以我們目前一個(gè)項(xiàng)目為例來進(jìn)行估算，一個(gè)男性角色的動(dòng)畫序列數(shù)量超過了1,500個(gè)，其中男性腳步聲數(shù)據(jù)使用到的聲音資源文件數(shù)量超過了5,000個(gè)。

上述這種制作方式可以稱為是?Sample-Based Asset Production，即聲音資源的來源是海量的音頻格式文件，最終的聲音效果很大程度上也取決于這些資源本身的質(zhì)量。梳理一下這種制作方式的特點(diǎn)，以及我對它的一些想法：

1.?角色的前進(jìn)后退和快走慢跑等行為在聲音上的細(xì)微差別真的可以體現(xiàn)出來嗎？優(yōu)秀的擬音師確實(shí)可以表演出這些動(dòng)作之間的細(xì)微差異，并以錄音的形式明確細(xì)致地記錄下來。也正是如此，使用樣本資源是目前最主要也最有效的制作方式。

擬音現(xiàn)場錄制重裝倒地的聲音（泥地）

擬音現(xiàn)場錄制重裝倒地的聲音（干草）

2. 聲音表現(xiàn)的豐富程度和細(xì)節(jié)變化重度依賴于聲音資源的數(shù)量。通過細(xì)分行為結(jié)構(gòu)和堆疊海量數(shù)據(jù)的方式，確實(shí)可以把細(xì)節(jié)品質(zhì)推到極致，但在資源有限的實(shí)際開發(fā)環(huán)境下，如此巨大的工作量往往是無法承受的。

3. 這種工作量是貫穿在整個(gè)工作流程中的，包括聲音資源制作、數(shù)據(jù)結(jié)構(gòu)搭建、音頻數(shù)據(jù)整合等。通過規(guī)范化流程和自動(dòng)化工具確實(shí)可以減少其中一部分的重復(fù)勞動(dòng)，提高生產(chǎn)效率，比如對動(dòng)畫序列進(jìn)行檢測并在腳著地時(shí)刻自動(dòng)添加音頻數(shù)據(jù)，但是這并沒有從根本上改變整個(gè)生產(chǎn)方式的核心思路。

4.?在此基礎(chǔ)上，可以引入游戲中的動(dòng)態(tài)參數(shù)對聲音資源做進(jìn)一步的實(shí)時(shí)處理，比如使用角色的速度和斜率參數(shù)對同一資源的響度、音調(diào)和低通/高通濾波等屬性進(jìn)行實(shí)時(shí)調(diào)節(jié)，來模擬在不同坡度上行進(jìn)的腳步聲變化。但這種實(shí)時(shí)調(diào)節(jié)的效果只能算是一種低精度模擬，因?yàn)閷@些音頻屬性的調(diào)整并不能改變樣本自身的波形特征，換句話說就是不能體現(xiàn)出動(dòng)作本身之間的真實(shí)差別。
歸根結(jié)底，這種 Sample-Based 的制作方式其實(shí)是試圖用足夠多的離散數(shù)據(jù)去匹配高精度的連續(xù)變化，在我來看這其中是有很大的改進(jìn)空間的。游戲開發(fā)的技術(shù)性特點(diǎn)是所有邏輯都是構(gòu)建在程序算法之上的，所有表現(xiàn)其實(shí)是演算過程的結(jié)果，自然地也就有了程序化生成（Procedural Generation）這個(gè)概念，簡單來說就是通過算法來生成數(shù)據(jù)。這種思路在游戲開發(fā)領(lǐng)域也早有應(yīng)用，比如開發(fā)世界大規(guī)模地形和植被的生成、Roguelike 類游戲隨機(jī)地圖的生成等，近幾年比較出名的游戲作品《No Man’s Sky》中甚至生成了超過18000000000000000000（Quintillion，18個(gè)0）個(gè)獨(dú)特的星球可供玩家探索。

說回到我們的例子上，即使在基于大量動(dòng)畫序列的角色動(dòng)作制作流程中，其實(shí)多少也會涉及到程序化動(dòng)畫（Procedural Animation）的相關(guān)運(yùn)用，比如角色在死亡或失去控制之后進(jìn)入的?Ragdoll 狀態(tài)，使用?Inverse Kinematics?Rig（簡稱“IK Rig”）?讓角色在與其它物體接觸時(shí)的動(dòng)作表現(xiàn)更加自然，采用動(dòng)作匹配技術(shù)（Motion Matching ）方式來更方便快捷地實(shí)現(xiàn)角色 Locomotion 行為等。現(xiàn)在甚至已經(jīng)可以運(yùn)用人工智能、神經(jīng)網(wǎng)絡(luò)等相關(guān)技術(shù)，在不依賴于動(dòng)畫序列等數(shù)據(jù)的前提下，讓角色產(chǎn)生非常自然且自適應(yīng)各種狀態(tài)的動(dòng)畫表現(xiàn)。
試想今后在這樣的工作流程中，現(xiàn)有形式的音頻數(shù)據(jù)都沒有類似于動(dòng)畫序列這樣的載體去依托，我們又該如何去設(shè)計(jì)和整合角色的動(dòng)作聲音呢？因此相對應(yīng)地在音頻設(shè)計(jì)領(lǐng)域，自然也會有程序化音頻（Procedural Audio）的設(shè)計(jì)思路。
程序化音頻這個(gè)概念雖不是一個(gè)新事物，但目前在業(yè)界似乎還沒有大規(guī)模的討論、應(yīng)用、以及相應(yīng)的 Wiki 頁面。在此我暫且不對程序化音頻的學(xué)術(shù)定義展開討論，僅結(jié)合上述角色腳步聲設(shè)計(jì)的案例，來梳理一下我對程序化音頻的理解，以及實(shí)際運(yùn)用的可行性思路：

1.?首先，程序化音頻的思考重點(diǎn)是物體為什么發(fā)聲和怎樣發(fā)聲，而非簡單地只考慮具體的聲音表現(xiàn)。如果從相對寬泛的尺度下去考量，現(xiàn)在的游戲音頻設(shè)計(jì)其實(shí)已經(jīng)包含了許多程序化音頻的設(shè)計(jì)思路。

2.?有一點(diǎn)需要明確的是，程序化音頻并不是說要完全拋棄樣本素材的使用，這一點(diǎn)與物理建模聲音合成（Physical Modelling Synthesis）是有本質(zhì)區(qū)別的。基于物理模擬的聲音合成是指對物體的物理屬性進(jìn)行解構(gòu)并通過算法建模的方式來生成聲音，學(xué)界在這方面已經(jīng)有了多年的研究和成果，之后是有機(jī)會作為程序化音頻設(shè)計(jì)思路中的一項(xiàng)技術(shù)而被實(shí)際運(yùn)用在游戲音頻設(shè)計(jì)工作流中的。但就目前的實(shí)際開發(fā)而言，使用樣本素材的方式在聲音質(zhì)量、運(yùn)算速度和性能消耗等各個(gè)方面都還是有絕對優(yōu)勢的。

3.?引入程序化音頻設(shè)計(jì)思路的主要目的是，使用有限的聲音資源來實(shí)現(xiàn)盡可能豐富且動(dòng)態(tài)的聲音表現(xiàn)。在目前的游戲音頻設(shè)計(jì)工作流中許多方法其實(shí)是與此契合的，比如使用來自引擎中的動(dòng)態(tài)參數(shù)來實(shí)時(shí)調(diào)制聲音的屬性，這仍然會是程序化音頻中的一個(gè)重要手段。

4.?對于角色腳步聲設(shè)計(jì)中的步態(tài)因素而言，我認(rèn)為目前運(yùn)用程序化音頻最主要的障礙是還沒有一個(gè)有效的模型從更為解構(gòu)的角度去描述腳步的結(jié)構(gòu)與狀態(tài)。比如平臺解謎游戲《Inside》里的角色腳步聲設(shè)計(jì)就做了一次有趣且成功的嘗試，將腳步聲拆分成腳尖（Toe）和腳跟（Heel）兩部分，然后通過角色速度等參數(shù)來實(shí)時(shí)控制這兩部分的播放間隔、響度和音調(diào)等屬性，來無縫銜接地表現(xiàn)角色在不同速度下行進(jìn)的腳步聲。盡管這種解構(gòu)模型的精度還是相對簡單，但是對像《Inside》這類橫版移動(dòng)和藝術(shù)化美術(shù)風(fēng)格的游戲類型來說確實(shí)已經(jīng)足夠而且是有效的。而對于寫實(shí)風(fēng)格的第三人稱射擊游戲來說，我們在腳步聲解構(gòu)模型上還需有更進(jìn)一步的思考與探索。

5. 材質(zhì)（Material）是游戲引擎中一個(gè)基礎(chǔ)且重要的系統(tǒng)，目前在音頻設(shè)計(jì)方面對其的應(yīng)用還是比較簡單和直接的，即一種材質(zhì)映射一組包含若干隨機(jī)變化的樣本素材聲音，這也是腳步聲的聲音資源數(shù)量和結(jié)構(gòu)復(fù)雜程度會隨著材質(zhì)種類的增加而成倍擴(kuò)大的主要原因。如果引入程序化音頻的設(shè)計(jì)思路，我們可以從材質(zhì)的硬度、厚度和粗糙度等物理屬性去分析，并結(jié)合物理建模聲音合成的技術(shù)，這樣就可以使用盡可能少的聲音資源通過參數(shù)控制和排列組合的方式去實(shí)現(xiàn)盡可能多的材質(zhì)聲音表現(xiàn)。

6.?最后，從務(wù)實(shí)的角度來討論一下為什么程序化音頻還沒有被大規(guī)模地運(yùn)用在實(shí)際開發(fā)中?
我認(rèn)為可能的原因有2點(diǎn)：
1）目前絕大多數(shù)游戲類型的開發(fā)規(guī)模和資源數(shù)量還是可控的，使用樣本素材是最為直接有效且相對廉價(jià)的制作方式。受限于人員技術(shù)背景和人力成本等因素，游戲音頻團(tuán)隊(duì)投入時(shí)間精力去從事程序化音頻的基礎(chǔ)研究或許不是一件劃算的事情；
2）盡管學(xué)界可能在相關(guān)領(lǐng)域已經(jīng)有了研究進(jìn)展和成果，但由于缺少實(shí)際需求的驅(qū)動(dòng)，因此還未形成一個(gè)相對完整的解決方案。

在強(qiáng)競技的寫實(shí)風(fēng)格射擊游戲中，玩家對聲音的關(guān)注點(diǎn)不僅是槍聲聽起來爽不爽，更會對槍械射擊和人物動(dòng)作等聲音的空間感和方位感提出更高的要求，因?yàn)檫@些聲音在符合物理常識和聽覺習(xí)慣的情況下能夠給玩家提供更多的戰(zhàn)局信息。所以在游戲音頻設(shè)計(jì)中，我們需要解決的一大問題就是如何在游戲世界中重建一個(gè)擬真的聲學(xué)環(huán)境，讓聲音在其中傳播時(shí)聽起來真實(shí)可信。
聲學(xué)環(huán)境建模本身就是學(xué)術(shù)研究中的一大方向，在建筑聲學(xué)等領(lǐng)域已經(jīng)有了非常多的研究成果和實(shí)際應(yīng)用，我在這方面沒有任何的研究經(jīng)驗(yàn)，因此僅從游戲音頻設(shè)計(jì)的角度來討論一下目前常見的解決方案。

首先從響度的角度來考慮，一個(gè)聲音在從激發(fā)到消失的過程中可以被分為三個(gè)部分——直達(dá)聲（Direct Sound）、反射聲（Early Reflect）和混響聲（Late Reverb），這三部分聲音會以動(dòng)態(tài)地生成、變化和混合，來形成聲源在空間中的整體效果。同時(shí)考慮聲音在傳播過程中的兩個(gè)行為特征，衍射（Diffraction）與透射（Transmission），這兩者與空間的幾何體信息是強(qiáng)相關(guān)的，需要配合聽者與聲源的空間信息和相對關(guān)系共同參與運(yùn)算。簡單理解，以上5點(diǎn)就是在游戲中重建聲音傳播現(xiàn)象時(shí)可以被設(shè)計(jì)和控制的要素。

以音頻中間件?Audiokinetic Wwise 的?Spatial Audio?解決方案為例，游戲音頻設(shè)計(jì)師可以從以下幾個(gè)方面入手：

1.?在 Wwise 中對各類聲音定義不同的?Attenuation?設(shè)置，其中包含了聲音可傳播的最大距離以及基于距離變化的響度、低頻和高頻的衰減曲線，主要定義的是直達(dá)聲這一部分的傳播屬性。另外還會包含聲音在不同距離上響應(yīng)混響效果的曲線，后續(xù)被用于混響聲部分的計(jì)算。

2.?在 Wwise 中創(chuàng)建?Auxiliary Buss，并在各條 Buss 上配置不同效果的 Reverb 插件來模擬不同空間的混響效果。這些 Buss 之后會被映射到引擎中所定義的空間中以確定各自不同的混響屬性，并實(shí)時(shí)計(jì)算生成混響聲的部分。

3.?在 Wwise 中創(chuàng)建?Reflect Buss，通過 Reflect 插件來完成反射聲部分的實(shí)時(shí)計(jì)算。反射聲是由引擎中所定義的建筑或物體表面反射引起的，與空間幾何緊密相關(guān)，因此 Reflect 插件中定義了反射聲的最大響應(yīng)距離以及基于距離變化的響度、低頻和高頻的衰減曲線等屬性。

4.?在 Wwise 中創(chuàng)建各種?Acoustic Texture，用來模擬不同材質(zhì)對反射聲的吸收程度。這些 Texture 之后會被映射到引擎中所定義的建筑或物體表面上，配合 Reflect 插件共同實(shí)現(xiàn)更精細(xì)的反射聲效果。

5.?在 Wwise 中設(shè)置全局的?Obstruction 和 Occlusion?曲線，分別對應(yīng)衍射和透射的效果。直達(dá)聲在傳播過程中，遇到表面邊緣發(fā)生轉(zhuǎn)折和直接透過墻體時(shí)會分別引起不同程度的 Obstruction 和 Occlusion 計(jì)算，得出的數(shù)值會在 Attenuation 設(shè)置的基礎(chǔ)上進(jìn)一步影響直達(dá)聲的響度以及低頻和高頻的衰減。

6.?在引擎中根據(jù)地形和建筑物模型來定義各個(gè) 空間（Room），并在其中配置相應(yīng)的 Reverb Buss、Acoustic Texture 和墻體 Occlusion 等空間屬性，以及在門窗等空間開口處定義 Portal 當(dāng)作聲音傳播的通道。

7.?定義空間主要有兩種方式：1）使用?Spatial Audio Volume 組件手動(dòng)繪制立方體之類的簡單幾何圖形，2）使用?Geometry 組件直接調(diào)用建筑物模型的 Static Mesh 信息。
完成以上這些設(shè)計(jì)與整合工作之后，引擎就可以根據(jù)聽者、聲源與幾何體的空間信息和相對關(guān)系進(jìn)行實(shí)時(shí)運(yùn)算來模擬各類聲音在不同空間中的聽感效果。
以下是我對上述這種解決方案的理解：

1.?從對聲學(xué)環(huán)境建模的角度來看，這種方案是建立在 Room & Portal 基礎(chǔ)上的，將游戲空間劃分為一個(gè)個(gè)相對獨(dú)立的 Room，并通過 Portal 將其連接起來。雖建模精度有限，但這種簡化的模型在實(shí)際表現(xiàn)上確實(shí)是有效的，在盡可能降低性能消耗的同時(shí)也能夠體現(xiàn)出聲音傳播的特點(diǎn)。

2.?盡管這種建模與還原是有效的，但與真實(shí)的聲音表現(xiàn)相比還是有很大差距的，我認(rèn)為主要瓶頸還是在于性能有限。比如，混響聲其實(shí)是由無數(shù)漫反射混合形成的效果，但在實(shí)際開發(fā)中我們還無法從這個(gè)更本質(zhì)的角度去進(jìn)行模擬，大量的射線檢測（Raycasting）極耗性能，只能通過混響插件來實(shí)現(xiàn)，而插件本身對混響的建模也是簡化的，即使是使用效果更好的卷積混響（Convolution Reverb），目前也存在可控動(dòng)態(tài)參數(shù)有限的問題。

3.?再比如，目前我們通常只能用簡單幾何體去近似擬合，也不會對所有材質(zhì)表面都定義反射屬性，更不會對所有聲音都進(jìn)行反射計(jì)算。而真實(shí)環(huán)境中聲音的細(xì)節(jié)表現(xiàn)，恰恰就體現(xiàn)在這些無序的、不規(guī)則的聲音相互影響之中的。

4.?也正因?yàn)樾阅苡邢?，這種方案需要人工定義 Room 和 Portal，且對于復(fù)雜模型還需要考慮組合拼接，從工作量的角度來看也是一個(gè)不小的人力成本。

5.?當(dāng)然，這種由于性能有限而引發(fā)的還原精度降低和工作成本增加的現(xiàn)象，其實(shí)在游戲開發(fā)中是普遍存在的，比如對模型設(shè)置 LOD（Level of Detail）來調(diào)整不同視距下的模型精度等。
除了等待硬件性能提升之外，我們能不能換個(gè)思路來解決游戲中聲學(xué)環(huán)境建模的問題呢？Microsoft 在2011年提出了一種叫做?Wave Acoustics?的模擬方法，用一種類似于光照烘焙（Static Light Baking）的思路，將復(fù)雜環(huán)境中聲波傳播的真實(shí)效果進(jìn)行演算并記錄下來，并從中提取重要參數(shù)用于設(shè)計(jì)控制和實(shí)時(shí)運(yùn)算。這種方法以不依賴于大量射線檢測的方式提高了聲學(xué)環(huán)境的模擬精度，同時(shí)也省去了音頻設(shè)計(jì)師手動(dòng)定義 Room 和 Portal 的大量工作。當(dāng)然，這種方案目前也存在一些需要改進(jìn)的地方，比如如何進(jìn)一步減少烘焙文件的存儲大小和如何實(shí)現(xiàn)空間信息動(dòng)態(tài)變化等問題。
目前此方案正式命名為?Project Acoustics，并已在《Gear of War》、《Sea of Thieves》和《Borderlands 3》等項(xiàng)目中經(jīng)過驗(yàn)證，感興趣的朋友可以前往官網(wǎng)查閱詳情，或者直接試用 Unreal 或 Unity 整合方案。
限于本人研究深度有限，暫且不論 Room & Portal 和 Wave Acoustics 這兩種方案孰優(yōu)孰劣，至少作為一線工作者是非常樂于見到新技術(shù)的出現(xiàn)的，不斷從實(shí)現(xiàn)效果和工作效率上帶給我們新的可能。

目前主機(jī)平臺上的大多數(shù)游戲都會按?5.1 環(huán)繞立體聲以上的重放標(biāo)準(zhǔn)來進(jìn)行最終的混音，而絕大多數(shù)玩家是沒有這樣規(guī)格的重放條件的，主要還是以雙聲道立體聲音箱、耳機(jī)甚至只是電視機(jī)揚(yáng)聲器居多。因此，無論我們在音頻實(shí)現(xiàn)上采用了多么先進(jìn)的技術(shù)，或是在混音階段使用了多么高端的環(huán)境與設(shè)備，最終都要考慮一個(gè)非常重要且實(shí)際的問題，那就是如何保證玩家在規(guī)格各異的終端設(shè)備上也能聽到高質(zhì)量的聲音重放效果。那么耳機(jī)作為一個(gè)大多數(shù)玩家都能獲取的設(shè)備，因而也就成了我們的研究重點(diǎn)，值得去研究如何在耳機(jī)上實(shí)現(xiàn)一個(gè)更加立體且逼真的聽覺效果。

針對這個(gè)問題，我們首先要理解目前游戲中是如何處理聲音定位的。
在游戲的三維世界中，聽者與各個(gè)聲源都有各自的坐標(biāo)，任意兩者之間的相對關(guān)系經(jīng)過向量計(jì)算便可得出，基于聽者而言的聲音定位信息是簡單且明確的。這種處理方式與游戲開發(fā)中基于對象的編程邏輯類似，也可以理解為是?Object-Based Audio。游戲本身的動(dòng)態(tài)和交互特點(diǎn)，要求聲音必須包含完整的定位信息用于實(shí)時(shí)計(jì)算，因此在游戲開發(fā)階段，我們更多考慮的是聽者與聲源之間相對關(guān)系的變化，而非特定聲道上具體的重放內(nèi)容，這一點(diǎn)與音樂和電影等基于聲道（Channel-Based）的聲音制作思路是完全不同的，我認(rèn)為也是其優(yōu)越性的體現(xiàn)。正因?yàn)?Object-Based Audio 具有這樣的特點(diǎn)，Dolby Atmos 等環(huán)繞聲技術(shù)也引入了類似的設(shè)計(jì)思路，用于實(shí)現(xiàn)更豐富立體的電影聲音重放效果。

盡管 Object-Based 的方式保留了聲源完整的空間信息，我們最終還是要把聲音映射到只有兩個(gè)聲道的耳機(jī)上進(jìn)行重放，目前最常見的方式是?VBAP（Vector-Based Amplitude Panning）。VBAP 的優(yōu)點(diǎn)在于無需對聲場做額外改動(dòng)就能映射到各種聲道配置的重放系統(tǒng)上，然而它的缺點(diǎn)也是明顯的，玩家聽到的并不是真正的全方位的聲場，聲源相對于聽者在前后方向和高度上的差異被壓縮了，直觀地來說就是原本的三維空間被壓扁成了一個(gè)二維平面。

VBAP示意圖（來源：http://impala.utopia.free.fr/）

所以對于上述耳機(jī)重放的問題，我們可以結(jié)合兩種技術(shù)來有針對性地解決。先是使用空間聲（Ambisonics）技術(shù)將聲源的空間信息映射到一個(gè)立體的球形聲場中，然后再使用雙耳聲音頻（Binaural Audio）中的頭部相關(guān)傳遞函數(shù)（HRTF，Head-Releated Transfer Function）對球形聲場中的聲源進(jìn)行濾波處理，最終實(shí)現(xiàn)空間感更加準(zhǔn)確且適合耳機(jī)重放的聲音定位效果。

HRTF示意圖（來源：www.lowbeats.de）

對此我的理解是：

1.?Ambisonics早在70年代就已發(fā)明，只因此前 Channel-Based 的制作方式占據(jù)主流，導(dǎo)致其沒有太大的用武之地。直到前幾年?Virtual Reality （虛擬現(xiàn)實(shí)，簡稱“VR”）的興起，Ambisonics 對整體聲場捕捉和還原的特點(diǎn)才重新被人重視，Ambisonics 話筒配合全景攝像機(jī)的拍攝方式很好地順應(yīng)了 VR 影片的制作需求。

2.?在游戲音頻設(shè)計(jì)中，Ambisonics 的應(yīng)用遠(yuǎn)不止使用話筒采集 Ambisonics 聲音素材，更重要的是 Ambisonics 可以作為一種中介空間表示法（Intermediate Spatial Representation）來模擬聲場，為后續(xù)使用?HRTF?進(jìn)行更精準(zhǔn)的雙耳化定位提供了可能。目前音頻中間件 Audiokinetic Wwise 也已將 Ambisonics 整合進(jìn)自身已有的 Spatial Audio 工作管線中。

3. 雙耳聲音頻（Binaural Audio?）也不是一個(gè)新技術(shù)，Binaural Recording 錄音方式早已出現(xiàn)且被廣泛使用，現(xiàn)在流行的所謂?AsmR?視頻其實(shí)就是使用 Binaural 話筒錄制來營造一種更親近的聽覺體驗(yàn)而已。其原理非常簡單易懂，就是在靠近人耳鼓膜附近布置話筒或者使用人工頭模型話筒來錄制聲音，這樣就能把聲音受耳道、耳廓、頭型和軀體等部位的影響更精確地捕捉下來，而人之所以能辨別聲音方位，與受到這些部位的濾波影響而產(chǎn)生細(xì)微變化有很大的關(guān)系。

4.?在游戲音頻設(shè)計(jì)中，Binaural Audio 的應(yīng)用也遠(yuǎn)不止是使用 Binaural 話筒采集聲音素材，最主要的是我們能從以這種方式將人體部位對聲音的濾波影響提取成 HTRF，這樣就可以對游戲中實(shí)時(shí)變化的聲音進(jìn)行雙耳化處理。

5.?目前 HRTF 數(shù)據(jù)采集需要在高標(biāo)準(zhǔn)的聲學(xué)環(huán)境下使用話筒陣列來進(jìn)行，費(fèi)時(shí)費(fèi)力成本高，因此常規(guī)的 HRTF 數(shù)據(jù)只能對有限樣本進(jìn)行采集再處理成籠統(tǒng)的分類預(yù)設(shè)。然而由于個(gè)體器官構(gòu)造的差異性，這些數(shù)據(jù)無法精確地匹配到每一個(gè)個(gè)體。所以，如何更方便快捷地采集個(gè)人 HRTF 數(shù)據(jù)可能會是之后值得探索的一項(xiàng)技術(shù)。
總之，耳機(jī)是目前普通消費(fèi)者體驗(yàn)高質(zhì)量聲音表現(xiàn)最易獲取的設(shè)備，針對耳機(jī)的聲音重放體驗(yàn)肯定會受到越來越多的重視，因此在開發(fā)階段專門針對耳機(jī)重放做特殊的聲音定位和混音處理也是尤為必要的。

上述三個(gè)例子分別從資源生成、聲學(xué)建模和終端體驗(yàn)三個(gè)角度展開，討論了游戲音頻設(shè)計(jì)的發(fā)展方向和進(jìn)展，也從都側(cè)面反映了對技術(shù)進(jìn)步的一致要求：設(shè)計(jì)工具更可控、運(yùn)算性能更快速、呈現(xiàn)效果更精確。

上文通篇都是對技術(shù)本身的討論，其重要性不言而喻，但純粹追求技術(shù)手段的發(fā)展更多屬于科學(xué)研究的范疇，而游戲音頻設(shè)計(jì)是技術(shù)與藝術(shù)的結(jié)合，技術(shù)手段要服務(wù)于藝術(shù)表達(dá)，游戲作品的好壞最終取決于玩家的體驗(yàn)和評價(jià)，而非技術(shù)手段的先進(jìn)與否。
科學(xué)研究的技術(shù)成果提供了模擬現(xiàn)實(shí)的工具，而游戲開發(fā)者則應(yīng)該思考如何將這些工具運(yùn)用到虛擬世界的再創(chuàng)造中去。當(dāng)技術(shù)發(fā)展到能讓我們越來越接近真實(shí)的時(shí)候，我們又該如何去定義虛擬世界中的“真實(shí)性”呢？

自此，希辰關(guān)于游戲音頻設(shè)計(jì)的三篇文檔先暫告一段落，未來這個(gè)系列還將持續(xù)更新，有興趣的同學(xué)可以掃描下方二維碼關(guān)注他的知乎。