隨著?2019.2?的發(fā)布，我們對?Spatial Audio?做了很多改進(jìn)。比如，我們參考光照技術(shù)提升了射線投射引擎的性能。對此，我們團(tuán)隊(duì)的克里斯托弗·托尼里?(Christophe Tornieri)?在?2019?年秋天舉辦的?AES NY?研討會?[1]?上做了簡要展示。藉此，可更加靈活地設(shè)定三角形數(shù)量、發(fā)聲體個(gè)數(shù)和反射階數(shù)。除此之外，還在?Wwise?中優(yōu)化了?Spatial Audio?的集成。這樣程序員和設(shè)計(jì)師設(shè)置起來更加方便，因而可將更多精力放在有創(chuàng)意的事情上。另外，我們團(tuán)隊(duì)的塔麗·凱克里基安?(Thalie Keklikian) [2]?在?WWWOE?上對此進(jìn)行了展示。有興趣的話不妨回看一下直播錄像。

在發(fā)布之前，Audiokinetic?的?Spatial Audio Research?團(tuán)隊(duì)與產(chǎn)品總監(jiān)西蒙·阿什比?(Simon Ashby)?進(jìn)行了交流，探討了其在使用新增功能對?Wwise Audio Lab?進(jìn)行重新混音時(shí)的心得體會。對此，他滿懷激動地表示：“它向用戶呈現(xiàn)了一個(gè)獨(dú)特的世界，一個(gè)真正充滿生機(jī)和活力的世界。借助改進(jìn)后的?Spatial Audio，可大幅增強(qiáng)游戲的沉浸體驗(yàn)?！痹谡劦较鄳?yīng)工作流程時(shí)，他還說“我只是事先設(shè)定混音規(guī)則，具體如何執(zhí)行由系統(tǒng)決定?！?br>

之后，我們認(rèn)真思考了?Spatial Audio?的構(gòu)建以及聲音設(shè)計(jì)和物理精度之間存在的矛盾。Wwise Spatial Audio?構(gòu)建得確實(shí)非常精妙，也給予了聲音設(shè)計(jì)師很大的操作空間。但是，聲音傳播遵循不變的物理法則。所以，為何還要費(fèi)心讓用戶來調(diào)控呢？直接讓系統(tǒng)自動實(shí)現(xiàn)不就行了嗎？在本系列博文中，我會試著以應(yīng)用實(shí)例的形式向各位展示我們當(dāng)初在決定如何構(gòu)建?Wwise Spatial Audio?時(shí)作出的一些思考。

距離建模

為了讓游戲音頻聽起來自然逼真，設(shè)計(jì)師有時(shí)會刻意偏離物理法則。其中一個(gè)常見的例子就是距離建模。誠然，每款游戲聲音引擎都會依據(jù)距離來調(diào)節(jié)聲音。但是，所有聲音都存在衰減，這一點(diǎn)是毫無二致的。比如，點(diǎn)聲源的衰減遵循平方反比定律（即振幅與?1/r?成正比，或者換個(gè)說法——距離每增加一倍，振幅會降低?6 dB），因?yàn)槟芰吭谙蛲廨椛鋾r(shí)散布的范圍會越來越大?[3]。距離越遠(yuǎn)，能量散布的作用越小。這時(shí)，因空氣吸收而導(dǎo)致的衰減會占據(jù)主導(dǎo)?[4]。

不過，設(shè)計(jì)師一般會針對不同聲音應(yīng)用不同的曲線，而這些曲線從物理學(xué)上來說往往是不精確的。事實(shí)上，距離衰減是一種重要的聲音設(shè)計(jì)手段。下面，我們來說說其中的一些緣由。

玩法設(shè)計(jì)

玩法設(shè)計(jì)比物理精度更加重要。比如，對白的衰減曲線通常比較平緩，確保從遠(yuǎn)處聽來一樣清晰可辨。

有限的動態(tài)范圍

避開動態(tài)范圍方面的限制。現(xiàn)實(shí)世界中的聲音有非常大的動態(tài)范圍?(0 ~ 190 dB SPL)，而虛擬世界的音頻只能通過揚(yáng)聲器或耳機(jī)來加以呈現(xiàn)。為此，設(shè)計(jì)師很可能會依據(jù)聲音是否響亮對距離衰減曲線進(jìn)行不同的設(shè)定。

圖?1?-?響亮聲音的距離衰減曲線。從理論上來說，曲線?(a)?更為精確。但設(shè)計(jì)師最終可能會選用像?(b)?那樣的曲線，來將非常響亮的部分“擠壓”到適當(dāng)?shù)膭討B(tài)范圍內(nèi)，以便在玩家所用聲音系統(tǒng)中加以渲染。

游戲世界比例

3D?世界只是在畫面上實(shí)施了優(yōu)化，其聽覺效果尚需進(jìn)行專門的處理。比如，在?Wwise Audio Lab [5]?中，看似普通的客廳其實(shí)有?12?米深?？臻g跨度相當(dāng)?shù)卮?。為此，玩家的行走和奔跑速度分別被設(shè)為了?7.5 m/s?和?18 m/s。這跟現(xiàn)實(shí)中是不一樣的。

圖?2?-?從幾何構(gòu)造的坐標(biāo)來看，Wwise Audio Lab?中的這個(gè)客廳有?12?米深。

錄制的聲音

錄制的聲音會包含部分其原本的環(huán)境特性。在制作聲音時(shí)，我們會讓它聽起來像真實(shí)聽到的那樣，或者至少像希望聽到的那樣。不過，有時(shí)很難將確切的物理過程與聲音傳播和周圍環(huán)境孤立開來。眾所周知，聲音內(nèi)所含的混響量是距離感知當(dāng)中的一個(gè)重要因數(shù)，它是以直達(dá)與混響聲能比?(direct-to-reverberant ratio，?DRR)?來度量的?[6]。事實(shí)上，聽者在遠(yuǎn)離聲源時(shí)，更多的是通過反射波而非直達(dá)波來感知聲源。如果各位曾經(jīng)去過消聲室，會發(fā)現(xiàn)在里面一些典型的聲音特征消失了。

我們很少有機(jī)會導(dǎo)入在消聲室中錄制的聲音，而游戲系統(tǒng)通常會依據(jù)環(huán)境添加混響效果。這會對用于直達(dá)聲或干濕比（對應(yīng)于信號流的?DRR）的距離衰減曲線產(chǎn)生影響。

另一個(gè)與距離衰減相關(guān)的問題：為什么大家經(jīng)常會在距離模型中應(yīng)用高通濾波呢？從混音的角度來講，在發(fā)送到混響效果器的信號越來越多時(shí)，去除低頻部分可以避免使混音變得拖泥帶水?[7]。不過，聲學(xué)教科書中并沒有對低頻會隨距離發(fā)生能量損耗有所提及[8]。

對于我們在游戲中運(yùn)用距離衰減的方式，不知各位有沒有什么其他想法？有的話歡迎告訴我們！

存在如此大的差別，那么面對更為復(fù)雜微妙的聲學(xué)現(xiàn)象，要如何做到物理上是精確的呢？

早期反射

我們在前面章節(jié)中已經(jīng)談到了這個(gè)話題。在波前由發(fā)聲體向外擴(kuò)散并最終遇到障礙物時(shí)，其部分能量會被材料吸收（也就是說，其會穿過材料繼續(xù)傳播），而另一部分能量則會被反射。反射聲相對于直達(dá)聲在抵達(dá)時(shí)間上的延遲及其抵達(dá)方向可為聽者提供很多有關(guān)環(huán)境形態(tài)的信息。最初的幾次反射稱為“早期反射”。它們在環(huán)境感知當(dāng)中起著至關(guān)重要的作用，并且會對沉浸感和出頭感產(chǎn)生很大的影響?[9]。?

在?Wwise Spatial Audio?的驅(qū)動下，Wwise Reflect?插件?[10 & 11]?會對這些早期反射進(jìn)行建模。照西蒙的話說，其可“通過反映房間特性來即時(shí)反饋有關(guān)所在位置和方位的詳細(xì)信息”。對于?Wwise Reflect，我們的目標(biāo)是以比完全由幾何構(gòu)造驅(qū)動混響更低的計(jì)算成本來呈現(xiàn)早期反射的互動感和沉浸感。

早期反射會因距離和空氣與材料之間接觸面上的能量損耗而產(chǎn)生衰減。聲音設(shè)計(jì)師如何以及為何會通過一些手段提升反射建模的精度是一個(gè)非常有趣的話題。

圖?3 - Wwise Reflect?借助?Wwise Spatial Audio?計(jì)算得出的數(shù)據(jù)對早期反射進(jìn)行渲染。(a) Game Object 3D Viewer?中顯示由?Wwise Spatial Audio?計(jì)算得出的早期反射路徑；(b) Wwise Reflect?用戶界面中實(shí)時(shí)顯示對應(yīng)的鏡像聲源。

早期反射聲的距離衰減

距離衰減是自定義的，道理與直達(dá)聲相同。對此，Wwise Reflect?專門提供有一套曲線。首先，總線上應(yīng)用的插件很難探知音頻源的?Attenuation ShareSet，而且其可能具有多個(gè)采用不同自定義距離衰減的音頻源。所以問題或許比想象的更復(fù)雜。不過，憑借?Wwise 2019.2?中所作的改進(jìn)，只需稍加變通便可解決這個(gè)問題。另外，設(shè)計(jì)師有時(shí)可能希望其與直達(dá)聲有所不同。?

然而我們并不清楚為什么音頻創(chuàng)作者經(jīng)常覺得有必要使得早期反射的距離衰減與他們創(chuàng)作的干聲的距離衰減不同，反之依然。我猜想，在某些情況下，DRR（Direct-to-Reverberant Ratio）可能與此有關(guān)。有一項(xiàng)研究[12]表明，最初的幾次反射在距離感知當(dāng)中起著主導(dǎo)作用，但Wwise Reflect產(chǎn)生的信號肯定對DRR的?"混響側(cè)?"也有所貢獻(xiàn)。不過，Wwise Reflect?不會受傳統(tǒng)的“距離驅(qū)動的發(fā)送電平”及?Auxiliary Bus的影響。原因是這樣的簡化模型并不適用于?Wwise Reflect——在使用Reflect時(shí)，每個(gè)反射聲都有自己的距離。因此，聲音設(shè)計(jì)者在設(shè)計(jì)早期反射的行為時(shí)，多少需要主動考慮如何彌補(bǔ)全局DRR的不足，因?yàn)樗麄冊O(shè)計(jì)的早期反射是伴有距離的。例如，當(dāng)靠近聲源時(shí)，設(shè)計(jì)者往往讓反射比他們應(yīng)該的更安靜，以強(qiáng)調(diào)接近的感覺。相反，當(dāng)遠(yuǎn)離聲源時(shí)，設(shè)計(jì)者會讓反射更明顯，以便傳達(dá)一些距離感。我認(rèn)為，這種夸張的做法可以達(dá)到事半功倍的效果。事實(shí)上，由于理想的幾何形狀和性能的限制間的沖突存在調(diào)和上的困難，Wwise Reflect渲染的早期反射的數(shù)量要比現(xiàn)實(shí)小得多。無論如何，簡化Wwise Reflect的距離模型是一個(gè)開放的問題，首先要做的是了解它與干聲的距離模型有什么區(qū)別。因此，我們非常想知道是什么促使你做出設(shè)計(jì)決定的！

墻壁吸收

另一個(gè)可以實(shí)現(xiàn)事半功倍的例子是墻壁吸收。各個(gè)頻段的吸收比率在日常材料相關(guān)文獻(xiàn)中很容易查到。它們的吸收比率其實(shí)相當(dāng)?shù)停ɑ蛘哒f，這些材料具有很強(qiáng)的反射性）。話雖如此，房間中的聲波會在墻壁上反射好幾百次，每次都會因?yàn)椴牧衔斩鴵p失一點(diǎn)能量。所以，在某個(gè)頻段內(nèi)每次降低幾個(gè)分貝可能會對混響的總計(jì)衰減時(shí)間和房間中感知到的音色產(chǎn)生很大影響。

與之相比，Wwise Spatial Audio?最多只會針對每條聲波路徑模擬四次反射；在?2019.2?之前，想模擬兩次都很難；在?Wwise?中，材料吸收是通過?Acoustic Texture?來模擬的。利用?Acoustic Texture，設(shè)計(jì)師可設(shè)置比實(shí)際材料更大的吸收系數(shù)以突出環(huán)境的聲學(xué)屬性，從而確保將墻壁材料的特性真正融入到所生成的音頻中。

圖?4 - Factory Reflect Acoustic Textures?中?Curtains?和?Brick?材料的設(shè)定值與?Wikipedia?頁面所述的實(shí)際值?[13]。注意，Wwise?中的系數(shù)采用的是百分比形式。其中，Concrete?比較接近。Brick?具有相似的頻譜形態(tài)，但總的來說吸收性更強(qiáng)。至于?Curtains，則做了比較夸張的調(diào)整。

Reflection Send

Wwise 2019.2?中為聲音新增了?Reflection Send?屬性。這樣方便針對給定聲音選擇所需的?Wwise Reflect ShareSet?或其他各種效果器，同時(shí)設(shè)定要為其饋送多少聲音。不過為什么我們需要這樣做呢？無論性質(zhì)如何，實(shí)際聲音都會按照相同的強(qiáng)度反射不是嗎？試想一下，有時(shí)你可能希望讓某些聲音反射表現(xiàn)得更明顯一些，以此來強(qiáng)化游戲的玩法或敘事（設(shè)想一下空蕩走廊中的腳步聲）?；蛘?，有時(shí)你可能需要削弱某個(gè)聲音的反射表現(xiàn)，因?yàn)槠湟呀?jīng)嵌入了很多混響。除此之外，你可能還希望通過更多的信號處理來調(diào)節(jié)聲音的反射。無論怎樣，我希望各位能借助我們系統(tǒng)的靈活性來充分發(fā)揮自己的創(chuàng)意。

圖?5 - Wwise?設(shè)計(jì)工具中的?Early Reflection Send

在本系列的下一篇博文中，我們會繼續(xù)探討?Wwise?中針對?Spatial Audio?所作的改進(jìn)，并介紹另一重要聲學(xué)現(xiàn)象（衍射）的應(yīng)用示例。

參考文獻(xiàn)、注釋和延伸閱讀

[1] AES New York 2019 ? Game Audio & XR Track Event GA06。2019?年?10?月?16?日。http://www.aes.org/events/147/gameaudio/?ID=6925。2020?年?7?月?8?日訪問。
[2]?Wwise Wworld Wwide Online Expo Spatial Audio
[3] Inverse-square law。https://en.wikipedia.org/wiki/Inverse-square_law。2020?年?7?月?8?日訪問。
[4]?從該?URL?中的圖表可以看出，在設(shè)定的大氣條件下，100 m?距離處由空氣導(dǎo)致的吸收量為?0.5 dB。而且，頻率越高，吸收越快。
Absorption - Graduate Program in Acoustics。2013?年?12?月?2?日。https://www.acs.psu.edu/drussell/Demos/Absorption/Absorption.html。2020?年?7?月?8?日訪問。
[5]?https://blog.audiokinetic.com/wwise-audio-lab/
[6] The importance of the direct to reverberant ratio in the...2009?年?4?月?8?日。https://asa.scitation.org/doi/10.1121/1.4783276。2020?年?7?月?8?日訪問。
[7]?感謝?Maximilien Simard Poirier?提供相關(guān)細(xì)節(jié)。
[8]?不難推測，通過適當(dāng)放置話筒可在錄音中嵌入來自地面的早期反射，其干涉圖樣（相長或相消，取決于頻率）會影響感知的音色。為此，需要使用濾波器來加以修正。以下研究提供了有關(guān)來自地面的反射會對感知產(chǎn)生何種影響的實(shí)用信息。比如，在抵達(dá)時(shí)間相隔不到?1?毫秒時(shí)，直達(dá)路徑和反射路徑會出現(xiàn)融合。此時(shí)會產(chǎn)生干涉。對人類聽者來說，在距離聲源?10?米之外的地方會發(fā)生這種情況。聽者或話筒離地面越近，滿足條件的距離就越短。不過，我不確定這是否與設(shè)計(jì)師在游戲中應(yīng)用高通濾波的原因有關(guān)。不知各位對此有何看法，有興趣的話不妨研究下。
The impact of early reflections on binaural cues。2012?年?7?月?10?日。https://www.researchgate.net/publication/229062896_The_impact_of_early_reflections_on_binaural_cues。2020?年?7?月?8?日訪問。
[9]?出頭感?(externalization)?就是聲音聽起來就像是從頭部以外傳來的一樣。為此，最好結(jié)合運(yùn)用?HRTF?處理和近似早期反射，而不是只進(jìn)行?HRTF?處理。
Headphone Sound Externalization - Semantic Scholar。2006?年?1?月?23?日。https://pdfs.semanticscholar.org/dc63/2043d7622e8a944545c50c87f9937b8ed67c.pdf。2020?年?7?月?8?日訪問。
[10] Wwise Reflect - Audiokinetic。https://www.audiokinetic.com/library/edge/?source=Help&id=wwise_reflect_plug_in_effect。2020?年?7?月?8?日訪問。
[11] Wwise Reflect | Audiokinetic。https://www.audiokinetic.com/products/plug-ins/reflect/。2020?年?7?月?8?日訪問。
[12] The Distance Pan-pot - Eoghan Tyrrell。http://eoghantyrrell.com/wp-content/uploads/2016/10/TheDistancePanpot_EoghanTyrrell_2016.pdf。2020?年?7?月?8?日訪問。
[13] Absorption (acoustics)。https://en.wikipedia.org/wiki/Absorption_(acoustics)。2020?年?7?月?8?日訪問。

本文作者

路易斯-扎維爾·布法尼 (LOUIS-XAVIER BUFFONI)

研發(fā)總監(jiān)

Audiokinetic

路易斯-扎維爾·布法尼 (Louis-Xavier Buffoni) 現(xiàn)任 Audiokinetic 研發(fā)總監(jiān)，主攻空間音頻、聲音合成、音頻編程和機(jī)器學(xué)習(xí)。