這一系列博客文章源自2020年10月在GameSoundCon上發(fā)表的演講。演講目的是為創(chuàng)作者提供通過(guò)使用基于對(duì)象的音頻渲染技術(shù)來(lái)完善他們新項(xiàng)目的視角和工具。而該技術(shù)能夠?qū)崿F(xiàn)盡可能自然的空間音頻體驗(yàn)。

此內(nèi)容分為三部分：

• 本文內(nèi)容即第一部分，通過(guò)展示該技術(shù)如何在多系統(tǒng)和播放終端上實(shí)現(xiàn)更好的表現(xiàn)，讓音頻從業(yè)者了解使用基于對(duì)象的音頻（相對(duì)于基于通道的音頻）來(lái)創(chuàng)作新項(xiàng)目時(shí)的優(yōu)勢(shì)。

• 第二部分闡述Wwise 2021.1如何通過(guò)充分利用音頻對(duì)象，為所有混音工作考量豐富強(qiáng)化工作流，從而進(jìn)化為一個(gè)更加全面的創(chuàng)作環(huán)境的。

• 最后，第三部分將分享一系列由聲音設(shè)計(jì)師和作曲家在近期項(xiàng)目中應(yīng)用音頻對(duì)象時(shí)所采用的方法、技巧。

空間信息編碼 - 歷史綜述

為記錄聲音而編碼音頻的做法已有百余年歷史。幾十年來(lái)，編碼方式基于單聲道制式，而單聲道的設(shè)計(jì)并不能很好的提供空間信息（雖然有些人認(rèn)為單聲道錄音可以很容易地記錄聲音的深度，這也是空間的一個(gè)維度）。而直到20世紀(jì)70年代，隨著立體聲系統(tǒng)的大量應(yīng)用，公眾逐漸開始接觸到有更多空間信息的音樂(lè)錄音產(chǎn)品。而隨著人們對(duì)立體聲格式的普遍接受，關(guān)于空間音頻、空間定位的探索與討論，在音頻工程師和音樂(lè)愛好者們的圈子里變得越來(lái)越熱。

后來(lái)，20世紀(jì)80年代，隨著VCRs(盒式錄像機(jī))的推廣和VHS(家庭影像系統(tǒng))影片租賃的流行，業(yè)界提出了打造家庭影院式體驗(yàn)的構(gòu)想…而對(duì)于普通大眾來(lái)說(shuō)，想要實(shí)現(xiàn)這個(gè)構(gòu)想，首先你需要擁有一套全新的音響系統(tǒng)！這就是行業(yè)如何從LCRS(左-中-右-環(huán)繞聲)發(fā)展到全動(dòng)態(tài)頻響范圍的5.1揚(yáng)聲器配置，7.1，再到如今加上了高度通道的7.1.4。

而在過(guò)去的十年里，人們的生活方式開始向移動(dòng)端傾斜，客廳里音箱的使用場(chǎng)景逐漸被耳機(jī)所代替。手機(jī)和在線游戲的普及無(wú)疑加速了這種轉(zhuǎn)變。而從音箱與耳機(jī)的銷售趨勢(shì)及預(yù)期市場(chǎng)規(guī)模來(lái)看，強(qiáng)烈跡象表明，未來(lái)耳機(jī)仍將是大勢(shì)所趨。

感知空間音頻

要通過(guò)音箱或耳機(jī)實(shí)現(xiàn)逼真的空間音頻體驗(yàn)，有兩個(gè)互補(bǔ)的必要因素：

• 工具與技術(shù)：音頻技術(shù)應(yīng)盡可能精確地模擬聲音的物理特性。

• 物理常識(shí)：表現(xiàn)應(yīng)該符合我們的日常生活經(jīng)驗(yàn)。

讓我們更詳細(xì)地看看這兩個(gè)因素。

定向的實(shí)現(xiàn)

目前來(lái)說(shuō)HRTF(頭部相關(guān)傳輸函數(shù))是在耳機(jī)端實(shí)現(xiàn)高精度聲音定向的最佳技術(shù)。為了準(zhǔn)確實(shí)現(xiàn)聲音定向，HRTF算法利用了以下原理：

• ITD(雙耳時(shí)間差)：表示兩耳之間同個(gè)聲音信號(hào)到達(dá)的時(shí)間差異。其量級(jí)甚至不到一毫秒，但足以讓大腦獲取方向信息。

• IID(雙耳強(qiáng)度差)：表示聲音信號(hào)傳播時(shí)頭部對(duì)其中一只耳朵的阻擋作用造成的兩耳之間相對(duì)振幅、音色和相位差異。這種效應(yīng)一定程度上與聲音信號(hào)自身頻率有關(guān)。

• 耳廓頻率震動(dòng)：表示同一聲音從不同方向傳來(lái)時(shí)耳膜處呈現(xiàn)的不同濾波效果。

利用ITD、IID和耳廓頻率震動(dòng)技術(shù)來(lái)提高聽者周圍空間音頻的準(zhǔn)確性。本文很好地說(shuō)明了HRTF的原理：https://tech.fb.com/inside-facebook-reality-labs-research-the-future-of-audio/

環(huán)境效應(yīng)的實(shí)現(xiàn)

通過(guò)技術(shù)可以模擬的另一個(gè)方面則是各類環(huán)境效應(yīng)，如距離衰減、動(dòng)態(tài)早反射、混響、衍射和阻擋等。充分利用以上元素，豐富的環(huán)境信息可讓大腦感知到更加逼真的空間音頻。請(qǐng)注意，利用環(huán)境效應(yīng)模擬真實(shí)空間這個(gè)話題能展開聊很多，但本文關(guān)注的主要方面在使用音頻對(duì)象的優(yōu)勢(shì)所以暫不討論。

物理常識(shí)因素

另一個(gè)會(huì)影響空間音頻感知的因素則不再關(guān)乎技術(shù)，而依賴于我們生活中的三類常識(shí)。

第一個(gè)方面與“音色常識(shí)”有關(guān)：如果你聽到有人在說(shuō)悄悄話，那他很可能就在附近，會(huì)比聽到同樣的內(nèi)容在大聲喊要近得多。

第二個(gè)方面關(guān)于“本能和學(xué)習(xí)行為”，作為人類，當(dāng)感知到某些事物時(shí)我們會(huì)本能地期望得到經(jīng)驗(yàn)中的聲音反饋，比如當(dāng)飛機(jī)從我們頭頂飛過(guò)時(shí)。這是隨著時(shí)間推移我們?cè)诔砷L(zhǎng)過(guò)程中習(xí)得的東西。

最后一個(gè)方面關(guān)于“視覺融合”，即我們的眼睛會(huì)協(xié)助耳朵在3D空間中精確定位發(fā)聲位置。例如，當(dāng)你聽到視野之外的聲音時(shí)，你能猜到它的大致方位，但只有移動(dòng)頭部配合視覺觀察，你才能定位到發(fā)聲體的準(zhǔn)確位置。

Brian Schmidt在2017年MIGS上發(fā)表的演講“技術(shù)對(duì)創(chuàng)造力的影響，案例研究：超越HRTF”中詳細(xì)闡述了物理常識(shí)是如何影響我們感知空間音頻的能力的。

https://www.audiokinetic.com/learn/videos/HIdPF2DcDw8/

基于通道的音頻

上半部分講了我們?nèi)绾胃兄臻g音頻，以及涉及的一些相關(guān)技術(shù)，那么讓我們?cè)賮?lái)回顧一下，使用基于通道的方式在各類媒體上實(shí)現(xiàn)聲音定向、模擬環(huán)境效應(yīng)時(shí)情況又是怎樣的，如黑膠唱片、磁帶、數(shù)字媒體以及各類實(shí)時(shí)應(yīng)用，比如Wwise。

考慮到當(dāng)時(shí)的技術(shù)和算力，依靠基于通道的方式來(lái)編碼空間信息是一種有效的解決方案。然而，當(dāng)要實(shí)現(xiàn)更精準(zhǔn)的空間定位時(shí)，基于通道的很多短板就暴露出來(lái)了。典型問(wèn)題如通道擺位的角度不均造成的聲像失真和聲音卡頓感，快速移動(dòng)聲音的相位問(wèn)題，以及只能在平面或半球體空間內(nèi)定位聲音等。這還不包括一些消費(fèi)者使用層面的現(xiàn)實(shí)，像音箱配置問(wèn)題、擺位問(wèn)題、接線問(wèn)題等等。

值得注意的是，對(duì)于Ambisonics來(lái)說(shuō)，盡管技術(shù)上它也是基于通道的一種格式，卻并不會(huì)遇到上述問(wèn)題。Ambisonics技術(shù)利用通道將聲場(chǎng)編碼成了球體的形式，通道越多，聲場(chǎng)定位越精準(zhǔn)。關(guān)于Ambisonics推薦以下文章：Ambisonics格式概述：https://www.audiokinetic.com/products/ambisonics-in-wwise/?

Ambisonics空間應(yīng)用：https://blog.audiokinetic.com/ambisonics-as-an-intermediate-spatial-representation-for-vr/

終端是什么？

我們用術(shù)語(yǔ)endpoint代指負(fù)責(zé)對(duì)發(fā)送到耳機(jī)或揚(yáng)聲器的音頻信號(hào)做最終處理和混音的系統(tǒng)設(shè)備（例如，各平臺(tái)操作系統(tǒng)中負(fù)責(zé)音頻處理的模塊）。

在游戲初始化時(shí)，Wwise會(huì)收到終端的音頻配置（如2.0、5.1、耳機(jī)的Windows Sonic以及PS5的3D音頻等），因此Wwise會(huì)以終端需要的格式來(lái)渲染音頻。

音頻對(duì)象的出現(xiàn)

多年來(lái)，線性或非線性音頻混音工作的頂級(jí)標(biāo)準(zhǔn)一直是在一個(gè)相對(duì)受控的環(huán)境中，由聲音工程師用專業(yè)音箱設(shè)備在當(dāng)時(shí)最高的音頻通道標(biāo)準(zhǔn)下進(jìn)行工作的（5.1、7.1等）。這種方法能夠兼容消費(fèi)者端各異的聽音環(huán)境，確保下混到任意更低通道配置時(shí)仍能保持混音的條理以及語(yǔ)音對(duì)白的清晰。此種方法可行，但由于基于通道的格式在編碼空間信息時(shí)的固有局限（前文已指出），因此缺乏空間精度。

向用戶提供精準(zhǔn)空間信息的一個(gè)更好的方法，則是將空間信息編碼交給終端處理。由于配置是由用戶直接設(shè)定，或與信號(hào)鏈中的其他設(shè)備對(duì)接（電視、Soundbar等），所以終端其實(shí)是最清楚用戶接收音頻信號(hào)的具體配置的。因此，終端可以用最合適的渲染方式將終混效果通過(guò)耳機(jī)或揚(yáng)聲器呈現(xiàn)。

而為了呈現(xiàn)最佳的定向效果，應(yīng)用需向終端提供一系列音頻對(duì)象及其相關(guān)metadata信息。更準(zhǔn)確的說(shuō)，音頻對(duì)象是發(fā)往終端前由Wwise渲染管線創(chuàng)建、修改的音頻buffer與其metadata的集合。附加到對(duì)象的metadata類型由Wwise生成，并與音頻、插件信息相關(guān)聯(lián)（參考下圖藍(lán)框內(nèi)容）。此信息不應(yīng)與游戲引擎（綠框）中游戲?qū)ο笏鶖y帶的信息類型混淆。

總結(jié)

本文論述了由用戶端實(shí)際設(shè)備來(lái)執(zhí)行基于對(duì)象的音頻渲染時(shí)，在空間音頻質(zhì)量和精度方面的優(yōu)勢(shì)。這種新手段，使空間音頻體驗(yàn)更自然的同時(shí)，也對(duì)創(chuàng)作帶來(lái)新的啟發(fā)。更多內(nèi)容將在本系列的下篇文章中做更多討論。

感謝本文特別翻譯：劉暢（騰訊北極光工作室，音頻設(shè)計(jì)師）

本文作者

西蒙.阿什比（SIMON ASHBY）

產(chǎn)品副總裁

Audiokinetic

阿什比是 Audiokinetic 的聯(lián)合創(chuàng)始人，目前負(fù)責(zé) Wwise 產(chǎn)品開發(fā)工作。現(xiàn)在，每年都有上百款采用 Wwise 的游戲大作問(wèn)世，從中受益的用戶更是成千上萬(wàn)，包括全球很多獨(dú)立開發(fā)人員和頂尖制作團(tuán)隊(duì)。在加入 Audiokinetic 之前，阿什比曾擔(dān)任過(guò)多款游戲的高級(jí)聲音設(shè)計(jì)師和游戲設(shè)計(jì)師。阿什比經(jīng)常在講座和研討中積極分享自己豐富的行業(yè)經(jīng)驗(yàn)。他的主要探討課題是聲音制作和集成在視頻游戲整體體驗(yàn)中扮演的重要作用。在 2011 年，阿什比曾榮獲首屆加拿大游戲開發(fā)人才獎(jiǎng)“年度杰出音頻專家”稱號(hào)。 憑借豐富的行業(yè)經(jīng)驗(yàn)，阿什比經(jīng)常講課并參與討論。他主要的題目是電子游戲綜合體驗(yàn)中聲音制作和集成的作用。2011年，阿什比榮獲首屆加拿大游戲開發(fā)人才獎(jiǎng)“年度音頻職業(yè)人（Audio Professional of the Year）”。