在建筑、工程與施工 (AEC) 行業(yè)內(nèi)，設(shè)計當中經(jīng)常會通過 3D 模型展示設(shè)計理念，并藉此確保順暢的理念溝通和協(xié)作交流。?
?

除此之外，3D 模型也可用于聲學(xué)模擬軟件，來計算聲音在空間中由聲源到聽者的傳播。有關(guān)聲音如何由聲源傳給聽者的信息包含在房間沖激響應(yīng) (RIR) 中，其可通過卷積處理來模擬房間內(nèi)的聽者對聲音（如樂曲）的感知。這一過程叫做“可聽化處理”。

可聽化處理早已成為建筑與聲學(xué)設(shè)計流程的一部分，但一般僅限于聲場在某個特定聲源-聽者位置的靜態(tài)雙耳呈現(xiàn)（不使用頭部追蹤）。

如今，新的沉浸技術(shù)在建筑和商業(yè)及家居影院空間中得到了普及，VR/AR 技術(shù)也逐漸被應(yīng)用到設(shè)計當中。由此，模擬聲音在虛擬空間內(nèi)的傳播對確保完美的 VR 體驗變得非常關(guān)鍵。聲音和聲學(xué)對以非靜態(tài)沉浸技術(shù)再現(xiàn)逼真體驗至關(guān)重要。在這當中，音頻必須隨著聽者的頭部朝向不斷做出調(diào)整。

對空間聲學(xué)效果的模擬可以為設(shè)計決策（比如材料和式樣的選擇）提供有力的參考。事實上，聲音與每種表面的交互方式各不相同，我們的大腦正是藉此感知周圍的環(huán)境。設(shè)計師可利用聲音吸收、散射和反射材料來控制各種客觀或主觀參數(shù)（比如響度、混響、語音可懂度和空間聲學(xué)性能）。要知道，空間的聲學(xué)舒適度支撐著房間的設(shè)計功用，而且對使用者的健康狀況來說也非常重要。在房間中演奏音樂時，聽眾需要從房間獲得經(jīng)過校準的清晰響應(yīng)，在這當中要避免有害的反射或?qū)β曇舻倪^度修飾。為此，必須保持聲音和空間之間的微妙平衡。

得益于工具強大、友好、完備且精巧的整合功能，Keith Yates Design?專門構(gòu)建了一個未經(jīng)聲學(xué)處理的家庭影院 Demo 應(yīng)用，用以借助 Wwise 和 Unity 探索 VR 技術(shù)的更多可能性，打造身臨其境的沉浸體驗，對此，我們特地使用了 CATT 來實施對房間的聲學(xué)模擬，進而導(dǎo)出聲場中的 B-Format（即 Ambisonics）房間沖激響應(yīng)并導(dǎo)入到 Wwise 中。在對房間實施模擬時，并不需要專門的聲學(xué)處理團隊來控制混響、聲音衰減和空間包絡(luò)，所有這些全都包含在了最終設(shè)計中。

系統(tǒng)概述

最初，我們構(gòu)建了一個 3-DOF 應(yīng)用來提供對家庭影院的 VR 體驗。是否允許在房間內(nèi)來回走動并不重要，且還還會增加 Demo 應(yīng)用本身的復(fù)雜性。總的來說，Demo 應(yīng)用旨在對比房間中不同座位的音響效果以及聲場在多個位置的一致性。

對視線和可聽化處理的視覺渲染通常由不同軟件分別實現(xiàn)，而且一般來說都是靜態(tài)的，所以無法到處試聽或環(huán)視四周。不過，我們希望能做得更好，在此基礎(chǔ)上更進一步。

在啟動 Demo 應(yīng)用時，場景被設(shè)在家庭影院內(nèi)。為了便于進行演示，其中配置了兩個屏幕揚聲器（代表左右聲道），其可從 UI 菜單打開（圖 1）。

玩家/聽者坐在觀眾席上，并可轉(zhuǎn)移到其他座位上，環(huán)視四周來感受整個空間。

?

在 Demo 應(yīng)用中播放音樂并環(huán)視四周。左側(cè)和右側(cè)屏幕揚聲器均在播放立體聲音軌。戴上耳機的話效果會更好。


?

“聲源-聽者對”的沖激響應(yīng)是事先計算好的，在配置場景的時候必須饋送到 Wwise 中。因此，在選定聲源和聽者位置之后，我們使用了 CATT（專門以射線追蹤方式實施聲學(xué)模擬的軟件）來基于所選揚聲器的 3D 輻射圖及其相對于觀眾席的具體朝向（圖 4）預(yù)先計算房間的精確沖激響應(yīng)（圖 3a、3b）。

圖 3a - 作者在 Matlab 中開發(fā)的 B-Format 一階房間沖激響應(yīng)的空間分析應(yīng)用?！按题瑘D”顯示了聲強矢量的模數(shù)和抵達方向，其顏色代表抵達時間。在圖 3b 中的 RIR 波形中，按照對應(yīng)顏色標識并高亮顯示了聲音反射。

?

圖 3b - 房間沖激響應(yīng) W 聲道的前 70 ms。以右側(cè)揚聲器為聲源，聽者在中排中間座位。 ??

?

?

CATT 中對聲音傳播的模擬可能要花幾個小時的時間，因為其使用了成千上萬條“聲音射線”與特制模型及其表面進行交互。其中，每個表面都按照倍頻帶指派了材質(zhì)屬性（吸收和散射）。該軟件及內(nèi)嵌工具所用算法的模擬精度甚至超越了有些游戲音頻中間件中采用的“簡化”方法。為此，我們決定不使用 Wwise Reflect 或 Steam Audio，因為我們不能對從特定建筑設(shè)計獲得的聲學(xué)精度做出妥協(xié)。與之相比，Wwise Reflect 可能對快速構(gòu)建空間原型來分析早期聲音反射和 Speaker Boundary Interference Response 更為實用。目前，我們正嘗試使用其模擬直達聲和早期反射聲在收聽位置如何相互干擾。這樣的話便無需為 CATT 創(chuàng)建聲學(xué)模型。

對左側(cè)和右側(cè)揚聲器聲音傳播的時間跡線模擬。模擬在 100 ms 位置被截斷，“聲音射線”最多顯示五階反射。

在針對若干聲源-聽者對生成房間的聲學(xué)響應(yīng)后，我們將結(jié)果導(dǎo)入到了 Wwise 中并使用 Convolution Reverb 插件和 Wwise Recorder 來獲取經(jīng)過卷積處理的 Ambisonics 音軌。

雖然可以使用 Convolution Reverb 實時進行卷積處理，但這樣會給計算資源和內(nèi)存池帶來負擔。若要利用腳本在運行時切換不同的 RIR 文件，這種方法或許值得一用。不過，這需要對 Wwise API 和特定插件機制有較為深入的了解。?

圖 5 - Wwise 中的 Schematic View 和 Mixing Session，直觀地顯示了音效、總線通路、連接到每條總線的活躍插件以及活躍的狀態(tài)。

在 Wwise 中，經(jīng)過卷積處理的 Ambisonics 音軌被指派給了 n 階 Ambisonics 輸出總線。該總線的父對象為 Binauralizer 總線，其會將 Ambisonics 音軌作為輸入并將雙耳音軌輸出到 Master Audio Bus。Binauralizer 總線使用?Auro-3D Headphone 插件渲染雙耳輸出。若不想切換 RIR 文件，在設(shè)置該插件的參數(shù)時要特別注意。揚聲器距離應(yīng)設(shè)為大于房間尺寸，以免 Auro Headphone 的算法產(chǎn)生額外的早期反射。同時，還要禁用 Reverb 選項。

圖 6 - Demo 應(yīng)用中使用的 Auro-3D Headphones 設(shè)置。

為了允許旋轉(zhuǎn)聲場，必須基于發(fā)聲體 3D 位置將 Ambisonics 音軌的定位設(shè)為 3D Spatialization。注意不要使用衰減，因為信息已經(jīng)包含在模擬 IR 中。Spread 曲線應(yīng)始終為 100%，確保對聽者頭部周圍的聲場進行正確的空間化處理。利用 Wwise 3D Meter，可以實時地直觀呈現(xiàn)聽者所在位置的聲場。

在 Profiler 布局下將 Wwise 連接到 Unity 的分屏畫面。選作 Ambisonics 總線電平表的 3D Meter 會實時顯示聽者周圍的聲場。在本例中，由左側(cè)揚聲器播放突發(fā)粉色噪聲只是為了便于直觀地呈現(xiàn)。

游戲狀態(tài)和 Reverb Zone 用于管理在每個聲源-聽者位置播放的音頻軌。音頻軌通過 AkAmbient 腳本綁定到了發(fā)聲體，Reverb Zone 則是綁定了自定義腳本組件的 Unity Collider，其可觸發(fā) Wwise 的進入和退出狀態(tài)。Wwise 狀態(tài)與經(jīng)過卷積處理的對應(yīng) Ambisonics 音軌關(guān)聯(lián)。該音軌將被嵌入到 Wwise 通路中，并在雙耳主音頻輸出中播放。

圖 7 - 房間中的綠色 Box Collider 定位在各個聲源-聽者對的 RIR 的模擬位置。在玩家進入或退出該區(qū)域時，每個 Collider 會觸發(fā)一個 AkState。

?

Fabrizio D’Amelio?聲學(xué)工程師

?

KEITH YATES DESIGN

Keith Yates Design (KYD) 是全球領(lǐng)先的設(shè)計與工程公司，專門從事高端私人影院和劇院的建造以及多功能家居公共區(qū)域和高檔商業(yè)設(shè)施的聲學(xué)設(shè)計。自 1991 年以來，KYD 一直專注于為熱愛電影和音樂的知名導(dǎo)演、攝影師、技術(shù)精英提供針對這些高雅場所的規(guī)劃、建模、優(yōu)化、存檔、測試和校準服務(wù)。