歡迎繼續(xù)閱讀我們的 Impacter 插件系列博文。在前兩篇博文中，我們主要介紹了插件的相關(guān)物理參數(shù)，以及如何與游戲的物理系統(tǒng)緊密結(jié)合。在這篇博文中，我們將著重探討 Impacter 的交叉合成功能。

正如第一篇 Impacter 博文所述，我們可以自由組合不同聲音的 Impact 和 Body 分層，以此來在一組音頻樣本的基礎(chǔ)上生成各種變化版本。我們甚至在插件中實(shí)現(xiàn)了隨機(jī)播放行為，以便設(shè)計師能夠輕松操控這些變化版本。

我們可以從不同的聲音提取所需的 Body 和 Impact 分層，進(jìn)而借助交叉合成構(gòu)建不同的聲音版本來實(shí)現(xiàn)多樣變化。

?

不過，交叉合成是一個非常寬泛的術(shù)語。為此，最好深入了解通過特定的 Impacter 交叉合成模型可以獲得怎樣的變化。一方面，我們希望向用戶展示，通過 Impacter 生成的變化版本是切實(shí)、連貫的；這些變化版本不是多余的，其與原始聲音存在某種內(nèi)在關(guān)聯(lián)。另一方面，也想向設(shè)計師保證，無需擔(dān)心因?yàn)槁曇糁貜?fù)而破壞玩家的沉浸體驗(yàn)；雖然播放內(nèi)容可以隨機(jī)選擇，但其跟原始聲音絕非毫無區(qū)別。然而，把 Impacter 的交叉合成機(jī)制闡釋清楚并不像聽起來那么容易。

聲音分析

為方便調(diào)控交叉合成，Impacter 允許將加載到插件中的各個文件與加載的其他聲音自由結(jié)合。比方說，12 個文件最多可有 144 種組合（用戶可在 Source Editor 中棄用特定 Impact 和 Body 分層）。顯然，144 個撞擊聲不是少數(shù)。別說試聽了，看一眼都覺得眼花繚亂。這樣會很難分辨聲音之間的微妙差異。

比如：

?說得簡單點(diǎn)，逐個試聽肯定是不行的。試想一下，聽到第 87 個聲音的時候誰能記得第 11 個聲音聽起來怎樣。

那么，如何對如此大量的聲音進(jìn)行分析呢？

降維處理

作為一種應(yīng)用廣泛的音頻分析技術(shù)，降維允許將大量聲音映射到 2D 平面上以供察看。Lamtharn Hanoi Hantrakul 有關(guān) Klustr 的博文中提到的工具 [1] 以及 ml4a (Machine Learning for Artists) 工具包中的 Audio t-SNE 查看器 [2] 便是很好的范例。

?

特性比較

在 2D 空間中對聲音進(jìn)行比較的方式有很多。就拿撞擊聲來說，其有一系列直觀的潛在特性：自身物理特性（軟硬、反彈、撞擊）及被撞物體或表面的類型（玻璃、沙子、木頭）。我們無法以數(shù)學(xué)形式明確定義所需聲音的潛在特性，但可以設(shè)法從聲音中提取各種音頻特征來加以比較。

在處理音頻時，以原始時域信號形式對不同聲音進(jìn)行比較的效果通常并不理想。好在有很多音頻分析技術(shù)可供選擇，來將聲音轉(zhuǎn)換為更具可比性的形式。在后文中可以看到，音頻分析技術(shù)的選擇將直接影響降維所生成的圖表。

現(xiàn)在有大量關(guān)于各種轉(zhuǎn)換方式的讀物可供深入研究，不過在此僅展示如何將撞擊類聲音轉(zhuǎn)換為視覺圖表。此類轉(zhuǎn)換一般會將 1D 音頻信號擴(kuò)展為 2D，并以顏色編碼的方式來表示各個層次的值。

?音頻特征?

降維最終提供的是對聲音的視覺比較，藉此可直觀地判斷兩個聲音的 STFT 和 MFCC 差異。當(dāng)然，它不像對不同聲音（如鼓聲、長號聲、碎石聲）的潛在特性進(jìn)行比較那樣具象化。不過，這些音頻特征一樣可以生成 2D 圖表，其足以用來粗略估計聲音之間的潛在差異。?

降維技術(shù)

現(xiàn)在，我們選定了音頻特征。在此基礎(chǔ)上，可通過降維將與各個聲音關(guān)聯(lián)的一長串?dāng)?shù)值縮減為 2D 數(shù)組（如下圖所示），進(jìn)而輕松映射到二維平面的 X-Y 坐標(biāo)上。不過，最重要的是我們想通過 2D 平面中各個聲音之間的距離來反映其相似之處或微妙差異。在某種意義上，借助這種方式可以簡化以上各種聲音或特性之間的視覺比較。?

一組 48k 采樣率的聲音（時長均為 2 秒）：原本每個聲音具有 96000 個數(shù)值，現(xiàn)在簡化成了一個 2D 坐標(biāo)組合

總的來說，整條“降維”管線大致如下：

聲音波形

特征提取

降維處理

?

?

2D 圖表

視覺比較

要獲得良好的降維處理結(jié)果，必須確保聲音的數(shù)量足夠多。幸運(yùn)的是，我們手頭就有個包含大量 Impacter 變化版本的 Wwise 工程：Impacter Unreal Demo（點(diǎn)此查看相關(guān)博文：https://blog.audiokinetic.com/zh/impacter-and-unreal-controlling-the-impacter-plug-in-using-game-physics/）！

Impacter 示例工程包含 289 個聲音（涉及多個 Impacter 實(shí)例），最終共有 2295 個潛在變化版本可供分析。在實(shí)驗(yàn)當(dāng)中，我們運(yùn)行了離線版本的 Impacter 算法來生成所有這些變化版本，然后對比了各種音頻特征提取方式的輸入結(jié)果以及用來生成圖表的降維算法。

?

既然知道聲音和 Impacter 實(shí)例之間的對應(yīng)關(guān)系，我們就可為每個 Impacter SFX 指派特定的顏色，并用不同形狀對原始聲音和變化版本進(jìn)行區(qū)分。在以下示例中，我們用 X 表示原始輸入聲音，并用圓點(diǎn)表示通過 Impacter 生成的變化版本。顏色編碼方便展示變化版本的連貫性：其與同一顏色的原始聲音相近；同時也表明這些變化版本不是多余的：各個聲音版本間不會完全重疊。

我們還嘗試了其他一些音頻特征和降維算法，并在這篇博文的末尾補(bǔ)充列出了相應(yīng)的結(jié)果。在此，不妨先來看下比較理想的結(jié)果：

如上圖所示，無論對于哪個 Impacter 實(shí)例（按顏色區(qū)分），原始聲音和變化版本之間都存在異同的微妙平衡。Impacter 的作用并不只是增添隨機(jī)性：顏色編碼的聲音最終還是會聚集在彼此附近，這正表明變化版本和原始聲音之間是連貫的。

只要仔細(xì)察看一下基于 STFT 特征的 t-SNE 圖表，就會發(fā)現(xiàn)每個 Impacter 聲音的變化版本在 STFT 上都有一定程度的交融。拿右下角的 Concrete、Wood 和 Metal 聲音來說，其原始聲音附近的變化版本幾乎是均勻分布的。這種情況是最為理想的。

而對于 wineGlass 和 cannon 聲音，很多圓點(diǎn)跟 X 都有交疊，表示這些變化版本在 STFT 上與原始聲音非常相近。

相較而言，左上角 Gravel 聲音的情形算是介于兩者之間：一方面，變化版本跟原始聲音有明顯差異；另一方面，各個群集之間又是相互分開的。

除此之外，我們還可以使用基于其他音頻特征（如 mfcc++）的圖表來突顯更為細(xì)微的差異。通過加入一階和二階 delta [3] 差值（即 mfcc++ 中的 ++），可將 STFT 圖表中原本靠得較近的群集（如 wineGlass）分散開來。

現(xiàn)在，我們生成了圖表來在 2D 空間中突顯聲音之間的差異。藉此，可一次性查看所有變化版本，甚至放大特定聲音來分辨局部差異。不但看上去非常整潔，同時也很好地展示了 Impacter 的工作機(jī)制。

Impacter 是個對撞擊聲進(jìn)行建模的分析與合成系統(tǒng)，不過各種算法對不同輸入聲音的建模效果有好有差。借助這些圖表，我們可以粗略判斷 Impacter 對某個聲音的建模效果。正如上圖所示，wineGlass 聲音版本之間的差異相對較小。因此我們可以說，Impacter 對它的建模效果不如 Metal、Wood 和 Concrete 聲音那樣理想。雖然聽上去簡單明了，其實(shí)蘊(yùn)含了一個道理：在選擇使用 Impacter 處理的聲音時，要明白交叉合成功能的效果跟聲音本身密切相關(guān)。簡而言之：有些聲音會有更多變化，有些則沒有那么多變化！

當(dāng)然，這些都不是對 Impacter 的適用性的嚴(yán)格論證，只是展示如何直觀地呈現(xiàn)大量聲音之間的各種差異，同時借此機(jī)會驗(yàn)證一下各種精妙的數(shù)據(jù)可視化技術(shù)。

其他問題

除此之外，我們還可通過降維來做其他比較，以此直觀地展示 Impacter 的功用。為此，我們嘗試了以視覺形式呈現(xiàn)由 88 個不同 tile 腳步聲生成的變化版本，最終加起來一共獲得了 7744 個 tile 聲音。只要仔細(xì)察看一下基于 mfcc++ 特征的 UMAP 圖表，就會發(fā)現(xiàn)所有 Impacter 聲音的變化版本都落在了原始聲音的中間。因此，從這 88 個腳步聲中選取一部分放到 Impacter 中可以重構(gòu)一個范圍相近的圖表。比如，第二張圖便展示了由其中 22 個腳步聲生成的變化版本。

由 88 個腳步聲生成的變化版本

由其中 22 個腳步聲生成的變化版本

?

結(jié)語

希望本文有助于解答關(guān)于如何利用 Impacter 交叉合成算法生成多樣變化的問題。就像前面說的，在此并不是要嚴(yán)格論證 Impacter 的適用性，只是直觀地呈現(xiàn)插件可能生成的大量聲音，來讓各位更好地了解 Impacter 的實(shí)際用途。

更多細(xì)節(jié)…

數(shù)據(jù)格式

降維算法只是單純地接收一系列數(shù)組或向量。其既不講求輸入數(shù)據(jù)的類型，也不限定 2D 輸入數(shù)據(jù)的維度（如 STFT 或 MFCC）。為此，我們其實(shí)可以對 2D 數(shù)據(jù)進(jìn)行扁平化處理，甚至將前述多項(xiàng)特征并成 2D 數(shù)組來提供給算法。

降維算法

現(xiàn)在有很多降維算法只是單純地接收一系列數(shù)組或向量（也就是我們在第一步中提取的各項(xiàng)音頻特征）。

Python 中的 sklearn 和 umap-learn 數(shù)據(jù)包（可通過 pip 下載安裝）整合了各種實(shí)用降維算法。很多文章都講過這些算法的原理和用途。但本文篇幅有限，在此不一一闡釋。如果想了解其中詳情，請瀏覽隨附鏈接查看。

https://scikit-learn.org/stable/modules/generated/sklearn.manifold.TSNE.html

https://umap-learn.readthedocs.io/en/latest/api.html

https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html

https://scikit-learn.org/stable/modules/generated/sklearn.manifold.MDS.html

全部結(jié)果

在 Impacter 的實(shí)驗(yàn)當(dāng)中，我們對以上四種降維算法做了比較。為此，我們在各種算法中代入了不同的音頻特征：STFT、mfcc、mfcc++ [3] 及 MIR（RMS、Spectral Centroid、Spectral Crest、Spectral Flux、Spectral Rolloff、Zero Crossing Rate）。?

可瀏覽Audiokinetic博客官網(wǎng)（https://blog.audiokinetic.com/zh/visualizing-impacters-cross-synthesis-variations/），在原文圖片上右鍵單擊“新建標(biāo)簽頁打開圖像”查看大圖

如上所示，我們發(fā)現(xiàn)基于 STFT 和 mfcc++ 的 UMAP 和 t-SNE 圖表最為實(shí)用。

參考文獻(xiàn)：

[1] - Hantrakul, L. “H. (2017, December 31). klustr: a tool for dimensionality reduction and visualization of large audio datasets. Medium.?https://medium.com/@hanoi7/klustr-a-tool-for-dimensionality-reduction-and-visualization-of-large-audio-datasets-c3e958c0856c
[2] - Audio t-SNE.?https://ml4a.github.io/guides/AudioTSNEViewer/
[3] -B?ckstr?m, T. (2019, April 16). Deltas and Delta-deltas. Aalto University Wiki.?https://wiki.aalto.fi/display/ITSP/Deltas+and+Delta-deltas

?

瑞恩?多恩 (RYAN DONE)

軟件開發(fā)工程師

Audiokinetic

瑞恩?多恩 (Ryan Done) 于 2017 年加入 Audiokinetic，并為此從美國西海岸搬到了加拿大蒙特利爾。憑借之前在計算機(jī)音樂研究和音頻軟件開發(fā)方面的從業(yè)背景，瑞恩很快便融入研發(fā)團(tuán)隊(duì)并著力為 Wwise 開發(fā)新的插件和 DSP 功能。他熱衷于各種離奇古怪的實(shí)驗(yàn)音樂，喜歡時不時地來場說走就走的騎行。