導語：

AppAnnie2021移動游戲報告中，強社交互動屬性的吃雞、射擊和在線多人競技游戲成為最受歡迎品類，并成為玩家使用時長增長的主要驅(qū)動力?！督^地求生》、《使命召喚》、《FreeFire》等熱門游戲中語音互動早已成為玩家習慣，新型社交游戲Roblox、Among us也大受Z世代歡迎。

當多人游戲和社交互動成為主流，游戲語音如何深度融合游戲場景，為玩家最大程度“還原臨場感”卻面臨諸多困難。

Wwise+GME方案，不僅幫助游戲便捷接入實時語音，還能最大程度提升沉浸式游戲體驗。本文將從方案優(yōu)勢、技術(shù)實現(xiàn)、語音玩法三個部分來介紹本方案的獨特魅力。

當你玩吃雞時，后方突然出現(xiàn)悉悉索索的腳步聲，伴隨一聲槍響在右耳邊炸開，身旁的隊友瞬間倒地，隊友的驚呼中還帶著被擊中后痛苦的顫音....

當你進入太空殺房間，映入眼簾的是夜晚的草原篝火場景，玩家圍繞著篝火席地而坐，耳機里隱約傳來左邊玩家的竊竊私語，主持人的講述里還夾雜著遠處的狼嚎，閉眼，睜眼，今晚又有人被毒......

是的，上述場景都是多人游戲中，語音通信與游戲場景完美融合的效果，當多人游戲和語音通話已成為游戲品類的趨勢，實時語音也不再只停留在基礎(chǔ)的語音能力，而是追求為游戲玩家提供更“聲臨其境”的沉浸式游戲體驗。

Wwise+GME方案是什么？

Game Multimedia Engine（GME）多媒體引擎是針對游戲場景定制的一站式語音解決方案，提供了包括多人實時語音、語音消息、語音轉(zhuǎn)文本以及語音分析等功能，開發(fā)者需要通過API調(diào)用接入GME SDK，從而在游戲中實現(xiàn)語音功能。

傳統(tǒng)的獨立語音SDK方案接入過程是獨立于游戲音效設(shè)計的，而基于Wwise音頻引擎開發(fā)的游戲，Wwise+GME方案可以將語音的接入融入到游戲音效的設(shè)計過程，Wwise強大的音頻處理能力和音頻控制能力都可以運用到語音上，在提升語音音質(zhì)的同時，為游戲音效提供了更加豐富的語音玩法設(shè)計空間。其基本流程框架如下：

由上圖可以看出，GME的幾個插件把本地的待發(fā)送語音（麥克風錄制的本地玩家語音）和從網(wǎng)絡(luò)接收到的語音（待本地播放的其它隊友語音）全部送到了Wwise的處理管線中，GME語音流被抽象成了Wwise的基本聲音源進行處理，正是基于這樣的新穎設(shè)計，Wwise-GME相比于傳統(tǒng)的獨立語音SDK方案具有獨特優(yōu)勢。

Wwise+GME方案的獨有優(yōu)勢

語音與游戲音效的統(tǒng)一設(shè)計：

在Wwise工程中，GME語音音頻流無縫接入Wwise音頻管線，接入語音的過程和Wwise的音效設(shè)計過程深度融合，避免了單獨接入一套語音SDK可能引起的音頻沖突。在游戲程序端，對GME語音發(fā)送和接收的操作被抽象成一個個Wwise事件的觸發(fā)，這些操作和Wwise的標準開發(fā)流程體驗一致，比以前的API調(diào)用的接入方式更直接，更形象。

有效解決開麥后游戲音效質(zhì)量下降和音量跳變問題：

傳統(tǒng)的獨立語音SDK導致的聲音發(fā)干，開麥以后的游戲音效質(zhì)量下降和音量跳變都曾是行業(yè)痛點，尤其開麥后整個游戲的音效音質(zhì)都進入“電話音質(zhì)”狀態(tài)（低采樣率的單聲道信號），極大的影響了玩家的游戲體驗。而Wwise-GME有效解決了手游開麥以后音量類型切換導致的游戲音效質(zhì)量下降的問題，大幅提升了開麥后語音的音質(zhì)，在暢快聊天的同時仍然可以保持原有音效，做到聽聲辨位。

強大的設(shè)計能力，帶來無限的玩法創(chuàng)意：

Wwise-GME方案給游戲語音玩法帶來非常大的設(shè)計空間，由于語音流全部送入Wwise總線，可將Wwise上豐富的音效處理和控制運用到語音，并且能定制化處理每一路語音流，從而增加游戲過程中的沉浸感和趣味感，讓玩家交流“不出戲”。

技術(shù)實現(xiàn)

對于每一名玩家來說，語音聊天主要涉及兩條音頻流鏈路，一條是上行鏈路，即本地麥克風采集自己的說話聲，通過服務(wù)器分發(fā)到遠端隊友，另一條是下行鏈路，即從服務(wù)器接收所有隊友的語音，混音后經(jīng)過本地的播放設(shè)備播放出來。

上行鏈路：

玩家本地的聊天語音流會經(jīng)過GME采集插件發(fā)送給Wwise引擎，基于Wwise提供的豐富的音效處理能力，游戲端可以根據(jù)玩家所處的實際環(huán)境和需求來對語音流進行處理，比如質(zhì)地，混響和變聲處理等，試想現(xiàn)在玩家的角色是在教堂中，則處理后的帶有教堂混響的語音流會通過GME發(fā)送插件發(fā)送到服務(wù)器中，進而發(fā)送到遠端的玩家。同樣，如果游戲設(shè)計了變聲玩法，經(jīng)過實時變聲算法處理的語音流會發(fā)送的遠端的玩家。

下行鏈路：

相比上行鏈路的單路本地語音流，下行鏈路通常會收到所有隊友的N路語音流，這些語音流會通過GME接收插件傳給Wwise引擎，同樣游戲端可以根據(jù)每一路接收語音對應(yīng)的玩家在游戲中的實際場景，比如相對本地玩家的位置，距離和有無障礙物阻擋等進行對應(yīng)的音效處理，處理后的數(shù)據(jù)經(jīng)過Wwise混音后在本地設(shè)備播放。具體的游戲場景中，比如隊友A站在本地玩家的左前方，那么他聽到隊友A的聲音就是在左前方發(fā)出來，隊友B跳到一個巖石后邊，那么他聽到隊友B的聲音就是經(jīng)過巖石阻擋并折射出來的聲音，同時隨著隊友接近或者遠離聽者，對應(yīng)的聲音也會被增強或者衰減。

這種基于游戲場景處理過的語音不再像傳統(tǒng)獨立語音SDK那樣只能提供“語音會議”般的游戲體驗，而是把語音體驗提升到了更高的層次，即與游戲場景融合的沉浸式語音體驗。下面這個視頻就展示了Wwise-GME方案的一些基本用法，如果用手機觀看Demo視頻，需要戴耳機觀看，因為這里邊運用了雙耳虛擬聲場技術(shù)。

視頻中你是第一人稱視角，對面灰色機器人是其他隊友和你通過GME講話，3D，變聲和混響等都運用到語音聊天處理當中（視頻中的所有語音都是實時錄屏遠端玩家發(fā)送的語音，而并非后期合成制作）。

（Demo中運用雙耳虛擬聲場技術(shù)，戴耳機感受最佳效果）?

更多的語音玩法

Wwise-GME方案這種獨特的設(shè)計使語音作為游戲音效設(shè)計的一部分成為可能，這里列出筆者想到的一些可能的語音處理，更多的玩法期待音頻設(shè)計師的創(chuàng)作。

發(fā)送環(huán)境聲音或伴奏音：

Wwise-GME提供的不單單是發(fā)送玩家語音的能力，還具備發(fā)送其它音頻流到語音服務(wù)器的能力。這個能力最顯而易見的應(yīng)用場景就是卡拉OK了。對于游戲來說，試想這樣的游戲場景——玩家在游戲中的角色處在雨中或者風中，當玩家和隊友通話的時候，沉浸式的體驗就需要把雨聲或者風聲適當?shù)幕煲舻秸Z音當中。當然還有一些其它的應(yīng)用場景，比如根據(jù)玩家在游戲中的進程發(fā)送一些聲音Emoji增加語音的趣味性。

模擬語音的反射衍射等處理：

沉浸式的語音體驗一定要把語音的渲染和游戲的實際場景結(jié)合起來考慮。本文之前提到的質(zhì)地、衰減、變聲、混響以及基本的3D定位處理只能算是初階的處理，為了更好的模擬游戲場景中說話人與聽者的語音傳輸路徑，Wwise提供的反射、衍射、聲籠和阻擋模型同樣可以用來處理隊友之間的語音，這些處理的效果正是元宇宙（Metaverse）所追求的語音終極體驗。

人物性格和狀態(tài)處理：

為了增加游戲語音的趣味性，根據(jù)玩家在游戲場景中的一些性格和狀態(tài)變化也可對其語音做一些特定設(shè)計的DSP處理。比如在游戲中的玩家被對手擊打掉血，那么語音上做一些失真，延遲或者顫音處理表明玩家的痛苦狀態(tài)，再比如玩家PK掉了對手或者拾到了寶貝，就對語音做一些高通濾波或者語音加速處理，從而體現(xiàn)玩家的興奮程度等等。

側(cè)鏈的處理：

側(cè)鏈是混音制作過程中必不可少的處理手段，其基本原理就是用一路信號控制另一路信號。游戲中加入語音功能是為增加游戲的社交屬性，語音必須要清晰地傳遞到聽者，當有玩家說話的時候，游戲聲音混音的焦點就應(yīng)該落到語音上而不是游戲本身的音效，這就類似收音機電臺的做法，DJ要講話時會讓播放的音樂音量降低些，等講完了話就把音量恢復。Wwise-GME方案把語音流全部送入了Wwise總線使這種處理在游戲場景下也成為可能，比如在接收的語音處設(shè)置一個Wwise Meter，然后根據(jù)這個Meter的值動態(tài)的控制其它音效的音量大小。

下面這段視頻是Wwise-GME多種能力展示的Demo視頻，其中展示了比如聲音反射，阻擋和側(cè)鏈對GME語音的處理。視頻中展示了第一人稱第三人稱和俯視圖視角，綠色機器人是隊友和你通過GME講話，隨著機器人所處的位置和環(huán)境變化，對應(yīng)的處理就會施加到語音上（處理細節(jié)字幕有描述），這樣處理過的語音聊天會讓人有身臨其境的感覺。同樣，視頻中的所有語音都是實時錄屏遠端玩家發(fā)送的語音，而并非后期合成制作。

（Demo中運用雙耳虛擬聲場技術(shù)，戴耳機感受最佳效果）

小結(jié)

音頻引擎中間件Wwise和游戲語音解決方案GME，兩個產(chǎn)品各自可以從不同的角度提升游戲的品質(zhì)，Wwise音頻引擎大幅的提高了游戲中互動音效的開發(fā)效率，并且提高了游戲中的聲音體驗。GME則增強了游戲的社交屬性，從而增加游戲?qū)ν婕业恼承?。相信Wwise-GME會成為游戲音效設(shè)計師的強有力工具，為游戲中創(chuàng)造最好最真實最富有創(chuàng)意的聲音。

游戲多媒體引擎（GME）

游戲多媒體引擎（Game Multimedia Engine, GME）是由騰訊云推出的一款游戲語音解決方案，面向游戲開發(fā)者提供游戲內(nèi)語音通信服務(wù)，支持全球部署和就近接入。GME提供端到端、低延遲、高質(zhì)量、高穩(wěn)定、可彈性擴容、性價比高的游戲語音通信服務(wù)，接入門檻低，支持移動端、PC端、主機端各系統(tǒng)及平臺兼容互通，可幫助游戲開發(fā)者在多種游戲場景下快速搭建實時語音服務(wù)，助力游戲社交化。