atmoky Ears?一站式解決方案允許通過(guò)耳機(jī)為用戶提供逼真的空間音頻體驗(yàn)。它具備無(wú)可比擬的感知品質(zhì)和效率，能將每一空間音頻混音打造到極致。atmoky Ears 提供專有感知優(yōu)化技術(shù)，可幫助設(shè)計(jì)師打造個(gè)性化的聽(tīng)覺(jué)體驗(yàn)。atmoky Ears 可大幅提高渲染效率，從而讓設(shè)備性能得到充分的發(fā)揮。

atmoky Ears | 設(shè)計(jì)工具

atmoky Ears | 設(shè)計(jì)緣由

在現(xiàn)實(shí)生活中，我們最多可以分辨上下四周多至 1000 個(gè)方向。有了這些信息，就能在環(huán)境和聲景中移動(dòng)時(shí)確定所處空間的很多狀況。總的來(lái)說(shuō)，我們對(duì)聲音的感知是三維的。

為了在虛擬環(huán)境中呈現(xiàn)切實(shí)的深層聽(tīng)覺(jué)感受以構(gòu)建逼真的空間音頻體驗(yàn)，必須提供絕佳的空間分辨率和可信的空間特征并在渲染時(shí)結(jié)合頭部運(yùn)動(dòng)。簡(jiǎn)而言之，須通過(guò)動(dòng)態(tài)渲染來(lái)加以實(shí)現(xiàn)！

懷揣這一夢(mèng)想，我們開(kāi)始著手構(gòu)建能夠?qū)⒏鞣N空間音頻渲染到耳機(jī)的一站式插件。

在整個(gè)構(gòu)建過(guò)程中，我們嘗試了很多不同的方法并進(jìn)行了廣泛的驗(yàn)證，發(fā)現(xiàn)找到一種滿足所有預(yù)期的解決方案著實(shí)不易。尤其是在計(jì)算能力有限的情況下，實(shí)現(xiàn)起來(lái)更是困難重重。盡管如此，最終我們還是做到了！:-)

以下是我們?cè)谶@一過(guò)程中的心得體會(huì)！

動(dòng)態(tài)渲染至關(guān)重要

各位有沒(méi)有試過(guò)讓揚(yáng)聲器隨著頭部轉(zhuǎn)動(dòng)而移動(dòng)？沒(méi)有嗎？它有沒(méi)有隨著你移動(dòng)然后又移回了原來(lái)的位置？也沒(méi)有？有沒(méi)發(fā)現(xiàn)聲源的音色不知為何產(chǎn)生了明顯變化？

我們也沒(méi)有！不過(guò)，我們?cè)陬^部追蹤雙耳渲染當(dāng)中反復(fù)做過(guò)類似的模擬。

若聲源隨著頭部轉(zhuǎn)動(dòng)而移動(dòng)，這樣的渲染顯然不是動(dòng)態(tài)的。根據(jù)我們的經(jīng)驗(yàn)，動(dòng)態(tài)渲染對(duì)互動(dòng)空間音頻來(lái)說(shuō)至關(guān)重要。它能給人以身臨其境般的沉浸感。說(shuō)得直白一點(diǎn)，我們認(rèn)為只要有可能就應(yīng)當(dāng)使用動(dòng)態(tài)渲染。幸運(yùn)的是，Wwise 提供了這樣的功能。

不過(guò)，在實(shí)施動(dòng)態(tài)渲染時(shí)有個(gè)常見(jiàn)問(wèn)題，那就是頭部追蹤設(shè)備本身的延遲?？上覀儾皇怯布圃焐蹋瑹o(wú)法控制無(wú)線傳輸協(xié)議，所以沒(méi)法解決這個(gè)問(wèn)題 – 但愿將來(lái)能靠 5G 技術(shù)解決。

通過(guò)對(duì)雙耳渲染進(jìn)行感知優(yōu)化，atmoky Ears 解決了與位置或方向相關(guān)的染色問(wèn)題。如此一來(lái)，聲源的音色便不會(huì)因?yàn)槲覀冝D(zhuǎn)動(dòng)頭部或聲源在周圍移動(dòng)而產(chǎn)生不自然的變化。運(yùn)動(dòng)軌跡和方向變換會(huì)像現(xiàn)實(shí)當(dāng)中一樣自然流暢。

營(yíng)造“出頭感”體驗(yàn)

各位有沒(méi)有在消聲室或無(wú)反射環(huán)境中閉上眼睛感受過(guò)揚(yáng)聲器的音響效果？

我們?cè)囘^(guò)，雖然知道揚(yáng)聲器大概在什么地方，但是沒(méi)辦法確定距離到底有多遠(yuǎn)。

可是，這跟空間音頻或互動(dòng)音頻有什么關(guān)系呢？

要讓聲音聽(tīng)起來(lái)就像是從頭部以外傳來(lái)的一樣，必須將聲源設(shè)在特定的虛擬空間或類似環(huán)境中。為此，我們?cè)?atmoky Ears 中配套提供了出頭感效果器，確保在保持混音特性和聲音品質(zhì)的同時(shí)通過(guò)優(yōu)化來(lái)營(yíng)造“出頭感”。

針對(duì)不同年齡段進(jìn)行個(gè)性化調(diào)整

各位有沒(méi)有問(wèn)過(guò)孩子在置身于虛擬聲景中時(shí)覺(jué)得聲源在哪里？

我們有。不出所料，我們發(fā)現(xiàn)不同年齡段的人在聽(tīng)覺(jué)方面存在很大差異。每個(gè)人的偏好、優(yōu)勢(shì)、體形都不一樣。所以，在構(gòu)建空間音頻時(shí)，有必要加入個(gè)性化元素。為此，我們開(kāi)發(fā)了自己的 atmoky HRTF 套件，為獲得清晰的高品質(zhì)音頻實(shí)施了優(yōu)化，并針對(duì)不同年齡段的聽(tīng)覺(jué)偏好進(jìn)行了調(diào)整。憑借個(gè)性化優(yōu)勢(shì)，atmoky Ears 可為兒童、青少年和成人提供定制化的混音。

我們相信，肯定有游戲和項(xiàng)目是面向特定年齡段的。值得一提的是，我們的個(gè)性化預(yù)設(shè)可以給 VR 益智游戲或焦慮治療帶來(lái)很大便利。

效率是關(guān)鍵

各位有沒(méi)有試過(guò)只用一副耳機(jī)和一部智能手機(jī)來(lái)呈現(xiàn)沉浸式空間音頻體驗(yàn)？

我們也沒(méi)有！但是，我們知道有人試過(guò)。

我們結(jié)合托馬斯團(tuán)隊(duì)的反饋進(jìn)行了專項(xiàng)優(yōu)化，確保能夠以最低計(jì)算成本提供最佳感知品質(zhì)。針對(duì)硬件性能較低、電池要求嚴(yán)苛的設(shè)備，我們特地添加了性能模式選項(xiàng)。該模式可將插件所需的內(nèi)存和 CPU 資源降低多達(dá) 50%。

空間音頻格式不一而足

空間音頻的格式和規(guī)范有很多，我們都想在插件當(dāng)中提供支持。對(duì)此，atmoky Ears 融合了基于場(chǎng)景的格式以及基于聲道的標(biāo)準(zhǔn)布局（從單聲道到 13.1 配置）。

雖然我們想在插件中為所有的空間音頻格式提供支持，但關(guān)鍵還是要能在不同的布局下渲染各個(gè)方向的聲源（包括下方和上方）。

提供多平臺(tái)支持

atmoky Ears 目前提供 macOs、Windows、Linux、iOS 和 Android 版本。稍后，我們還會(huì)擴(kuò)展到其他平臺(tái)。如果缺少您所需的平臺(tái)，請(qǐng)給我們發(fā)送電子郵件。我們會(huì)盡快予以解決。

atmoky Ears – 專為線下 AR 音頻體驗(yàn)設(shè)計(jì)

各位有沒(méi)有試過(guò)只用一副耳機(jī)和一部智能手機(jī)來(lái)呈現(xiàn)沉浸式空間音頻體驗(yàn)？

沒(méi)有嗎？我們也沒(méi)有！但是，我們知道有人試過(guò)。下面來(lái)聽(tīng)聽(tīng)其中原委。

托馬斯?艾興格如是說(shuō)

駕駛 DeLorean 穿越時(shí)空的經(jīng)典場(chǎng)面令人印象深刻。試想一下，如果只需一副耳機(jī)和一部智能手機(jī)就能聆聽(tīng)不同時(shí)代的聲音會(huì)是怎樣的感覺(jué)。挺酷的，對(duì)吧？

我們 Scopeaudio 團(tuán)隊(duì)也是這么想的。跟 hoeragentur 團(tuán)隊(duì)一起，我們打造了沉浸式 AR 音頻體驗(yàn)項(xiàng)目：Sonic Traces。體驗(yàn)場(chǎng)景設(shè)定在維也納英雄廣場(chǎng)，我們?cè)谀抢锪粝铝烁鞣N聲音標(biāo)記，來(lái)引導(dǎo)用戶走上不同的歷史道路，并盡情體驗(yàn)周圍全新的聲音世界。

其關(guān)鍵在于融入各種音效和人聲，以構(gòu)建交替變換的虛擬聲學(xué)空間，讓你可以穿行其中感受周遭景況。在此要說(shuō)，技術(shù)應(yīng)為我們?nèi)碌臄⑹路绞教峁┲С?，而不是反過(guò)來(lái)由技術(shù)決定我們?cè)撛趺醋觯〔贿^(guò)在這個(gè)過(guò)程中，我們確實(shí)遇到了不少技術(shù)挑戰(zhàn)和限制。其中有些挑戰(zhàn)跟對(duì)用戶位置的追蹤有關(guān)，有些則與空間音頻內(nèi)容的渲染直接相關(guān)。

顯然，感知品質(zhì)和計(jì)算成本之間總是存在某種平衡。尤其是在計(jì)算資源有限的智能手機(jī)上，為了獲得令人滿意的結(jié)果，我們必須非常小心地進(jìn)行調(diào)整和優(yōu)化。

我們跟 atmoky 團(tuán)隊(duì)分享了自己的經(jīng)驗(yàn)，其在 atmoky Ears 插件中結(jié)合了相關(guān)反饋。隨后我們對(duì)之進(jìn)行了測(cè)試，發(fā)現(xiàn)插件的效果非常出色。atmoky Ears 實(shí)現(xiàn)了感知品質(zhì)和計(jì)算成本之間的絕佳平衡，這也使得其成為了我們所有應(yīng)用和游戲的首選解決方案，以此確?？稍谝苿?dòng)設(shè)備上獲得理想的空間音頻品質(zhì)。

不過(guò)，該插件并非僅僅在效率方面表現(xiàn)出眾，其出頭感效果器的設(shè)置也相當(dāng)有特色。各位不妨以此為基礎(chǔ)營(yíng)造“出頭感”體驗(yàn)。作為預(yù)設(shè)，建議將 Amount 設(shè)為 44，并將 Character 設(shè)為 71。

同行評(píng)價(jià)

“出頭感是通過(guò)耳機(jī)將 3D 音頻如實(shí)呈現(xiàn)到人耳中的一項(xiàng)關(guān)鍵因素。作為一款獨(dú)具特色的工具，atmoky Ears 采用了業(yè)界所熟知的 IEM 插件的雙耳合成算法，其能夠依據(jù)場(chǎng)景和所用聲源的特性提供不同程度的出頭感。這樣的話，玩家動(dòng)作在聲學(xué)方面會(huì)顯得非常逼真，可顯著增強(qiáng)被聲音環(huán)繞的整體沉浸感。我們?cè)诓煌沫h(huán)境中測(cè)試了這款插件，發(fā)現(xiàn)其不僅易于整合且效果十分出色。” – 邁克爾?艾伯

THOMAS AICHINGER
空間音頻設(shè)計(jì)師
scopeaudio

托馬斯?艾興格 (Thomas Aichinger) 是 scopeaudio 和 Sonic Traces 的聯(lián)合創(chuàng)始人。托馬斯目前主要從事沉浸式 6DoF AR/VR 音頻體驗(yàn)項(xiàng)目的空間音頻設(shè)計(jì)。除此之外，他還在 Royal Conservatoire The Hague、Central European University 和 FH St. P?lten 擔(dān)任講師。

MICHAEL IBER
教授
St.P?lten University of Applied Sciences

邁克爾?艾伯 (Michael Iber) 在奧地利唯一的 Audiokinetic 認(rèn)證學(xué)校 St. P?lten University of Applied Sciences 擔(dān)任音頻設(shè)計(jì)專業(yè)教授。邁克爾是該校數(shù)字媒體制作碩士學(xué)位音頻設(shè)計(jì)碩士班的教學(xué)主任。他的研究重點(diǎn)之一是虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)中的聽(tīng)覺(jué)呈現(xiàn)與聲音交互。

fhstp.ac.at/en/onepager/master-class-audio-design

馬庫(kù)斯?扎恩施姆 (MARKUS ZAUNSCHIRM)

atmoky 聯(lián)合創(chuàng)始人兼 CEO | 音頻專家

atmoky

馬庫(kù)斯?扎恩施姆 (Markus Zaunschirm) 畢業(yè)于電子與音響工程專業(yè)，在 2020 年完成了對(duì)可聽(tīng)化、聲學(xué)虛擬化與感知優(yōu)化雙耳渲染的研究并取得了博士學(xué)位。同年，他跟同事一起創(chuàng)立了 atmoky，致力于打造逼真的空間音頻體驗(yàn)。

https://atmoky.com/