查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

生成空間音頻和消除串?dāng)_

（映維網(wǎng)Nweon?2023年08月18日）對(duì)于XR，音頻是關(guān)于沉浸感的一個(gè)關(guān)鍵因素。所以，廠商都在積極探索提供最佳的空間音頻效果。在名為“Generating spatial audio and cross-talk cancellation for high-frequency glasses playback and low-frequency external playback”的專利申請(qǐng)中，Meta介紹了一種為高頻眼鏡播放和低頻外部播放生成空間音頻和消除串?dāng)_的方法。

專利主要描述了一個(gè)空間音頻擴(kuò)展系統(tǒng)。其中，所述系統(tǒng)使用外部揚(yáng)聲器靈活地?cái)U(kuò)展為可穿戴音頻設(shè)備提供的空間音頻，以進(jìn)行精確的低頻空間音頻播放。例如，空間音頻擴(kuò)展系統(tǒng)確定可穿戴音頻設(shè)備的用戶如何接收音頻信號(hào)，然后可以利用與頭相關(guān)傳遞函數(shù)和/或耳間時(shí)差為用戶生成空間音頻。

同時(shí)，空間音頻擴(kuò)展系統(tǒng)進(jìn)一步為空間音頻的低頻產(chǎn)生串?dāng)_抵消濾波器?？臻g音頻擴(kuò)展系統(tǒng)可以利用外部揚(yáng)聲器呈現(xiàn)空間音頻的低頻，而可穿戴音頻設(shè)備可以呈現(xiàn)高頻。

空間音頻擴(kuò)展系統(tǒng)確定與可穿戴音頻設(shè)備的用戶相關(guān)聯(lián)的一個(gè)或多個(gè)聽覺特征?？臻g音頻擴(kuò)展系統(tǒng)利用所述一個(gè)或多個(gè)聽覺特征，為所述可穿戴音頻設(shè)備的用戶生成一對(duì)與頭相關(guān)傳遞函數(shù)。

另外，空間音頻擴(kuò)展系統(tǒng)使用與頭相關(guān)傳遞函數(shù)對(duì)產(chǎn)生空間音頻。特別地，空間音頻包括具有滿足或超過頻率閾值的音頻的高頻音頻component和具有低于頻率閾值的音頻的低頻音頻component。

空間音頻擴(kuò)展系統(tǒng)提供用于通過可穿戴音頻設(shè)備的揚(yáng)聲器呈現(xiàn)的空間音頻的高頻音頻component和用于通過可穿戴音頻設(shè)備外部的揚(yáng)聲器呈現(xiàn)的空間音頻的低頻音頻component。

在一個(gè)或多個(gè)實(shí)施例中，空間音頻擴(kuò)展系統(tǒng)為可穿戴音頻設(shè)備的用戶確定耳間時(shí)差模型。特別是，空間音頻擴(kuò)展系統(tǒng)為用戶確定個(gè)性化的耳間時(shí)間延遲模型。例如，空間音頻擴(kuò)展系統(tǒng)可以根據(jù)用戶佩戴時(shí)可穿戴音頻設(shè)備兩側(cè)的麥克風(fēng)如何接收音頻信號(hào)來確定耳間時(shí)間延遲模型。

在一個(gè)實(shí)施例中，空間音頻擴(kuò)展系統(tǒng)為空間音頻生成串音消除濾波器。特別地，空間音頻擴(kuò)展系統(tǒng)為低于頻率閾值的空間音頻部分生成串?dāng)_抵消濾波器?？臻g音頻擴(kuò)展系統(tǒng)利用頭相關(guān)傳遞函數(shù)和/或耳間時(shí)差模型來生成串?dāng)_抵消濾波器。

在一個(gè)實(shí)施例中，空間音頻擴(kuò)展系統(tǒng)對(duì)通過揚(yáng)聲器呈現(xiàn)的音頻內(nèi)容增加時(shí)間延遲。因此，空間音頻擴(kuò)展系統(tǒng)可以對(duì)通過可穿戴音頻設(shè)備呈現(xiàn)的音頻和通過外部揚(yáng)聲器呈現(xiàn)的音頻進(jìn)行時(shí)間對(duì)齊。

圖2示出了空間音頻擴(kuò)展系統(tǒng)106的概述圖，空間音頻擴(kuò)展系統(tǒng)106確定與可穿戴音頻設(shè)備204的用戶202相關(guān)聯(lián)的聽覺特征208。空間音頻擴(kuò)展系統(tǒng)106確定外部音頻設(shè)備206處的聽覺特征208。

聽覺特征208包括與頭相關(guān)傳遞函數(shù)210和與可穿戴音頻設(shè)備204的用戶202相對(duì)應(yīng)的耳間時(shí)差模型212。，空間音頻擴(kuò)展系統(tǒng)106利用聽覺特征208來生成空間音頻214，以呈現(xiàn)給可穿戴音頻設(shè)備204的用戶202。如圖所示，空間音頻214包括低頻音頻component216和高頻音頻component218。

如圖2所示，空間音頻擴(kuò)展系統(tǒng)106利用聽覺特征208來產(chǎn)生串音消除濾波器220。具體地，空間音頻擴(kuò)展系統(tǒng)106為空間音頻214的低頻音頻component216生成串?dāng)_抵消濾波器。

空間音頻擴(kuò)展系統(tǒng)106提供空間音頻214的高頻音頻組件218，以便通過可穿戴音頻設(shè)備204進(jìn)行呈現(xiàn)。另外，空間音頻擴(kuò)展系統(tǒng)106提供用于通過外部音頻設(shè)備206呈現(xiàn)空間音頻214的低頻音頻component216。所述空間音頻擴(kuò)展系統(tǒng)106同時(shí)提供所述串?dāng)_消除濾波器220以及所述空間音頻214的低頻音頻component216。

換句話說，空間音頻擴(kuò)展系統(tǒng)106利用串音抵消濾波器220，并通過外部音頻設(shè)備206呈現(xiàn)空間音頻214的低頻音頻component216。例如，在通過外部音頻設(shè)備206的揚(yáng)聲器播放低頻音頻component216之前，空間音頻擴(kuò)展系統(tǒng)106使用與串音消除濾波器220相對(duì)應(yīng)的交叉網(wǎng)絡(luò)處理低頻音頻component216。

圖3A示出根據(jù)一個(gè)或多個(gè)實(shí)施例確定用于用戶304的耳間時(shí)差模型?？纱┐饕纛l設(shè)備302包括位于用戶304的太陽穴中部區(qū)域附近的麥克風(fēng)306。所述可穿戴音頻設(shè)備302同時(shí)包括位于后部的麥克風(fēng)308。另外，可穿戴音頻設(shè)備302包括位于靠近前面的麥克風(fēng)310。

盡管在圖3A中未示出，可穿戴音頻設(shè)備302進(jìn)一步包括位于用戶另一側(cè)的相應(yīng)麥克風(fēng)。因此，可穿戴音頻設(shè)備302包括中左右麥克風(fēng)對(duì)、后左右麥克風(fēng)對(duì)和前左右麥克風(fēng)對(duì)，并通過它們來接收音頻信號(hào)312。

利用所述音頻信號(hào)312的接收，所述空間音頻擴(kuò)展系統(tǒng)106為所述用戶304確定耳間時(shí)差模型316。特別是，空間音頻擴(kuò)展系統(tǒng)106可以根據(jù)相應(yīng)麥克風(fēng)之間的時(shí)間流逝來確定耳間時(shí)差模型316。

圖3B示出了將各種耳間時(shí)差模型與從高耳間相干性模型導(dǎo)出的剛好可注意差異度量進(jìn)行比較的圖表。特別是，每個(gè)圖都顯示了使用可穿戴音頻設(shè)備的麥克風(fēng)為用戶確定的耳間時(shí)差與用戶耳朵的耳間時(shí)差間的絕對(duì)差值。

圖320表示使用可穿戴音頻設(shè)備的前左右對(duì)麥克風(fēng)為用戶確定的耳間時(shí)差。圖322表示使用可穿戴音頻設(shè)備的中左右對(duì)麥克風(fēng)為用戶確定的耳間時(shí)差。圖324表示使用可穿戴音頻設(shè)備的后左右對(duì)麥克風(fēng)為用戶確定的耳間時(shí)差。圖326表示使用使用中左右對(duì)和后左右對(duì)麥克風(fēng)確定的耳間時(shí)差的平均值。

如圖3B所示，空間音頻擴(kuò)展系統(tǒng)106可以使用可穿戴音頻設(shè)備的各種麥克風(fēng)確定用戶耳間時(shí)差的感知有效模型。例如，對(duì)于大多數(shù)方位角，圖326中繪制的絕對(duì)差值遠(yuǎn)遠(yuǎn)低于繪制的JTD線。因此，圖326表明，中左右對(duì)麥克風(fēng)和后左右對(duì)麥克風(fēng)的組合近似于用戶的真實(shí)耳間時(shí)差。

所以，空間音頻擴(kuò)展系統(tǒng)106可以利用所述用戶的上述耳間時(shí)差模型為所述用戶提供空間音頻。

圖4示出使用頭部尺寸來確定用戶的頭相關(guān)傳遞函數(shù)?？臻g音頻擴(kuò)展系統(tǒng)106確定與可穿戴音頻設(shè)備406的用戶404相關(guān)聯(lián)的頭部尺寸402。例如，空間音頻擴(kuò)展系統(tǒng)106確定用戶404頭部的直徑或用戶耳朵之間的距離。

如圖4所示，空間音頻擴(kuò)展系統(tǒng)106利用外部音頻設(shè)備408來確定與用戶404相關(guān)聯(lián)的頭部尺寸402。例如，空間音頻擴(kuò)展系統(tǒng)106使用集成或連接到外部音頻設(shè)備408的傳感器或攝像頭來確定用戶404的頭部尺寸402。

空間音頻擴(kuò)展系統(tǒng)106利用頭部尺寸402來確定可穿戴音頻設(shè)備406的用戶404的與頭相關(guān)傳遞函數(shù)410，并利用頭相關(guān)傳遞函數(shù)410來生成空間音頻412以呈現(xiàn)給用戶404。

另外，空間音頻擴(kuò)展系統(tǒng)106產(chǎn)生串音消除濾波器414。為了產(chǎn)生串音消除濾波器414，空間音頻擴(kuò)展系統(tǒng)106利用對(duì)應(yīng)于用戶404的球形頭模型。

在一個(gè)實(shí)施例中，空間音頻擴(kuò)展系統(tǒng)106同時(shí)使用為用戶404確定的耳間時(shí)差模型來生成空間音頻412和/或串音消除濾波器414。

空間音頻擴(kuò)展系統(tǒng)106可以實(shí)時(shí)更新串音消除濾波器414。例如，空間音頻擴(kuò)展系統(tǒng)106可以確定對(duì)可穿戴音頻設(shè)備406的用戶的頭部尺寸的變化、對(duì)用戶頭部方向的變化和/或可穿戴音頻設(shè)備406與外部音頻設(shè)備408之間距離的變化。

因此，空間音頻擴(kuò)展系統(tǒng)106可以基于所確定的變化更新所述串?dāng)_消除濾波器414。

因此，空間音頻擴(kuò)展系統(tǒng)106可以提供空間音頻412的高頻音頻component，以便通過可穿戴音頻設(shè)備406呈現(xiàn)。另外，空間音頻擴(kuò)展系統(tǒng)106可以提供空間音頻412的低頻音頻component，以便使用串音抵消濾波器414通過外部音頻設(shè)備408進(jìn)行呈現(xiàn)。

例如，在外部音頻設(shè)備408運(yùn)行的空間音頻擴(kuò)展系統(tǒng)106可以將空間音頻412的高頻音頻component傳輸?shù)娇纱┐饕纛l設(shè)備406，并使用串?dāng)_抵消濾波器414向外部音頻設(shè)備408的換能器/揚(yáng)聲器提供低頻音頻component。

通過以這種方式提供空間音頻，空間音頻擴(kuò)展系統(tǒng)106可以比一系列常規(guī)系統(tǒng)實(shí)現(xiàn)更精確的操作。例如，通過利用外部音頻設(shè)備提供低頻音頻回放，空間音頻擴(kuò)展系統(tǒng)106利用更大揚(yáng)聲器的增加功率來提供改進(jìn)的低頻音頻。因此，空間音頻擴(kuò)展系統(tǒng)106可以通過低頻重放提供更準(zhǔn)確的空間線索。

另外，Meta表示空間音頻擴(kuò)展系統(tǒng)106比許多傳統(tǒng)系統(tǒng)更靈活。實(shí)際上，通過利用外部音頻設(shè)備，空間音頻擴(kuò)展系統(tǒng)106可以更靈活地將可穿戴音頻設(shè)備合并到空間音頻表示中。特別是，空間音頻擴(kuò)展系統(tǒng)106通過利用外部設(shè)備的相對(duì)更強(qiáng)大的揚(yáng)聲器，避免了可穿戴音頻設(shè)備固有的低質(zhì)量低頻播放。

因此，空間音頻擴(kuò)展系統(tǒng)106可以通過使可穿戴音頻設(shè)備專注于高頻率的回放，靈活地將可穿戴音頻設(shè)備納入空間音頻呈現(xiàn)。

圖5示出根據(jù)一個(gè)或多個(gè)實(shí)施例在用戶耳處使用音頻時(shí)間延遲對(duì)空間音頻component進(jìn)行時(shí)間對(duì)齊。

實(shí)際上，由于所述可穿戴音頻設(shè)備是由用戶佩戴，而外部音頻設(shè)備比所述可穿戴音頻設(shè)備離用戶更遠(yuǎn)，從而導(dǎo)致外部音頻設(shè)備發(fā)出的聲音傳播較遠(yuǎn)的距離。因此，空間音頻擴(kuò)展系統(tǒng)106利用音頻時(shí)間延遲同時(shí)兩者。

如圖5所示，空間音頻擴(kuò)展系統(tǒng)106可以確定外部音頻設(shè)備502與可穿戴音頻設(shè)備506的用戶504之間的距離508。例如，空間音頻擴(kuò)展系統(tǒng)106可以利用可穿戴音頻設(shè)備506的攝像頭或傳感器來確定距離508。

空間音頻擴(kuò)展系統(tǒng)106可以基于距離508確定音頻時(shí)間延遲510。特別地，空間音頻擴(kuò)展系統(tǒng)106確定要呈現(xiàn)給用戶504的空間音頻的高頻音頻component512的音頻時(shí)間延遲510。

如圖5所示，空間音頻擴(kuò)展系統(tǒng)106可以提供高頻音頻component512，以便通過可穿戴音頻設(shè)備506與音頻時(shí)間延遲510一起呈現(xiàn)給用戶504。

可穿戴音頻設(shè)備506處的空間音頻擴(kuò)展系統(tǒng)106可將音頻時(shí)間延遲510應(yīng)用于高頻音頻component512，從而允許來自高頻音頻component 512的音頻信號(hào)與外部音頻設(shè)備502發(fā)出的相應(yīng)音頻信號(hào)同時(shí)到達(dá)用戶504的耳朵。

在一個(gè)實(shí)施例中，空間音頻擴(kuò)展系統(tǒng)106生成要在可穿戴音頻設(shè)備506處呈現(xiàn)給用戶504的空間音頻。因此，空間音頻擴(kuò)展系統(tǒng)106可以確定與將空間音頻的低頻音頻component傳輸?shù)娇纱┐饕纛l設(shè)備506所需的時(shí)間相對(duì)應(yīng)的額外時(shí)間延遲。

空間音頻擴(kuò)展系統(tǒng)106可將附加音頻時(shí)間延遲應(yīng)用于高頻音頻component512，以進(jìn)一步對(duì)音頻信號(hào)進(jìn)行時(shí)間對(duì)齊。

空間音頻擴(kuò)展系統(tǒng)106使用進(jìn)一步的音頻處理來同步從外部音頻設(shè)備502發(fā)出的低頻音頻component和從可穿戴音頻設(shè)備506發(fā)出的高頻音頻component。

相關(guān)專利：Meta Patent | Generating spatial audio and cross-talk cancellation for high-frequency glasses playback and low-frequency external playback

https://patent.nweon.com/29298

名為“Generating spatial audio and cross-talk cancellation for high-frequency glasses playback and low-frequency external playback”的Meta專利申請(qǐng)最初在2022年1月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/111667