蘋(píng)果專利為ARkit提出MR遠(yuǎn)程通信技術(shù),讓視頻通話更沉浸
查看引用/信息源請(qǐng)點(diǎn)擊:映維網(wǎng)
用于遠(yuǎn)程通信的技術(shù)
(映維網(wǎng)?2021年11月30日)在名為“Environment for remote communication”的專利申請(qǐng)中,蘋(píng)果描述了一種用于遠(yuǎn)程通信的技術(shù)。具體來(lái)說(shuō),這家公司介紹的發(fā)明可以通過(guò)用戶通過(guò)智能手機(jī)或平板電腦來(lái)呈現(xiàn)混合現(xiàn)實(shí)影像,從而實(shí)現(xiàn)沉浸感高于普通視頻對(duì)話的逼真遠(yuǎn)程通信。
在通信會(huì)話期間,設(shè)備可以在擴(kuò)展現(xiàn)實(shí)環(huán)境中呈現(xiàn)遠(yuǎn)程參與者的虛擬表示,例如虛擬化身。擴(kuò)展現(xiàn)實(shí)環(huán)境可以呈現(xiàn)給一個(gè)或多個(gè)本地參與者。在一個(gè)實(shí)施例中,至少部分地使用錨定裝置的位置來(lái)確定虛擬表示的位置,例如,虛擬表示可以位于錨定裝置之上。以這種的方式,本地參與者可以通過(guò)將錨定裝置放置在任意期望位置。在一個(gè)實(shí)施例中,當(dāng)錨定裝置移動(dòng)時(shí),虛擬表示可以相應(yīng)地移動(dòng),例如改變位置或旋轉(zhuǎn)。

在一個(gè)實(shí)施例中,一種方法包括:第一電子設(shè)備的顯示設(shè)備呈現(xiàn)擴(kuò)展現(xiàn)實(shí)環(huán)境,第一電子設(shè)備同時(shí)接收呈現(xiàn)通信會(huì)話的遠(yuǎn)程參與者的虛擬表示的請(qǐng)求;響應(yīng)于接收到呈現(xiàn)遠(yuǎn)程參與者的虛擬表示的請(qǐng)求,將第二電子設(shè)備定位在物理環(huán)境中的第一位置。當(dāng)?shù)诙娮釉O(shè)備位于物理環(huán)境中的第一位置時(shí),通過(guò)顯示設(shè)備呈現(xiàn)遠(yuǎn)程參與者的虛擬表示,使得虛擬表示看似位于物理環(huán)境中的第二位置。其中,第二位置不同于第一位置,并且使用第一位置的第一坐標(biāo)確定第二位置的第一坐標(biāo)。
舉個(gè)例子,兩名本地參與者可以各自手持一臺(tái)支持混合現(xiàn)實(shí)功能的智能手機(jī),并把另一臺(tái)支持全息投影且作為錨定裝置的第三臺(tái)設(shè)備擺放在桌面。這樣,第三臺(tái)設(shè)備可以遠(yuǎn)程參與者的虛擬化身,而兩名本地參與者則可以通過(guò)各自的智能手機(jī)進(jìn)行查看。如果你看過(guò)《星球大戰(zhàn)》,你應(yīng)該不會(huì)對(duì)這種全息通信感到陌生。
另外,在一個(gè)實(shí)施例中,虛擬表示的位置可以至少部分地使用本地參與者的設(shè)備位置來(lái)確定。例如,虛擬表示可以顯示在與向本地用戶設(shè)備相同的高度,以便在本地眼睛水平向來(lái)呈現(xiàn)虛擬表示。如果有多名本地參與者,虛擬表示可以顯示在不同的高度。例如,虛擬表示可以顯示在本地參與者使用的所有設(shè)備的平均高度,或者顯示在最低設(shè)備的高度,這樣用戶就不必抬頭查看虛擬表示。作為另一個(gè)示例,不同的設(shè)備基于各自設(shè)備的高度,并以不同的高度呈現(xiàn)虛擬表示,從而為每名參與者定制擴(kuò)展現(xiàn)實(shí)環(huán)境。
參考圖2A-2D,其描述了用于為與遠(yuǎn)程參與者的通信會(huì)話提供XR環(huán)境的示例性技術(shù)。

圖2A描繪了包括設(shè)備200A、設(shè)備200B、設(shè)備210和桌面220的物理環(huán)境。如圖2A所示,設(shè)備200A和設(shè)備200B是由各自用戶持有的平板電腦。在一個(gè)實(shí)施例中,設(shè)備200A和設(shè)備200B是智能手機(jī)或頭戴式設(shè)備。在另一個(gè)實(shí)施例中,設(shè)備200A和設(shè)備200B可以是不同類型的設(shè)備,例如,設(shè)備200A可以是平板電腦,設(shè)備200B可以是頭戴式設(shè)備。
設(shè)備200A和設(shè)備200B包括呈現(xiàn)XR環(huán)境的各自顯示器202A和202B。設(shè)備200A和設(shè)備200B可以呈現(xiàn)公共XR環(huán)境,或至彼此不同的各自透視圖。對(duì)于后一種情況,可以是共享XR環(huán)境的一定公共特征,但視圖為自定義。
在一個(gè)實(shí)施例中,設(shè)備210與設(shè)備200A和/或設(shè)備200B通信,并稱為“錨定裝置”。桌面220為矩形,其表面220A建立任意笛卡爾參考框架。錨定裝置210具有由坐標(biāo)x和y定義的水平(x-y)位置,且高度(z坐標(biāo))為零(錨定裝置210平放在桌面220之上);設(shè)備200A具有高度H1;設(shè)備200B具有高度H2。
圖2B中的示例性通信會(huì)話包括但不限于電話呼叫、會(huì)議呼叫和視頻呼叫。在一個(gè)實(shí)施例中,錨定裝置210、設(shè)備200A或設(shè)備200B發(fā)起設(shè)備200A、設(shè)備200B和遠(yuǎn)程參與者之間的通信會(huì)話。在一個(gè)實(shí)施例中,設(shè)備200A、設(shè)備200B和遠(yuǎn)程參與者可以各自加入或拒絕加入通信會(huì)話。
當(dāng)通信會(huì)話啟動(dòng)時(shí),設(shè)備200A和/或設(shè)備200B接收到呈現(xiàn)通信會(huì)話的遠(yuǎn)程參與者的虛擬表示的請(qǐng)求。響應(yīng)于接收到呈現(xiàn)遠(yuǎn)程參與者的虛擬表示的請(qǐng)求,設(shè)備200A和/或設(shè)備200B定位錨裝置210(其位于物理環(huán)境中的位置(X,Y,0))并呈現(xiàn)遠(yuǎn)程參與者的虛擬表示206。
可以使用錨定裝置210的位置來(lái)確定虛擬表示206的位置。例如,可以使用錨定裝置210的位置的至少一個(gè)坐標(biāo)來(lái)確定虛擬表示206的位置的至少一個(gè)坐標(biāo)。在圖2B所示的實(shí)施例中,使用錨定裝置210的水平位置來(lái)確定虛擬表示206的水平位置,并使得虛擬表示206看似位于錨定裝置210的上方。例如,虛擬表示206具有與錨定裝置210相同的x和y坐標(biāo),但高度H3不同。

在圖2B所示的實(shí)施例中,虛擬表示206是非描述對(duì)象,例如球體)。遠(yuǎn)程參與者的虛擬表示可以是其他形狀(例如三角形、星形、立方體),并且可以具有各種視覺(jué)特征(例如不同的顏色、發(fā)光效果、半透明性等)。在一個(gè)實(shí)施例中,虛擬表示206包括與遠(yuǎn)程參與者相關(guān)聯(lián)的圖像(例如二維或三維圖像)。


在圖2B所示的實(shí)施例中,設(shè)備200A和設(shè)備200B可以同時(shí)提供通信會(huì)話的音頻輸出。在一些實(shí)施例中,設(shè)備200A和/或設(shè)備200B可以提供3D或空間音頻,使得聲音仿佛是來(lái)自于虛擬表示一樣。在一個(gè)實(shí)施例中,當(dāng)從遠(yuǎn)程參與者或遠(yuǎn)程設(shè)備接收音頻數(shù)據(jù)時(shí),虛擬表示206提供視覺(jué)指示。例如,虛擬表示206可以改變顏色和/或大小,又或者是通過(guò)動(dòng)畫(huà)來(lái)指示遠(yuǎn)程參與者正在說(shuō)話。
在通信會(huì)話期間,錨定裝置210可以進(jìn)一步顯示具有關(guān)于通信會(huì)話信息的用戶界面,例如通信會(huì)話的持續(xù)時(shí)間、遠(yuǎn)程參與者的名稱、來(lái)自遠(yuǎn)程參與者的設(shè)備的視頻等等。

現(xiàn)在轉(zhuǎn)向圖4D,基于從通信會(huì)話的遠(yuǎn)程參與者接收的數(shù)據(jù),可以定位虛擬表示206。從遠(yuǎn)程參與者接收的數(shù)據(jù)可以表示預(yù)定類型的內(nèi)容(例如由遠(yuǎn)程參與者的設(shè)備攝像頭捕獲的圖像)或遠(yuǎn)程參與者的設(shè)備的預(yù)定配置。
圖4D的左側(cè)是遠(yuǎn)程參與者的遠(yuǎn)程XR環(huán)境。遠(yuǎn)程參與者的XR環(huán)境包括遠(yuǎn)程參與者周?chē)奈锢憝h(huán)境,包括遠(yuǎn)程參與者正在使用的設(shè)備410,以及圖中所示的本地參與者的虛擬表示406。在一個(gè)實(shí)施例中,虛擬表示406由遠(yuǎn)程參與者的另一設(shè)備呈現(xiàn)。如圖4D的左側(cè)所示,遠(yuǎn)程參與者舉起設(shè)備410并使用攝像頭來(lái)捕獲遠(yuǎn)程參與者周?chē)锢憝h(huán)境的圖像。虛擬表示406位于遠(yuǎn)程參與者的肩膀上方。
圖4D的右側(cè)示是本地參與者的XR環(huán)境。在圖4D右側(cè)所示的實(shí)施例中,錨定裝置210平放在桌面220之上,并且在錨定裝置210上方呈現(xiàn)。在呈現(xiàn)虛擬表示208時(shí),遠(yuǎn)程參與者的虛擬表示206呈現(xiàn)在本地參與者肩膀上方的位置,仿佛遠(yuǎn)程參與者正站在本地參與者的旁邊,并看著虛擬表示208。這樣,本地參與者和遠(yuǎn)程參與者的XR環(huán)境模擬參與者彼此并排放置的體驗(yàn),共享遠(yuǎn)程參與者的物理環(huán)境的類似視圖。
相關(guān)專利:Apple Patent | Environment for remote communication
名為“Environment for remote communication”的蘋(píng)果專利申請(qǐng)最初在2021年8月提交,并在日前由美國(guó)專利商標(biāo)局公布。
---
原文鏈接:https://news.nweon.com/92045