蘋果專利介紹無線連接評估系統(tǒng),改善基于PC無線渲染的頭戴式AR/VR體驗
查看引用/信息源請點擊:映維網(wǎng)Nweon
評估無線傳輸質(zhì)量
(映維網(wǎng)Nweon?2022年03月30日)當(dāng)計算設(shè)備彼此通信信息時,這種通信可以通過物理有線連接或無線連接發(fā)生。對于無線連接,有時信號需要通過墻壁等物體進行傳播,并削弱兩臺計算設(shè)備之間傳輸數(shù)據(jù)能力。當(dāng)用戶希望執(zhí)行需要高信息傳輸?shù)奶囟▌幼鲿r,這對體驗的影響尤為嚴(yán)重。但是,用戶可能不知道問題的部分原因可能是由于物體造成的信號傳輸質(zhì)量干擾。
例如對于XR設(shè)置,一個實施例可能涉及用戶穿戴的頭顯與幫助生成CGR環(huán)境的PC進行無線通信。如果所述系統(tǒng)之間傳播的信號受到損害,則XR環(huán)境可能無法正確呈現(xiàn),并導(dǎo)致音頻和/或視頻幀丟失或延遲。
針對這個問題,有必要判斷衡不同計算設(shè)備之間的通信質(zhì)量。在名為“Connection assessment system”的專利申請中,蘋果就介紹了一種用于評估無線連接質(zhì)量的系統(tǒng)。

圖1示出了用戶105所在的示例環(huán)境100。在所示實施例中,環(huán)境100包括用戶105,與基站120無線通信的呈現(xiàn)設(shè)備110,以及額外的物理對象,例如墻、桌子等。如圖進一步所示,呈現(xiàn)設(shè)備110可以向用戶105呈現(xiàn)XR視圖115,并呈現(xiàn)強連接區(qū)域130、差連接區(qū)域140和不安全區(qū)域150。
在各種實施例中,基站120可以是配置為幫助生成呈現(xiàn)設(shè)備110所使用的內(nèi)容的PC,例如XR視圖115。呈現(xiàn)設(shè)備110可以是配置成向用戶呈現(xiàn)XR視圖的頭戴式顯示器或智能手機。
在所示實施例中,基站120和呈現(xiàn)設(shè)備110之間是包括沙發(fā)和咖啡桌的一組物理對象。由于所述物理對象的位置,所示實施例中出現(xiàn)了強連接區(qū)域130和差連接區(qū)域140。例如,特定的XR體驗可能需要一定的網(wǎng)絡(luò)帶寬才能實現(xiàn),所以強連接區(qū)域130可對應(yīng)于提供滿足指定閾值的連接質(zhì)量區(qū)域。差連接區(qū)域140可以是未達(dá)到滿足指定閾值的連接質(zhì)量區(qū)域。
在一個實施例中,可以通過連接評估系統(tǒng)為環(huán)境100內(nèi)的不同區(qū)域計算連接分?jǐn)?shù),并以一系列不同地的方式來呈現(xiàn)給用戶105,以便用戶105可以在它們之間進行選擇。例如,強連接區(qū)域可以呈現(xiàn)出鮮艷的顏色。
圖示的實施例同時出現(xiàn)了不安全區(qū)域150。不安全區(qū)域150可對應(yīng)于存在潛在安全問題的區(qū)域,不一定考慮連接質(zhì)量。例如,如果用戶正在進行業(yè)務(wù)會議,則不安全區(qū)域150可以是對話可能被其他人偷聽的區(qū)域。
為了識別區(qū)域130、140和150,在各種實施例中,呈現(xiàn)設(shè)備110收集各種類型的信息,包括信道擁塞、接收信號強度指示符、延遲、吞吐量等信息的網(wǎng)絡(luò)信息、視覺信息和音頻信息。例如,呈現(xiàn)設(shè)備110可以識別環(huán)境100中的物理對象,以便確定所述對象對呈現(xiàn)設(shè)備110和基站120之間的網(wǎng)絡(luò)連接影響程度。
在各種實施例中,使用為環(huán)境100收集的信息,呈現(xiàn)設(shè)備110可以計算環(huán)境100內(nèi)不同區(qū)域的連接分?jǐn)?shù)。例如,如所示實施例中所示,呈現(xiàn)設(shè)備110可以確定呈現(xiàn)設(shè)備110和基站120之間存在沙發(fā)。呈現(xiàn)設(shè)備110可進一步確定沙發(fā)由合理地減弱通過沙發(fā)傳播的信號的材料制成。因此,呈現(xiàn)設(shè)備110可以將較低的分?jǐn)?shù)分配給信號必須通過沙發(fā)傳播以到達(dá)基站120的區(qū)域。結(jié)果,呈現(xiàn)設(shè)備110可以確定所示實施例中所示的強連接區(qū)域130和差連接區(qū)域140。
在計算不同區(qū)域的連接分?jǐn)?shù)之后,呈現(xiàn)設(shè)備110可以向用戶105提供所述分?jǐn)?shù)的指示。例如,呈現(xiàn)設(shè)備110可以提供視覺指示,例如綠色浮動球表示強連接區(qū)域130,紅色浮動球表示差連接區(qū)域140。響應(yīng)于呈現(xiàn)指示,用戶105可以決定移動到強連接區(qū)域130。在一個實施例中,呈現(xiàn)設(shè)備110可提供引導(dǎo)用戶105移動到指定區(qū)域的數(shù)字路線指引。
在各種實施例中,呈現(xiàn)設(shè)備110包括用于與基站120建立網(wǎng)絡(luò)連接230的一個或多個網(wǎng)絡(luò)接口。在一個實施例中,呈現(xiàn)設(shè)備110配置為基于接口的連接性以及呈現(xiàn)設(shè)備110正在交付的特定用戶體驗在不同的可用網(wǎng)絡(luò)接口之間進行選擇。例如,如果特定用戶體驗需要大量帶寬,則呈現(xiàn)設(shè)備110可以在與基站120無線通信時選擇支持專有無線技術(shù)的無線電。然而,如果用戶僅僅是從基站120流式傳輸電影,則使用Wi-Fi。
呈現(xiàn)設(shè)備110可以經(jīng)由連接230將傳感器210和220收集的信息發(fā)送到基站120。基站120可以基于從傳感器210和250獲得的各種信息來呈現(xiàn)VR幀,壓縮幀,并經(jīng)由連接230將其發(fā)送到呈現(xiàn)設(shè)備110。

圖4示出了呈現(xiàn)設(shè)備110接收的示例環(huán)境信息框圖。在所示實施例中,環(huán)境100包括佩戴呈現(xiàn)設(shè)備110的用戶105、基站120、已知對象422和未知對象424。此外,如圖所示,呈現(xiàn)設(shè)備110接收網(wǎng)絡(luò)信息410、視覺信息420和音頻信息430。
如前所述,呈現(xiàn)設(shè)備110可以包括各種傳感器,以幫助呈現(xiàn)設(shè)備11夠捕獲關(guān)于環(huán)境100的不同類型的信息,并用于確定有利于體驗XR體驗的強連接區(qū)域130和在XR體驗期間應(yīng)避免的差連接區(qū)域140。
在各種實施例中,網(wǎng)絡(luò)信息410包括識別環(huán)境100內(nèi)不同物理位置的呈現(xiàn)設(shè)備110和基站120之間的無線電信號強度的信息。網(wǎng)絡(luò)信息410可以由呈現(xiàn)設(shè)備110的一組網(wǎng)絡(luò)電路捕獲。例如,網(wǎng)絡(luò)信息410可以指示當(dāng)呈現(xiàn)設(shè)備110位于沙發(fā)后面時呈現(xiàn)設(shè)備110和基站120之間的無線電信號強度近似為-70dbm,當(dāng)呈現(xiàn)設(shè)備110位于沙發(fā)前面時,網(wǎng)絡(luò)信息410可以指示呈現(xiàn)設(shè)備110和基站120之間的無線電信號強度近似為-50dbm。
為了收集網(wǎng)絡(luò)信息410,用戶105可以將呈現(xiàn)設(shè)備110移動到環(huán)境100中的不同位置,以便呈現(xiàn)設(shè)備110可以在所述位置測量呈現(xiàn)設(shè)備110和基站120之間的網(wǎng)絡(luò)信號的功率電平。在一個實施例中,網(wǎng)絡(luò)信息410可用于建立環(huán)境100中不同位置的連接強度的基本近似值。網(wǎng)絡(luò)信息410可以包括識別呈現(xiàn)設(shè)備110到基站120的連接的信道擁塞、延遲和吞吐量的附加信息。
在各種實施例中,視覺信息420包括提供環(huán)境100中的物理布局和/或物理對象的視覺表示信息。視覺信息420可由一個或多個世界傳感器210捕獲。音頻信息430包括與環(huán)境100內(nèi)發(fā)生的聲音有關(guān)的信息。音頻信息430可以由呈現(xiàn)設(shè)備110的一組麥克風(fēng)捕獲。在各種實施例中,音頻信息430可用于確定環(huán)境100內(nèi)的不安全區(qū)域150。例如,如果音頻信息430指示存在源自特定位置的人聲,則呈現(xiàn)設(shè)備110可以向用戶105指示所述位置作為不安全區(qū)域150。

圖5示出了示例連接評估引擎335的框圖。在所示的實施例中,連接評估引擎335接收四個輸入510并產(chǎn)生三個輸出520。如圖所示,輸入510包括網(wǎng)絡(luò)信息410、視覺信息420、音頻信息430和已知對象信息515,輸出520包括視覺指示522、音頻指示524和觸覺指示526。
在各種實施例中,連接評估引擎335是一組可執(zhí)行的軟件例程,并用于識別環(huán)境100中的強連接區(qū)域130、差連接區(qū)域140和/或不安全區(qū)域150。為了識別不同的區(qū)域,連接評估引擎335可以計算環(huán)境100中各個位置的分?jǐn)?shù),并相應(yīng)地將區(qū)域分類為強連接區(qū)域130或差連接區(qū)域140。連接評估引擎335可單獨確定是否將特定位置分類為不安全區(qū)域150。
為了計算環(huán)境100中不同位置的分?jǐn)?shù),連接評估引擎335最初捕獲環(huán)境100的環(huán)境信息,例如視覺信息420和音頻信息430。連接評估引擎335同時可以捕獲網(wǎng)絡(luò)信息410。除了捕獲與環(huán)境100有關(guān)的信息之外,連接評估引擎335同時從本地或外部數(shù)據(jù)庫檢索已知對象信息515,例如已知對象信息515可以由第三方維護。
在各種實施例中,已知對象信息515包括識別已知對象422的列表以及關(guān)于所述對象特定屬性的信息。例如,已知對象信息515可以包括零售商出售的椅子的目錄。目錄可識別特定椅子是否由木材、皮革、塑料等制成。在各種實施例中,已知對象信息515可進一步包括指示特定材料引起的干擾的信息。例如,已知對象信息515可指示磚塊可對5ghz信號造成-15dbm的衰減。
在各種實施例中,在捕獲關(guān)于環(huán)境100的環(huán)境信息并檢索已知對象信息515之后,連接評估引擎335計算環(huán)境100中不同位置的分?jǐn)?shù)。為了計算特定位置的分?jǐn)?shù),連接評估引擎335可以確定所述特定位置和基站120之間是否存在物理對象。連接評估引擎335使用例如一組經(jīng)過訓(xùn)練的機器學(xué)習(xí)模型來分析環(huán)境100的圖像。
如果連接評估引擎335確定在特定位置和基站120之間存在物理對象,則連接評估引擎335可以確定物理對象是已知對象422或未知對象424。為了進行確定,連接評估引擎335檢查物理對象的圖像和已知對象422的圖像,以確定物理對象是否匹配任何已知對象422。
如果物理對象是已知對象422,則連接評估引擎335可以查找所述對象的屬性,并確定物理對象引起的干擾量。例如,連接評估引擎335可以確定物理對象對應(yīng)于由木材制成的特定椅子,并確定其對傳輸造成近似量的衰減。
在各種情況下,如果物理對象是未知對象424,則連接評估引擎335可嘗試確定所述對象由什么材料制成。例如,呈現(xiàn)設(shè)備110可包括世界傳感器210,后者可用于測量物理對象的折射率或熱導(dǎo)率。基于折射率或熱導(dǎo)率,連接評估引擎335可以確定物理對象的材料。連接評估引擎335隨后可檢索關(guān)于所述材料的信息。
基于由位于特定位置和基站120之間的物理對象引起的確定的干擾量,連接評估引擎335可將分?jǐn)?shù)分配給所述特定位置。如果在呈現(xiàn)設(shè)備110和基站120之間發(fā)送的信號預(yù)期在某個位置被合理地衰減,則連接評估引擎335可以分配較低的分?jǐn)?shù);否則,可以分配更高的分?jǐn)?shù)。
如果網(wǎng)絡(luò)信息410指示與正在評估的特定位置在預(yù)定義距離內(nèi)的位置的無線電信號強度,則連接評估引擎335可以通過從另一個位置外推無線電信號強度來計算特定位置的無線電信號強度。在各種情況下,連接評估引擎335可以基于估計由特定位置和基站120之間的物理對象引起的衰減量來調(diào)整無線電信號強度。然后,連接評估引擎335可以基于調(diào)整后的無線電信號強度計算分?jǐn)?shù)。
在計算環(huán)境100內(nèi)的位置的分?jǐn)?shù)之后,在各種實施例中,連接評估引擎335確定這些位置是強連接區(qū)域130還是差連接區(qū)域140。在一個實施例中,可以為每種類型的區(qū)域指定分?jǐn)?shù)范圍。因此,如果計算出的分?jǐn)?shù)落在特定分?jǐn)?shù)范圍內(nèi),則相關(guān)位置可分類為相應(yīng)區(qū)域。
在一個實施例中,在確定強連接區(qū)域130和差連接區(qū)域140之后,連接評估引擎335可以生成視覺指示522、音頻指示524和/或觸覺指示526,并將其呈現(xiàn)給用戶105,以便引導(dǎo)用戶105朝向或離開特定區(qū)域。
在一個實施例中,信息存儲在基站120,并用于識別連接評估引擎335計算的分?jǐn)?shù)和環(huán)境100中各個位置的分類。因此,當(dāng)佩戴呈現(xiàn)設(shè)備110的用戶105進入環(huán)境100時,呈現(xiàn)設(shè)備110可以從基站120檢索信息,這樣它就不必再執(zhí)行環(huán)境100的評估。
換句話說,一個呈現(xiàn)設(shè)備110可以評估環(huán)境100以識別強連接區(qū)域130和差連接區(qū)域140,并且可以通過基站120直接或間接地與其他呈現(xiàn)設(shè)備110共享所述評估。
在一個實施例中,當(dāng)呈現(xiàn)設(shè)備110檢索環(huán)境100的評估時,它可以重新評估環(huán)境100以確定布局是否已經(jīng)改變。如果布局沒有改變,則呈現(xiàn)設(shè)備110可以使用先前的評估。否則,呈現(xiàn)設(shè)備110可以更新評估。
除了識別環(huán)境100中的強連接區(qū)域130和差連接區(qū)域140之外,連接評估引擎335同時可以識別環(huán)境100中用戶105在進行XR體驗時可能希望避免的不安全區(qū)域150。例如,如果用戶105正在進行共存業(yè)務(wù)會議,則用戶105可能不希望其他用戶竊聽該會議。
在一個實施例中,連接評估引擎335可以分析視覺信息420和音頻信息430,以識別環(huán)境100中存在其他用戶的區(qū)域。例如,如果音頻信息430指示有人站在環(huán)境100的一個角落里,則連接評估引擎335可以將所述角落分類為不安全區(qū)域150,并向用戶105提供指示。在另一個實施例中,連接評估引擎335可識別可能傷害用戶105的物理對象(例如箱子),并將包括所述物理對象的區(qū)域分類為不安全區(qū)域150。

圖6示出了包括視覺指示522A-C和音頻指示524的示例輸出520的框圖。如前面討論,呈現(xiàn)設(shè)備110可以生成并呈現(xiàn)指示522、524和526,以識別強、差和不安全區(qū)域130、140和150給用戶105。當(dāng)呈現(xiàn)視覺指示522時,呈現(xiàn)設(shè)備110可以用識別特定區(qū)域的虛擬可視化來增強環(huán)境100的一組圖像。如圖所示,視覺指示522A是向下指向強連接區(qū)域130的箭頭。因此,當(dāng)用戶105看到所述箭頭時,用戶105可以選擇向所述箭頭移動以到達(dá)目標(biāo)區(qū)域,以便改善呈現(xiàn)設(shè)備110和基站120之間的連接質(zhì)量。
在各種情況下,可能沒有直達(dá)特定區(qū)域的路徑。這時,呈現(xiàn)設(shè)備110可以呈現(xiàn)引導(dǎo)用戶105沿著路徑的視覺指示522。
相關(guān)專利:Apple Patent | Connection assessment system
名為“Connection assessment system”的蘋果專利申請最初在2021年5月提交,并在日前由美國專利商標(biāo)局公布。
---
原文鏈接:https://news.nweon.com/95660