查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

遮擋器

（映維網(wǎng)Nweon資訊）若持續(xù)關(guān)注微軟的專利申請(qǐng)，你或者會(huì)注意到這家公司有構(gòu)想過一種“分離式”攝像頭。其中，這種與頭顯分離的攝像頭可以由用戶手持，或者掛接在前胸等用戶身體位置。這種配置的一種用例是用于VR頭顯的透視視圖，通過額外的攝像頭視角來補(bǔ)充頭顯前端攝像頭視角，從而為用戶提供精確的真實(shí)世界環(huán)境感知。

對(duì)于來自不同角度攝像頭的視圖，一個(gè)重要的處理過程是對(duì)齊校準(zhǔn)。在早前的專利申請(qǐng)中，微軟已經(jīng)通過多份發(fā)明介紹過相關(guān)的對(duì)齊校準(zhǔn)。然而，在名為“Dynamic adjustments in mixed-reality environment based on positional assumptions and configurations”的文件中，這家公司主要介紹了一種遮擋情景。盡管依然與對(duì)齊校準(zhǔn)相關(guān)，但這一次主要是介紹對(duì)齊校準(zhǔn)全息圖與真實(shí)對(duì)象。

混合現(xiàn)實(shí)中的遮擋是指一個(gè)對(duì)象遮擋另一個(gè)對(duì)象的可見度。其中，對(duì)象可以是真實(shí)世界對(duì)象、全息圖或真實(shí)世界對(duì)象和全息圖的組合。例如，可以渲染出全息圖遮擋真實(shí)世界對(duì)象的場景。類似地，可以渲染成真實(shí)對(duì)象遮擋全息圖的場景。為了執(zhí)行逼真的遮擋，將全息圖與場景緊密對(duì)齊，甚至完美對(duì)齊有利于保持或提高真實(shí)感，并實(shí)現(xiàn)逼真的行為可視化。

為了提供逼真的遮擋效果，MR系統(tǒng)通常使用所謂的“遮擋器”。具體而言，遮擋器是一種用于在渲染和顯示過程中遮住對(duì)象幾何體的對(duì)象類型。遮擋器通過向MR場景的深度緩沖區(qū)提供信息來與MR場景交互。這種與深度緩沖器的交互允許MR系統(tǒng)能夠阻止選定的全息圖像素顯示在場景中。

在圖1中，為了提高全息圖105的真實(shí)感，MR系統(tǒng)能夠使用形狀與真實(shí)世界頭部100的形狀相對(duì)應(yīng)的遮擋器120。通過允許遮擋器120與MR系統(tǒng)的深度緩沖器交互，MR系統(tǒng)可以隱藏全息圖105中應(yīng)該被真實(shí)世界頭部100遮擋的部分。使用遮擋器120的結(jié)果由全息圖125顯示。其中，先前顯示的全息眼鏡臂110和115現(xiàn)在隱藏在視線之外。

圖2是使用遮擋器效果的另一個(gè)說明。在所述場景中，一系列的全息圖（全息圖205、全息圖210、全息圖215和全息圖220）圍繞真實(shí)世界頭部200旋轉(zhuǎn)。盡管未示出，但系統(tǒng)使用了遮擋器?；诋?dāng)前視點(diǎn)，全息圖205完全可見，并且位于真實(shí)世界頭部200的前面。全息圖210則部分遮擋真實(shí)世界頭部200的視圖。類似地，全息圖220的一部分被遮擋器隱藏或遮擋。

在圖3中，傳統(tǒng)的頭顯系統(tǒng)通常是利用非常簡單的遮擋器，例如簡單遮擋器310。通常，簡單遮擋器310由基本形狀形成，如圓柱體、圓、球體等。通常情況下，簡單遮擋器310未能考慮用戶300特定和變化的相對(duì)姿勢。

為了生成簡單遮擋器310，傳統(tǒng)系統(tǒng)廣泛依賴于掃描操作：利用攝像頭掃描環(huán)境以識(shí)別真實(shí)世界的對(duì)象。通過分析攝像頭圖像，MR系統(tǒng)能夠識(shí)別和解析環(huán)境中包含的不同對(duì)象。一旦MR系統(tǒng)理解了環(huán)境，它就能夠?yàn)椴煌膶?duì)象生成遮擋器。基于對(duì)環(huán)境的不斷掃描，遮擋器不斷更新。執(zhí)行這種持續(xù)掃描在計(jì)算和電池消耗方面非常昂貴。

名為“Dynamic adjustments in mixed-reality environment based on positional assumptions and configurations”的專利介紹了一種針對(duì)所述問題的解決方案。具體來說，實(shí)施例能夠基于用戶身體的假設(shè)在MR環(huán)境中動(dòng)態(tài)地選擇和呈現(xiàn)遮擋器。

例如，可以識(shí)別MR環(huán)境中物理設(shè)備的相對(duì)位置，根據(jù)檢測到的傳感器輸出，在MR環(huán)境中追蹤設(shè)備的相對(duì)運(yùn)動(dòng)和定位。然后，系統(tǒng)基于所識(shí)別的物理設(shè)備相對(duì)位置，確定在MR環(huán)境中對(duì)用戶身體的假定理解，包括用戶身體的假定位置。這種理解不依賴于用戶身體的攝像頭成像。

實(shí)施例中提供了一個(gè)用于在MR環(huán)境中進(jìn)行選擇，并與用戶身體的假定位置相對(duì)應(yīng)的遮擋器。然后，基于對(duì)用戶身體的假定理解，從遮擋器集合中選擇一個(gè)或多個(gè)特定遮擋器，并與集合中的其他遮擋器相比，確定與用戶身體的假定位置相對(duì)較高的對(duì)應(yīng)百分比。

實(shí)施例同時(shí)包括通過在MR環(huán)境中以與假定理解相對(duì)應(yīng)的特定尺寸和位置定位遮擋器，從而修改MR環(huán)境的呈現(xiàn)。

實(shí)施例同時(shí)動(dòng)態(tài)更新對(duì)MR環(huán)境中用戶身體的理解，并基于對(duì)用戶身體假定位置的更新理解/假設(shè)修改用戶的遮擋器。例如，確定在MR環(huán)境中對(duì)用戶身體的初始理解，其中假定理解包括用戶身體的假定位置。然后在MR環(huán)境中呈現(xiàn)對(duì)于用戶身體初是理解的初始遮擋器。接下來，識(shí)別被追蹤設(shè)備的相對(duì)位置。基于檢測到的變化，系統(tǒng)更新對(duì)用戶身體的理解和對(duì)用戶身體位置的相應(yīng)假設(shè)。

微軟指出，所描述的實(shí)施例可用于確定頭顯的相對(duì)姿勢（例如位置和方向），并使用所述姿勢信息對(duì)用戶的當(dāng)前/更新姿勢進(jìn)行智能假設(shè)。例如，如果頭顯具有特定姿勢，則實(shí)施例能夠確定用戶如何定向。一旦假定了用戶的身體位置，就可以將遮擋器配置為具有與假定的身體位置相對(duì)應(yīng)的大小、形狀和方向。所以，專利描述的實(shí)施例能夠避免執(zhí)行環(huán)境的連續(xù)掃描，從而減輕功耗。

另外，即使使用一個(gè)或多個(gè)掃描/圖像的初始集來形成對(duì)用戶身體位置的初始理解，當(dāng)前實(shí)施例都可用于做出假設(shè)，以更新對(duì)用戶身體位置的理解，無需依賴用戶身體的新圖像/掃描，而是利用設(shè)備檢測定位的假設(shè)。通過避免對(duì)用戶身體進(jìn)行額外掃描和/或使用額外掃描，同時(shí)更新對(duì)用戶身體位置的理解，可以減少與在MR環(huán)境中生成和使用遮擋器相關(guān)聯(lián)的計(jì)算開銷。

圖4示出了一個(gè)簡化的流程圖。實(shí)施例最初識(shí)別一組參數(shù)425，例如用戶頭的姿勢?；趨?shù)425，實(shí)施例隨后執(zhí)行估計(jì)以確定或假設(shè)用戶的身體姿勢，如假設(shè)身體位置430所示。基于用戶的假定身體位置，實(shí)施例然后配置遮擋器，使其具有與假定身體姿勢匹配的形狀和配置。

在一個(gè)實(shí)施例中，實(shí)施例從零開始生成全新的遮擋器，而在其他實(shí)施例中，實(shí)施例選擇預(yù)先生成的遮擋器，然后潛在地修改遮擋器以匹配假定的身體姿勢。作為執(zhí)行修改435的結(jié)果，實(shí)施例產(chǎn)生具有特定配置的修改遮擋器440，例如與假定身體位置的形狀、方向和姿勢匹配的形狀、方向和姿勢。

圖5顯示了代表圖4中參數(shù)425的參數(shù)500。具體地，圖5示出了當(dāng)前位于高度510的頭顯505。類似地，圖5示出當(dāng)前位于高度520的頭顯515。

使用頭顯505和515中的傳感器525，實(shí)施例不僅能夠確定高度510和520，同時(shí)能夠確定其他姿勢相關(guān)信息。例如，傳感器525可以包括但不限于IMU 530和頭部追蹤攝像頭535。

在任何情況下，實(shí)施例都能夠確定頭顯505和515的六自由度姿勢545?；诹杂啥茸藙?45，可以對(duì)用戶的身體位置或姿勢進(jìn)行估計(jì)或假設(shè)。例如，為了令頭顯505位于所示位置，實(shí)施例可以假定用戶站著。類似地，為了令頭顯515位于所示位置，實(shí)施例假設(shè)用戶蹲著。

更具體地說，在圖5中，當(dāng)用戶站立時(shí)，頭顯505似乎略微向上傾斜。因?yàn)轭^顯505已經(jīng)確定了高度510，并且因?yàn)轭^顯505已經(jīng)確定了自身的方向或角度姿勢，所以頭顯505能夠假設(shè)用戶處于站立姿勢，頭部略微向上傾斜。

同樣，當(dāng)用戶蹲下時(shí)，頭顯515看起來直對(duì)前方。因?yàn)轭^顯515已經(jīng)確定了高度520，并且因?yàn)轭^顯515已經(jīng)確定了自身的方向或角度姿勢，所以頭顯515能夠假設(shè)用戶處于下蹲姿勢，頭部相對(duì)平直。

在圖7中，由于傳感器限制，遮擋器710的手臂720部分沒能模擬用戶的真實(shí)臂71。為了應(yīng)對(duì)這種情況，可以利用額外的傳感設(shè)備，如圖8中的設(shè)備810所示。

設(shè)備810可以是能夠被頭顯805追蹤和/或能夠執(zhí)行其自身追蹤的任何類型對(duì)象或設(shè)備。作為示例而非限制，被追蹤對(duì)象810可以是智能電話、平板電腦、筆記本電腦、物聯(lián)網(wǎng)設(shè)備或其他的智能設(shè)備。

頭顯805和被追蹤對(duì)象810能夠通過無線鏈接，或者甚至有線鏈接進(jìn)行通信。被追蹤對(duì)象810能夠通過相關(guān)鏈接將其姿勢信息發(fā)送到頭顯805?；趶谋蛔粉檶?duì)象810接收到的姿勢信息，頭顯805隨后能夠相對(duì)于頭顯805識(shí)別被追蹤對(duì)象810位于何處?；谒鱿鄬?duì)位置和被追蹤對(duì)象810的定向方式，頭顯805能夠生成關(guān)于用戶可能如何定位的假設(shè)。

如圖9所示，根據(jù)專利描述的原理，手持儀器905能夠確定其六自由度姿勢915，然后將姿勢信息發(fā)送給頭顯900。頭顯900同時(shí)能夠確定自己的六自由度姿態(tài)。這兩條信息的組合使得頭顯900能夠確定手持儀器905相對(duì)于頭顯900的相對(duì)位置?；谒鱿鄬?duì)位置，頭顯900隨后能夠生成關(guān)于用戶可能如何定位的假設(shè)或估計(jì)，例如身體姿勢假設(shè)920。基于假定的身體位置，實(shí)施例隨后能夠生成相應(yīng)的遮擋器。

在一個(gè)實(shí)施例中，可以基于頭顯的姿勢信息生成初始基本遮擋器。例如，如果頭顯的姿勢信息指示佩戴頭顯的用戶可能站立，則可以選擇初始站立姿勢遮擋器。所述初始遮擋器隨后可基于手持儀器的姿勢信息進(jìn)行修改。

在圖11中，手持儀器1100（代表圖9的手持儀器905）由頭顯用戶持有?；诋?dāng)前姿勢，實(shí)施例已經(jīng)生成或配置了相應(yīng)的遮擋器1105。隨后，檢測到手持儀器的移動(dòng)1110，使得其現(xiàn)在處于1115所示的位置。實(shí)施例能夠從手持設(shè)備1100收集姿勢信息，以便確定手持設(shè)備1100何時(shí)、如何以及在何處移動(dòng)?；谧藙菪畔?，實(shí)施例隨后可以生成關(guān)于手持儀器的手持者的新位置假設(shè)。作為響應(yīng)，實(shí)施例隨后可以基于更新的姿勢生成新的遮擋器1120。

值得一提的是，頭顯同時(shí)可以與其他頭顯分享遮擋器。

圖13示出了存在多個(gè)頭顯的環(huán)境1300，如頭顯1305、頭顯1310和頭顯1315。每一個(gè)都可以以前面描述的方式配置，其中每一個(gè)都能夠基于頭顯的姿勢信息和/或手持儀器的姿勢信息生成其各自的遮擋器。

與其他頭顯共享遮擋器信息通常是有益的，這樣它們就可以使用所述封堵器而不是各自對(duì)房間進(jìn)行掃描。

作為初始事項(xiàng)，頭顯可以單獨(dú)或共同執(zhí)行環(huán)境1300的初始掃描，以確定環(huán)境1300的屬性，并生成環(huán)境1300的空間映射或感知。一旦執(zhí)行了初始掃描，各實(shí)施例就可以避免執(zhí)行連續(xù)掃描，而是可以依賴專利描述的原理來生成遮擋器，并在MR場景中放置全息圖。

相關(guān)專利：Microsoft Patent | Dynamic adjustments in mixed-reality environment based on positional assumptions and configurations

名為“Dynamic adjustments in mixed-reality environment based on positional assumptions and configurations”的微軟專利申請(qǐng)最初在2020年7月提交，并在日前由美國專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/93842