查看引用/信息源請點(diǎn)擊：映維網(wǎng)Nweon

重新投影虛擬圖像

（映維網(wǎng)Nweon?2022年03月17日）AR頭顯可以基于用戶的頭部姿勢呈現(xiàn)虛擬圖像，以便虛擬對象看起來是錨定到周圍物理環(huán)境中的固定位置。佩戴者的頭部姿勢同時(shí)可用于重新投影虛擬圖像，以補(bǔ)償虛擬圖像渲染時(shí)間和虛擬圖像顯示時(shí)間之間頭部姿勢的變化。例如，可以基于初始頭部姿勢（例如在渲染虛擬圖像時(shí)或之前確定的頭部姿勢）渲染虛擬圖像，然后基于更新的頭部姿勢（例如在渲染虛擬圖像之后感測的頭部姿勢）重新投影虛擬圖像。

渲染和顯示時(shí)間之間的延遲的來源不盡相同，例如從圖形處理單元向顯示器傳輸虛擬圖像之間的時(shí)間。當(dāng)虛擬圖像從遠(yuǎn)程設(shè)備傳輸?shù)斤@示虛擬圖像的顯示器時(shí)，與傳輸相關(guān)的延遲或會更大。另外，由于讀出數(shù)據(jù)和發(fā)射形成虛擬圖像的光所需的時(shí)間，虛擬圖像的顯示本身會導(dǎo)致延遲。

在名為“Manipulator-based image reprojection”的專利申請中，微軟介紹了一種減少延遲的方法。具體來說，發(fā)明主要描述了一種圖像重投影方法。

在一個(gè)示例中，虛擬圖像可以基于用戶手部位置或用戶操縱的輸入設(shè)備的位置進(jìn)行呈現(xiàn)。用戶的手部或由用戶操縱的輸入設(shè)備可以稱為“操縱器”，而基于操縱器位置渲染的虛擬圖像可以稱為“操縱器附加內(nèi)容”或“操縱器附加”。

操縱器的使用可能會在操縱器附加內(nèi)容的渲染和顯示時(shí)間之間引入額外的延遲，例如由于處理操縱器位置、更新場景圖和/或其他與模擬相關(guān)的動作。所述延遲和其他延遲可能會導(dǎo)致操縱器附加內(nèi)容似乎落后于操縱器的移動，操縱器移動和操縱器附加內(nèi)容的移動之間的脫節(jié)在增強(qiáng)現(xiàn)實(shí)體驗(yàn)中可能尤其明顯，而這會減損用戶的混合現(xiàn)實(shí)體驗(yàn)。

圖1A-1B示出了包括操縱器附加內(nèi)容的圖像100的重投影。如下所述，通過重投影圖像100產(chǎn)生的重投影圖像經(jīng)由顯示器104呈現(xiàn)在頭顯設(shè)備102。圖像100包括虛擬圍欄106和虛擬手部模型108形式的機(jī)械手附加內(nèi)容。其中，虛擬手部模型108顯示在根據(jù)佩戴用戶手部移動而更新的位置。在渲染圖像100時(shí)，用戶手部的位置允許系統(tǒng)根據(jù)在渲染時(shí)或之前確定的手部位置而在位置112渲染手部模型108。但在渲染圖像100之后，用戶手部的位置以及用戶頭部的姿勢發(fā)生變化。為了補(bǔ)償渲染圖像100后用戶110的運(yùn)動，系統(tǒng)可以根據(jù)之后確定的用戶頭部姿勢重新投影圖像。

圖1B顯示了通過重投影圖像100產(chǎn)生的重投影圖像114。重新投影的圖像114經(jīng)由顯示器104呈現(xiàn)在頭顯102。作為用戶手部位置變化的結(jié)果，手部模型108顯示在更新位置116。但基于用戶的頭部姿勢重新投影圖像100在重新投影的圖像114中產(chǎn)生偽影。在這個(gè)例子中，重投影產(chǎn)生了一個(gè)導(dǎo)致虛擬柵欄106變形的孔118，并省略了本來應(yīng)該顯示在重投影圖像114中的圖像內(nèi)容。例如，孔118可能是由手部模型108遮擋虛擬圍欄106造成。一般來說，諸如操縱器附加內(nèi)容的大幅運(yùn)動或快速運(yùn)動等因素可能會在基于頭部姿勢的重投影生成圖像中產(chǎn)生偽影。由于用戶可以相對容易地感知它們，孔118和其他偽影會減損用戶的混合現(xiàn)實(shí)體驗(yàn)。

微軟提出的專利正是為了解決所述問題。圖2示出了一個(gè)示例數(shù)據(jù)處理管道200，通過所述管道可以分別重新投影機(jī)械手附加內(nèi)容和非機(jī)械手附加內(nèi)容。在所描繪的示例中，管道200接收第一渲染圖像202，第一渲染圖像202包括與參考幀關(guān)聯(lián)且未附加的內(nèi)容。管道200進(jìn)一步接收包括與操縱器參考幀相關(guān)聯(lián)的內(nèi)容的第二渲染圖像204。操縱器參考幀可與用戶手部和/或由用戶操縱的輸入設(shè)備相關(guān)聯(lián)。例如，輸入設(shè)備可以是手持式控制器，。

基于用戶的頭部姿勢重新投影第一渲染圖像202，從而產(chǎn)生第一重新投影圖像206。頭部姿勢可以以任何合適的方式確定。作為一個(gè)示例，頭顯設(shè)備可包括運(yùn)動傳感系統(tǒng)，以輸出佩戴用戶的頭部姿勢或用于確定頭部姿勢的數(shù)據(jù)。

可以以任何適當(dāng)?shù)姆绞綀?zhí)行第一渲染圖像202的重投影。作為一個(gè)示例，第一渲染圖像202的像素p.sub.render的位置可以根據(jù)以下內(nèi)容重新投影：p.sub.latest=（X.sub.latest*X.sup.-1.sub.render）p.sub.render，其中p.sub.latest是像素的最終重新投影位置，X.sub.latest是在第一渲染圖像的渲染時(shí)間之后確定的頭部姿勢，而X.sup-1.sub.render則是在第一個(gè)渲染圖像的渲染時(shí)間或之前確定的頭部姿勢的inverse。在一個(gè)示例中，X.sub.latest*X.sup-1.sub.render可以是表示能夠相乘的仿射變換的矩陣（例如4乘以4）?？梢詫Φ谝讳秩緢D像202的任意適當(dāng)數(shù)量的像素進(jìn)行重投影，以產(chǎn)生第一重投影圖像206。在一個(gè)示例中，可以對第一渲染圖像202的每個(gè)像素進(jìn)行重投影，從而產(chǎn)生第一重投影圖像206。

基于用戶頭部姿勢和操縱器的姿勢重新投影第二渲染圖像204，從而產(chǎn)生第二重新投影圖像208。如上所述，集成在頭顯設(shè)備中的運(yùn)動傳感系統(tǒng)或任何其他合適的機(jī)制可用于確定頭部姿勢。同樣，可以以任何合適的方式確定操縱器的姿勢。作為一個(gè)示例，頭顯設(shè)備可包括用于捕獲代表操縱器的圖像數(shù)據(jù)的成像系統(tǒng)，然后處理圖像數(shù)據(jù)以確定操縱器姿勢。如果操縱器是手，可以使用手部追蹤技術(shù)來確定操縱器姿勢。在其他示例中，操縱器可以是包括集成運(yùn)動傳感系統(tǒng)的輸入設(shè)備。在所述示例中，可基于來自輸入設(shè)備運(yùn)動傳感系統(tǒng)的輸出來確定操縱器姿勢。

作為一個(gè)示例，第二渲染圖像204的像素prender可以根據(jù)以下內(nèi)容重新投影：p.sub.latest=（X.sub.latest*M.sub.latest*M.sup.-1.sub.render*X.sup.-l.sub.-render）p.sub.latest，其中p.sub.latest是像素的最終重新投影位置，X.sub.latest是在第二個(gè)渲染圖像的渲染時(shí)間之后確定的頭部姿勢，M.sub.latest是在第二個(gè)渲染圖像的渲染時(shí)間之后確定的操縱器姿勢，M.sup-1.sub.render是在第二個(gè)渲染圖像的渲染時(shí)間或之前確定的操縱器姿勢的inverse，X.sup-1.sub.render是在第二個(gè)渲染圖像的渲染時(shí)間或之前確定的頭部姿勢的inverse。

在一個(gè)示例中，X.sub.latest、M.sub.latest、M.sup-1.sub.render和X.sup-1.sub.render可以是表示可以相乘的仿射變換的矩陣（例如，4乘以4）?？梢詫Φ诙秩緢D像204的任何適當(dāng)數(shù)量的像素進(jìn)行重投影，以產(chǎn)生第二重投影圖像208。在一個(gè)示例中，第二渲染圖像204的每個(gè)像素可以重投影以產(chǎn)生第二重投影圖像208。

在重投影之后，合成第一和第二重投影圖像206和208，從而產(chǎn)生合成圖像210。構(gòu)圖可以包括任何合適的圖像處理步驟。合成圖像210包括與第一重投影圖像206中的參考幀相關(guān)聯(lián)的重投影內(nèi)容，以及與第二重投影圖像208中的操縱器參考幀相關(guān)聯(lián)的重投影內(nèi)容。

然而，與僅基于頭部姿勢重投影機(jī)械手附加內(nèi)容的重投影管道相比，合成圖像210不包括重投影過程產(chǎn)生的偽影。通過重新投影分別包括和不包括操縱器附加內(nèi)容的單獨(dú)圖像，可以減輕虛擬圖像（例如第一渲染圖像202中的虛擬柵欄）的遮擋，進(jìn)而減少或消除重新投影偽影。

另外，可以通過基于渲染操縱器附加內(nèi)容之后確定的操縱器姿勢執(zhí)行重投影來減少操縱器附加內(nèi)容的移動中的延遲，從而增強(qiáng)用戶的混合現(xiàn)實(shí)體驗(yàn)沉浸感。

在一個(gè)示例中，可以基于操縱器的姿勢更新表示圖像中運(yùn)動的運(yùn)動向量。作為一個(gè)示例，在將包含非操縱器附加內(nèi)容的圖像與包含操縱器附加內(nèi)容的一個(gè)或多個(gè)圖像合成時(shí)，可以基于操縱器姿勢更新運(yùn)動向量，例如通過一個(gè)或多個(gè)矩陣變換。操縱器姿勢可以在合成時(shí)間或合成時(shí)間之前確定。

基于操縱器姿勢更新運(yùn)動向量可以通過捕獲在運(yùn)動向量的初始生成之后發(fā)生的操縱器運(yùn)動，在對應(yīng)于運(yùn)動向量的像素中產(chǎn)生更具代表性的運(yùn)動指示。以這種方式更新的運(yùn)動矢量可用于任何合適的目的，例如重投影。另外，可以以任何合適的方式獲得運(yùn)動向量，例如通過從呈現(xiàn)操縱器附加內(nèi)容的應(yīng)用程序接收或請求運(yùn)動向量，和/或通過從兩個(gè)或多個(gè)圖像之間的運(yùn)動導(dǎo)出運(yùn)動向量。

圖4示出了示例性頭顯400。在增強(qiáng)現(xiàn)實(shí)實(shí)現(xiàn)中，顯示器402可以呈現(xiàn)世界鎖定的增強(qiáng)現(xiàn)實(shí)對象。隨著頭顯設(shè)備400的姿勢改變，鎖定的增強(qiáng)現(xiàn)實(shí)對象看起來都會隨著用戶的視角而移動。所以，即便頭顯設(shè)備400的姿勢改變，世界鎖定的增強(qiáng)現(xiàn)實(shí)對象看起來依然保持在物理空間中的固定位置。

成像系統(tǒng)412可以以任何合適的形式收集周圍物理空間的圖像數(shù)據(jù)，例如圖像和視頻。由成像系統(tǒng)412收集的圖像數(shù)據(jù)可用于測量周圍物理空間的物理屬性。盡管示例圖僅示出了三個(gè)圖像傳感器412A-412C，但成像系統(tǒng)可以實(shí)現(xiàn)任何適當(dāng)數(shù)量的圖像傳感器。作為示例，成像系統(tǒng)412可以包括一對灰階攝像頭，其配置為在單個(gè)顏色通道中收集圖像數(shù)據(jù)。

可選地，成像系統(tǒng)412可以包括一個(gè)或多個(gè)彩色攝像頭，其配置為在可見光譜中的一個(gè)或多個(gè)彩色通道（例如RGB）中收集圖像數(shù)據(jù)；可選地，成像系統(tǒng)412可以包括一個(gè)或多個(gè)配置為收集深度數(shù)據(jù)的深度攝像頭。在一個(gè)示例中，深度數(shù)據(jù)可以采用二維深度映射的形式。其中，二維深度映射具有多個(gè)深度像素，每個(gè)深度像素指示從對應(yīng)的深度攝像頭到周圍物理空間中的對應(yīng)表面的深度。深度攝像頭可以采用任何合適的形式，例如飛行時(shí)間深度攝像頭或結(jié)構(gòu)光深度攝像頭。

機(jī)載計(jì)算機(jī)404可以使用來自成像系統(tǒng)412的數(shù)據(jù)來檢測運(yùn)動。在一個(gè)示例中，頭顯設(shè)備400可以通過經(jīng)由捕捉操縱器運(yùn)動的成像系統(tǒng)412獲取圖像數(shù)據(jù)來捕捉佩戴者執(zhí)行的操縱器運(yùn)動。在一個(gè)示例中，頭顯設(shè)備400可以基于經(jīng)由成像系統(tǒng)412獲取的圖像數(shù)據(jù)來制定鉸接式手部追蹤數(shù)據(jù)。頭顯設(shè)備400同時(shí)可以通過成像系統(tǒng)412對輸入設(shè)備進(jìn)行成像。機(jī)載計(jì)算機(jī)404可以使用來自成像系統(tǒng)412的數(shù)據(jù)來確定方向/位置和定向數(shù)據(jù)，從而在真實(shí)環(huán)境中實(shí)現(xiàn)頭顯設(shè)備400的位置/運(yùn)動追蹤。

IMU 414可以配置為向機(jī)載計(jì)算機(jī)404提供頭顯設(shè)備400的位置和/或方向數(shù)據(jù)。在一個(gè)實(shí)現(xiàn)中，來自成像系統(tǒng)412和IMU 414的位置和方向數(shù)據(jù)可結(jié)合使用以確定頭顯設(shè)備400的位置和方向。在又一實(shí)施例中，可以通過視覺慣性SLAM來計(jì)算頭顯設(shè)備400的姿勢。

圖5示出的重投影流程圖方法可以由頭顯設(shè)備400實(shí)現(xiàn)。

在502，方法500包括接收包括與參考幀相關(guān)聯(lián)的內(nèi)容的第一渲染圖像。例如，參考幀可以與頭顯設(shè)備或其他顯示設(shè)備的用戶相關(guān)聯(lián)。接收第一渲染圖像可以包括接收503表示第一渲染圖像中的運(yùn)動的第一多個(gè)運(yùn)動矢量。在504，方法500包括接收包括與操縱器參考幀相關(guān)聯(lián)的內(nèi)容的第二渲染圖像。操縱器參考幀506可對應(yīng)于用戶的手和用戶操作的輸入設(shè)備中的一個(gè)或多個(gè)。第二渲染圖像可以包括508個(gè)與對應(yīng)于左操縱器的第一操縱器參考幀相關(guān)聯(lián)的內(nèi)容，以及與對應(yīng)于右操縱器的第二操縱器參考幀相關(guān)聯(lián)的內(nèi)容。接收第二渲染圖像還可以包括接收509表示第二渲染圖像中的運(yùn)動的第二多個(gè)運(yùn)動矢量。

在510，方法500包括基于用戶的頭部姿勢重新投影第一渲染圖像，從而產(chǎn)生第一重新投影圖像。重投影第一渲染圖像可包括基于頭部姿勢重投影511第一多個(gè)運(yùn)動向量。在512，方法500包括基于用戶的頭部姿勢和操縱器的姿勢重新投影第二渲染圖像，從而產(chǎn)生第二重新投影圖像。重投影可以包括調(diào)整圖像中一個(gè)或多個(gè)像素的位置，例如通過矩陣變換）。第二渲染圖像可以基于514在第二渲染圖像的渲染時(shí)的第一操縱器姿勢以及在第一姿勢之后確定的操縱器的第二姿勢來重新投影。重投影第二渲染圖像可包括515基于頭部姿勢和操縱器的姿勢重投影第二多個(gè)運(yùn)動向量。

在一個(gè)示例中，第二渲染圖像可以包括與對應(yīng)于左操縱器和右操縱器之一的第一操縱器參考幀相關(guān)聯(lián)的內(nèi)容。可以基于用戶的頭部姿勢以及左操縱器和右操縱器之一的姿勢重新投影第二渲染圖像。在516，方法500可以包括接收第三渲染圖像，第三渲染圖像包括與對應(yīng)于左操縱器和右操縱器中的另一個(gè)的第二操縱器參考幀相關(guān)聯(lián)的內(nèi)容。接下來，基于用戶的頭部姿勢以及左操縱器和右操縱器中的另一個(gè)的姿勢重新投影第三渲染圖像，從而產(chǎn)生第三重投影圖像。

在518，方法500包括合成重新投影的圖像，從而產(chǎn)生合成圖像。在520，方法500包括基于最近確定的頭部姿勢重新投影合成圖像。在522，方法500包括輸出合成圖像以供顯示。

相關(guān)專利：Microsoft Patent | Manipulator-based image reprojection

名為“Manipulator-based image reprojection”的微軟專利申請最初在2020年8月提交，并在日前由美國專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/95273