查看引用/信息源請點(diǎn)擊：映維網(wǎng)

直接提高投影儀的分辨率，無需增加任何材料尺寸或重量

（映維網(wǎng)?2021年12月21日）在現(xiàn)有的混合現(xiàn)實(shí)和全虛擬現(xiàn)實(shí)設(shè)備中，用于向用戶顯示圖像的投影儀可能相對(duì)較大。這種投影儀的尺寸可能使投影儀難以適應(yīng)佩戴舒適的眼鏡形狀參數(shù)。另外，現(xiàn)有混合現(xiàn)實(shí)設(shè)備中使用的投影儀可能重量超過預(yù)期。重型投影儀可能會(huì)使混合現(xiàn)實(shí)設(shè)備在長時(shí)間內(nèi)佩戴時(shí)感到不舒服。

現(xiàn)有混合現(xiàn)實(shí)設(shè)備中包含的投影儀同時(shí)可能具有較高的功耗。高功耗率可能會(huì)縮短續(xù)航，并可能需要用戶更頻繁地為混合現(xiàn)實(shí)設(shè)備充電。另外，如果增加電池尺寸以考慮投影儀的功率需求，則混合現(xiàn)實(shí)設(shè)備的尺寸和重量可能進(jìn)一步增加。

為了解決現(xiàn)有混合現(xiàn)實(shí)設(shè)備的限制，微軟在名為“Reprojection and wobulation at head-mounted display device”的專利申請中提出了一種投影技術(shù)。具體來說，專利描述了一種重投影技術(shù)和wobulation技術(shù)。

所謂的wobulation技術(shù)是指：投影儀將圖案投影到一個(gè)平面，除了投影圖像的自動(dòng)分辨率外，通過快速在一個(gè)稍微不同的位置增加另一個(gè)重疊的幀，最終幀的分辨率將會(huì)更高。簡答來說，可以致使每個(gè)微鏡形成兩個(gè)圖像像素，從而提高分辨率。這種技術(shù)本質(zhì)是快速輕微偏移幀，使一幀畫面中的像素填充到另一幀畫面像素的空隙中。當(dāng)你以足夠快的速度執(zhí)行這個(gè)操作，眼睛就能看到更多的細(xì)節(jié)。盡管這其實(shí)是兩幀畫面，但眼睛無法分辨。對(duì)于所述技術(shù)，你可以想象成一種左右/上下/斜角橫跳，原本固定的像素快速朝一個(gè)方向移動(dòng)，從而形成一種抖動(dòng)感/晃動(dòng)感，故得名wobulation（抖動(dòng)/晃動(dòng)）。

通過利用重投影和wobulation技術(shù)，微軟希望直接提高投影儀的分辨率，無需增加任何材料尺寸或重量。

根據(jù)一個(gè)示例實(shí)施例，圖1中示出了頭戴式顯示設(shè)備10。圖2示出了可與頭戴式顯示設(shè)備10和圖1的一個(gè)或多個(gè)遠(yuǎn)程計(jì)算設(shè)備80一起使用，以在頭戴式顯示設(shè)備10顯示內(nèi)容的方法100。

方法100可替換地與其它頭戴式顯示設(shè)備一起使用。在所述示例中，虛擬內(nèi)容以多個(gè)幀顯示在頭戴式顯示設(shè)備10，每個(gè)幀具有各自的顯示時(shí)間。方法100的步驟102可在一個(gè)或多個(gè)遠(yuǎn)程計(jì)算設(shè)備80處執(zhí)行。在步驟102，方法100可以包括在當(dāng)前幀的當(dāng)前顯示時(shí)間生成頭戴式顯示設(shè)備的設(shè)備姿勢的渲染時(shí)間估計(jì)。渲染時(shí)間估計(jì)可以至少基于前一幀的設(shè)備位置數(shù)據(jù)生成。

如上所述，設(shè)備位置數(shù)據(jù)可以包括指示頭戴式顯示設(shè)備10在空間中的位置和方向以及頭戴式顯示設(shè)備10的運(yùn)動(dòng)的信息。可以從頭戴式顯示設(shè)備10接收設(shè)備位置數(shù)據(jù)。因此，可以基于在前一幀中從頭戴式顯示設(shè)備10接收的傳感器數(shù)據(jù)，在一個(gè)或多個(gè)遠(yuǎn)程計(jì)算設(shè)備80處估計(jì)當(dāng)前幀的設(shè)備姿勢。前一幀可以是緊接當(dāng)前幀之前的幀，或者在前一幀和當(dāng)前幀之間可以存在一個(gè)或多個(gè)中間幀。

步驟104可在一個(gè)或多個(gè)遠(yuǎn)程計(jì)算設(shè)備80處執(zhí)行。在步驟104，方法100可以包括在頭戴式顯示設(shè)備10的虛擬渲染表面渲染顯示的內(nèi)容，以獲得渲染圖像。虛擬呈現(xiàn)表面可以是物理環(huán)境中用于顯示虛擬內(nèi)容的空間表示。例如，虛擬渲染表面可以是立方體、矩形棱鏡或其他。可以至少部分地基于在步驟102確定的渲染時(shí)間估計(jì)來呈現(xiàn)所顯示的內(nèi)容。在一個(gè)實(shí)施例中，渲染圖像可以包括多個(gè)像素的相應(yīng)顏色信息。

在步驟106，方法100還可以包括從一個(gè)或多個(gè)遠(yuǎn)程計(jì)算設(shè)備80向頭戴式顯示設(shè)備10發(fā)送渲染圖像。

方法100的步驟108可在頭戴式顯示設(shè)備10的處理器12執(zhí)行。步驟108可包括從一個(gè)或多個(gè)位置傳感器26接收位置數(shù)據(jù)。位置數(shù)據(jù)可以包括指示頭戴式顯示設(shè)備10的方向、速度和/或加速度及其位置的數(shù)據(jù)。在步驟110，方法100同時(shí)可以包括，頭戴式顯示設(shè)備10的處理器12基于位置數(shù)據(jù)確定頭戴式顯示設(shè)備10的更新設(shè)備姿勢。在一個(gè)實(shí)施例中，可以至少部分地基于來自前一幀和/或在當(dāng)前幀之前發(fā)生的一個(gè)或多個(gè)其他幀的位置數(shù)據(jù)來確定更新的設(shè)備姿勢。更新的設(shè)備姿勢在顯示時(shí)確定，以準(zhǔn)備顯示渲染圖像。

方法100的步驟112可以在頭戴式顯示設(shè)備10的處理器12執(zhí)行。在步驟110，方法100還可以包括對(duì)渲染圖像的像素中的顏色信息執(zhí)行第一空間校正?？梢灾辽俨糠值赝ㄟ^基于更新的設(shè)備姿勢重新投影渲染圖像來執(zhí)行第一空間校正。當(dāng)重新投影渲染圖像時(shí)，可在虛擬渲染表面內(nèi)重新定位渲染圖像的至少一部分的位置?？梢灾匦峦队颁秩緢D像，使得當(dāng)用戶從更新設(shè)備姿勢的位置和方向查看一個(gè)或多個(gè)虛擬對(duì)象時(shí)，一個(gè)或多個(gè)虛擬對(duì)象似乎位于其各自的世界鎖定位置。因此，當(dāng)用戶的頭部移動(dòng)時(shí)，虛擬對(duì)象的表面位置可能看起來保持固定。

步驟114可在頭戴式顯示設(shè)備10的顯示器32執(zhí)行。在步驟114，方法100可以包括對(duì)重投影渲染圖像的像素中的顏色信息執(zhí)行第二空間校正。第二空間校正可以至少部分地通過對(duì)重投影的渲染圖像應(yīng)用wobulation來執(zhí)行，從而為當(dāng)前幀生成wobulation像素子幀序列。通過對(duì)重投影的渲染圖像應(yīng)用wobulation，可以提高顯示器32的有效分辨率。盡管圖2將重投影和第二空間校正示為單獨(dú)的步驟，但步驟114和步驟116可以組合成單個(gè)操作，其中渲染圖像重定位和wobulation。當(dāng)步驟114和步驟116組合時(shí)，組合的步驟可以在顯示器32的面板內(nèi)執(zhí)行。

步驟116也可以在頭戴式顯示設(shè)備10的顯示器32上執(zhí)行。在步驟116，方法100還可以包括通過顯示抖動(dòng)像素子幀序列來顯示當(dāng)前幀。因此，可以顯示當(dāng)前幀，使得虛擬內(nèi)容已經(jīng)針對(duì)設(shè)備姿勢的變化進(jìn)行了校正，并且使得顯示器32的有效分辨率已經(jīng)通過面板內(nèi)擺動(dòng)而增加。

圖3示意性地示出了一個(gè)或多個(gè)遠(yuǎn)程計(jì)算設(shè)備80的頭戴式顯示設(shè)備10和遠(yuǎn)程計(jì)算設(shè)備80。如圖3的示例所示，遠(yuǎn)程計(jì)算設(shè)備80的處理器82可配置為在當(dāng)前幀的顯示時(shí)間46計(jì)算頭戴式顯示設(shè)備10的估計(jì)設(shè)備姿勢42的渲染時(shí)間估計(jì)?？梢灾辽俨糠值鼗趶念^戴式顯示設(shè)備10接收的先前幀位置數(shù)據(jù)44來計(jì)算估計(jì)的設(shè)備姿勢42的渲染時(shí)間估計(jì)?；诠烙?jì)的設(shè)備姿勢42，處理器82可進(jìn)一步配置為渲染包括一個(gè)或多個(gè)像素50的顏色信息52的渲染圖像40。處理器82可以渲染渲染圖像40，使得從在估計(jì)的設(shè)備姿勢42的渲染時(shí)間估計(jì)中估計(jì)的頭戴式顯示設(shè)備10的位置和方向顯示渲染圖像40中包括的一個(gè)或多個(gè)虛擬對(duì)象。

頭戴式顯示設(shè)備10的處理器12可配置為通過通信設(shè)備套件16接收已在遠(yuǎn)程計(jì)算設(shè)備80上渲染的當(dāng)前幀的渲染圖像40。處理器12可進(jìn)一步配置為從一個(gè)或多個(gè)位置傳感器26接收位置數(shù)據(jù)60。處理器12可以進(jìn)一步配置為基于位置數(shù)據(jù)60確定頭戴式顯示設(shè)備10的更新設(shè)備姿勢62。

處理器12同時(shí)可以被配置為至少部分地通過基于更新的設(shè)備姿勢62重新投影渲染圖像40，從而生成重新投影的渲染圖像64。生成重投影渲染圖像64可以包括對(duì)渲染圖像40執(zhí)行第一空間校正，以確定每個(gè)像素50的校正顏色信息66。重投影可以是對(duì)渲染圖像40的調(diào)整，以考慮估計(jì)的設(shè)備姿勢42和更新的設(shè)備姿勢62之間的位置和/或方向的差異。

圖4A示出了示例虛擬渲染表面48，其中渲染圖像40被重投影，從而獲得在虛擬渲染表面48內(nèi)具有不同位置的重投影渲染圖像64。在圖4A的示例中，更新的設(shè)備姿勢62指示頭戴式顯示設(shè)備10位于比估計(jì)的設(shè)備姿勢42中指示的高度低的高度。因此，重投影的渲染圖像64以相對(duì)于渲染圖像40增加的高度顯示。

圖4B示出了后期重投影過程的示例，所述重投影過程可用于生成圖4A的重投影渲染圖像64。在圖4B的左上角，所述過程從服務(wù)器端渲染階段開始，其中遠(yuǎn)程計(jì)算設(shè)備80（例如服務(wù)器）接收頭戴式顯示設(shè)備10的最新設(shè)備姿勢并將其存儲(chǔ)在姿勢歷史中。基于姿勢歷史，遠(yuǎn)程計(jì)算設(shè)備80上的算法在顯示時(shí)計(jì)算渲染時(shí)間估計(jì)的設(shè)備姿勢42，并基于估計(jì)的設(shè)備姿勢42渲染場景。

然后，根據(jù)渲染技術(shù)將根據(jù)估計(jì)的設(shè)備姿勢42定向的虛擬camera虛擬捕獲的圖像渲染到渲染表面，例如，如圖所示，渲染表面可以是渲染盒（具有5條邊的盒形表面）或渲染楔塊（具有左右邊的雙面表面）。

接下來，在稱為后期重投影的過程中，使用基于姿勢差計(jì)算的單應(yīng)變換在渲染表面內(nèi)重投影渲染表面中的像素?cái)?shù)據(jù)。然后，將重新投影的渲染表面中的像素?cái)?shù)據(jù)寫入視口并顯示在與頭戴式顯示設(shè)備10相關(guān)聯(lián)的顯示器32。

更新后的設(shè)備姿勢發(fā)送回遠(yuǎn)程計(jì)算設(shè)備80，以包括在姿勢歷史中并用于后續(xù)姿勢預(yù)測中。這樣，可以基于對(duì)設(shè)備姿勢的顯示時(shí)間更新來調(diào)整重投影渲染圖像64的最終顯示，這將實(shí)現(xiàn)顯示器32顯示圖像的更精確定位。這一點(diǎn)尤其重要。

在一個(gè)實(shí)施例中，如圖5所示，處理器12可配置為分別對(duì)渲染圖像40的多個(gè)顏色通道中的每一個(gè)執(zhí)行第一空間校正。如圖5的示例中所示，渲染圖像40的顏色信息52可以包括分別包括每個(gè)像素50的紅色、綠色和藍(lán)色值的紅色通道52A、綠色通道52B和藍(lán)色通道52C。

當(dāng)處理器12執(zhí)行第一空間校正時(shí)，處理器12可以配置為生成校正顏色信息66，而所述校正顏色信息66包括校正紅色通道66A、校正綠色通道66B和校正藍(lán)色通道66C。通過分別重投影包括在顏色信息52中的不同顏色通道，處理器12可以說明不同波長的光的折射角的差異。在執(zhí)行第一空間校正時(shí)考慮這些波長差異可實(shí)現(xiàn)重投影渲染圖像64相對(duì)于渲染圖像40的有效分辨率增加。

回到圖3，頭戴式顯示設(shè)備10的處理器12可進(jìn)一步配置為將重新投影的渲染圖像64輸出到顯示器32。顯示器32可以配置為至少部分地通過對(duì)重投影渲染圖像64應(yīng)用wobulation來對(duì)重投影渲染圖像64的像素50中的校正顏色信息應(yīng)用第二空間校正。可以在包括在顯示器32中的wobulation電路38執(zhí)行第二空間校正。

當(dāng)應(yīng)用第二空間校正時(shí)，顯示器32可以為當(dāng)前幀生成wobulation像素子幀72的序列70。顯示器32中包括的每個(gè)像素50可以包括多個(gè)子像素54。當(dāng)顯示器32生成wobulation像素子幀72時(shí)，顯示器32可以生成相應(yīng)的子像素信息76，其中每個(gè)子像素54可以顯示在wobulation像素子幀72中。子像素54的子像素信息76可包括子像素顏色77和/或空間偏移78。

顯示器32可進(jìn)一步配置為通過顯示wobulation像素子幀72的序列70來顯示當(dāng)前幀。當(dāng)顯示序列70時(shí)，每個(gè)子像素54可以根據(jù)其在每個(gè)wobulation像素子幀72中的各自子像素?cái)?shù)據(jù)76來顯示。在一個(gè)實(shí)施例中，wobulation像素子幀72的序列70可以以與處理器12輸出重投影的渲染圖像64的渲染速率異步的顯示速率來顯示。

圖6A-6D示出了示例序列70。顯示器32包括多個(gè)像素50，每個(gè)像素50包括各自的多個(gè)可尋址子像素54。wobulation電路38可以配置為至少部分地通過重新調(diào)整多個(gè)像素50中的每個(gè)像素的一個(gè)或多個(gè)子像素54來對(duì)重投影的渲染圖像64應(yīng)用wobulation。當(dāng)wobulation電路38重新格式化一個(gè)或多個(gè)子像素54時(shí)，電路38可以修改將哪些子像素54分配給哪些像素50以及這些像素50內(nèi)的哪些位置。在顯示器32是LCoS顯示器的實(shí)施例中，可以對(duì)重投影的渲染圖像64應(yīng)用wobulation，而不要求頭戴式顯示設(shè)備10除了LCoS顯示器之外還包括外部wobulation器。因此，可以通過使用LCoS顯示器來減小頭戴式顯示設(shè)備10的尺寸和重量。

序列70的每個(gè)wobulation像素子幀72可以具有相應(yīng)的空間偏移78。在一個(gè)實(shí)施例中，如在圖6A-6D中，每個(gè)wobulation像素子幀72相對(duì)于序列70的初始wobulation像素子幀72的對(duì)應(yīng)空間偏移78可以是一個(gè)子像素54的垂直偏移、一個(gè)子像素54的水平偏移，或者一個(gè)子像素的垂直偏移和一個(gè)子像素54的水平偏移。

圖6A示出在第一wobulation像素子幀72A期間由四個(gè)子像素54的平方形成的第一像素50A。在圖6B中，多個(gè)子像素54被重新尋址，使得在第二wobulation像素子幀72B中，第二像素50B由四個(gè)子像素54的平方形成，四個(gè)子像素54相對(duì)于圖6A中所示的第一wobulation像素子幀72A向右移動(dòng)一個(gè)子像素54。圖6C示出了第三wobulation像素子幀72C，其中多個(gè)子像素54被重新尋址，使得第三像素50C由相對(duì)于第二wobulation像素子幀72B向下移動(dòng)一個(gè)子像素54的正方形子像素54形成。圖6D示出了第四wobulation像素子幀72D，其中多個(gè)子像素54被重新尋址，使得第四像素50D由相對(duì)于第三wobulation像素子幀72C向左偏移一個(gè)子像素54的子像素54的平方形成。在第四wobulation像素子幀72D之后，wobulation電路38可以返回到第一wobulation像素子幀72A的像素尋址配置。

如圖6A-6D所示，在wobulation像素子幀72的序列70上，wobulation電路38可以修改wobulation像素子幀72的相應(yīng)空間偏移78，以通過四個(gè)不同位置的循環(huán)移動(dòng)每個(gè)像素50。應(yīng)用于像素50的空間偏移78可以有效地將顯示器32的分辨率提高四倍。

因此，顯示器32可以顯示重新投影的渲染圖像64，就好像顯示器32中包括的像素50的數(shù)量是原來的四倍，但不會(huì)導(dǎo)致投影儀尺寸或功耗的增加，這將導(dǎo)致顯示器32中包括的像素50的數(shù)量翻兩番。另外，由于wobulation而實(shí)現(xiàn)的超分辨率可以獨(dú)立于由于單獨(dú)重新投影渲染圖像40的顏色通道而實(shí)現(xiàn)的超分辨率。因此，在圖2的示例中實(shí)現(xiàn)的超分辨率。6A-6D仍然可以在校正顏色信息66包括多個(gè)單獨(dú)重投影的顏色通道的實(shí)施例中實(shí)現(xiàn)。

回到圖3，除了具有各自的空間偏移78之外，在一個(gè)實(shí)施例中，序列70中包括的每個(gè)wobulation像素子幀72可以具有相應(yīng)的子像素顏色77。例如，每個(gè)子像素顏色77可以從由紅色、綠色和藍(lán)色組成的組中選擇。在所述實(shí)施例中，wobulation像素子幀72的序列70可以包括一個(gè)或多個(gè)紅色wobulation像素子幀、一個(gè)或多個(gè)綠色wobulation像素子幀和一個(gè)或多個(gè)藍(lán)色wobulation像素子幀。

圖7A示出了十二個(gè)wobulation像素子幀172A-172L的序列170。圖7A的序列170在子像素顏色77和空間偏移78之間循環(huán)，使得從紅色、綠色和藍(lán)色中選擇的每個(gè)子像素顏色77在圖7A所示的四個(gè)空間偏移78中的每一個(gè)處顯示。6A-6D。在序列170中，第一wobulation像素子幀172A、第四wobulation像素子幀172D、第七wobulation像素子幀172G和第十wobulation像素子幀172J為紅色；第二wobulation像素子幀172B、第五wobulation像素子幀172E、第八wobulation像素子幀17211和第十一wobulation像素子幀172K為綠色；第三wobulation像素子幀172C、第六wobulation像素子幀172F、第九wobulation像素子幀1721和第十二wobulation像素子幀172L為藍(lán)色。

在其他實(shí)施例中，如圖7B所示，wobulation電路38可配置為生成序列270，其中一個(gè)或多個(gè)紅色wobulation像素子幀的數(shù)量、一個(gè)或多個(gè)綠色wobulation像素子幀的數(shù)量，并且序列270中包括的一個(gè)或多個(gè)藍(lán)色wobulation像素子幀的數(shù)目不都彼此相等。除了第六wobulation像素子幀272F和第十二wobulation像素子幀272L之外，包括在圖7B的序列270中的wobulation像素子幀72各自具有與圖7A的序列170相同的相應(yīng)子像素顏色77和空間偏移78。

第六wobulation像素子幀272F是綠色而不是藍(lán)色，第十二wobulation像素子幀272L是紅色而不是藍(lán)色。例如，可以選擇序列70中具有每個(gè)子像素顏色77的抖動(dòng)像素子幀72的數(shù)量，以匹配人眼對(duì)不同顏色光的靈敏度。在一個(gè)實(shí)施例中，wobulation像素子幀72與每個(gè)子像素顏色77的比率可以基于頭戴式顯示設(shè)備10的外向光學(xué)傳感器22和/或內(nèi)向光學(xué)傳感器24檢測到的照明條件來動(dòng)態(tài)調(diào)整。

圖8A-8B示出了根據(jù)一個(gè)示例性實(shí)施例，可包括在頭戴式顯示設(shè)備的顯示器32中的投影儀300的示例性結(jié)構(gòu)。示例投影儀300可以包括照明空間310、非發(fā)射顯示器320、成像空間330和用戶的眼睛340。如圖8A所示，第一照明源312A和第二照明源312B可位于照明空間310中，且它們之間具有第一位移304。

相關(guān)專利：Microsoft Patent | Reprojection and wobulation at head-mounted display device

名為“Reprojection and wobulation at head-mounted display device”的微軟專利申請最初在2020年5月提交，并在日前由美國專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/92748