查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

使用低分辨率攝像頭，并以低計(jì)算成本計(jì)算高邊分辨率的深度映射像

（映維網(wǎng)Nweon?2023年09月05日）對(duì)于XR頭顯，基于立體圖像對(duì)計(jì)算深度信息基于立體圖像對(duì)存在挑戰(zhàn)。例如，用于生成透視圖像的立體圖像通常使用高分辨率立體攝像頭捕獲，但高分辨率立體攝像頭價(jià)格昂貴，同時(shí)會(huì)增加設(shè)備體積、重量和電池消耗。另外，使用高分辨率立體圖像對(duì)計(jì)算深度信息的計(jì)算成本高，并會(huì)導(dǎo)致傳遞體驗(yàn)的延遲。

所以在名為“Systems and methods for low compute high-resolution depth map generation using low-resolution cameras”的專(zhuān)利申請(qǐng)中，微軟就提出中了一種使用低分辨率攝像頭，并以低計(jì)算成本計(jì)算高邊分辨率的深度映射像。

在一個(gè)實(shí)施例中，專(zhuān)利描述的系統(tǒng)配置為獲得立體圖像對(duì)，并通過(guò)對(duì)立體圖像對(duì)執(zhí)行立體匹配來(lái)生成深度映射。系統(tǒng)同時(shí)配置為獲得包括環(huán)境的第一紋理信息的第一圖像，第一圖像具有比立體圖像對(duì)的圖像的圖像分辨率高的第一圖像分辨率。

系統(tǒng)同時(shí)配置為通過(guò)重新投影第一圖像以對(duì)應(yīng)于與深度映射相關(guān)聯(lián)的圖像捕獲視角來(lái)生成重新投影的第一圖像。第一圖像的重投影基于來(lái)自深度映射的深度信息，并且包括用于環(huán)境的重投影的第一紋理信息。系統(tǒng)配置為基于深度映射生成上采樣的深度映射。

圖4示出了一個(gè)示例頭戴式顯示器400。頭顯包括一個(gè)高分辨率低照度攝像頭402、一個(gè)高分辨率熱像儀404和兩個(gè)低分辨率熱像儀406A和406B。

低光攝像頭可以包括圖像傳感像素，其配置為以足夠高的幀速率檢測(cè)低數(shù)量的電子，從而促進(jìn)在包括低環(huán)境光的環(huán)境中捕獲圖像。熱像儀可以配置為檢測(cè)紅外光以提供來(lái)自捕獲環(huán)境內(nèi)對(duì)象的熱輻射的代表圖像。

高分辨率低照度攝像頭402和/或高分辨率熱像儀404捕獲的圖像的圖像分辨率高于低分辨率熱像儀406A和406B捕獲的圖像的圖像分辨率。

低分辨率熱像儀406A和406B的圖像分辨率低于高分辨率低光熱像儀402和/或高分辨率熱像儀的圖像分辨率。

所述低分辨率熱像儀406A和406B構(gòu)成一對(duì)立體熱像儀，所述立體熱像儀406可配置為捕獲在圖像分辨率、長(zhǎng)寬比等方面基本相同的環(huán)境的暫時(shí)同步熱像。盡管低分辨率熱像儀406A和406B無(wú)法捕獲足夠保真度的圖像以提供理想的用戶(hù)體驗(yàn)，但低分辨率熱像儀可以促進(jìn)低計(jì)算深度映射的計(jì)算，并且可以避免實(shí)現(xiàn)高分辨率攝像頭的立體對(duì)。

低分辨率熱像儀406A和406B通過(guò)檢測(cè)捕獲場(chǎng)景內(nèi)的熱輻射來(lái)工作，而且熱像儀可以在沒(méi)有光線(xiàn)和/或在低能見(jiàn)度環(huán)境工作。所以，立體熱像儀406可以在各種環(huán)境中捕獲可用于獲取深度信息的低分辨率圖像，這對(duì)于在各種環(huán)境中使用頭顯400的用戶(hù)可能是有益的。

另外，系統(tǒng)可以?xún)H包括單個(gè)高分辨率攝像頭或兩個(gè)以上高分辨率攝像頭，并且高分辨率攝像頭可以具有與低分辨率攝像頭的立體對(duì)相同或不同的攝像頭模式。

如圖5A所示，頭顯可以使用其攝像頭捕獲環(huán)境內(nèi)對(duì)象的圖像。圖5A示出高分辨率熱像508、高分辨率低光像512和低分辨率熱像516A和516B。所述低分辨率熱圖像516A和516B形成圖像516的立體對(duì)，并可在其上執(zhí)行深度計(jì)算。

所述高分辨率熱圖像508捕獲描述所述對(duì)象506在捕獲時(shí)的熱輻射特性的紋理信息510。所述高分辨率弱光圖像512捕獲描述可在可見(jiàn)光譜中觀測(cè)到的對(duì)象506的不同紋理信息514。紋理信息510和/或514可以提供用于生成對(duì)象506的透視視圖的基礎(chǔ)

圖5A同時(shí)顯示了低分辨率熱圖像516A和516B與高分辨率熱圖像508、高分辨率弱光圖像512之間存在空間差異。

圖5A中所示的至少一些圖像可以由系統(tǒng)捕獲，以方便使用低分辨率圖像生成低計(jì)算高分辨率深度映射。為了便于使用低分辨率圖像生成低計(jì)算高分辨率深度映射，系統(tǒng)可以使用低分辨率熱圖像516A和516B生成低分辨率深度映射。

圖5B示出作為深度處理518的輸入提供的低分辨率熱圖像516A和516B，用于生成在低分辨率熱圖像516A和516B中捕獲的對(duì)象的深度信息。

用于計(jì)算深度信息的深度處理518可以以各種方式執(zhí)行，包括立體匹配。為了進(jìn)行立體匹配，獲得一對(duì)圖像。然后執(zhí)行校正過(guò)程，從而表示環(huán)境中共同3D點(diǎn)的圖像對(duì)的不同圖像中的相應(yīng)像素沿掃描線(xiàn)對(duì)齊。

對(duì)于校正后的圖像，不同圖像中對(duì)應(yīng)像素的坐標(biāo)僅在一個(gè)維度上不同。然后，立體匹配算法可以沿著掃描線(xiàn)搜索以識(shí)別彼此對(duì)應(yīng)的不同圖像中的像素并識(shí)別相應(yīng)像素的視差值。視差值可以基于描述環(huán)境的相同部分的不同圖像中相應(yīng)像素之間像素位置的差異?？梢愿鶕?jù)每個(gè)像素的視差值確定每個(gè)像素的深度，從而提供一個(gè)深度映射。

圖5B示出深度處理518作為深度映射520的輸出，其中包括深度信息522。如上所述，深度映射520可以描述在立體圖像對(duì)中捕獲的物體與捕獲立體圖像對(duì)的一個(gè)或多個(gè)攝像頭之間的每像素距離。

圖5B示出了低分辨率熱圖像516A的幾何深度映射520。換句話(huà)說(shuō)，在低分辨率熱圖像516A和深度映射520中表示的物體在空間上對(duì)齊。如上所述，系統(tǒng)可以在圖像516的立體對(duì)的兩個(gè)圖像的幾何形狀中生成深度映射，并且可以執(zhí)行發(fā)明所述的任何處理，而不損失一般性以生成多個(gè)視差校正視圖。

在低分辨率圖像上執(zhí)行深度處理518比在高分辨率圖像上執(zhí)行深度處理的計(jì)算成本要低得多，并且利用低分辨率圖像捕獲用于深度處理的立體圖像對(duì)允許頭顯400省略立體高分辨率攝像頭對(duì)。

但深度映射520與高分辨率熱圖像508和高分辨率低光圖像512之間存在空間差異。另外，深度映射520具有與低分辨率熱圖像516A和516B相似的圖像分辨率，所以具有比高分辨率熱圖像508和/或高分辨率低光圖像512更低的圖像分辨率。

空間和圖像分辨率的差異為使用深度映射520中的深度信息522和紋理信息510或514來(lái)生成視差校正視圖帶來(lái)了問(wèn)題。然而，所述障礙可以通過(guò)使用重投影操作和上采樣操作來(lái)克服，如下所述。

圖6A和6B說(shuō)明了重新投影高分辨率圖像以對(duì)應(yīng)于低分辨率深度映射的捕獲視角的概念表示，并說(shuō)明如何將來(lái)自高分辨率熱圖像的紋理信息510重新投影為與來(lái)自深度映射520的深度信息522在空間上對(duì)齊。

圖6A示出具有從主點(diǎn)602通過(guò)深度映射520的深度信息522的各種像素延伸的未投影射線(xiàn)604的深度映射520。主點(diǎn)602對(duì)應(yīng)于低分辨率熱像儀406B的光學(xué)中心或攝像頭中心，而低分辨率熱像儀406B捕獲低分辨率熱像儀516B以形成深度映射520。

射線(xiàn)604表示為從主點(diǎn)602通過(guò)深度映射520中表示的深度信息522的像素投射，因?yàn)樗錾疃刃畔⑾袼匚挥谖挥谥鼽c(diǎn)602周?chē)那皥D像平面上。射線(xiàn)604通過(guò)深度信息522的相應(yīng)像素?cái)U(kuò)展到對(duì)應(yīng)于深度信息522的相應(yīng)像素的深度值的距離。射線(xiàn)604提供描繪在深度映射520中捕獲的對(duì)象506的3D表示606的多個(gè)3D點(diǎn)或坐標(biāo)。

所述對(duì)象506的3D表示606的每個(gè)3D點(diǎn)或坐標(biāo)可與所述深度信息522的特定像素相關(guān)聯(lián)，所述深度信息522通過(guò)所述相應(yīng)的射線(xiàn)604投射以提供所述3D點(diǎn)或坐標(biāo)。

這樣，如果高分辨率熱圖像508的紋理信息510的像素可以與3D表示606的3D點(diǎn)或坐標(biāo)相關(guān)聯(lián)，則紋理信息510的像素可以與深度映射520的深度信息522相關(guān)聯(lián)和/或?qū)R。

圖6B進(jìn)一步示出高分辨率熱圖像508，其射線(xiàn)610從高分辨率熱圖像508的主點(diǎn)608延伸至高分辨率熱圖像508的紋理信息510的各種像素。主點(diǎn)608對(duì)應(yīng)于高分辨率熱像儀404的光學(xué)中心或攝像頭中心，而高分辨率熱像儀404捕獲高分辨率熱像儀508。

所述射線(xiàn)610表示為從所述主點(diǎn)608通過(guò)紋理信息510的像素投射，因?yàn)樗黾y理信息510的像素位于位于所述主點(diǎn)608周?chē)那皥D像平面上。至少一定的射線(xiàn)610通過(guò)紋理信息510的相應(yīng)像素延伸，直到射線(xiàn)610與3D表示606的3D點(diǎn)相交。

與3D表示606的特定3D點(diǎn)相交的射線(xiàn)610所通過(guò)的紋理信息510的每個(gè)像素可與射線(xiàn)604所通過(guò)的深度映射520的深度信息522的像素相關(guān)聯(lián)，以生成3D表示606的特定3D點(diǎn)。

通過(guò)使用3D表示606的3D點(diǎn)作為中介的這種關(guān)聯(lián)，紋理信息510的像素可以與深度映射520的深度信息522的像素相關(guān)聯(lián)，即使兩者是從不同的攝像頭視角捕獲。

換句話(huà)說(shuō)，系統(tǒng)可以通過(guò)將紋理信息非投影到3D表示606上并投影到深度映射520上來(lái)重新投影紋理信息510，以對(duì)應(yīng)于與深度映射520相關(guān)聯(lián)的透視圖(。

圖7描述了作為重投影702的輸入提供的高分辨率熱圖像508，重投影702至少部分地基于來(lái)自深度映射520的深度信息522。所述重投影702的輸出包括重投影的高分辨率熱圖像704，其中包括重投影的紋理信息706。

如圖7所示，重投影的高分辨率熱像704在空間上與深度映射520對(duì)齊。

盡管高分辨率熱圖像704和深度映射520在空間上對(duì)齊，但這兩幅圖像具有不同的圖像分辨率，其中高分辨率熱圖像704具有比深度映射520更高的圖像分辨率。來(lái)自深度映射的深度信息與來(lái)自紋理圖像的紋理信息可以降低使用深度信息和紋理信息生成的視差校正圖像的質(zhì)量。

圖8示出生成上采樣深度映射804，其可包括與重投影的高分辨率熱圖像704的圖像分辨率相匹配的圖像分辨率。具體地，圖8顯示了作為上采樣802的輸入的深度映射520，并用于產(chǎn)生具有上采樣深度信息806的上采樣深度映射804。上采樣深度信息806在空間上與重投影的高分辨率熱圖像704的重投影紋理信息706對(duì)齊。

上采樣802包括或利用濾波算法，例如可以任選地利用引導(dǎo)圖像以改進(jìn)算法輸出的保持邊緣濾波操作。

圖8示出重投影的高分辨率熱圖像704的重投影紋理信息706在空間上與上采樣深度映射804的上采樣深度信息806對(duì)齊。另外，重投影的高分辨率熱圖像704和上采樣深度映射804都包含相同的圖像分辨率。

因此，重新投影的紋理信息706和上采樣的深度信息806可以彼此結(jié)合使用，以形成視差校正圖像并顯示給用戶(hù)。

例如，系統(tǒng)可以利用上采樣深度信息806再次重新投影已經(jīng)重新投影的紋理信息706，以對(duì)應(yīng)于用戶(hù)的一只或多只眼睛的視角。這種重投影可以包括，將重投影的紋理信息706的每個(gè)像素解投影到由具有相同像素坐標(biāo)的上采樣深度信息806的相應(yīng)像素所指示的距離。非投影可以在3D空間中提供3D點(diǎn)，并且3D點(diǎn)可以向與用戶(hù)視角相關(guān)聯(lián)的主要點(diǎn)投射并投射到面向前方的圖像平面上，以形成視差校正圖像。

圖9示出重新投影高分辨率低光圖像512以對(duì)應(yīng)于與低分辨率深度映射520相關(guān)聯(lián)的捕獲透視圖的概念表示。

圖9示出了深度映射520，其中射線(xiàn)604從主點(diǎn)602延伸至深度映射520的深度信息522的各種像素。所述射線(xiàn)604被表示為從主點(diǎn)602通過(guò)深度映射520中表示的深度信息522的像素投射，因?yàn)樗錾疃刃畔⑾袼匚挥谖挥谥鼽c(diǎn)602周?chē)那皥D像平面上。

每個(gè)射線(xiàn)604通過(guò)深度信息522的相應(yīng)像素?cái)U(kuò)展到對(duì)應(yīng)于深度信息522的相應(yīng)像素的深度值的距離。射線(xiàn)604提供描繪在深度映射520中捕獲的對(duì)象506的3D表示606的多個(gè)3D點(diǎn)或坐標(biāo)。

所述對(duì)象506的3D表示606的每個(gè)3D點(diǎn)或坐標(biāo)可與所述深度信息522的特定像素相關(guān)聯(lián)，所述深度信息522通過(guò)所述相應(yīng)的非投影光線(xiàn)604投射以提供所述3D點(diǎn)或坐標(biāo)。這樣，如果高分辨率弱光圖像512的紋理信息514的像素可以與3D表示606的3D點(diǎn)或坐標(biāo)相關(guān)聯(lián)，則紋理信息514的像素可以與深度映射520的深度信息522相關(guān)聯(lián)和/或?qū)R。

圖9進(jìn)一步示出高分辨率低光圖像512，其射線(xiàn)904從高分辨率低光圖像512的主點(diǎn)902延伸至高分辨率低光圖像512的紋理信息514的各種像素。主點(diǎn)902對(duì)應(yīng)于高分辨率低照度攝像頭402的光學(xué)中心或攝像頭中心，而高分辨率低照度攝像頭402捕獲高分辨率低照度圖像512。

所述射線(xiàn)904表示為從所述主點(diǎn)902通過(guò)紋理信息514的像素投射，因?yàn)樗黾y理信息514的像素位于位于所述主點(diǎn)902周?chē)那皥D像平面上。至少一定的射線(xiàn)904通過(guò)紋理信息514的相應(yīng)像素延伸，直到射線(xiàn)904與3D表示606的3D點(diǎn)相交。

通過(guò)使用3D表示606的3D點(diǎn)作為中介的這種關(guān)聯(lián)，紋理信息514的像素可以與深度映射520的深度信息522的像素相關(guān)聯(lián)，即使兩者是從不同的攝像頭角度捕獲。

換句話(huà)說(shuō)，系統(tǒng)可以通過(guò)將紋理信息514取消投影到3D表示606上并投影到深度映射520上來(lái)重新投影紋理信息514，以對(duì)應(yīng)于與深度映射520相關(guān)聯(lián)的透視圖。

圖10示出了重投影的高分辨率低光圖像1002，其可以使用基于深度映射520的深度信息522的重投影操作生成。重投影的高分辨率低光圖像1002包括重投影的紋理信息1004。

圖10同時(shí)示出生成上采樣深度映射1008，其可包括與重投影的高分辨率低光圖像1002的圖像分辨率相匹配的圖像分辨率。

具體地，圖10顯示了作為上采樣1006的輸入的深度映射520，其用于生成具有上采樣深度信息1010的上采樣深度映射1008，二所述上采樣深度信息1010在空間上與重投影的高分辨率低光圖像1002的重投影紋理信息1004對(duì)齊。

如上所述，圖10示出重投影的高分辨率低光圖像1002的重投影紋理信息1004在空間上與上采樣深度映射1008的上采樣深度信息1010對(duì)齊。另外，重投影的高分辨率低光圖像1002和上采樣深度映射1008都包含相同的圖像分辨率。

因此，系統(tǒng)可以利用上采樣深度信息1010，通過(guò)重新投影已經(jīng)重新投影的紋理信息1004以對(duì)應(yīng)于用戶(hù)的一只或多只眼睛的視角來(lái)生成視差校正的圖像。

相關(guān)專(zhuān)利：Microsoft Patent | Systems and methods for low compute high-resolution depth map generation using low-resolution cameras

https://patent.nweon.com/30125

名為“Systems and methods for low compute high-resolution depth map generation using low-resolution cameras”的微軟專(zhuān)利申請(qǐng)最初在2022年2月提交，并在日前由美國(guó)專(zhuān)利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/112265