查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)

密集深度計(jì)算

（映維網(wǎng)?2021年12月29日）用于校正視差問(wèn)題的一種方法涉及執(zhí)行從立體攝像頭視角到用戶眼睛視角的攝像頭重投影。這需要執(zhí)行校準(zhǔn)步驟以確定立體攝像頭和用戶眼睛之間的物理定位差異。然后，在使用立體攝像頭捕獲立體圖像對(duì)之后，執(zhí)行基于立體圖像對(duì)計(jì)算深度信息（例如深度映射）的步驟（例如，通過(guò)執(zhí)行立體匹配）。隨后，系統(tǒng)可以重新投影計(jì)算出的深度信息以對(duì)應(yīng)于用戶的左眼和右眼的透視圖。

然而，基于立體圖像對(duì)計(jì)算深度信息存在眾多挑戰(zhàn)。例如，對(duì)立體圖像對(duì)執(zhí)行立體匹配以生成深度信息涉及識(shí)別立體圖像對(duì)的特定像素之間的差異。視差值包括一個(gè)圖像中的像素與另一個(gè)圖像中代表環(huán)境中公共3D點(diǎn)的對(duì)應(yīng)像素之間的像素坐標(biāo)差。

立體匹配算法可以識(shí)別以環(huán)境水平結(jié)構(gòu)的像素為中心的第一圖像中的像素塊，并且可以確定第二圖像中沿著相同掃描線和相同水平結(jié)構(gòu)的多個(gè)像素塊對(duì)應(yīng)于第一圖像的像素塊。所以，立體匹配算法可能無(wú)法準(zhǔn)確識(shí)別表示環(huán)境中相同3D點(diǎn)的不同圖像中的像素對(duì)，特別是對(duì)于與掃描方向?qū)R的環(huán)境中的結(jié)構(gòu)。這個(gè)問(wèn)題通常被稱為“孔徑問(wèn)題”。

除了孔徑問(wèn)題外，基于立體圖像對(duì)計(jì)算深度信息存在其他挑戰(zhàn)。例如，一對(duì)立體攝影頭中只有一個(gè)捕獲環(huán)境中的特定3D點(diǎn)。在一個(gè)示例中，對(duì)于靠近立體攝像頭對(duì)的對(duì)象，一個(gè)攝像頭可以捕獲對(duì)象的一部分，而對(duì)象的一部分可以被另一個(gè)攝像頭的視場(chǎng)遮擋。這個(gè)問(wèn)題通常被稱為“遮擋問(wèn)題”。

在名為“Dense depth computations aided by sparse feature matching”的專利申請(qǐng)中，微軟介紹了一種相應(yīng)的解決方案。

請(qǐng)注意圖4A-4C。頭顯400可包括左微光攝像頭405、右微光攝像頭410和熱攝像頭415。頭顯400可以使用左微光攝像頭405、右微光攝像頭410和熱攝像頭415拍攝圖像，以生成稀疏視差圖和/或密集視差圖（參見(jiàn)圖6A-7B）。在這方面，可以使用不同模式的攝像頭來(lái)捕獲不同的圖像。例如在一個(gè)實(shí)例中，頭顯使用左微光攝像頭405捕獲左微光圖像，使用右微光攝像頭410捕獲右微光圖像，以及使用熱攝像頭415捕獲熱圖像。另外，在其他實(shí)例中，頭顯400使用左（或右）微光圖像和熱圖像生成稀疏視差圖，或使用左、右微光圖像和稀疏視差圖生成密集視差圖。

密集視差圖指由嘗試為每個(gè)視差圖的像素獲取視差值的算法所生成的視差圖。例如，密集視差圖可以存儲(chǔ)視差圖的所有像素的深度信息，或者至少一定百分比的視差圖像素，例如超過(guò)50%的像素。相反，疏視差圖指由不嘗試為每個(gè)視差圖的像素獲取視差值的算法所生成的視差圖。例如，稀疏視差圖可以存儲(chǔ)視差圖的一定百分比像素的深度信息，例如小于50%的像素，或者甚至更優(yōu)選地，小于5%的像素。

圖4B示出了頭顯400的左微光攝像頭405和右微光攝像頭410。在一個(gè)實(shí)施例中，左微光攝像頭405和右微光攝像頭410是一對(duì)立體微光攝像頭，其配置為捕捉用于執(zhí)行立體匹配的立體微光圖像對(duì)，以識(shí)別水平方向的像素差異。圖4C示出了頭顯400的熱攝像頭415，其配置成捕獲熱圖像。

平面435具有相對(duì)于頭顯400的平面對(duì)準(zhǔn)。平面430和435相對(duì)并平行于頭顯400的主對(duì)準(zhǔn)445定位/定向，使得當(dāng)頭顯400定位在直立的主對(duì)準(zhǔn)中以供使用時(shí)，平面430和435為水平面。但在使用期間，頭顯400將隨著用戶的頭部移動(dòng)，使得頭顯400的對(duì)準(zhǔn)改變。在這種移動(dòng)期間，平面430和435將在頭顯400的主對(duì)準(zhǔn)445改變的同時(shí)改變，從而從用戶頭部對(duì)準(zhǔn)的角度捕捉由攝像頭（405、410、415）捕獲的圖像。

在其他實(shí)施例中，平面430和435為共面，使得三個(gè)參考攝像頭都在相對(duì)于頭顯的相同水平面對(duì)齊。

圖4C將平面435描繪為根據(jù)垂直偏移440與平面430的偏移。頭顯400的熱攝像頭415配置為從與由左微光攝像頭405和/或右微光攝像頭410捕獲的微光圖像的透視圖垂直偏移的透視圖捕獲熱圖像。所以，系統(tǒng)在非水平方向計(jì)算由頭顯400捕獲的熱圖像和微光圖像之間的像素差異。因此，由熱攝像頭415捕獲的熱圖像能夠提供至少部分補(bǔ)償孔徑問(wèn)題的基礎(chǔ)。

另外，由于熱攝像頭415提供附加透視圖（例如，附加于左微光攝像頭405和右微光攝像頭410的透視圖），由熱攝像頭415捕獲的熱圖像提供了至少部分補(bǔ)償遮擋問(wèn)題的基礎(chǔ)。

圖5示出了使用左微光攝像頭405、右微光攝像頭410和熱攝像頭415拍攝微光環(huán)境555的圖像。微光環(huán)境555是一個(gè)簡(jiǎn)單的環(huán)境，包括位于建筑物房間內(nèi)的桌子560和球565。

如上所述，由于頭顯400的攝像頭安裝在頭顯400的不同位置，因此頭顯400的攝像頭的透視圖彼此至少略有不同。例如，圖5示出了與左微光攝像頭405相關(guān)聯(lián)的左微光視場(chǎng)505，與右微光攝像頭410相關(guān)聯(lián)的右微光視場(chǎng)510，與熱攝像頭415相關(guān)聯(lián)的熱視場(chǎng)515。其中，這三個(gè)視場(chǎng)均存在偏移情況。

圖6A示出了由頭顯攝像頭捕獲圖5微光環(huán)境555的圖像。例如，圖6A示出了使用左微光攝像頭405捕獲/生成的左微光圖像605、使用右微光攝像頭410捕獲/生成的右微光圖像610以及使用熱攝像頭415捕獲/生成的熱圖像615。

左微光圖像605和右微光圖像610似乎放大了微光環(huán)境555中的環(huán)境光，提供了使用戶能夠更準(zhǔn)確地感知微光環(huán)境555中的對(duì)象的圖像。例如，當(dāng)用戶在沒(méi)有幫助的情況下查看微光環(huán)境555時(shí)可能難以感知桌子560（參見(jiàn)圖5），用戶可以更容易地感知在左微光圖像605（參見(jiàn)圖6A）中表示的桌子660A。

在一個(gè)實(shí)例中，熱圖像615提供在微光環(huán)境555中的對(duì)象的熱特征的視覺(jué)表示。例如，熱圖像615的桌子660C包括桌子560在微光環(huán)境555中的熱特征的視覺(jué)表示。就此而言，熱圖像615中表示的紋理不同于左微光圖像605和右微光圖像610中表示的紋理。

如上所述，系統(tǒng)使用熱圖像615和左微光圖像605或右微光圖像610中的至少一個(gè)生成稀疏視差圖。

圖6B示出了識(shí)別左微光圖像605和熱圖像615的特征點(diǎn)和特征描述符的示例。在一個(gè)實(shí)例中，特征點(diǎn)是指圖像中包含豐富紋理信息（例如邊緣、角和/或其他易于識(shí)別的結(jié)構(gòu)）的像素。特征描述符（或稱為“特征向量”）是從識(shí)別的特征點(diǎn)周圍的局部圖像/像素塊提取圖像數(shù)據(jù)/統(tǒng)計(jì)信息的結(jié)果。特征描述符可以用作特征點(diǎn)的標(biāo)識(shí)符，特征描述符圍繞該特征點(diǎn)居中。可以基于以特征點(diǎn)為中心的圖像塊內(nèi)像素的梯度幅度（例如強(qiáng)度和/或顏色的變化）和/或方向（例如邊緣方向）的直方圖來(lái)識(shí)別特征描述符。

系統(tǒng)可采用各種技術(shù)來(lái)識(shí)別特征點(diǎn)和/或特征描述符，例如SIFT和SURF等。

圖6B示出了與左微光圖像605的桌子660A相關(guān)聯(lián)的各種特征點(diǎn)。例如，圖6B示出了桌子660A一角的特征點(diǎn)620A、620E和620F。圖6B同時(shí)示出了桌子660A邊緣的特征點(diǎn)620B、620C和620D。另外，圖6B示出了分別與特征點(diǎn)620A、620B、620C、620D、620E和620F相關(guān)聯(lián)的特征描述符625A、625B、625C、625D、625D、625E和625F。

圖6B進(jìn)一步示出了與熱圖像615的桌子660C相關(guān)聯(lián)的各種特征點(diǎn)。例如，圖6B示出了桌子660A一角的特征點(diǎn)630A、630E和630F。圖6B同時(shí)示出了桌子660A邊緣的特征點(diǎn)630B、630C和630D。另外，圖6B示出了分別與特征點(diǎn)630A、630B、630C、630D、630E和630F相關(guān)聯(lián)的特征描述符635A、635B、635C、635D、635D、635E和635F。

如圖6B所示，盡管熱圖像615和左微光圖像605是使用不同模式的攝像頭拍攝，熱圖像615的桌子660C的特征點(diǎn)630A-630F和特征描述符635A-635F對(duì)應(yīng)于左微光圖像605的桌子660A的特征點(diǎn)620A-620F和特征描述符625A-625F。換句話說(shuō)，桌子660C的特征點(diǎn)630A-630F和桌子605的特征點(diǎn)620A-620F分別表示捕獲環(huán)境的相同3D點(diǎn)。

在一個(gè)實(shí)例中，使用一個(gè)模態(tài)的攝像頭捕獲的圖像可能無(wú)法表示在使用不同模態(tài)攝像頭捕獲的圖像中的特征。例如，熱圖像可能無(wú)法捕獲等溫環(huán)境部分的邊緣和/或角，而微光圖像則可能捕獲這一類邊緣和/或角。

現(xiàn)在注意圖6C，圖6C示出了執(zhí)行特征匹配680以識(shí)別左微光圖像605和熱圖像615內(nèi)彼此對(duì)應(yīng)的特征點(diǎn)。為清楚起見(jiàn)，圖6C集中于執(zhí)行特征匹配680以識(shí)別熱圖像615內(nèi)的單個(gè)特征點(diǎn)（即特征點(diǎn)630B），其對(duì)應(yīng)于左微光圖像605內(nèi)的單個(gè)特征點(diǎn)（即特征點(diǎn)620B）。

對(duì)于第一攝像頭圖像的特征點(diǎn)，第二攝像頭圖像中的對(duì)應(yīng)特征點(diǎn)將位于第二攝像頭圖像中的極線。在這方面，極線可以定義用于識(shí)別由一個(gè)攝像頭捕獲的圖像中的特征點(diǎn)的搜索范圍，所述特征點(diǎn)對(duì)應(yīng)于由另一個(gè)攝像頭捕獲的圖像中的特征點(diǎn)。與在整個(gè)圖像搜索對(duì)應(yīng)的特征點(diǎn)相比，使用極線定義用于識(shí)別對(duì)應(yīng)特征點(diǎn)的搜索范圍可以提高計(jì)算效率。

再次參考圖6C，系統(tǒng)執(zhí)行特征匹配680，以通過(guò)識(shí)別熱圖像615中的極線640B來(lái)識(shí)別熱圖像615中與左微光圖像620B中的特征點(diǎn)620B相對(duì)應(yīng)的特征點(diǎn)。例如系統(tǒng)可以通過(guò)從左微光攝像頭405的光學(xué)中心投射光線穿過(guò)特征點(diǎn)620B，并將光線投射到熱攝像頭415的前圖像平面來(lái)識(shí)別外極線640B。

在一個(gè)實(shí)例中，系統(tǒng)沿著極線640B搜索與以特征點(diǎn)620B為中心的圖像片具有最高對(duì)應(yīng)性的圖像片。例如在一個(gè)實(shí)例中，系統(tǒng)通過(guò)沿對(duì)極線640B搜索來(lái)確定熱圖像615的特征描述符635B與左微光圖像605的特征描述符625B具有最高對(duì)應(yīng)性。因此，系統(tǒng)確定特征點(diǎn)630B（與特征描述符635B相關(guān)聯(lián)）對(duì)應(yīng)于特征點(diǎn)620B（與特征描述符625B相關(guān)聯(lián)）。

如上所述，系統(tǒng)可執(zhí)行特征匹配680以查找熱圖像615內(nèi)與左微光圖像內(nèi)的特征點(diǎn)相對(duì)應(yīng)的任意數(shù)量的特征點(diǎn)。例如，系統(tǒng)可基于左微光圖像605的一組特征點(diǎn)（例如，圖6B中的特征點(diǎn)620A-620F）識(shí)別熱圖像615內(nèi)的一組極線。系統(tǒng)同時(shí)可以沿著熱圖像615中的極線搜索，以識(shí)別熱圖像615中對(duì)應(yīng)于與左微光圖像605的特征點(diǎn)集相關(guān)聯(lián)的特征描述符的集合。

圖6D示出了基于左微光圖像605和熱圖像615的匹配特征點(diǎn)生成稀疏視差圖650的示例。圖6D的稀疏視差圖650包括特征視差值690。在一個(gè)實(shí)現(xiàn)中，系統(tǒng)基于左微光圖像605中的匹配特征點(diǎn)對(duì)和熱圖像615中的對(duì)應(yīng)特征點(diǎn)識(shí)別特征視差值690。

圖7A和7B示出了基于稀疏視差圖650生成密集視差圖750的示例。在一個(gè)實(shí)現(xiàn)中，系統(tǒng)（應(yīng)用左微光圖像605、右微光圖像610和稀疏視差圖650作為用于生成密集視差圖750的輸入。然后，系統(tǒng)執(zhí)行立體匹配操作780以應(yīng)用左微光圖像605、右微光圖像610和稀疏視差圖650作為用于生成密集視差圖750的輸入。

圖8示出，在一個(gè)實(shí)例中，系統(tǒng)以附加或替代方式應(yīng)用稀疏視差圖650以生成密集視差圖750。具體地，圖8示出了應(yīng)用空間濾波830來(lái)識(shí)別密集視差圖750的一個(gè)或多個(gè)像素的視差值的系統(tǒng)。

圖8示出了密集視差圖750的像素810，對(duì)于所述像素，來(lái)自圖7A的立體匹配操作780未能獲得視差值（例如由于遮擋問(wèn)題）。像素810表示圖5中的表560的邊緣，所述邊緣可能從左微光攝像頭405的透視圖中可見(jiàn)，但在右微光攝像頭410和熱攝像頭415的透視圖中被遮擋。

系統(tǒng)識(shí)別圍繞密集視差圖750的像素810的像素坐標(biāo)815A的窗口。系統(tǒng)進(jìn)一步識(shí)別稀疏視差圖650中像素坐標(biāo)815B的對(duì)應(yīng)窗口，并識(shí)別像素坐標(biāo)815B的對(duì)應(yīng)窗口內(nèi)像素的特征視差值690。

在一個(gè)實(shí)例中，系統(tǒng)使用稀疏視差圖650的像素坐標(biāo)815B的對(duì)應(yīng)窗口內(nèi)的像素的特征視差值690來(lái)執(zhí)行空間濾波830，以生成密集視差圖750的像素810的視差值。例如，系統(tǒng)可以應(yīng)用中值濾波器、平均濾波器和/或任何其他類型的空間濾波器，以基于像素坐標(biāo)815B的對(duì)應(yīng)窗口內(nèi)的像素的特征視差值690來(lái)生成像素810的視差值。應(yīng)當(dāng)注意，盡管在圖8中沒(méi)有明確描述，但用于生成像素810的視差值的空間濾波830可以利用密集視差圖750的像素坐標(biāo)815A窗口內(nèi)圍繞像素810的一個(gè)或多個(gè)像素的視差值。

通過(guò)上面的描述，系統(tǒng)可以通過(guò)稀疏特征匹配來(lái)幫助密集計(jì)算深度。名為“Dense depth computations aided by sparse feature matching”的專利申請(qǐng)最初在2020年6月提交，并在日前由美國(guó)專利商標(biāo)局公布。

相關(guān)專利：Microsoft Patent | Dense depth computations aided by sparse feature matching

---
原文鏈接：https://news.nweon.com/92995