查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)

利用紅外感知來支持低光條件

（映維網(wǎng)?2021年12月17日）MR系統(tǒng)通常包括一個(gè)或多個(gè)配置用于執(zhí)行圖像捕獲任務(wù)的傳感器。例如，MR系統(tǒng)可以包括一個(gè)或多個(gè)面向環(huán)境的攝像頭，并用于捕獲用戶環(huán)境的視頻幀和/或提供用戶環(huán)境的透視視圖。在一個(gè)實(shí)施例中，MR系統(tǒng)包括各種模式的立體攝像頭，以提供用戶環(huán)境的視差校正透視視圖，從而增強(qiáng)用戶對(duì)真實(shí)世界環(huán)境的感知。例如，包括長波熱成像攝像頭的MR系統(tǒng)可允許用戶透過煙霧、薄霧和/或灰塵感知。在另一個(gè)示例中，包括微光成像攝像頭的MR系統(tǒng)可允許用戶在低于人類視覺所需水平的微光/低光環(huán)境中感知。

用于執(zhí)行計(jì)算機(jī)視覺任務(wù)的MR系統(tǒng)的傳感器和用于執(zhí)行圖像捕獲任務(wù)的MR系統(tǒng)的傳感器可以配置為在不同的環(huán)境照明條件下工作。但在弱光/低光條件下，現(xiàn)有MR系統(tǒng)的傳感器或無法實(shí)現(xiàn)計(jì)算機(jī)視覺任務(wù)和圖像捕獲任務(wù)的可接受性能。

舉例來說，在某些情況下，盡管MR系統(tǒng)的微光攝像頭可在微光條件下捕獲環(huán)境的圖像，MR系統(tǒng)的姿勢檢測攝像頭系統(tǒng)可能無法在弱光條件下準(zhǔn)確檢測姿勢數(shù)據(jù)。所以，在弱光條件下執(zhí)行圖像捕獲任務(wù)（例如提供視差校正的透視圖像），并同時(shí)執(zhí)行計(jì)算機(jī)視覺任務(wù)（例如姿勢檢測）存在挑戰(zhàn)。

至少出于上述原因，對(duì)于在相同環(huán)境光照條件（例如弱光條件）下執(zhí)行計(jì)算機(jī)視覺任務(wù)和圖像捕獲任務(wù)的技術(shù)和系統(tǒng)，尤其是在弱光條件下提供混合現(xiàn)實(shí)體驗(yàn)的技術(shù)和系統(tǒng)存在持續(xù)的需求和愿望。

在名為“Systems and methods for providing mixed-reality experiences under low light”的專利申請(qǐng)中，微軟介紹了用于在弱光條件下提供混合現(xiàn)實(shí)體驗(yàn)的系統(tǒng)和方法。其中，專利的實(shí)施例中旨在促進(jìn)計(jì)算機(jī)視覺任務(wù)（例如頭部追蹤）和透視成像，尤其是在弱光條件下促進(jìn)計(jì)算機(jī)視覺任務(wù)。

在一個(gè)實(shí)施例中，MR系統(tǒng)包括掃描傳感器，掃描傳感器包括可見光攝像頭、微光攝像頭、熱成像攝像頭，以及潛在（但不一定）紫外（UV）攝像頭或近紅外（NIR）攝像頭。掃描傳感器可以進(jìn)一步包括任何其他類型的攝像頭或攝像頭系統(tǒng)，例如深度攝像頭和飛行時(shí)間攝像頭等。

一個(gè)實(shí)施例包括MR系統(tǒng)，例如頭戴式顯示器（HMD），其包括配置用于執(zhí)行計(jì)算機(jī)視覺任務(wù)的第一組一個(gè)或多個(gè)攝像頭和配置用于捕獲環(huán)境圖像數(shù)據(jù)以投影到用戶的第二組一個(gè)或多個(gè)攝像頭。在一個(gè)實(shí)施例中，第一組一個(gè)或多個(gè)攝像頭配置為檢測至少可見光譜光和至少特定波段的紅外（IR）光，并且第二組一個(gè)或多個(gè)攝像頭包括一個(gè)或多個(gè)可分離紅外濾光片，其配置為衰減IR光，包括至少一部分特定波段的紅外光。

在一個(gè)實(shí)施例中，專利描述的方法至少使用一個(gè)或多個(gè)攝像頭的第一組來捕捉用于執(zhí)行計(jì)算機(jī)視覺任務(wù)的一個(gè)或多個(gè)圖。在一個(gè)實(shí)施例中，第一組一個(gè)或多個(gè)攝像頭配置為檢測至少可見光譜光和至少特定波段的紅外（IR）光，并且使用在環(huán)境中反射的特定波段的紅外光捕獲第一組一個(gè)或多個(gè)圖像。

在一個(gè)實(shí)施例中，專利描述的方法至少使用使用一個(gè)或多個(gè)攝像頭的第二組來捕捉一個(gè)或多個(gè)圖像，其中一個(gè)或多個(gè)攝像頭的第二組配置為捕捉環(huán)境的圖像數(shù)據(jù)，以便投影到頭顯用戶。另外，一個(gè)或多個(gè)攝像頭的第二組包括一個(gè)或多個(gè)可分離紅外濾光片，其配置為衰減紅外光，包括至少一部分特定波段的紅外光，使得一個(gè)或多個(gè)圖像的第二組省略衰減的紅外光。

通常，人眼能夠感知所謂的“可見光譜”內(nèi)的光，其中包括波長從約380納米（nm）到約740納米的光。可見光照相頭包括構(gòu)造成捕獲可見光譜內(nèi)的光的RGB攝像頭。RGB攝像頭可以實(shí)現(xiàn)為立體攝像機(jī)，這意味著兩個(gè)或多個(gè)RGB攝像頭的視場至少部分地相互重疊。利用所述重疊區(qū)域，由可見光照相頭生成的圖像可用于識(shí)別通常表示由兩個(gè)圖像捕獲的對(duì)象的特定像素之間的差異。在對(duì)立體圖像對(duì)應(yīng)用校正后測量差異，以使圖像對(duì)應(yīng)像素沿掃描線對(duì)齊。在校正之后，通常表示環(huán)境中對(duì)象的不同圖像中的對(duì)應(yīng)像素僅在一維上不同。立體圖像對(duì)的各自圖像中的相應(yīng)像素之間的一維差表示由相應(yīng)像素表示的對(duì)象的視差值。

圖2示出了示例頭顯200。頭顯200包括多個(gè)不同的攝像頭，如可見光攝像頭、微光攝像頭、熱成像攝像頭和紫外照攝像頭的任意數(shù)量或組合。盡管圖2中僅示出了5個(gè)攝像頭，但可以包括多于或少于5個(gè)攝像頭。

現(xiàn)在注意圖3。頭顯300具有用于執(zhí)行計(jì)算機(jī)視覺任務(wù)的傳感器和用于執(zhí)行圖像捕獲任務(wù)的傳感器。頭顯300包括實(shí)現(xiàn)為可見光攝像頭的一組頭部追蹤攝像頭305和實(shí)現(xiàn)為微光攝像頭的一組透視攝像頭315。

在一個(gè)實(shí)施例中，頭顯300包括其他傳感器，例如深度系統(tǒng)320和其他攝像頭325，其可配置為執(zhí)行與攝像頭305和315執(zhí)行的圖像捕獲功能相同或不同的圖像捕獲功能集。其他攝像頭和傳感器例如可以啟用混合現(xiàn)實(shí)體驗(yàn)的附加功能，例如手部追蹤、視頻捕獲等。

頭部追蹤攝像頭305配置為捕獲環(huán)境的圖像數(shù)據(jù)。在一個(gè)實(shí)例中，頭部追蹤攝像頭305捕獲的圖像提供與慣性追蹤數(shù)據(jù)（例如由加速計(jì)155、陀螺儀160、指南針165獲得）一起使用的視覺追蹤數(shù)據(jù)，以確定頭顯300的六自由度姿勢數(shù)據(jù)。頭部追蹤攝像頭305可以與其他組件協(xié)同工作，以使頭顯能夠基于用戶的視角并相對(duì)于環(huán)境顯示世界鎖定全息圖。

頭顯300的一組透視照相機(jī)315配置用于捕捉環(huán)境的人類可感知圖像，例如要顯示/投影給一個(gè)或多個(gè)用戶的圖像。

根據(jù)圖3所示的實(shí)現(xiàn)，頭顯300的透視攝像頭315實(shí)現(xiàn)為一對(duì)立體微光攝像頭。在一個(gè)實(shí)例中，每個(gè)透視攝像頭315基本與對(duì)應(yīng)的用戶眼睛對(duì)齊，這可以減少對(duì)透視攝像頭315捕獲的圖像數(shù)據(jù)執(zhí)行視差校正所需的變換。在其他實(shí)施例中，攝像頭315從用戶的眼睛偏移，并且執(zhí)行前述變換以完成上述視差校正。

在一個(gè)實(shí)施例中，頭顯300基于透視攝像頭315捕獲的立體圖像對(duì)來識(shí)別環(huán)境紋理信息。在一個(gè)實(shí)施例中，立體圖像對(duì)包括左圖像和右圖像。在一個(gè)實(shí)施例中，頭顯300同時(shí)對(duì)透視攝像頭315捕獲的立體圖像對(duì)執(zhí)行立體匹配，從而生成環(huán)境的深度映射。

在一個(gè)實(shí)施例中，頭顯300配置為提供頭顯的六自由度姿勢追蹤，以便在顯示器330A、330B準(zhǔn)確呈現(xiàn)關(guān)于用戶透視圖和關(guān)于環(huán)境中對(duì)象的世界鎖定全息圖。另外，在一個(gè)實(shí)施例中，頭顯300配置為提供經(jīng)視差校正的環(huán)境的低光透視視圖，并在顯示器330A、330B同時(shí)顯示世界鎖定全息圖和環(huán)境的低光透視圖像。例如，頭顯300可以實(shí)現(xiàn)同時(shí)的世界鎖定全息圖顯示和透視成像顯示，以提供混合現(xiàn)實(shí)游戲和/或訓(xùn)練體驗(yàn)。

如上所述，頭顯執(zhí)行頭部追蹤以準(zhǔn)確顯示世界鎖定全息圖，并同時(shí)在混合現(xiàn)實(shí)體驗(yàn)的顯示器提供透視圖像。這存在眾多挑戰(zhàn)，特別是弱光條件下。圖4所示的示例環(huán)境將更詳細(xì)地描述這樣的場景。

圖4示出了可以包括各種環(huán)境的建筑物405的示例。圖4所示的建筑物405包括照明環(huán)境415和微光環(huán)境420。舉例來說，照明環(huán)境415可具有約10 lux或更大的環(huán)境照度，且微光環(huán)境420可具有約10 lux或更低的環(huán)境照度。

圖4同時(shí)示出了位于照明環(huán)境415內(nèi)的用戶410A和位于微光環(huán)境內(nèi)的用戶410B。在圖4所示的示例中，用戶410A和410B都在操作與頭顯300相對(duì)應(yīng)的MR系統(tǒng)，并且正在參與混合現(xiàn)實(shí)體驗(yàn)。

如上所述，頭顯300的頭部追蹤攝像頭305實(shí)現(xiàn)為可見光攝像頭。所以，用戶410A的MR系統(tǒng)的頭部追蹤攝像頭305能夠捕獲視覺追蹤數(shù)據(jù)以檢測照明環(huán)境415內(nèi)的姿勢。

另外，在一個(gè)實(shí)施例中，用戶410B的MR系統(tǒng)的透視攝像頭315能夠捕獲圖像，以提供微光環(huán)境420的經(jīng)視差校正的微光透視視圖。但在一個(gè)實(shí)例中，用戶410B的MR系統(tǒng)的頭部追蹤攝像頭305可能無法捕獲視覺追蹤數(shù)據(jù)以檢測微光環(huán)境420內(nèi)的姿勢。例如，在弱光環(huán)境420中，頭部追蹤攝像頭305捕獲的頭部追蹤圖像可能無法包括足夠數(shù)量的可識(shí)別特征點(diǎn)，以實(shí)現(xiàn)關(guān)于用戶410B的透視和/或微光環(huán)境420的精確頭部追蹤和世界鎖定全息圖的精確顯示。

所以，在一個(gè)實(shí)施例中，頭部追蹤攝像頭305配置為除可見光譜光外可進(jìn)一步檢測紅外（IR）光。圖5A和5B說明了配置用于檢測IR光的頭部追蹤攝像頭的示例。

傳感器530配置為檢測至少一定的可見光譜光（例如在約380 nm到約740 nm的范圍內(nèi)）和至少一定的紅外光（例如在約750 nm到約1100 nm的范圍內(nèi)）。在一個(gè)實(shí)施例中，傳感器530實(shí)現(xiàn)為包括硅、硅鍺、磷化銦、砷化銦鎵和/或其他材料的傳感器。透鏡520可用于將接收到的光聚焦到傳感器530，并且可包括單個(gè)透鏡或任意數(shù)量的透鏡和/或其他光學(xué)元件。

圖5A示出了頭部追蹤攝像頭305A包括位于透鏡520和傳感器530之間的雙帶通濾波器525。雙帶通濾波器525配置為發(fā)射至少一定的可見光譜光和至少一定的紅外光。

圖5A的頭部追蹤攝像頭305A配置為在透鏡520處接收可見光譜光和紅外光，并將光指向傳感器530和/或帶通濾波器525。帶通濾波器525配置成將通過透鏡520接收到的至少一部分可見光譜光和至少一特定波段的紅外光向傳感器530發(fā)射。然后，傳感器530檢測接收到的可見光和/或紅外光信號(hào)，使得頭顯能夠基于可見光和紅外光（如果存在）確定用于執(zhí)行頭部追蹤的視覺跟蹤數(shù)據(jù)。

圖5B示出了頭部追蹤攝像頭305B的實(shí)現(xiàn)，其包括透鏡520和傳感器530，同時(shí)省略了雙帶通濾波器525。在這樣的實(shí)施方式中，頭部追蹤攝像頭305B配置為在透鏡520處接收可見光譜光和紅外光，并將光指向傳感器530，并且傳感器530配置為檢測接收到的可見光和/或紅外光信號(hào)，使得頭顯能夠基于可見光和紅外光（如果存在）確定用于執(zhí)行頭部追蹤的視覺追蹤數(shù)據(jù)。

相關(guān)專利：Microsoft Patent | Systems and methods for providing mixed-reality experiences under low light conditions

名為“Systems and methods for providing mixed-reality experiences under low light conditions”的微軟專利申請(qǐng)最初在2020年5月提交，并在日前由美國專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/92594