查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

利用現(xiàn)有攝像頭系統(tǒng)來檢測紅外光，無需配置專門用于檢測紅外光的微光傳感器

（映維網(wǎng)Nweon?2022年02月12日）微光傳感器不僅成本高，而且尺寸大，同時(shí)實(shí)用性非常有限，因?yàn)楦甙惦娏骱妥x取噪點(diǎn)限制了在低光照明環(huán)境中的感知能力。然而，微光傳感器的關(guān)鍵功能之一是穿透玻璃和探測激光的能力，例如紅外激光。所以，如果能夠獲取一種無需微光傳感器即可檢測紅外激光的優(yōu)化技術(shù)，AR/VR頭顯廠商或許可以降低系統(tǒng)的成本和優(yōu)化設(shè)備的尺寸、重量或功耗。

在名為“Computer vision cameras for ir light detection”的專利申請(qǐng)中，微軟就介紹了一種用于紅外光檢測的計(jì)算機(jī)視覺攝像頭。

簡單來說，通過利用現(xiàn)有攝像頭系統(tǒng)來檢測紅外光，亦即將原本的攝像頭打造成可同時(shí)檢測紅外光的多用途計(jì)算機(jī)視覺攝像頭，微軟的AR/VR頭顯將不再需要搭載傳統(tǒng)用于檢測紅外光的微光傳感器，從而降低系統(tǒng)成本，并且減小頭顯的尺寸、重量和功耗。

在一個(gè)實(shí)施例中，頭戴式設(shè)備包括至少一個(gè)無需紅外光濾光片的計(jì)算機(jī)視覺攝像頭。這種計(jì)算機(jī)視覺傳感器能夠檢測環(huán)境中的紅外光，包括紅外光和紅外激光。

頭戴式設(shè)備配置為使用計(jì)算機(jī)視覺攝像頭生成環(huán)境圖像。然后將所述圖像作為輸入饋送到機(jī)器學(xué)習(xí)（ML）算法之中。其中，ML算法識(shí)別傳感器檢測到并記錄在圖像中的紅外激光。然后，頭戴式顯示器可視地顯示包含與檢測到的紅外激光相對(duì)應(yīng)的信息的通知。

在一個(gè)實(shí)施例中，以上述方式配置的頭戴式設(shè)備使用計(jì)算機(jī)視覺攝像頭生成環(huán)境的第一圖像。頭戴式顯示器同時(shí)利用熱成像攝像頭生成環(huán)境的第二圖像。然后，將第一圖像作為輸入饋送至ML算法。

ML算法配置為識(shí)別由計(jì)算機(jī)視覺攝像頭的傳感器檢測并記錄在第一圖像中的準(zhǔn)直紅外光。頭戴式顯示器重新投影第二圖像以補(bǔ)償用戶瞳孔與熱成像攝像頭之間的視差。

同時(shí)，頭戴式顯示器重新投射已識(shí)別的準(zhǔn)直紅外光，以補(bǔ)償用戶瞳孔和計(jì)算機(jī)視覺攝像頭之間的視差。頭戴式顯示器進(jìn)一步將重新投影的準(zhǔn)直紅外光疊加到重新投影的第二圖像，生成疊加圖像，然后直觀地顯示疊加圖像。

通過這種方式，頭顯無需傳統(tǒng)的微光傳感器即可檢測紅外激光并投影圖像。

圖1是頭顯105所在的示例游戲環(huán)境100。在所述場景中，頭顯105向用戶呈現(xiàn)AR場景，例如飛龍的全息圖110。另外，穿戴諸如HoloLens這樣的頭顯的用戶在這個(gè)場景中正在與飛龍搏斗。

在一種情況中，穿戴頭戴式顯示器105的用戶正在使用紅外激光發(fā)射器對(duì)準(zhǔn)武器，以便向全息飛龍110開火。

圖4示出了用于檢測環(huán)境中發(fā)射的紅外激光的示例方法400的流程圖。

通常，方法400在弱光環(huán)境中執(zhí)行。例如，當(dāng)環(huán)境的環(huán)境光條件處于或低于約5 lux時(shí)，可觸發(fā)方法400。作為參考，與黃昏照度相對(duì)應(yīng)的照度約為10 lux，而與正午陽光照度相對(duì)應(yīng)的照度約為100000 lux。

首先，方法400包括使用至少一臺(tái)計(jì)算機(jī)視覺攝像頭生成環(huán)境圖像的action（action405）。

圖5是包括真實(shí)世界對(duì)象和全息圖505的MR環(huán)境500。這里，環(huán)境光照水平510處于或低于5 lux。所以，可以觸發(fā)圖4中的方法400。

在一個(gè)實(shí)施例中，可以使用不同的傳感器來檢測MR環(huán)境500的照度，以便觸發(fā)方法400。

MR環(huán)境500顯示為包括IR激光520。紅外激光520使用虛線表示，以表示紅外激光520無法通過肉眼感知。在這個(gè)MR環(huán)境500中，多名用戶正在與飛龍搏斗。

根據(jù)專利描述的技術(shù)，實(shí)施例能夠使用無需紅外光濾光片的多用途或?qū)Ｓ糜?jì)算機(jī)視覺攝像頭來檢測紅外激光的存在。

圖6是構(gòu)造成發(fā)射可見激光605和/或紅外激光610的示例激光發(fā)射器600。在一個(gè)實(shí)施方案中，激光發(fā)射器600構(gòu)造成僅發(fā)射紅外激光610。

圖7是由頭顯計(jì)算機(jī)視覺攝像頭生成的計(jì)算機(jī)視覺圖像700。注意，計(jì)算機(jī)視覺圖像700包括代表紅外激光705的像素，其對(duì)應(yīng)于圖5的紅外激光520。盡管紅外激光520對(duì)于肉眼不可見，但紅外激光705可在計(jì)算機(jī)視覺圖像700中識(shí)別。

在一個(gè)實(shí)施例中，計(jì)算機(jī)視覺圖像700可以捕捉額外的紅外光，例如環(huán)境紅外光710所示。所述環(huán)境紅外光710可從環(huán)境中的其他光源發(fā)射，而紅外光激光705則由圖6的激光發(fā)射器600發(fā)射。注意，形成紅外激光705的紅外光和形成環(huán)境紅外光710的紅外光的強(qiáng)度存在鮮明對(duì)比。

通常，形成紅外激光705的紅外光的強(qiáng)度將大大高于形成環(huán)境紅外光710的紅外光的強(qiáng)度。換句話說，形成紅外激光705的紅外光相對(duì)高于形成環(huán)境紅外光710的紅外光的強(qiáng)度。

回到圖4，方法400包括將圖像）作為輸入饋送到ML算法的action（action 410）。ML算法用于識(shí)別計(jì)算機(jī)視覺攝像頭傳感器檢測到并記錄在圖像中的紅外激光。

任何類型的ML算法、模型或機(jī)器學(xué)習(xí)均可用于action410。另外，可以使用任何數(shù)量的訓(xùn)練數(shù)據(jù)來訓(xùn)練機(jī)器學(xué)習(xí)算法以動(dòng)態(tài)地執(zhí)行所描述的action。

圖8是action 410的圖示。具體地，圖8示出了圖像800作為輸入饋送到ML算法805中。ML算法805配置為識(shí)別與圖像800捕獲的場景中可能存在的任何類型紅外光相對(duì)應(yīng)的像素。一旦識(shí)別出與紅外光對(duì)應(yīng)的像素，ML算法805可以進(jìn)一步分類或確定每個(gè)像素是否進(jìn)一步對(duì)應(yīng)于場景中的特定現(xiàn)象或?qū)ο蟆?/p>

例如，ML算法805能夠識(shí)別紅外光像素是否對(duì)應(yīng)于環(huán)境紅外光，并且進(jìn)一步能夠識(shí)別紅外光像素是否對(duì)應(yīng)于紅外“激光”。作為示例，圖8示出了ML算法805如何分析包括在圖像800中的紅外光像素，并具體地識(shí)別什么像素對(duì)應(yīng)于紅外光。

然后，可以從結(jié)果圖像中過濾與紅外激光無關(guān)的像素，只留下與紅外激光相對(duì)應(yīng)的像素，如檢測到的紅外激光810所示。

以上面描述的方式，系統(tǒng)可以通過所述的計(jì)算機(jī)視覺攝像頭檢測到紅外激光。換句話說，無需搭載專門用于檢測紅外激光的專門微光傳感器，微軟構(gòu)思的AR/VR頭顯設(shè)備可以通過計(jì)算機(jī)視覺攝像頭來檢測紅外激光。

相關(guān)專利：Microsoft Patent | Computer vision cameras for ir light detection

名為“Computer vision cameras for ir light detection”的專利申請(qǐng)最初在2020年7月提交，并在日前由美國專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/94373