查看引用/信息源請點(diǎn)擊：映維網(wǎng)Nweon

根據(jù)眼動追蹤數(shù)據(jù)操作頭顯

（映維網(wǎng)Nweon?2023年03月31日）眼動追蹤器越發(fā)成為AR/VR頭顯的標(biāo)配。基于眼睛數(shù)據(jù)，可以對頭顯設(shè)備進(jìn)行各種操作。在名為“Eye data and operation of head mounted device”的專利申請中，Meta就介紹了一種根據(jù)眼眼睛數(shù)據(jù)操作頭顯的方法。例如，根據(jù)眼睛追蹤數(shù)據(jù)來調(diào)整顯示器亮度。比方說，如果顯示器太亮并造成用戶眼睛瞇起來，系統(tǒng)可以相應(yīng)地調(diào)暗顯示器。

圖1示出了近眼光學(xué)元件110A。近眼光學(xué)元件110A包括光學(xué)透明層120A、照明層130A、顯示層140A和透明調(diào)制器層150A。顯示層140A可以包括波導(dǎo)148，波導(dǎo)148配置為將包括在可見圖像光141中的虛擬圖像引導(dǎo)到用戶眼睛。

如圖1所示，照明層130A包括多個(gè)場內(nèi)照明器126。每個(gè)場內(nèi)照明器126可以設(shè)置在透明基板，并且可以配置為將光發(fā)射到近眼光學(xué)元件110A的眼鏡側(cè)109的視窗區(qū)域。

光學(xué)透明層120A設(shè)置在照明層130A和近眼光學(xué)元件110A的眼鏡側(cè)109之間。光學(xué)透明層120A可以接收由照明層130A發(fā)射的紅外照明光，并致使紅外照明光通過以照明用戶的眼睛。

光學(xué)透明層120A可以對可見光透明，例如從環(huán)境接收的場景光191和/或從顯示層140A接收的圖像光141。在一個(gè)示例中，光學(xué)透明層120A具有用于將光聚焦到用戶眼睛的曲率。

圖2A和2B示出了位于視窗區(qū)域201中的眼睛203。圖2A示出了睜開的眼睛203，而圖2B示出了閉合的眼睛203。眼睛203的眼睛數(shù)據(jù)可以包括眼睛203的位置、眼睛203的測量值（例如瞳孔大小）和/或眼睛隨時(shí)間的測量值。

在圖2A中，虹膜205的大部分和鞏膜207的大部分可見。當(dāng)眼睛203斜視時(shí)，虹膜205和鞏膜207中的較少部分可見。在圖2B中，虹膜205和鞏膜207都不可見。在圖2A中，眉毛262為拱形。在圖2B中，眉毛262展平并且比圖2A中更靠近眼睛203。類似地，與圖2A中的弓形微笑線264相比，微笑線264在圖2B中變平。

檢測視窗區(qū)域201中各種眼睛特征的大小、形狀或數(shù)量提供了可以指示用戶對特定環(huán)境情景的反應(yīng)或適應(yīng)的眼睛數(shù)據(jù)。

圖2C示出了具有瞳孔266的眼睛203，瞳孔266的直徑為尺寸291。圖2D示出了具有瞳孔266的眼睛203，瞳孔266的直徑尺寸292大于尺寸291。

在Meta描述的發(fā)明中，眼睛數(shù)據(jù)可以包括瞳孔266的大小（例如直徑）。當(dāng)在多個(gè)時(shí)間段捕獲瞳孔266的大小時(shí)，可以確定瞳孔擴(kuò)張的速度。

圖2E和2F示出了眼睛203的另一示例測量。與圖2F中眼睛203斜視時(shí)的虹膜205的尺寸294相比，圖2E中上眼瞼261和下眼瞼265之間的虹膜205尺寸293更大。

圖3A-3C示出了眼睛203在不同時(shí)間的不同位置。圖3A示出了在時(shí)間t1處在中心位置381的眼睛203。中心位置381可以與眼睛203相關(guān)聯(lián)。

圖3B示出了在時(shí)間t2處在中心位置382右邊的眼睛203。圖3C示出了在時(shí)間t3處在中心位置383稍微偏左的眼睛203。眼睛203的位置可以通過追蹤瞳孔266、虹膜205的位置、角膜等眼動追蹤技術(shù)來確定。

因此，眼睛數(shù)據(jù)可以包括眼睛203的位置和/或眼睛203隨時(shí)間的位置。眼睛203的位置改變的速度可以包括在眼睛數(shù)據(jù)中。例如，如果眼睛203非?？斓兀ɡ缭?00ms內(nèi)）從位置381移動到位置382，則這種移動可以認(rèn)為是掃視。眼睛203在短時(shí)間段內(nèi)的較小運(yùn)動可以認(rèn)為是微掃視。

可以使用圖像處理技術(shù)或其他合適的瞳孔位置技術(shù)來計(jì)數(shù)特定時(shí)間段中的掃視或微掃視的數(shù)量。特定時(shí)間段中的掃視次數(shù)或微掃視次數(shù)可以包括在眼睛數(shù)據(jù)中。眼睛381的位置變化可以認(rèn)為是注視閃爍，其中眼睛381經(jīng)常改變位置。這種注視閃爍可能是由于環(huán)境光亮度或顯示器亮度而引起不適的跡象。

圖4示出了頭戴式設(shè)備400的一部分的頂視圖。頭戴式設(shè)備400可以包括光學(xué)元件410，光學(xué)元件410包括透明調(diào)制器層450、顯示層440和照明層430。附加的光學(xué)層（可以包括在示例光學(xué)元件410中。

例如，聚焦透鏡層可以可選地包括在光學(xué)元件410中，以聚焦場景光456和/或包括在由顯示層440生成的圖像光441中的虛像。透明調(diào)制器層450調(diào)制入射場景光456的強(qiáng)度，使得傳播到視窗區(qū)域201的場景光459與入射場景光456的強(qiáng)度相比可以具有降低的強(qiáng)度。

透明度調(diào)制器層450可以配置為改變其透明度以調(diào)制傳播到用戶的眼睛203的場景光456的強(qiáng)度。處理邏輯470可以配置為將模擬或數(shù)字信號驅(qū)動到透明調(diào)制器層450，以便調(diào)制透明調(diào)制器層45的透明性。

在一個(gè)示例實(shí)施方式中，透明調(diào)制器層450包括液晶，其中響應(yīng)于來自處理邏輯470的驅(qū)動信號來調(diào)整液晶的取向，以調(diào)制透明度調(diào)制器層450的透明度。

照明層430包括光源426，光源426配置為用紅外照明光427照明視窗區(qū)域201。照明層430可以包括透明折射材料，并將其用作光源426的襯底。紅外照明光427可以是近紅外照明光。在圖4所示的示例中，攝像頭477配置為（直接）對眼睛203進(jìn)行成像。

攝像頭447可以捕獲視窗區(qū)域201的眼動追蹤圖像。視窗區(qū)域201可以包括眼睛203以及眼睛區(qū)域中的周圍特征，例如眉毛和眼瞼等。

處理邏輯470可以啟動攝像頭477的一個(gè)或多個(gè)圖像捕獲，并且攝像頭477可以向處理邏輯470提供眼動追蹤圖像479。處理邏輯470可以執(zhí)行圖像處理以確定視窗區(qū)域201的各種特征的大小和/或位置。

例如，處理邏輯470可以配置為確定結(jié)合圖2A-3C描述的特征的大小和/或位置。例如，處理邏輯470可以執(zhí)行圖像處理以確定瞳孔266的瞳孔位置或瞳孔大小。

圖5A示出了調(diào)整頭戴式設(shè)備的透鏡的透明度的示例方法。

在過程框505中，用頭戴式設(shè)備的一個(gè)或多個(gè)傳感器捕獲眼睛數(shù)據(jù)。所述一個(gè)或多個(gè)傳感器配置為感測所述視窗區(qū)域。傳感器可以包括一個(gè)或多個(gè)光電二極管、圖像傳感器或用于捕獲眼睛數(shù)據(jù)的任何其他合適的傳感器。如前所述，眼睛數(shù)據(jù)可以包括例如視窗區(qū)域的圖像。

在過程框510中，利用頭戴式設(shè)備的光電檢測器（例如環(huán)境光傳感器423）啟動環(huán)境光測量。環(huán)境光測量（例如環(huán)境光測量429）可以在與捕獲眼睛數(shù)據(jù)相同的時(shí)間段期間啟動。

在過程框515中，響應(yīng)于眼睛數(shù)據(jù)和環(huán)境光測量來調(diào)整頭戴式設(shè)備的透鏡的透明度。來自外部環(huán)境的場景光（例如場景光456）可以在入射到眼睛203之前傳播通過透鏡。在圖4的圖示中，可以響應(yīng)于眼睛數(shù)據(jù)和環(huán)境光測量429來調(diào)整透明度調(diào)制器層450的透明度。

在一個(gè)實(shí)施例中，眼睛數(shù)據(jù)包括眼睛的瞳孔大小、眼睛的瞳孔擴(kuò)張速度、眼睛的注視方向或眼睛運(yùn)動數(shù)據(jù)（例如給定時(shí)間段內(nèi)的掃視次數(shù)）中的至少一個(gè)。

眼睛數(shù)據(jù)可以包括例如眼睛203或占據(jù)視窗區(qū)域201的用戶眼部的一個(gè)或多個(gè)圖像，例如圖像479。

在一個(gè)實(shí)施例中，過程500同時(shí)包括對眼睛的一個(gè)或多個(gè)圖像執(zhí)行圖像處理，以確定頭戴式設(shè)備的用戶的心率。例如，用戶的心率可以通過一段時(shí)間內(nèi)的瞳孔大小來確定。調(diào)節(jié)透鏡的透明度可以至少部分地基于用戶的心率。

在一個(gè)實(shí)施例中，過程500同時(shí)包括對眼睛的一個(gè)或多個(gè)圖像執(zhí)行圖像處理，以確定眉毛的運(yùn)動、眼瞼的運(yùn)動或面部肌肉微姿態(tài)中的至少一個(gè)。調(diào)節(jié)透鏡的透明度可以至少部分地基于眉毛的運(yùn)動、眼瞼的運(yùn)動和/或面部肌肉的微姿態(tài)。

在過程500的實(shí)施方式中，調(diào)整透鏡的透明度包括將所述眼睛信息和所述周圍光測量與與先前環(huán)境光測量配對的先前眼睛數(shù)據(jù)相關(guān)聯(lián)，以及將所述透鏡的透明度調(diào)整為由所述用戶選擇的先前選擇的透鏡透明度。

先前選擇的透鏡透明度對應(yīng)于與先前環(huán)境光測量配對的先前眼睛數(shù)據(jù)。頭戴式設(shè)備在相同的時(shí)間段內(nèi)捕獲先前的眼睛數(shù)據(jù)和先前的環(huán)境光測量。

為了說明，圖5B說明根據(jù)本公開的實(shí)施方式的存儲器575中的與先前環(huán)境光測量配對的實(shí)例先前眼睛數(shù)據(jù)。例如，存儲器575可以包括在存儲器475中。

在圖5B中，將先前的眼睛數(shù)據(jù)與先前的環(huán)境光測量值配對，并且先前選擇的透鏡透明度值對應(yīng)于與先前眼睛數(shù)據(jù)配對的先前環(huán)境光測量。

因此，存儲器575包括用戶在各種環(huán)境光環(huán)境中選擇的透明度值，其中某些眼睛數(shù)據(jù)也存在。例如，第一先前眼睛數(shù)據(jù)512與第一先前環(huán)境光測量513配對。第一先前選擇的透鏡透明度值511對應(yīng)于數(shù)據(jù)512和513的配對。

當(dāng)（或緊接在）第一先前環(huán)境光測量513和第一先前眼睛數(shù)據(jù)512由頭戴式設(shè)備收集時(shí)，用戶可能已經(jīng)先前選擇了第一先前選擇的透鏡透明度值511。

第二先前眼睛數(shù)據(jù)522與第二先前環(huán)境光測量523配對。先前選擇的第二透鏡透明度值521對應(yīng)于數(shù)據(jù)522和523的配對。

當(dāng)（或緊接在）第二先前環(huán)境光測量523和第二先前眼睛數(shù)據(jù)522由頭戴式設(shè)備收集時(shí)，用戶可能已經(jīng)先前選擇了第二先前選擇的透鏡透明度值521。

存儲器575可以包括整數(shù)n個(gè)先前選擇的透鏡透明度值，而數(shù)值對應(yīng)于與先前環(huán)境光測量配對的先前眼睛數(shù)據(jù)。因此，在給定環(huán)境光測量（例如429）和眼睛數(shù)據(jù)的情況下，可以將個(gè)性化的透明度值驅(qū)動到透明度調(diào)制器層450，以調(diào)整場景光459的強(qiáng)度。

在過程500的實(shí)施方式中，調(diào)整透鏡的透明度包括將透鏡的透射率調(diào)整到與對應(yīng)于環(huán)境光測量的聚集眼睛數(shù)據(jù)相關(guān)聯(lián)的預(yù)定透鏡透明度值。以這種方式，在測試中確定的透明度選擇、眾包數(shù)據(jù)或從用戶偏好中求平均值可以驅(qū)動到透明度調(diào)制器層450，以將光學(xué)元件410的透明度驅(qū)動到在類似環(huán)境光條件和眼睛數(shù)據(jù)下舒適的預(yù)定透明度值。

例如在圖5C中，存儲器576可以包括在存儲器475。聚集的眼睛數(shù)據(jù)與先前的環(huán)境光測量值配對，并且預(yù)定的透鏡透明度值對應(yīng)于與聚集的眼睛數(shù)據(jù)配對的先前環(huán)境光線測量值。

因此，存儲器576可以包括在存在由普通用戶選擇的預(yù)定透鏡透明度值。例如，第一聚集眼睛數(shù)據(jù)517與第一先前環(huán)境光測量518配對。第一預(yù)定透鏡透明度值516對應(yīng)于數(shù)據(jù)517和518的配對。當(dāng)（或緊接在）第一先前環(huán)境光測量518和第一聚集眼睛數(shù)據(jù)517由頭戴式設(shè)備收集時(shí)，平均用戶設(shè)置可以具有第一預(yù)定透鏡透明度值516。

第二聚集眼睛數(shù)據(jù)527與第二先前環(huán)境光測量528配對。第一預(yù)定透鏡透明度值526對應(yīng)于數(shù)據(jù)527和528的配對。當(dāng)（或緊接在）第二先前環(huán)境光測量528和第二集合眼睛數(shù)據(jù)527由頭戴式設(shè)備收集時(shí)，平均用戶設(shè)置可以具有第二預(yù)定透鏡透明度值526。

相關(guān)專利：Meta Patent | Eye data and operation of head mounted device

名為“Eye data and operation of head mounted device”的Meta專利申請最初在2021年9月提交，并在日前由美國專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/106459