Meta AR/VR專(zhuān)利探索改善視場(chǎng)內(nèi)照明的眼動(dòng)追蹤精度
查看引用/信息源請(qǐng)點(diǎn)擊:映維網(wǎng)Nweon
將由多個(gè)波導(dǎo)引導(dǎo)的照明光衍射成向用戶(hù)眼睛傳播的光束的多個(gè)PVH(又可稱(chēng)PVG或BPG)
(映維網(wǎng)Nweon?2023年07月26日)對(duì)于VR頭顯的光學(xué)眼動(dòng)追蹤方法,與將光源定位在用戶(hù)視場(chǎng)外圍相比,視場(chǎng)內(nèi)照明可以提供更高的眼動(dòng)追蹤精度。例如當(dāng)光源位于用戶(hù)的視場(chǎng)范圍內(nèi)時(shí),捕獲到眼睛所有注視角度的角膜閃爍的可能性更高。另外,在用戶(hù)的視場(chǎng)內(nèi)定位光源可以在光源的放置和分布方面提供更大的靈活性,從而令攝像頭捕獲的光量最大化,并可以降低光源輸出光的強(qiáng)度和光源的功耗。
然而,視場(chǎng)內(nèi)照明存在多個(gè)挑戰(zhàn)。例如,用戶(hù)視場(chǎng)中的光源可能影響真實(shí)世界圖像和顯示圖像的透視質(zhì)量,并可能增加眼動(dòng)追蹤系統(tǒng)的成本和功耗。
在名為“Liquid crystal polarization hologram (lcph) based eye tracking for ar/vr”的專(zhuān)利申請(qǐng)中,Meta就提出了自己的解決方案。
在一個(gè)實(shí)施例中,近眼顯示器的眼動(dòng)追蹤系統(tǒng)可以包括配置為放置在近眼顯示器用戶(hù)眼睛視場(chǎng)中的基板、用戶(hù)眼睛視場(chǎng)外的一個(gè)或多個(gè)光源并配置為發(fā)射照明光,在基板內(nèi)或基板上形成并配置為引導(dǎo)由一個(gè)或多個(gè)光源發(fā)出的照明光的多個(gè)波導(dǎo),以及配置為將由多個(gè)波導(dǎo)引導(dǎo)的照明光衍射成向用戶(hù)眼睛傳播的光束的多個(gè)PVH(又可稱(chēng)PVG或BPG)。
波導(dǎo)和PVH可以對(duì)可見(jiàn)光透明,所以可以放置在用戶(hù)眼睛的視場(chǎng)中。由多個(gè)PVH衍射的光束可以具有大的立體角,因此可以在用戶(hù)的眼睛處重疊和干涉?;蛘?,由多個(gè)PVH衍射的光束可以是窄光束,其在用戶(hù)的眼睛上不會(huì)相互重疊,但可以在用戶(hù)的眼睛上形成閃爍。
一個(gè)或多個(gè)攝像頭可以收集從用戶(hù)眼睛反射的光,以捕獲具有干涉條紋圖案或閃爍的用戶(hù)眼睛圖像。然后可以通過(guò)例如圖像處理器或神經(jīng)網(wǎng)絡(luò)處理器分析所捕獲的圖像,以確定或推斷用戶(hù)眼睛的位置。
在一個(gè)示例中,光源可以是相干光源,波導(dǎo)可以是單模波導(dǎo),并且由一對(duì)PVH衍射的一對(duì)光束可以在用戶(hù)的眼睛處重疊和干涉,以產(chǎn)生正弦干涉圖案的形式的光圖案。因此,PVH可以將干涉條紋圖案投射到眼睛表面,從而密集地采樣眼睛表面。
由于用戶(hù)眼睛的3D輪廓,由攝像頭捕獲的用戶(hù)眼睛的2D圖像可能包括扭曲的干涉條紋圖案。根據(jù)攝像頭捕獲圖像中的信息,可以計(jì)算出用戶(hù)眼睛表面的3D圖像或深度圖像。例如,眼睛表面的深度輪廓可以通過(guò)使用例如具有深度感測(cè)的三角測(cè)量以視頻幀速率創(chuàng)建。
在另一個(gè)示例中,光源不需要是相干光源,眼動(dòng)追蹤系統(tǒng)可能包括大量波導(dǎo)和PVH,以產(chǎn)生大量光束。由PVH衍射的光束可以是窄光束,并且可能不會(huì)重疊和干擾用戶(hù)的眼睛,但可以在用戶(hù)的眼睛上形成2D閃爍圖案。
Meta指出,所提出的PVH可以放置在用戶(hù)眼睛的視場(chǎng)中,并且可以以高衍射效率衍射照明光。因此,可以實(shí)現(xiàn)高效的場(chǎng)內(nèi)照明。另外,PVH可能能夠產(chǎn)生具有大立體角的衍射光束,使得衍射光束可以在大的重疊區(qū)域干涉,從而形成大的干涉條紋圖案。
一對(duì)PVH可以產(chǎn)生一組條紋。使用多對(duì)PVH可以生成具有不同方向和/或周期的多組條紋。同時(shí),PVH比其他類(lèi)型的光柵耦合器更容易制造。因此,使用場(chǎng)內(nèi)PVH生成的干涉條紋圖案或閃爍圖案能夠產(chǎn)生密集采樣和更準(zhǔn)確的眼睛深度輪廓,從而提供準(zhǔn)確,節(jié)能和經(jīng)濟(jì)高效的集成眼動(dòng)追蹤系統(tǒng)。

圖8示出由兩個(gè)相干光束干涉以形成條紋圖案的示例。在所示實(shí)施例中,平面波810通過(guò)兩個(gè)狹縫820和822可產(chǎn)生兩束相干光束,因此兩束光束在兩個(gè)狹縫820和822處可具有相同的頻率和一定的固定相位關(guān)系。當(dāng)兩束相同頻率ω=2πf的光束疊加在表面830上的一點(diǎn)時(shí),它們可以激發(fā)出相同方向的振蕩。
因此,可以通過(guò)控制兩個(gè)狹縫820和822之間的距離來(lái)控制表面830上干涉圖案的周期性。

圖9A示出了包括眼動(dòng)追蹤系統(tǒng)的近眼顯示器900。所述系統(tǒng)使用PVH 950生成的干涉條紋圖案960進(jìn)行3D眼動(dòng)追蹤。如圖所示,近眼顯示器900可包括用于每只眼睛的框架910和基板920。基板920可以由框架910保持,并且可以包括任何合適的材料?;?20可以對(duì)可見(jiàn)光和紅外光透明?;?20可具有平坦或彎曲的側(cè)面。
在所示的示例中,眼動(dòng)跟蹤系統(tǒng)包括產(chǎn)生相干光的光源930,例如垂直外腔表面發(fā)射激光器VECSEL。光源930可以發(fā)射波長(zhǎng)在可見(jiàn)光譜之外的光。例如,光源930可以發(fā)射紅外波段內(nèi)的光。光源930可以連接到框架910或可以位于框架910或基板920中。
光源930發(fā)出的光可以通過(guò)例如包括絕熱錐形波導(dǎo)或光柵耦合器的邊緣耦合器耦合到波導(dǎo)940中。波導(dǎo)940可以在基板920內(nèi)或在基板920上形成,并且可以包括任何合適類(lèi)型的波導(dǎo)。
在一個(gè)實(shí)施例中,波導(dǎo)940可以包括核心層和包層,其中核心層可以包括例如SiO2,并且可以具有大于包層折射率的折射率。波導(dǎo)940可包括一個(gè)或多個(gè)分路器,分路器將耦合到波導(dǎo)940中的光分裂成在兩個(gè)或多個(gè)波導(dǎo)940中傳播的兩個(gè)或多個(gè)光束。兩個(gè)或多個(gè)光束可以具有基本上相同的振幅。每個(gè)波導(dǎo)940可包括可在波導(dǎo)940的末端部分?jǐn)U展光束的錐形結(jié)構(gòu)942。
PVH 950可以在錐形結(jié)構(gòu)942上形成,并且可以配置為將由波導(dǎo)940引導(dǎo)的光束從波導(dǎo)940耦合到用戶(hù)的眼睛990。
在一個(gè)實(shí)施例中,可以在PVH 950和波導(dǎo)940之間使用偏振轉(zhuǎn)換器,例如四分之一波片。通過(guò)兩個(gè)PVH 950從兩個(gè)波導(dǎo)940耦合出來(lái),并向用戶(hù)眼睛990傳播的兩個(gè)光束可以各自具有大的立體角,并且因此可以在用戶(hù)的臉上具有大的重疊區(qū)域。
兩束光束可以在重疊區(qū)域內(nèi)相互干涉以在用戶(hù)的眼睛上形成干涉條紋圖案960。相鄰亮條紋或暗條紋之間的距離取決于兩個(gè)PVH 950中心之間的距離d、光源930發(fā)出的光的波長(zhǎng)、以及PVH 950與用戶(hù)眼睛990之間的距離。例如,當(dāng)兩個(gè)PVH 950中心之間的距離d增加時(shí),干涉條紋圖案960可能變得更精細(xì),并可用于測(cè)量較小的特征。
圖9B示出由干涉條紋照明圖案照射的用戶(hù)眼睛的2D圖像962。所述干涉條紋照明圖案可由圖9A所述眼動(dòng)追蹤系統(tǒng)產(chǎn)生,并且可包括明暗條紋。圖象962可由照攝像頭捕獲。
如圖9B所示,由于用戶(hù)眼睛和面部的非平坦表面,在2D圖像962中捕獲的用戶(hù)眼睛和面部的條紋可能被扭曲。在平面上形成的條紋與所捕獲的圖像962中的條紋之間的畸變可以提供用戶(hù)眼睛的輪廓和位置的信息。
圖9C示出由干涉條紋照明圖案照射的用戶(hù)眼睛的2D圖像重建的用戶(hù)眼睛3D輪廓964。在一個(gè)實(shí)施例中,可以基于用戶(hù)眼睛干涉條紋照明圖案的畸變來(lái)生成用戶(hù)眼睛的3D輪廓964。
在一個(gè)實(shí)施例中,可以使用兩個(gè)或多個(gè)攝像頭在不同位置,并從不同角度捕獲的兩個(gè)或多個(gè)2D圖像來(lái)生成用戶(hù)眼睛的3D輪廓964??梢允褂弥T如三角測(cè)量的技術(shù)來(lái)確定3D輪廓964。諸如用戶(hù)眼睛的位置或注視方向的信息可以從3D輪廓964中提取,并且可以例如用于圖像渲染。

圖10A示出了使用閃爍進(jìn)行眼動(dòng)跟蹤。與在近眼顯示器900中一樣,近眼顯示器1000中的眼動(dòng)追蹤系統(tǒng)可包括用于每只眼睛的幀1010和基板1020?;?020可以由框架1010保持,并且可以包括任何合適的材料?;?020可以對(duì)可見(jiàn)光和紅外光透明?;?020可具有平坦或彎曲的側(cè)面。
眼動(dòng)跟蹤系統(tǒng)可包括產(chǎn)生相干或非相干光的一個(gè)或多個(gè)光源1030,例如LED和MicroLED等。光源1030可以發(fā)射波長(zhǎng)在可見(jiàn)光譜之外的光。例如,光源1030可以在紅外波段發(fā)射光。光源1030可以連接到框架1010或可以位于框架1010或基板1020中。
光源1030發(fā)出的光可以通過(guò)例如包括絕熱錐形波導(dǎo)或光柵耦合器的邊緣耦合器耦合到波導(dǎo)1040中。波導(dǎo)1040可以在基板1020內(nèi)或在基板1020上形成,并且可以包括任何合適類(lèi)型的波導(dǎo)。
在一個(gè)實(shí)施例中,波導(dǎo)1040可以包括核心層和包層,其中核心層可以包括例如SiO2,并且可以具有大于包層折射率的折射率。波導(dǎo)1040可包括一個(gè)或多個(gè)分路器,分路器將耦合到波導(dǎo)1040中的光分成在兩個(gè)或多個(gè)波導(dǎo)1040中傳播的兩個(gè)或多個(gè)光束。兩個(gè)或多個(gè)光束可以具有基本上相同的振幅。每個(gè)波導(dǎo)1040可包括可在波導(dǎo)1040的端部擴(kuò)展光束的錐形結(jié)構(gòu)1042。
PVH 1050可以形成在每個(gè)波導(dǎo)1040的錐形結(jié)構(gòu)1042上,并且可以配置為將由波導(dǎo)1040引導(dǎo)的光束從波導(dǎo)1040耦合到用戶(hù)的眼睛1090。
在一個(gè)實(shí)施例中,可以在PVH 1050和波導(dǎo)1040之間使用偏振轉(zhuǎn)換器,例如波片。通過(guò)PVH 1050耦合出波導(dǎo)1040的光束可能是發(fā)散角較小的窄光束,因此可以在用戶(hù)的眼睛上形成閃爍。由于發(fā)散角小,通過(guò)PVH 1050從波導(dǎo)1040耦合出來(lái)的光束不會(huì)在用戶(hù)眼睛上重疊,從而不會(huì)相互干擾,但可能會(huì)在用戶(hù)眼睛的不同區(qū)域形成閃爍。
圖10B示出用戶(hù)眼睛1095的圖像1060,包括閃爍1062。閃爍可以出現(xiàn)在用戶(hù)眼睛的不同區(qū)域。
在一個(gè)實(shí)施例中,閃爍1062可以在用戶(hù)眼睛1095上形成特定圖案,例如圓形??梢允褂弥T如質(zhì)心算法之類(lèi)的技術(shù)來(lái)確定捕獲圖像中眼睛上閃爍的位置。質(zhì)心化算法可以通過(guò)在局部鄰域中尋找能量最大的像素位置來(lái)確定閃爍的中心。
然后,眼睛的旋轉(zhuǎn)位置可以根據(jù)所捕獲圖像中相對(duì)于眼睛的已知特征的閃爍位置來(lái)確定。在一個(gè)實(shí)施例中,可以由多個(gè)攝像頭從不同角度捕獲帶有閃爍的用戶(hù)眼睛的多個(gè)圖像,以提供更準(zhǔn)確的位置信息。
上述PVH 950和1050是一種Q>1的布拉格光柵,其具有較強(qiáng)的偏振選擇性。PVH可以是透射PVH,又可以是反射PVH。PVH可以包括具有多個(gè)光學(xué)各向異性分子的雙折射材料層。
例如,LC PVH可能包括液晶分子,形成獨(dú)特的自組織不對(duì)稱(chēng)螺旋結(jié)構(gòu),并遵循2D排列模式。不同偏振態(tài)的光可以由PVH以不同的方式衍射。
PVH可以將線偏振或非偏振光束衍射成沿一個(gè)方向傳播的左旋圓偏振光束和沿另一個(gè)方向傳播的右旋圓偏振光束。PVH可以具有更高的折射率調(diào)制Δn,因此可以在大衍射角下實(shí)現(xiàn)高一階衍射效率,并且與非偏振VBG相比,入射光可以具有更寬的角/光譜帶寬。

圖11A示出側(cè)面視圖中的PVH 1100。在所示的實(shí)施例中,PVH 1100可包括在對(duì)準(zhǔn)層1110上形成圖案螺旋結(jié)構(gòu)的手性摻雜劑和雙折射材料分子1120。所述液晶導(dǎo)向器可平行于對(duì)準(zhǔn)層1110。
PVH 1100同時(shí)可以包括第二對(duì)準(zhǔn)層,其中包括雙折射材料分子1120的圖案螺旋結(jié)構(gòu)可以被對(duì)準(zhǔn)層1110和第二對(duì)準(zhǔn)層夾在中間。由于將手性摻雜劑摻雜到雙折射材料分子中,可以沿著它們的方向獲得螺旋結(jié)構(gòu)。
通過(guò)控制旋扭功率和/或手性摻雜劑的濃度,可以調(diào)節(jié)y軸上的周期性Py(和螺距p)。由于手性摻雜劑的螺旋扭曲能力,雙折射材料的光軸可以沿螺旋方向旋轉(zhuǎn)。
對(duì)準(zhǔn)層1110可具有周期性表面對(duì)準(zhǔn)圖案。由于周期性的表面對(duì)準(zhǔn)圖案,雙折射材料在對(duì)準(zhǔn)層1110上不同位置的光軸可在x-z平面上以不同的方位角旋轉(zhuǎn),并可在水平面上形成周期性結(jié)構(gòu)。
相比之下,在傳統(tǒng)的CLC結(jié)構(gòu)中,在垂直方向上可能會(huì)產(chǎn)生螺旋扭曲,而在水平面上膽甾型液晶均勻。
雙折射材料分子1120可以表現(xiàn)出螺旋結(jié)構(gòu),具有垂直于對(duì)準(zhǔn)層1110的周期性,并且具有相對(duì)于對(duì)準(zhǔn)層1110具有斜角φ的周期性等折射率平面。
因此,PVH 1100的光柵矢量K相對(duì)于對(duì)準(zhǔn)層1110的表面法線方向可能有一個(gè)斜角φ。當(dāng)周期折射率面數(shù)足夠高時(shí),可以滿足布拉格衍射條件,而PVH 1100根據(jù)入射圓偏振光的傾斜角度?和旋向性的不同,可以高效地對(duì)入射圓偏振光進(jìn)行+1或- 1衍射階的反射或透射衍射。
例如,PVH 1100可以高效率地將右手圓偏振光反射衍射到第一衍射階,并且可以允許左手圓偏振光以最小衍射或基本上沒(méi)有衍射通過(guò)。
相關(guān)專(zhuān)利:
Meta Patent | Liquid crystal polarization hologram (lcph) based eye tracking for ar/vr
https://patent.nweon.com/28908
名為“Liquid crystal polarization hologram (lcph) based eye tracking for ar/vr”的Meta專(zhuān)利申請(qǐng)最初在2021年12月提交,并在日前由美國(guó)專(zhuān)利商標(biāo)局公布。
---
原文鏈接:https://news.nweon.com/110812