查看引用/信息源請點擊：映維網(wǎng)Nweon

利用生物和硬件聯(lián)合評估來優(yōu)化眼動追蹤系統(tǒng)

（映維網(wǎng)Nweon?2023年05月29日）眼動追蹤系統(tǒng)可以利用估計眼睛參數(shù)的過程，例如人的眼睛的位置和方向。系統(tǒng)可以相對于已知的參考系或坐標系來估計眼睛參數(shù)。眼動追蹤系統(tǒng)依賴于定義眼動追蹤攝像頭的相對位置的校準數(shù)據(jù)。

如果在設(shè)備校準期間估計的眼部參數(shù)以無補償?shù)姆绞礁淖?，則由眼動追蹤系統(tǒng)產(chǎn)生的眼部參數(shù)估計的準確性可能降低。

盡管眼睛參數(shù)的變化速率受生物過程（例如瞳孔擴張或收縮的速度、眼球掃視的速度和注視的持續(xù)時間）的控制，但設(shè)備參數(shù)的變化受在不同時間尺度上發(fā)生的物理過程的控制。例如，在納入眼動追蹤系統(tǒng)后，由于機械變形，裝置的幾何屬性可能幾乎在瞬間發(fā)生變化，但當用戶重新調(diào)整裝置以供使用時，可以在相對較長的幾秒鐘內(nèi)對其進行補償。

另一方面，溫度驅(qū)動的變化往往是緩慢的，并且可能僅在檢測到器件參數(shù)的顯著改變之后才需要補償?，F(xiàn)有的校準方法沒有設(shè)計成有效地解決不同類型的變化，從而導致眼動追蹤系統(tǒng)的精度降低。

所以在名為“Enhanced eye tracking systems utilizing joint biological and hardware estimations”的專利申請中，微軟就提出利用生物和硬件聯(lián)合評估來優(yōu)化眼動追蹤系統(tǒng)。

圖1是具有用于追蹤用戶11至少一只眼睛10的至少一個傳感器101的設(shè)備100。設(shè)備100包括用于追蹤人眼10運動的多個傳感器101。設(shè)備100同時可以包括光源103，光源103在相對于傳感器101的預定位置安裝到設(shè)備。光源可以配置為允許預定光譜的光，例如紅外光。

參照圖2，光源103可以配置為朝向眼睛10投射紅外光102。紅外光102可以從眼睛10反射并產(chǎn)生多個閃爍111。設(shè)備可以基于檢測到的來自眼睛10的紅外光102的反射來識別閃爍111。

然后使用至少一個攝像頭101，設(shè)備100可以確定眼睛10的瞳孔110的瞳孔位置109。其中，通過對攝像頭101生成的圖像數(shù)據(jù)的分析，可以確定多個閃爍111的位置和瞳孔位置109。例如，可以通過使用預定數(shù)據(jù)來測量多個閃爍111的位置和瞳孔位置109，所述預定數(shù)據(jù)諸如定義光103相對于攝像頭101的位置的數(shù)據(jù)、基于每個眼睛特征的位置確定的角度309。

使用眼睛特征的位置，設(shè)備可以生成定義生物參數(shù)的生物估計數(shù)據(jù)。生物參數(shù)可以包括描述、量化或識別眼睛特征的任何參數(shù)。例如，生物參數(shù)可以包括眼睛10的方位、位置或形狀?？梢曰诙鄠€閃爍111的位置108和瞳孔110的瞳孔位置109來估計眼睛的方位和位置。

同樣使用眼睛特征的位置，設(shè)備可以生成定義攝像頭101的一個或多個硬件參數(shù)的硬件估計數(shù)據(jù)。硬件參數(shù)可以包括描述、量化或標識攝像頭或設(shè)備的特征的任何參數(shù)。在一個示例中，基于多個閃爍111的位置108和瞳孔110的瞳孔位置109來估計攝像頭101的一個或多個硬件參數(shù)。這可以使用模型和其他預定值來估計。

如前所述，可以聯(lián)合進行攝像頭101的一個或多個硬件參數(shù)的估計和生物參數(shù)的估計，從而優(yōu)化眼動追蹤。這種聯(lián)合估計使得設(shè)備能夠生成定義眼睛10的方位310和位置312的數(shù)據(jù)。即使設(shè)備受到物理變化（例如設(shè)備框架的變形），所述數(shù)據(jù)都可具有高水平的精度。

如圖3所示，如果設(shè)備100的框架彎曲，則光的定向和位置可以相對于傳感器101改變。在這個例子中，設(shè)備的一部分彎曲。在時間T0，框架的右側(cè)在第一位置開始，并且當在時間T1施加力時，框架的右邊在第二位置結(jié)束。

如圖所示，這種類型的變形可以導致光改變它們相對于攝像頭101的位置和方向。如果用表示為103的第一位置的光校準設(shè)備，則表示為103′的第二位置的光可能導致設(shè)備對眼睛位置和眼睛方向具有不準確的估計。

圖3中所示的設(shè)備的物理變化可以以多種不同的方式影響用于估計的模型。例如在圖4中，如果攝像頭或光源相對于彼此移動，如第一光103A的移動所示，則由該光產(chǎn)生并由攝像頭檢測到的閃爍可以移動。

如果設(shè)備依賴于指示光相對于攝像頭的初始位置和方向的數(shù)據(jù)，則對眼睛的位置和/或方向的測量和估計可能不準確。如專利所述，硬件參數(shù)和生物參數(shù)的聯(lián)合估計允許設(shè)備檢測這樣的物理變化，并產(chǎn)生適應所述物理變化的輸出，以產(chǎn)生定義一個或多個生物參數(shù)的更精確的輸出。

在一個配置中，生物參數(shù)和硬件參數(shù)的聯(lián)合估計可以涉及可以利用多幀圖像數(shù)據(jù)的迭代過程。圖5示出了該迭代過程的示例。

在所述示例中，對于每個圖像幀，設(shè)備可以使用眼部特征的位置來生成生物估計數(shù)據(jù)201。生物估計數(shù)據(jù)定義指示眼睛10的方位310和位置312的生物參數(shù)，其中基于多個閃爍111的位置108和瞳孔110的瞳孔位置109來估計眼睛10的方位310和位置312。

定義攝像頭101的一個或多個硬件參數(shù)的硬件估計數(shù)據(jù)202可以與每幀的生物參數(shù)同時確定?？梢曰诙鄠€閃爍111的位置108、瞳孔110的瞳孔位置109或眼睛的任何其他眼部特征來估計攝像頭101的一個或多個硬件參數(shù)。

攝像頭101的一個或多個硬件參數(shù)的聯(lián)合估計與指示眼睛10的方向310和位置312的生物參數(shù)的估計導致對眼睛10的方位310和位置312-的調(diào)整，以適應設(shè)備100的變形或其他物理變化。

攝像頭的一個或多個硬件參數(shù)的聯(lián)合估計與眼睛的方位和位置的估計減少了基于模型的瞳孔和閃爍位置的預測值與基于從圖像數(shù)據(jù)導出的幾何計算瞳孔和閃爍位置測量值之間的差。然后，設(shè)備可以基于預測值和測量值之間的差對眼睛的估計方位和位置進行調(diào)整。

在一個實施例中，系統(tǒng)迭代幀，并基于瞳孔和閃爍位置的模型和測量值來確定瞳孔和閃爍位置的預測值。測量值和預測值之間的差可以隨著每次迭代而被驅(qū)動到較低的值。

當差值小于閾值差值時，系統(tǒng)可以利用預測值和/或測量值來確定最終輸出。其中，最終輸出是對眼睛的位置和/或方位的經(jīng)調(diào)整的估計。通過使用一個或多個測量值作為模型的輸入，可以將差異驅(qū)動到較低水平，并且通過這樣做，模型的測量值和預測值的差異將逐漸減小。

在一個實施例中，設(shè)備可以使用來自描繪眼睛的圖像數(shù)據(jù)的一個或多個幾何測量來確定瞳孔和閃爍位置的測量值。這可以包括眼睛特征之間的距離的測量，例如閃爍之間的距離以及每個閃爍與瞳孔中心之間的距離。

所述距離可以與其他預定值一起使用，例如可以在校準或在此描述的校準過程的先前迭代時測量的攝像頭位置或光位置。測量可以用于確定相對于坐標系的瞳孔和閃爍位置。在一個實施例中，可以在測量數(shù)據(jù)中生成測量數(shù)據(jù)，測量數(shù)據(jù)可以包括距離、位置、若干閃爍的列表，以及描述每個眼睛特征財產(chǎn)的其他數(shù)據(jù)。

設(shè)備同時可以通過使用通過使用一個或多個預定值生成的眼睛模型來確定瞳孔和閃爍位置的預測值。預定值可以包括但不限于工廠測量、定義眼睛的一般形狀的數(shù)據(jù)等。

為了說明的目的，考慮一種場景：基于圖像分析的測量產(chǎn)生的測量值大于預測值的閾值差。這可能發(fā)生在設(shè)備受到力或物理變化時，例如圖3所示的例子。

在示例中，可以使用第一幀（幀/迭代1）來檢測該值的差異。當兩個值之間的差大于閾值差時，系統(tǒng)可以利用其中一個指示攝像頭新位置或方向的測量值，比你高作為在后續(xù)迭代中生成模型的一部分。

因此，在使用來自第二幀（例如，幀/迭代2）的圖像數(shù)據(jù)生成模型時，可以使用示出攝像頭位置或光位置的測量。通過在模型的第二次迭代中使用來自第一次迭代的測量，第二幀的測量值和預測值之間的差將減小。這個過程會導致值的趨同。

所以，設(shè)備可以分析描繪眼睛的圖像數(shù)據(jù)的第二幀，以生成更新的模型（幀2）。其中，更新的模型是使用瞳孔和閃爍位置的預測值，以及瞳孔和閃光位置的測量值（從幀1開始的測量值）生成。

更新的模型定義瞳孔和閃爍位置的更新的預測值，其中更新的值與第二幀相關(guān)聯(lián)。一旦設(shè)備確定更新的預測值和測量值之間的差小于預定閾值，系統(tǒng)就可以使用定義閃爍和瞳孔位置的更新預測值的更新模型來確定定義眼睛的方向和位置的輸出。

因此，可以通過多次迭代來完成對眼睛的方向和位置的調(diào)整。當誤差低于閾值時，定義眼睛的方向和位置的調(diào)整值的最終輸出可以基于預測值和/或測量值。在一個配置中，隨著設(shè)備利用更多的幀，可以提高設(shè)備的精度。

圖6示出了模型如何能夠隨時間變化。在所述示例中，相對于檢測到的瞳孔示出了初始瞳孔的模型。類似地，示出了相對于檢測到的閃爍的初始閃爍。即使設(shè)備發(fā)生物理變化，設(shè)備都可以進行這樣的檢測。

在一個實施例中，硬件參數(shù)可能并不總是用于眼動追蹤過程。具有連續(xù)地利用硬件參數(shù)的過程可以利用大量的計算資源。為了幫助計算資源效率，可以選擇要在眼動追蹤過程中使用的特定硬件參數(shù)。另外，可以通過確定在眼動追蹤過程中使用硬件參數(shù)的時間或間隔來創(chuàng)建改進的效率。

在一個示例中，設(shè)備可以基于滿足一個或多個標準的生物估計來選擇硬件參數(shù)，例如，眼睛方向偏離、模型不夠準確，或者已知硬件參數(shù)（例如，攝像頭傾斜）不正確的任何指示。

在所述方法中，系統(tǒng)可以使用來自描繪眼睛的圖像數(shù)據(jù)的一個或多個幾何測量來確定瞳孔和閃爍位置的測量值。然后，系統(tǒng)可以通過使用生成一個或多個預定值的眼睛模型來確定瞳孔和閃爍位置的預測值。

預定值可以是先前已知的，例如工廠測量、定義眼睛的一般形狀的預定模型等。然后，系統(tǒng)可以確定預測值和測量值滿足一個或多個標準。例如，當測量值和預測值之間的差大于預定閾值時，可以滿足一個或多個標準。響應于確定預測值和測量值滿足一個或多個標準，系統(tǒng)可以選擇攝像頭的一個或更多個硬件參數(shù)，并用于與指示眼睛的方向和位置的生物參數(shù)的聯(lián)合估計。

當沒有選擇硬件參數(shù)時，可以在沒有硬件參數(shù)的情況下使用生物參數(shù)來執(zhí)行所述過程。

在一個實施例中，系統(tǒng)可以響應于滿足一個或多個標準的外部測量來選擇要在聯(lián)合估計過程中使用的硬件參數(shù)。例如，系統(tǒng)可以使用其他傳感器來檢測溫度變化，使用加速度計來檢測閾值移動，使用其他傳感器檢測設(shè)備100的框架何時彎曲。

在這樣的實施例中，系統(tǒng)可以確定傳感器數(shù)據(jù)指示設(shè)備的加速度、設(shè)備的溫度或施加在設(shè)備上的力中的至少一個滿足一個或多個閾值。響應于確定，系統(tǒng)可以選擇設(shè)備的一個或更多個硬件參數(shù)，以用于指示眼睛的方向和位置的生物參數(shù)的聯(lián)合估計。

在一個實施例中，可以基于設(shè)備類型來選擇一個或多個硬件參數(shù)，例如，經(jīng)歷大于閾值加速度的塑料框架設(shè)備可以選擇要在聯(lián)合估計過程中使用的攝像頭的位置、攝像頭的方位或攝像頭的傾斜。在這樣的實施例中，可以使用圖像數(shù)據(jù)來測量可以包括一組硬件參數(shù)的所選硬件參數(shù)。

除了選擇硬件參數(shù)之外，系統(tǒng)同時可以確定使用所選擇的硬件參數(shù)的定時。使用所選硬件參數(shù)的定時可以包括使用間隔或特定時間。在間隔的情況下，系統(tǒng)可以識別時間間隔，例如秒、分鐘或小時，其中眼動追蹤過程的迭代可以利用硬件參數(shù)。

例如，系統(tǒng)可以僅使用生物參數(shù)在預定時間內(nèi)追蹤用戶眼睛的位置。一旦系統(tǒng)確定特定間隔已經(jīng)過去，系統(tǒng)就可以在聯(lián)合估計過程中使用硬件參數(shù)。

在另一個示例中，系統(tǒng)可以檢測特定事件，例如加速度的閾值水平或極端溫度變化，例如超過閾值的溫度速率變化。在這樣的事件或其他事件中，系統(tǒng)可以決定利用選擇的一組硬件參數(shù)和聯(lián)合估計過程的一次或多次迭代。

在又一示例中，系統(tǒng)可以基于檢測到的錯誤水平來確定何時使用硬件參數(shù)。在這樣的示例中，系統(tǒng)可以使用來自描繪眼睛的圖像數(shù)據(jù)的一個或多個幾何測量來確定瞳孔和閃爍位置的測量值。

系統(tǒng)同時可以通過使用由一個或多個預定值生成的眼睛模型來確定瞳孔和閃爍位置的預測值。響應于確定預測值和測量值滿足一個或多個標準，例如差值大于預定閾值，系統(tǒng)可以確定時間或間隔，以啟動對攝像頭、設(shè)備、，和/或設(shè)備的其他組件。

這可以使系統(tǒng)在需要時調(diào)整眼睛的方向和位置，而不是在連續(xù)的基礎(chǔ)上使用硬件參數(shù)來運行聯(lián)合估計過程。

在另一個示例中，系統(tǒng)可以確定何時在聯(lián)合估計過程中使用硬件參數(shù)。所述確定可以基于外部傳感器，例如溫度變化和物體彎曲等。在這樣的示例中，系統(tǒng)可以確定傳感器數(shù)據(jù)指示設(shè)備的加速度或設(shè)備的溫度滿足一個或多個閾值。響應于確定，系統(tǒng)可以確定啟動攝像頭的一個或多個硬件參數(shù)的聯(lián)合估計，與指示眼睛的方向和位置的生物參數(shù)的估計的時間或間隔，以引起對最終輸出的調(diào)整。

圖7描述了用于使用硬件參數(shù)和生物參數(shù)的聯(lián)合估計來追蹤用戶眼睛的例程400。

在操作401中，設(shè)備使用從多個光源103指向眼睛10的紅外光102照射人的眼睛。光源可以是可選的，這取決于測量中使用的眼部特征。每一次測量和估計都可以基于任何眼部特征，而不僅僅是閃爍和瞳孔。

在操作403，設(shè)備可以接收描繪閃爍和瞳孔和/或其他眼部特征的圖像數(shù)據(jù)。使用圖像數(shù)據(jù)，系統(tǒng)可以基于檢測到的來自眼睛10的紅外光102的反射來識別多個閃爍111。

在操作405，系統(tǒng)然后可以確定眼睛10的瞳孔110的瞳孔位置109，其中多個閃爍111的位置和瞳孔位置109是通過對攝像頭101生成的圖像數(shù)據(jù)的分析來確定。

在執(zhí)行聯(lián)合估計過程時，可以更新光源和攝像頭的預定位置和方向。例如，在確定了上述測量位置與預測位置的小于閾值的差異之后，系統(tǒng)可以使用眼睛形狀或硬件位置的任何預測或測量值作為聯(lián)合估計過程的未來迭代的預定值，而聯(lián)合估計過程可以生成攝像頭和/或眼睛的模型。

在操作407，設(shè)備聯(lián)合生成生物估計數(shù)據(jù)201和硬件估計數(shù)據(jù)202。生物估計數(shù)據(jù)201可以包括用戶眼睛的位置和方向，硬件參數(shù)可以屬于設(shè)備的任何參數(shù)。

在一個實施例中，基于多個閃爍111的位置108和瞳孔110的瞳孔位置109來估計攝像頭101的一個或多個硬件參數(shù)。對于攝像頭101的一個或多個硬件參數(shù)的聯(lián)合估計與指示眼睛10的方向310和位置312的生物參數(shù)的估計，這將致使對眼睛10的方位310和位置312-的調(diào)整，以適應設(shè)備100的變形或其他物理變化。

相關(guān)專利：Microsoft Patent | Enhanced eye tracking systems utilizing joint biological and hardware estimations

名為“Enhanced eye tracking systems utilizing joint biological and hardware estimations”的微軟專利申請最初在2021年10月提交，并在日前由美國專利商標局公布。

---
原文鏈接：https://news.nweon.com/108121