?做眼動(dòng)追蹤，

?他們是認(rèn)真的！

文 | 青崖白鹿

（VRPinea2023年6月2日訊）現(xiàn)如今，衡量一款VR頭顯的顯示效果是否清晰，最簡(jiǎn)單直接的指標(biāo)就是屏幕分辨率，以及PPD（角分辨率）這一重要參數(shù)。人類的視網(wǎng)膜中央PPD是60，當(dāng)眼球保持不動(dòng)，核心視場(chǎng)角大致為水平120°、垂直70°。通過計(jì)算，可以得出人眼視野范圍的像素極限是1億1600萬(wàn)像素，轉(zhuǎn)化為屏幕分辨率就是24K。

（（人眼視野范圍示意圖）

?

不過，以目前的科技水平，連16K都尚在實(shí)驗(yàn)室中，更遑論24K。但如果加上注視點(diǎn)渲染功能，將眼球注視區(qū)域的分辨率大幅度提高，就能夠?qū)崿F(xiàn)注視點(diǎn)20°范圍內(nèi)圖像分辨率的大幅度提升。如此，在不久的未來，核心區(qū)域24K的分辨率，還是有機(jī)會(huì)得以實(shí)現(xiàn)的。

（注視點(diǎn)渲染效果圖）

?

上述提到的注視點(diǎn)渲染功能，正是眼球追蹤技術(shù)的應(yīng)用方向之一。本期XR長(zhǎng)談的主角，七鑫易維，就是國(guó)內(nèi)唯一一家，并且是全球TOP 2級(jí)別的眼球追蹤專業(yè)解決方案商。

?

本期XR長(zhǎng)談嘉賓：

?

路偉成：七鑫易維副總裁，負(fù)責(zé)XR眼球追蹤相關(guān)的產(chǎn)品，以及市場(chǎng)推廣方面的業(yè)務(wù)。

?

黃文凱：七鑫易維XR產(chǎn)品內(nèi)容生態(tài)負(fù)責(zé)人

?

（編者按：本期XR長(zhǎng)談嘉賓有兩位，因此，正文部分的回答內(nèi)容，會(huì)綜合兩位嘉賓的觀點(diǎn)，并作簡(jiǎn)要整理。）

（左：老繆 ?中：路偉成 ?右：黃文凱）

?

七鑫易維的發(fā)展路徑

Q：七鑫易維早期是從事醫(yī)療輔助器械研發(fā)的，最早是誰(shuí)想到，把七鑫易維的眼球追蹤技術(shù)引入到VR/AR的硬件當(dāng)中的呢？

?

A：我們公司2009年成立，當(dāng)時(shí)市場(chǎng)上還很少有VR/AR相關(guān)的產(chǎn)品和技術(shù)。那個(gè)時(shí)候，我們主要是給漸凍癥患者提供溝通輔具，就是用眼睛和電腦進(jìn)行交互，類似于霍金使用的那套設(shè)備。到了2014年，VR的概念忽然就火起來了。

?

我們其實(shí)一直就知道，眼球追蹤技術(shù)可以用在VR上，之前因?yàn)檫@類產(chǎn)品比較少，我們就在醫(yī)療上先做了。2014年火了之后，我們就跟國(guó)內(nèi)的VR/AR企業(yè)，開始進(jìn)行了很密切的溝通合作。我們最早是自己先在Oculus上做了一個(gè)內(nèi)部研發(fā)的改裝版本，真正的產(chǎn)品則是跟HTC合作的一個(gè)配件式產(chǎn)品，在2016年，那個(gè)時(shí)候，真正量產(chǎn)推向市場(chǎng)，我們是全球第一個(gè)做出來的。

（眼球追蹤溝通輔具概念圖）

?

Q：目前市場(chǎng)上能夠看到的，有Quest Pro、PS VR2這些已經(jīng)標(biāo)配了眼球追蹤方案的VR/AR硬件設(shè)備。那之后國(guó)產(chǎn)廠商會(huì)有這方面的計(jì)劃，去搭載七鑫易維的產(chǎn)品作為標(biāo)配推出嗎？

?

A：我之前梳理了一下，在2022年，我們正式簽署合同的VR/AR硬件廠商有9家。其中有一些可能還處于前期的預(yù)研階段，沒有量產(chǎn)；但是也有一部分是已經(jīng)計(jì)劃量產(chǎn)了的。在這些量產(chǎn)的廠商里，最終產(chǎn)品基本上都是要標(biāo)準(zhǔn)配置我們的這個(gè)眼球追蹤方案。

?

因?yàn)楸Ｃ艿囊恍┰虿缓锰峒皬S商名字，但是可以大概說一下情況。我們和國(guó)內(nèi)廠商合作居多，但也有一家是通過國(guó)內(nèi)廠商，然后與國(guó)外的一個(gè)大廠去合作的。國(guó)內(nèi)方面，也有一個(gè)大廠，他們一直在做這個(gè)眼球追蹤的VR產(chǎn)品。那還有就是一些國(guó)內(nèi)做了很多年的中腰部的VR企業(yè)也是跟我們?cè)诤献?，做這個(gè)眼球追蹤產(chǎn)品的標(biāo)配。

?

要說區(qū)域的話，國(guó)內(nèi)基本上就集中在北京、上海和深圳這三個(gè)地方。正好是北京有一家合作得比較好的，然后上海有一家正在做集成的，深圳也有一家，正好是在每個(gè)城市都有一家合作得比較深入的。

（七鑫易維眼球追蹤模塊效果圖）

?

Q：在全球范圍內(nèi)，所有眼球追蹤領(lǐng)域的科技公司中，七鑫易維的技術(shù)水準(zhǔn)到底在什么樣的一個(gè)位置。之后能不能走出國(guó)門，邁向世界，成為國(guó)產(chǎn)之光？

?

A：首先在國(guó)內(nèi)肯定是排頭兵，第一名。那在全球來講，其實(shí)我們也算是TOP 2，真正對(duì)標(biāo)的競(jìng)爭(zhēng)對(duì)手只有一家公司，就是瑞典的Tobii。其他的一些做眼球追蹤的初創(chuàng)公司，跟我們兩家公司來比，還是有一些差距的。

?

我們目前的各項(xiàng)技術(shù)指標(biāo)、各項(xiàng)性能，包括我們?cè)谑袌?chǎng)推廣方面，其實(shí)已經(jīng)跟Tobii算是基本持平的了。當(dāng)然Tobii主要是歐美的一些市場(chǎng)，它在海外是比較占據(jù)主流的，國(guó)內(nèi)的話，還是我們七鑫易維的技術(shù)占主流，國(guó)內(nèi)基本上百分之八九十的VR/AR企業(yè)合作都是跟我們。

?

我們也有在布局走向全球市場(chǎng)，前面也有提過，我們現(xiàn)在已經(jīng)跟海外的一個(gè)行業(yè)大廠達(dá)成了合作。是一款A(yù)R眼鏡搭配眼球追蹤方案的合作，所以我們有望通過這個(gè)案例，把我們的技術(shù)推廣到全球。

（七鑫易維宣傳圖）

?

Q：其實(shí)作為一個(gè)XR設(shè)備的配件，眼球追蹤更多是面向B端的業(yè)務(wù)，而不是C端。而B端的業(yè)務(wù)往往天花板不是特別高，那未來除了醫(yī)療、XR以外，還會(huì)有哪些行業(yè)會(huì)用到眼球追蹤呢？

?

A：其實(shí)眼球追蹤應(yīng)用領(lǐng)域挺多的，除了醫(yī)療、XR之外，在車載上面的應(yīng)用可能會(huì)比較廣泛。因?yàn)橄衿噦鹘y(tǒng)的也有這個(gè)叫DMS（Driver Monitor System，駕駛員監(jiān)控系統(tǒng)）的疲勞監(jiān)測(cè)方案。但它只是用一些簡(jiǎn)單的基于CV視覺的手段去檢測(cè)駕駛員的面部，眼睛閉眼之類的情況，對(duì)于更早期的一些疲勞以及注意力分散的檢測(cè)是不精準(zhǔn)的。

?

加上眼球追蹤之后，就可以非常精準(zhǔn)、比較早期地發(fā)現(xiàn)駕駛員的疲勞問題，以及注意力的渙散問題，從而更好地提升駕駛安全性。尤其是在像兩客一危這種，涉及公共安全的駕駛場(chǎng)景下，這個(gè)就幾乎可以說，成為剛需的一個(gè)東西，所以我是很看好眼球追蹤在未來駕駛領(lǐng)域的應(yīng)用。

?

除了在安全上的應(yīng)用之外，汽車智能駕艙的娛樂交互也是一個(gè)方向。現(xiàn)在的汽車基本都配置了娛樂系統(tǒng)，不管是在后座、在副駕，甚至于包括主駕駛位，將來的HUD（Head Up Display，抬頭顯示）其實(shí)會(huì)有很多的交互場(chǎng)景。

?

在車上的交互，不像是拿一個(gè)手機(jī)，直接觸碰就可以了，或者說有電腦可以鍵鼠操作。它的屏幕往往都是掛在比較遠(yuǎn)的位置，一般也不能摸得到，像這種情況下，往往就是會(huì)用眼球追蹤做一些輔助，起一個(gè)指向的作用，再結(jié)合語(yǔ)音、手勢(shì)，去做一些交互的功能，這也是在車載里面的一種應(yīng)用。

?

還有就是在手機(jī)領(lǐng)域，像蘋果手機(jī)，其實(shí)它是帶有這個(gè)眼球追蹤功能的。但是它前期主要沒有用在交互上，而是用在安全性方面，作為Face?ID的輔助驗(yàn)證機(jī)制。從iPhone X開始，只有用戶的眼睛看著手機(jī)屏幕的時(shí)候，才會(huì)真正啟動(dòng)面部識(shí)別，否則即使別人拿著手機(jī)在機(jī)主的臉前晃，也不會(huì)解鎖，同時(shí)其實(shí)還能起到一定省電的作用。

?

現(xiàn)在國(guó)內(nèi)的很多手機(jī)廠商，跟我們也有比較密切的聯(lián)系，就是希望把眼球追蹤的性能加到手機(jī)上面去。其實(shí)現(xiàn)在已經(jīng)有一些國(guó)內(nèi)手機(jī)，推出帶眼球追蹤的機(jī)型了，比如榮耀Magic 5。所以下一代的國(guó)產(chǎn)手機(jī)會(huì)更多地去增加眼球追蹤的功能，但具體時(shí)間點(diǎn)還不好預(yù)測(cè)。

（眼球跟蹤應(yīng)用示例）

?

VR/AR硬件上的眼球追蹤

Q：現(xiàn)階段的VR/AR硬件，是通過眼球追蹤來補(bǔ)足它的短板，還是說能夠大幅度增加它的長(zhǎng)板。

?

A：我覺得這個(gè)是相輔相成的，第一個(gè)是天生優(yōu)勢(shì)，因?yàn)閂R作為載體而言，天生就適合搭載眼球追蹤模塊，而不是說，非得在其他的環(huán)節(jié)，比如說平板上加這么一個(gè)東西。VR在佩戴的時(shí)候，鏡筒邊緣就天生適合安裝這個(gè)東西。

?

第二，它加了這個(gè)東西以后，無論在交互，還是在硬件的畫質(zhì)提升，包括性能的一個(gè)提升上，的確會(huì)起到很大的作用。所以說這個(gè)今后肯定是一個(gè)趨勢(shì)，各家也都會(huì)裝，就像之前大哥大沒有攝像頭，但現(xiàn)在的智能手機(jī)都有攝像頭一樣，會(huì)成為一個(gè)標(biāo)配。

?

因?yàn)閷?duì)于VR來講，當(dāng)其他的一些基礎(chǔ)問題解決了之后，如顯示、重量、體積、6Dof追蹤等問題達(dá)到一定水準(zhǔn)之后。就會(huì)發(fā)現(xiàn)面臨著一個(gè)很大的問題，如果以我們目前VR的這個(gè)算力去運(yùn)行一些比較好的3A游戲大作，算力是捉襟見肘的，那要解決這個(gè)問題，注視點(diǎn)渲染是一個(gè)剛需。這一點(diǎn)幾乎是沒有辦法去規(guī)避的，因?yàn)槠聊坏那逦染湍敲锤?，短時(shí)間沒法提升，只有通過注視點(diǎn)渲染去提升。

（七鑫易維宣傳圖）

?

Q：其實(shí)我一直有個(gè)疑問，無論是哪個(gè)VR/AR硬件廠商的眼球追蹤版本，加價(jià)/溢價(jià)的程度都是很高的，好像要貴個(gè)兩三千塊錢。

?

A：其實(shí)價(jià)格問題也是產(chǎn)品發(fā)展的過程中都會(huì)遇到的一個(gè)問題，因?yàn)橹把矍蜃粉櫾赩R里的滲透率還是比較低的。那就意味著給VR配套的眼球追蹤模塊數(shù)量還比較少，數(shù)量比較少的話，價(jià)格相對(duì)來講就好像貴很多。

?

但隨著往后這個(gè)滲透率提高，比方說提高到百分之七八十、百分之八九十，甚至達(dá)到百分百。那個(gè)時(shí)候，眼球追蹤配套的數(shù)量大幅度提升了，整體的價(jià)格成本就會(huì)降低很多。也就是說，當(dāng)未來提升到很高的滲透率之后，帶眼球追蹤版本和不帶的，可能就會(huì)相差一兩百塊錢，所以，這個(gè)價(jià)格問題在未來不會(huì)是什么大問題。

?

Q：其實(shí)很多XR的用戶或者資深玩家，都會(huì)覺得說眼球追蹤就只有眼部捕捉這一個(gè)概念，但其實(shí)眼球追蹤是有很多方向的，可以簡(jiǎn)單介紹一下嗎？

?

A：現(xiàn)在可能說PS?VR2出來之后，大家都知道了眼球追蹤還有注視點(diǎn)渲染的功能。這是在近未來的這段時(shí)間內(nèi)，硬件領(lǐng)域方面，面向市場(chǎng)可以做直接應(yīng)用級(jí)別的一個(gè)功能，其次就是IPD的調(diào)節(jié)?，F(xiàn)在有些硬件廠商帶眼球追蹤的設(shè)備，它是能夠自動(dòng)地去調(diào)節(jié)這個(gè)IPD的，通過自動(dòng)馬達(dá)實(shí)現(xiàn)。

?

軟件方面近期應(yīng)用比較多的，可能是表情追蹤，面向VR社交類的應(yīng)用，會(huì)是一個(gè)將來必不可少的應(yīng)用場(chǎng)景。因?yàn)锳vatar如果說只有身體其他部分的追蹤，但是面部表情沒有眼睛的動(dòng)作，就會(huì)顯得很假。

（眼球追蹤技術(shù)的七大應(yīng)用方向）

?

眼球追蹤技術(shù)的發(fā)展路徑

Q：其實(shí)現(xiàn)在的研究中，絕大多數(shù)的眼球追蹤方案，是以紅外輔助CV視覺為主，那未來的一個(gè)技術(shù)升級(jí)路徑會(huì)是什么樣的情況呢？

?

A：短期來看，是這個(gè)角膜反射法，就是由LED開膜這種方案去做。這個(gè)方案會(huì)有一些小的進(jìn)展，比方說我們正在做的，就是繼續(xù)優(yōu)化那種LED燈比較少，甚至只有一個(gè)LED燈的方案。相對(duì)來講，這種方案的準(zhǔn)確度和原來的帶燈方案比會(huì)稍微差一些。但其實(shí)在很多場(chǎng)景下，VR/AR設(shè)備更注重的是功耗、外觀、結(jié)構(gòu)這些，所以我們就在不斷地優(yōu)化這種只有單燈的方案，這個(gè)方案對(duì)這個(gè)外觀來講會(huì)是一個(gè)比較好的優(yōu)化，而且功耗也比較低。

?

除開我們現(xiàn)有路線的一些推進(jìn)優(yōu)化之外，我們也在布局一些新的技術(shù)路線，比方說基于DVS（event-based camera，事件相機(jī)）等技術(shù)的新方案。但這些技術(shù)路線比較新，目前它的成熟度或者量產(chǎn)的可用性還稍微低一些，所以是需要一段時(shí)間，我覺得怎么也得兩三年的時(shí)間才能把它做得比較成熟，實(shí)現(xiàn)真正的量產(chǎn)。這些技術(shù)，我們現(xiàn)在都在積極地往前推進(jìn)，也在做上下游的溝通。

?

Q：其實(shí)從底層技術(shù)的邏輯來分析，眼球追蹤是一個(gè)圖像識(shí)別的算法。那無論是基于攝像頭也好，或者說紅外也好，這一塊的技術(shù)壁壘高嗎？

?

A：我覺得更多還是沉淀吧，因?yàn)檠矍蜃粉櫲绻麅H僅從這個(gè)基本原理上看，好像不是很復(fù)雜。但是它的難點(diǎn)在于人眼的生理差異性比較大，就是不同的人種，甚至是同一個(gè)人種，同一個(gè)年齡段的不同的人，他眼睛都會(huì)有很大的差異。

?

還有包括可能眼睛會(huì)出現(xiàn)各種各樣的問題，近視的、遠(yuǎn)視的、散光的，或者是有人愛化妝，眼睫毛畫得很長(zhǎng)，包括戴隱形眼鏡等等，實(shí)際情況是非常多的。你只是說我研發(fā)出來一個(gè)基礎(chǔ)算法，能夠有一小部分人很準(zhǔn)，這個(gè)是不難的。難的是你要把這個(gè)產(chǎn)品推向市場(chǎng)，那一定要絕大多數(shù)人都是好用的，只要有一部分人不好用，這個(gè)技術(shù)可能就很難推廣開。

?

這就意味著，面對(duì)不同人的，不同眼睛的所有情況都能夠適配，這個(gè)需要長(zhǎng)時(shí)間的積累。像七鑫易維積累了十幾年，各種各樣的眼睛，包括不同人種的、不同年齡的、不同性別的各種眼睛，都進(jìn)行了數(shù)據(jù)的采集和分析，才能讓這個(gè)算法一步一步地成熟起來。

?

其他的廠商因?yàn)檫M(jìn)來得晚，遇到一種新的沒有遇到過的情況，會(huì)發(fā)現(xiàn)這種情況他用戶就不好用了。所以這個(gè)沒有辦法說，通過突擊的方式去把技術(shù)完善，這需要不斷地積淀，這是一方面。

?

另外一個(gè)方面就是專利的積累，我們公司目前已經(jīng)有500多項(xiàng)專利（全球?qū)＠暾?qǐng)總量），其中超過2/3都是發(fā)明專利，這個(gè)專利數(shù)量也是TOP級(jí)的，基本上也算全球領(lǐng)先。其他一些小公司專利的數(shù)量遠(yuǎn)遠(yuǎn)不及我們，這也形成了一個(gè)很高的知識(shí)產(chǎn)權(quán)的門檻。

?

這兩個(gè)門檻是很高的，其次就是說還涉及一些個(gè)人隱私安全的問題。因?yàn)闀?huì)有一個(gè)大量的人的生物數(shù)據(jù)采集，那就涉及了國(guó)家安全?？赡苓@點(diǎn)來說，我們?cè)谥袊?guó)是非常有優(yōu)勢(shì)的，因?yàn)橹袊?guó)涉及數(shù)據(jù)安全的問題，這些數(shù)據(jù)是不能拿給外國(guó)公司的，所以我們?cè)趪?guó)內(nèi)來講，也是有一些優(yōu)勢(shì)的。

（眼球追蹤技術(shù)原理示意圖）

?

Q：兩位覺得說，像眼球追蹤真正能夠得到普及，除了因?yàn)樽⒁朁c(diǎn)渲染能夠大幅度提高分辨率以外，還會(huì)有某一個(gè)標(biāo)志性的應(yīng)用點(diǎn)嗎？

?

A：我覺得除了注視點(diǎn)渲染，就是可能在未來很短的時(shí)間內(nèi)，成為一種推動(dòng)眼球追蹤滲透率最高的一個(gè)場(chǎng)景就是虹膜識(shí)別或者說身份識(shí)別。因?yàn)檫@個(gè)一旦在VR/AR流行了，就涉及大量的購(gòu)買行為，會(huì)產(chǎn)生支付需求。這個(gè)時(shí)候就會(huì)發(fā)現(xiàn)，傳統(tǒng)的手段都不是很方便。但虹膜識(shí)別是非常高效快捷，并且高安全性的一個(gè)選擇。

?

其實(shí)虹膜識(shí)別，比這個(gè)人臉識(shí)別、指紋識(shí)別的安全性都要高一個(gè)量級(jí)。它在傳統(tǒng)的智能手機(jī)用得不多，是因?yàn)槭謾C(jī)有一個(gè)對(duì)準(zhǔn)的問題，不好對(duì)準(zhǔn)的話，效率就比較低。但VR/AR沒有這個(gè)問題，設(shè)備一戴上自然就對(duì)準(zhǔn)了，效率會(huì)很高，所以未來這個(gè)點(diǎn)會(huì)是一個(gè)剛需。

?

還有就是有一些可能沒那么剛，但是也比較剛的需求。比方說這個(gè)IPD的調(diào)節(jié)，比方說表情的追蹤，這些就是它的應(yīng)用場(chǎng)景是比較廣泛的，即使不是百分之百也是非常廣泛的。這幾個(gè)點(diǎn)我覺得需求甚至?xí)冉换ジ鼜?qiáng)烈。因?yàn)榻换ナ谴蠹冶容^容易意識(shí)到的，但實(shí)際上它的需求，可能并沒有那么強(qiáng)烈。

?

Q：那眼球追蹤基于CV視覺做虹膜支付，會(huì)不會(huì)存在安全性的隱患呢？

?

A：我覺得安全問題不用太擔(dān)心。首先，在VR/AR的系統(tǒng)、芯片這些層級(jí)上，就會(huì)去考慮安全性的問題，比方說高通Trustzone芯片之類。也就是說，采集到的用戶的眼圖數(shù)據(jù)，它會(huì)自動(dòng)放在安全區(qū)域里，不會(huì)有被其他人盜取或者拿到的風(fēng)險(xiǎn)。

?

另外，我們自己拿眼球追蹤做虹膜識(shí)別之后的這些數(shù)據(jù)，肯定也是要遵循相關(guān)的各種安全規(guī)定。在沒有經(jīng)過用戶允許的情況下，這些信息是都不會(huì)泄露的，會(huì)比較安全。其實(shí)這個(gè)跟Face ID很像，更多的都是HMD的大廠或者是芯片廠去控制的，對(duì)于我們來說，只是給他一個(gè)判定的結(jié)果。

?

就像無論是Face ID還是Touch ID，它總體的數(shù)據(jù)庫(kù)還是在蘋果那邊去管理，其實(shí)支付平臺(tái)取到的只是一個(gè)結(jié)果，并沒有中間的過程。這樣能很好地規(guī)避一些安全性的問題，包括還有隱私性的一些問題。

（眼球追蹤渲染圖）

?

結(jié)語(yǔ)

近兩年的時(shí)間，眼球追蹤技術(shù)的發(fā)展態(tài)勢(shì)一片向好，不僅是在可預(yù)見的未來里將成為消費(fèi)級(jí)VR/AR產(chǎn)品的標(biāo)配，而且還在諸多領(lǐng)域遍地開花。

?

對(duì)于位列眼球追蹤領(lǐng)域，全球TOP 2級(jí)別解決方案商的七鑫易維來說，多年的辛勤播種，終于等到了享受豐收喜悅的時(shí)候。就像七鑫易維的兩位高管在采訪中所說的那樣，早年持續(xù)的研發(fā)投入與專利積累，為他們建立了寬廣的技術(shù)護(hù)城河。得益于此，相信七鑫易維能在未來的發(fā)展中，走得更快、走得更好。

本期XR長(zhǎng)談的更多細(xì)節(jié)，請(qǐng)見下方視頻：

本文屬VRPinea原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)洽：brand@vrpinea.com