在Connect 2022上，Meta發(fā)布了Quest Pro，并首次在VR中引入動態(tài)注視點(diǎn)渲染（ETFR）功能，這是一種新型圖形優(yōu)化技術(shù)，特點(diǎn)是以用戶注視點(diǎn)為中心，動態(tài)調(diào)節(jié)VR屏幕的清晰度（注視點(diǎn)中心最清晰、像素密度高，周圍邊緣清晰度低，像素密度低），好處是在節(jié)省GPU運(yùn)算量的同時，也保持了足夠清晰的VR觀感。

自ETFR功能推出后，陸續(xù)有多款VR游戲支持該功能，比如《Vertical Robot》、《Red Matter 2》等等。據(jù)悉，《Red Matter 2》由Vertical Robot開發(fā)，該作登陸Quest Pro后，像素密度比之前提升了33%（等同于視覺中心的像素?cái)?shù)量增加了77%），文字清晰度、光影和色彩表現(xiàn)足夠優(yōu)秀，突破了Quest頭顯的圖形極限。

Vertical Robot指出：在《Red Matter 2》中激活ETFR功能很簡單，隨后只需要考慮如何提升VR游戲的像素密度，以及測試效果。結(jié)果發(fā)現(xiàn)，該作在Quest Pro上畫質(zhì)非常清晰，真正提升了游戲體驗(yàn)。

什么是ETFR

我們知道，Quest頭顯支持固定注視點(diǎn)渲染（FFR），雖然也是在視覺中心渲染高分辨率，在周邊渲染低分辨率畫面，但視覺中心的位置基于你轉(zhuǎn)頭的方向，而不會跟隨注視點(diǎn)移動而實(shí)時變化。

相比之下，ETFR基于實(shí)時眼球追蹤技術(shù)，清晰區(qū)域跟隨眼球運(yùn)動，因此可以進(jìn)一步縮小高分辨率區(qū)域，比FFR節(jié)省更多GPU算力。

開啟Offset

ETFR是怎么實(shí)現(xiàn)對VR畫面動態(tài)渲染的呢？原來，Meta為Unity和Unreal引擎開發(fā)了專門的Vulkan擴(kuò)展插件：Tile Offset（分塊補(bǔ)償），該插件可指定像素補(bǔ)償值，并設(shè)定注視點(diǎn)貼圖（也就是視覺中心和余光區(qū)域的比例），這個注視點(diǎn)貼圖支持重復(fù)使用、平滑運(yùn)動，可以根據(jù)注視點(diǎn)變化，進(jìn)一步調(diào)整圖像清晰度。Tile Offset還有一個好處，就是避免了圖像分辨率每次更新時可能產(chǎn)生的閃爍問題。

關(guān)閉Offset

OpenXR API

Meta指出，Quest正在全面支持OpenXR API，因此ETFR功能也僅支持OpenXR標(biāo)準(zhǔn)。因此UE4開發(fā)者需要在引擎中選擇OpenXR OVRPlugin插件，才能接入ETFR API（由FFR所使用的框架XR_FB_foveation擴(kuò)展而來，現(xiàn)在是一個基于OpenXR的API）。

ETFR API的特點(diǎn)是，可在Unity、Unreal的Quest集成工具（v49版開始）后臺調(diào)用API，開發(fā)者無需處理細(xì)節(jié)。不管是原生VR游戲，還是移植VR游戲，都可以在游戲引擎中開啟ETFR功能。

優(yōu)化延遲

不管是眼球追蹤還是注視點(diǎn)渲染，這些過程都具有一定延遲，分別在多個步驟中產(chǎn)生，比如攝像頭讀取、眼球追蹤、渲染線程、GPU渲染、顯示等過程。

Meta為了降低ETFR渲染管道的延遲（從注視點(diǎn)運(yùn)動到顯示屏響應(yīng)的時間），將相機(jī)傳感器和處理器的刷新率設(shè)置為和顯示屏相同，并且和渲染管道完全同步，此外，還抵消了眼球追蹤相機(jī)的數(shù)據(jù)捕捉時間，從而縮短從捕捉到眼球信息到輸出注視點(diǎn)貼圖的時間。

經(jīng)過測試，在UE4應(yīng)用中運(yùn)行ETFR的端到端延遲大約在46到57毫秒之間，具體數(shù)據(jù)根據(jù)當(dāng)前的渲染負(fù)載變化。值得注意的是，ETFR還支持預(yù)測眼球運(yùn)動，Meta測試了多種眼球運(yùn)動，均獲得不錯的視覺體驗(yàn)。

有哪些局限？

盡管ETFR可以有效提升VR圖像質(zhì)量，但不一定適合所有類型的內(nèi)容。Meta指出，如果VR應(yīng)用使用大量復(fù)雜的材質(zhì)，或是渲染分辨率很高，那么使用ETFR的效果會很好，可以將給定渲染通道的片段著色次數(shù)減少（此類應(yīng)用通常受到像素限制）。然而，如果VR應(yīng)用受到頂點(diǎn)限制（vertex），那么ETFR的作用不大。

此外，ETFR目前僅應(yīng)用于眼睛緩沖區(qū)（主層），如果使用額外的合成器層，那么ETFR也無法優(yōu)化渲染、合成這些涂層的GPU成本。也就是說，它只能改善眼睛緩沖區(qū)的渲染成本。

Meta建議，開發(fā)者應(yīng)該根據(jù)VR應(yīng)用類型去使用ETFR，并確保測試效果穩(wěn)定。ETFR也存在和FFR一樣的缺點(diǎn)，比如低像素密度的外圍區(qū)域可能產(chǎn)生閃爍，尤其是在渲染高對比度、復(fù)雜的結(jié)合形狀時，因此開發(fā)者需要盡可能擴(kuò)大中心清晰區(qū)域的范圍，更好的平衡性能和視覺質(zhì)量。

進(jìn)一步優(yōu)化GPU

注視點(diǎn)渲染功能節(jié)省了部分GPU算力，這些算力可進(jìn)一步提升中心區(qū)域的清晰度。Meta宣稱，這樣可以將渲染分辨率提升至1872x2048（像素?cái)?shù)量提升至111%），而中心視覺區(qū)域的PPD可達(dá)15.5，整體效果要比FFR更好。

不過，ETFR能節(jié)省多少GPU算力還取決于應(yīng)用內(nèi)容，因此需要開發(fā)者經(jīng)過測試來驗(yàn)證最佳參數(shù)組合，確保余光區(qū)域沒有明顯視覺偽影。

總之，ETFR的主要用途是減少VR渲染所需的像素?cái)?shù)量，并盡可能平衡性能和視覺質(zhì)量，提升中心視覺的PPD，以及優(yōu)化圖形復(fù)雜性、分辨率、MSAA（多重采樣抗鋸齒）等級、注視點(diǎn)區(qū)域范圍等方面。該功能可作為FFR等圖形/性能優(yōu)化工具的一個補(bǔ)充，根據(jù)VR應(yīng)用的類型和需求來選擇是否開啟。此外，也可以在游戲主菜單、游戲場景分別獨(dú)立開啟/關(guān)閉ETFR。

參考：Meta