查看引用/信息源請點(diǎn)擊：映維網(wǎng)Nweon

將感知科學(xué)更多地納入AR和VR系統(tǒng)的設(shè)計和工程

（映維網(wǎng)Nweon?2022年11月02日）諸如微軟HoloLens?2等AR頭顯正在不斷發(fā)展優(yōu)化，而構(gòu)建這樣的系統(tǒng)需要解決一系列獨(dú)特的工程挑戰(zhàn)。AR之于VR的一個重要區(qū)別是，它渲染的虛擬內(nèi)容仿佛鎖定在現(xiàn)實(shí)世界之中，亦即所謂的世界鎖定World Lock（WL）。

然而，用于實(shí)現(xiàn)WL算法的系統(tǒng)架構(gòu)可能會出現(xiàn)估計錯誤。例如，渲染和顯示每個幀所需的時間要求算法根據(jù)先前估計的姿勢實(shí)時預(yù)測用戶的六自由度頭部姿勢。這種延遲可能相對較大，并且在位置快速變化時尤其是一個問題。盡管研究人員嘗試通過預(yù)測算法來進(jìn)行補(bǔ)償，但用戶的移動是存在噪點(diǎn)的并且屬于非線性，從而導(dǎo)致了實(shí)際上不可避免的空間渲染問題，比如說抖動。

對于不同預(yù)測算法產(chǎn)生的抖動，Meta認(rèn)為在量化抖動如何影響整體用戶體驗(yàn)之前，明確視覺系統(tǒng)對抖動的基本敏感性至關(guān)重要。換言之，如果不清楚用戶可以感知到的抖動幅度，就無法開始正確地解釋抖動偽影。

簡單來說，當(dāng)使用AR頭顯時，用戶對虛擬內(nèi)容的感知可能會因渲染和顯示管道架構(gòu)產(chǎn)生的各種感知偽影而降低。特別是，在真實(shí)世界中呈現(xiàn)為靜止（世界鎖定）的虛擬內(nèi)容可能容易受到空間和時間3D位置誤差的影響。誤差的一個子集稱為抖動，是由空間定位、渲染和顯示管道之間的不匹配造成，并且可以表現(xiàn)為預(yù)期靜止內(nèi)容的感知運(yùn)動。

所以，Meta希望使用心理物理方法來量化AR頭顯抖動偽影的可感知性。在實(shí)驗(yàn)中，團(tuán)隊發(fā)現(xiàn)抖動感知能力會隨著觀看距離的增加而增加，并隨著背景亮度的增加而降低。不過，虛擬內(nèi)容的對比度、年齡或AR/VR體驗(yàn)會對抖動感知能力造成太多影響。

綜上所述，這項研究量化了用戶在AR頭顯中感知到的抖動程度。所以研究團(tuán)隊指出，在設(shè)計下一代空間計算平臺時，考慮人類視覺系統(tǒng)的能力和限制至關(guān)重要。

1. 實(shí)驗(yàn)

Meta展開的研究旨在表征用戶對3D WL抖動偽影的感知。他們采用心理物理階梯程序來測量附加抖動的大小，從而可靠地區(qū)分抖動和靜止WL虛擬內(nèi)容。其中，被試通過微軟HoloLens 2查看WL內(nèi)容。在每一次實(shí)驗(yàn)中，一個靜止的立方體和一個抖動的立方體將隨機(jī)順序呈現(xiàn)，然后由被試報告哪個對象出現(xiàn)抖動。

團(tuán)隊將根據(jù)抖動幅度的響應(yīng)模式來估計閾值，通過操縱以下因素來確定抖動感知能力隨條件的變化：虛擬內(nèi)容的查看距離、真實(shí)世界的亮度和對比度。

如圖A所示，被試將坐在一個開放式房間里，面對一堵白色墻壁，墻壁安裝著水平的灰色欄桿，距離5.5米。虛擬內(nèi)容由微軟HoloLens 2顯示。然后，無線鍵盤通過藍(lán)牙與HoloLens 2配對，并記錄用戶輸入和響應(yīng)。

用于實(shí)驗(yàn)的刺激是在左右和上下軸的視場中心呈現(xiàn)的灰度3D立方體。立方體每一側(cè)的對角線對向10°視角。每個立方體圍繞垂直于視線的平面旋轉(zhuǎn)45°，使一個邊緣指向被試

每一次試驗(yàn)都展示了兩個立方體，而它們會根據(jù)增加的3D抖動大小而變化。其中，一個立方體（參考）總是在沒有添加3D抖動的情況下渲染，所以唯一檢測到的抖動是由HoloLens 2追蹤系統(tǒng)產(chǎn)生的抖動。另一個立方體（目標(biāo)）則渲染為使用抖動的時空模型有節(jié)奏地變化。

抖動模型的規(guī)格如下：

• 3D位置根據(jù)10Hz頻率振蕩而變化；

• 同時操縱[X，Y，Z]抖動方向，形成潛在抖動方向的3D“球體”

• 從均勻分布的潛在球面角中為每個振蕩周期選擇一個獨(dú)特的角度方向

• 以及從均勻分布中隨機(jī)選擇每個周期的振幅。

被試共完成了3次實(shí)驗(yàn)，并在結(jié)束后報告了第一個或第二個立方體是否出現(xiàn)了更多的抖動。團(tuán)隊操縱了三個獨(dú)立變量，以確定抖動感知如何隨觀看條件而變化：

• 渲染對象的深度觀看距離

• 背景亮度

• 虛擬內(nèi)容的對比度。

為了精確確定顯示預(yù)期對比度所需的顯示亮度，研究人員測量了使用的每個背景亮度水平的HoloLens2伽馬曲線。為確保沒有光污染，測量是在一個帶遮光窗簾的封閉櫥柜內(nèi)進(jìn)行。然后他們使用可調(diào)節(jié)的頭頂光源來近似每個背景亮度水平。一個定制的Unity應(yīng)用程序提供了一個灰度3D立方體，并系統(tǒng)地改變了從最小到最大顯示能力的亮度。所得伽馬曲線用于確定后續(xù)實(shí)驗(yàn)中使用的亮度設(shè)置。隨后的研究中使用了用于測量的特定HoloLens 2，從而確保實(shí)驗(yàn)中使用的設(shè)置準(zhǔn)確。

接下來，Meta團(tuán)隊使用心理物理階梯程序調(diào)整了添加到目標(biāo)的抖動幅度，并獲得閾值的估計值。心里物理階梯的邏輯如下。當(dāng)目標(biāo)和參考之間的抖動幅度差異較大時，被試將始終正確地辨別哪個立方體被渲染為抖動。這時，應(yīng)該通過減少添加到目標(biāo)的抖動幅度來減少抖動幅度的差異，從而呈現(xiàn)接近觀察者閾值的值。

當(dāng)目標(biāo)和參考之間的抖動幅度差異足夠小時，應(yīng)該增加添加到目標(biāo)的抖動幅度。在試驗(yàn)過程中，返回的抖動幅度會動態(tài)減小/增加。上面的圖B顯示了返回的一系列抖動值。

為了獲得80%正確閾值的估計值，研究人員首先將每個試驗(yàn)的抖動幅度從公制單位轉(zhuǎn)換為視網(wǎng)膜角度單位（弧分）。對于每個階梯，他們計算了每個反轉(zhuǎn)點(diǎn)的抖動幅度的平均值，結(jié)果是每個被試的估計閾值，以及觀看距離、背景亮度和對比度的組合。

2. 結(jié)果

2.1 抖動閾值表示亞像素可感知性

團(tuán)隊首先確定了抖動閾值的大小與用于進(jìn)行研究的HoloLens 2的像素間距相比如何。HoloLens 2的像素間距沒有明確的、公開的值。微軟的設(shè)備規(guī)格報告稱，HoloLens 2的“全息密度”大于2500弧度（每個雷達(dá)的光點(diǎn)），假設(shè)從光點(diǎn)到像素的映射為1:1，則轉(zhuǎn)換為每像素1.4弧分。作為對比，獨(dú)立報告支出估計像素間距為每像素3弧分。

Meta團(tuán)隊將這兩個估計值視為潛在像素間距值的近似范圍，并用于比較研究中的測量結(jié)果。背景亮度、視距和對比度的每個組合的估計閾值如圖2所示。每個圖分別描繪了每個背景亮度水平的數(shù)據(jù)（左：10 Cd/m2，中：60 Cd/m3，右：100 Cd/m4）。

在每個圖中，橫坐標(biāo)對應(yīng)于觀看距離，而閾值則繪制在縱坐標(biāo)上。對比度根據(jù)右側(cè)的圖例進(jìn)行顏色編碼。每個圓圈標(biāo)記是所有被試的平均閾值，誤差條代表95%的置信區(qū)間。單個被試閾值用灰色三角形表示。潛在像素間距的范圍用紅色虛線表示。

很明顯，在大多數(shù)情況下，平均閾值等于或低于3弧分的像素間距上限估計值。這一觀察得到了定量證實(shí)：82%（187/228）的單個被試閾值和92.6%（25/27）的平均閾值小于或等于3。如果使用更保守的標(biāo)準(zhǔn)，27.6%（63/228）的單個被試閾值和3.7%（1/27）的平均閾值小于或等于1.4弧分。

綜上所述，所述數(shù)據(jù)表明有被試感知到了亞像素抖動。

2.2 自變量的影響

接下來，通過評估回歸模型中相應(yīng)參數(shù)的統(tǒng)計顯著性，團(tuán)隊確定自變量是否調(diào)制了抖動感知能力。

參數(shù)估計值和估計p值如表1所示。對于視距，閾值隨距離的增加而降低：1m處的閾值明顯大于2m處的閾值，2m處的大于5m處的閾值。對于背景亮度，在10 Cd/m2時閾值小于在60 Cd/m 2時閾值（β=0.75，S.E.=0.330，t194.1=2.26，p<0.05），而在10 Cd/m2時，閾值略小于在100 Cd/m3時閾值（α=0.90，S.E.0.482，t194.06=1.86，p=0.06）。

對比度水平之間的參數(shù)測試差異均不顯著（所有p均>0.1）。為了計算影響大小的度量，研究人員使用嵌套模型方法進(jìn)行了似然比測試，即通過指定越來越復(fù)雜的模型來構(gòu)建完整模型。通過計算較簡單和較復(fù)雜模型之間的對數(shù)似然比（LR），所述方法量化了由于添加參數(shù)而增加的模型復(fù)雜度是否會導(dǎo)致性能（擬合優(yōu)度）比單獨(dú)通過偶然獲得的更大的改善。

更大的LR表示更復(fù)雜模型的擬合優(yōu)度提高。在零模型（因變量由其總體平均值預(yù)測）中，添加視距的主要影響會導(dǎo)致顯著更好的擬合（LR=35.01，p<0.001），而對比度（LR=2.89，p>.05）或背景亮度（LR=1.23，p>.005）的主要影響則不是如此。

包括交互在內(nèi)的完整模型的表現(xiàn)明顯優(yōu)于僅具有主要影響的模型（LR=7.09，p<0.05）。

2.3 年齡和AR/VR經(jīng)驗(yàn)的影響

回歸模型包括參與被試和使用AR/VR的經(jīng)驗(yàn)?zāi)陻?shù)作為協(xié)變量，從而確保自變量的參數(shù)估計不受混雜變量的影響。

這里，團(tuán)隊提供了WL虛擬內(nèi)容抖動感知能力的第一個心理物理測量。閾值和可感知性呈負(fù)相關(guān)：閾值越大，表示在觀看條件下抖動越不易感知，而閾值越小，表示抖動越容易感知。

研究人員觀察到，隨著距觀察者觀看距離的增加，閾值降低。對于1m處與2m處相比閾值增加的一個合理解釋是，觀察者在觀看任意距離處的虛擬立方體時所經(jīng)歷的視覺輻輳調(diào)節(jié)沖突（VAC）大小存在差異。

HoloLens 2的近似焦距為2米，這表明在此距離處呈現(xiàn)的立方體的VAC應(yīng)該很少。然而，對于1米條件，觀察者必須調(diào)節(jié)2米（0.5 D）的距離，并會聚在1米（1 D）處，導(dǎo)致VAC約為0.5 D。先前的研究報告，在固定焦距AR顯示器任一側(cè)出現(xiàn)超過0.5 D的虛擬內(nèi)容會看起來模糊，而采用VR顯示器的其他研究發(fā)現(xiàn)，觀看距離顯示器焦平面超過0.5D的刺激會導(dǎo)致不適。

研究人員提出在未來的研究中測試更大范圍的VAC，同時控制物理物體的接近度。另外，未來的研究應(yīng)該測試中間視覺范圍內(nèi)的背景亮度水平，并且使用具有已知頭部追蹤和WL渲染性能水平的實(shí)驗(yàn)測試臺來確定相關(guān)因素如何調(diào)節(jié)抖動感知能力。

但證據(jù)表明，在本研究中測試的超閾值范圍內(nèi)，抖動感知能力不隨對比度而變化。類似的邏輯適用于我們模型中包含的年齡變量。特別是，由于年齡相關(guān)的視覺處理障礙，老年觀察者在某些視覺任務(wù)中表現(xiàn)較差，這表明老年人的抖動閾值更大（感知能力降低）。在研究中，參與者的平均年齡是34.9歲，而年齡最大的參與者是53歲。這意味著樣本可能太年輕，無法觀察到任何年齡差異。所以，未來的研究應(yīng)該包括更廣泛的人口統(tǒng)計數(shù)據(jù)。

最后，團(tuán)隊發(fā)現(xiàn)一些參與者在觀看條件的子集下感知到亞像素抖動并不一定直觀，因?yàn)檫@與普遍認(rèn)為像素是可渲染精度的最小單位的概念相沖突。這一假設(shè)不成立的原因至少有三個，而且并非相互排斥。

• 首先，任何光柵顯示器都可以通過將給定像素的強(qiáng)度值分布到相鄰像素（即抗鋸齒），并以亞像素分辨率進(jìn)行渲染。本研究中使用的虛擬立方體在Unity程序中確實(shí)是抗鋸齒。

• 第二，位深度大于1的顯示器可以在將邊緣投影到顯示像素上之前，在虛擬紋理空間中渲染邊緣，這與抗鋸齒一起產(chǎn)生的有效渲染分辨率明顯高于顯示器的像素間距。

• 第三，觀察者對渲染對象的感知是一個復(fù)雜的估計過程的結(jié)果，其依賴于通過神經(jīng)活動群體對視覺信息的編碼和解碼。大腦對物體位置的估計不是基于像素或渲染引擎，而是基于物體視覺特性的概率時空表示。因此，即使在一個極端的假設(shè)情況下，抖動立方體呈現(xiàn)為純離散像素時都沒有抗鋸齒，神經(jīng)活動的誘發(fā)模式可能會產(chǎn)生亞像素量級的平穩(wěn)振蕩運(yùn)動。

綜上所述，本研究中的觀察者完全有可能感知到亞像素抖動，而他們在估計HoloLens 2像素間距范圍內(nèi)或以下的閾值測量結(jié)果表明，一些觀察者確實(shí)感知到了亞像素抖動。

當(dāng)然，團(tuán)隊承認(rèn)本次實(shí)驗(yàn)存在一定的限制。例如，測量不能提供絕對抖動感知能力的測量，以及與HoloLens 2渲染管道和顯示功能細(xì)節(jié)相關(guān)的不確定性使得結(jié)果不一定適用于其他AR頭顯等等。

相關(guān)論文：Perceptibility of Jitter in Augmented Reality Head-Mounted Displays

總的來說，越發(fā)有聲音主張將感知科學(xué)更多地納入AR和VR系統(tǒng)的設(shè)計和工程。Meta研究中采用的心理物理方法為量化和理解感知體驗(yàn)提供了有價值的工具。另外，心理物理方法已經(jīng)發(fā)展了幾十年，并在現(xiàn)代基礎(chǔ)和應(yīng)用研究中廣泛應(yīng)用，而這使得研究人員能夠使用既成熟又新穎的方法來回答基本的感知問題。總之，Meta表示：如果不了解每個方面對用戶感知系統(tǒng)的影響，就無法構(gòu)建令人信服的AR/VR設(shè)備。

---
原文鏈接：https://news.nweon.com/102146