此前，NVIDIA公布了一項(xiàng)與斯坦福大學(xué)合作研發(fā)的全息VR顯示方案，該方案的特點(diǎn)采用了純相位SLM元件和全息光波導(dǎo)技術(shù)，可將光學(xué)模組做到僅2.5毫米厚，并進(jìn)一步縮短光路，可打造出支持3D顯示的超薄VR頭顯。該方案的研發(fā)者之一、斯坦福大學(xué)博士后研究學(xué)者Yifan Peng，和另一組科研人員又發(fā)表了新的VR研究，而這一次的研究重點(diǎn)是解決VR頭顯的動(dòng)態(tài)變焦問題。

VST透視

我們知道，在使用HoloLens 2 AR頭顯時(shí)你很難用手與AR實(shí)現(xiàn)自然互動(dòng)，這是因?yàn)樗鼘R固定在2米外的焦點(diǎn)平面上，如果按照物理規(guī)律，使用者的手臂本來應(yīng)該碰不到AR，但實(shí)際上AR幾乎永遠(yuǎn)疊加在物理場(chǎng)景之上，總是看起來可以比你的手離你更近。

這就容易產(chǎn)生一種視覺焦點(diǎn)不匹配的問題，AR并不能體現(xiàn)距離和遮擋之間的物理關(guān)系，所以看起來不夠自然，反而有點(diǎn)失真。而人眼看自然環(huán)境時(shí)，聚焦的位置一直是隨著眼球運(yùn)動(dòng)而變化的。實(shí)際上，動(dòng)態(tài)變焦問題一直困擾著AR，由于光學(xué)方案、體積等局限，目前市面上還沒有一款A(yù)R頭顯能夠在無限的距離上動(dòng)態(tài)變焦。相比之下，基于視頻透視的AR/VR頭顯似乎更有可能解決這一問題，比如可以通過液晶透鏡來實(shí)現(xiàn)變焦，或是通過算法來模擬變焦效果。

Meta將發(fā)布的Project Cambria VR頭顯將支持高質(zhì)量的RGB視頻透視功能，意味著未來視頻透視AR也將是Meta探索的一大方向。那么要提升視頻透視AR的視覺效果，除了高清、RGB顯示外，也難免要解決動(dòng)態(tài)變焦的問題。Meta很可能會(huì)為Cambria配備液晶透鏡來實(shí)現(xiàn)變焦。

斯坦福新研究方案

在本項(xiàng)研究中，科研人員表示：相比于光學(xué)透視，視頻透視AR的優(yōu)勢(shì)在于視場(chǎng)角更大、支持物理遮擋、更優(yōu)秀的色彩和對(duì)比度表現(xiàn)等等。為了進(jìn)一步提升視頻透視AR的效果，便研發(fā)了一套變焦方案，可實(shí)現(xiàn)高質(zhì)量、連續(xù)的變焦。

據(jù)悉，該方案利用“焦點(diǎn)提示”來模擬變焦效果，從視頻演示來看，其質(zhì)量相當(dāng)出色，AR圖像可以從遠(yuǎn)景來到近景，并停留在你手上，視覺效果足夠自然。

硬件方面，該VR頭顯原型配備了兩組屏幕、兩組可電力調(diào)節(jié)的液晶透鏡（供應(yīng)商為Optitune優(yōu)普鑫），透鏡分別用于攝像頭調(diào)焦、顯示圖像調(diào)焦。而屏幕則包含4塊2.9英寸LCD面板，單塊分辨率為1440x1440。眼球追蹤模組則采用200Hz刷新率方案，供應(yīng)商為Pupil Labs。雙層LCD的變焦設(shè)計(jì)好處是對(duì)眼球追蹤誤差容忍度更高，效果比單層變焦屏幕更好。

此外，還配備了6DoF定位器、手勢(shì)追蹤模塊、攝像頭、可變焦透鏡、眼球追蹤模塊，值得注意的是該VR頭顯采用了兩套可變焦透鏡，分別位于顯示屏內(nèi)側(cè)和外側(cè)。其透視模組包含了現(xiàn)成攝像頭、定焦鏡頭和聚焦可調(diào)透鏡。可變焦透鏡可將LCD圖像顯示在使用者的輻輳距離，以實(shí)現(xiàn)焦點(diǎn)匹配。

為了彌補(bǔ)AR圖像在運(yùn)動(dòng)過程中的焦距變化，該方案還能根據(jù)此前捕捉到的圖像，合成焦距堆棧。將AR圖像與運(yùn)動(dòng)的物體疊加時(shí)，可能會(huì)產(chǎn)生鬼影等視覺瑕疵，在移動(dòng)物體的邊緣鬼影更加明顯。為了改善這一問題，科研人員調(diào)整了每幀像素，以確保移動(dòng)物體的像素在前一幀和后一幀圖像中是連貫對(duì)齊的。

彌補(bǔ)眼球追蹤誤差

基于該VR原型，還設(shè)計(jì)了一種叫“注視跟隨多層顯示”方案，優(yōu)勢(shì)是結(jié)合了變焦和分層顯示器的優(yōu)勢(shì)，在眼球追蹤精度和準(zhǔn)確性有限的情況下，依然能為大規(guī)模AR場(chǎng)景渲染高質(zhì)量變焦。除了變焦外，還支持注視點(diǎn)渲染。

此外，可實(shí)現(xiàn)高分辨率和緊湊外觀設(shè)計(jì)，而且可根據(jù)眼球追蹤捕捉到的視覺焦距，來調(diào)整顯示層的焦距。

與傳統(tǒng)可變焦顯示屏相比，注視跟隨多層顯示方案可允許更多眼球追蹤誤差，聚焦效果更準(zhǔn)確。為了加速多層顯示方案的計(jì)算效率，科研人員還構(gòu)建了一個(gè)MR焦距堆棧架構(gòu)，可驅(qū)動(dòng)多層顯示方案實(shí)時(shí)捕捉和渲染，以捕捉、渲染和顯示具有焦點(diǎn)信號(hào)AR，并在顯示面板之間任何距離對(duì)焦。這是一個(gè)完整的端對(duì)端捕捉、渲染和顯示流程，硬件方面可采用市售的元件和計(jì)算技術(shù)。

科研人員表示：即使現(xiàn)有的眼球追蹤效果有限，也能實(shí)現(xiàn)足夠好的變焦效果。為了彌補(bǔ)眼球追蹤系統(tǒng)的誤差，還引入了基于眼球追蹤的多層VST顯示模組，可捕捉焦點(diǎn)堆棧，來調(diào)節(jié)多層顯示屏之間的距離。焦點(diǎn)堆棧可創(chuàng)建高質(zhì)量焦點(diǎn)線索，同時(shí)其數(shù)據(jù)的密集度遠(yuǎn)低于完整的光場(chǎng)，且簡化了VST視頻捕捉，可使用時(shí)間多路復(fù)用，因此計(jì)算量足夠小，在單個(gè)GPU上就能運(yùn)行。

利用液晶透鏡捕捉到的模糊來補(bǔ)償焦點(diǎn)堆棧中的圖像運(yùn)動(dòng)，好處是可避免偽影，響應(yīng)速度更快。多焦距顯示屏的位置可自適應(yīng)調(diào)整，好處是可支持更多焦距，對(duì)眼球追蹤誤差容忍度高。

在測(cè)試過程中，科研人員為單眼各配備一個(gè)GPU，可實(shí)現(xiàn)1024x602分辨率，30毫秒更新率。每個(gè)堆棧包含7層圖像?？裳a(bǔ)償1°眼球追蹤誤差。顯示面板數(shù)量可拓展，2、3個(gè)足夠用。未來，可以更換響應(yīng)速度更快的顯示屏、具有HDR和高分辨率的相機(jī)，來提升VST透視效果。參考：Yifan Peng