查看引用/信息源請點(diǎn)擊：mixed-news

要開發(fā)近乎完美的VR頭顯，行業(yè)必須首先解決這十個(gè)障礙

（映維網(wǎng)Nweon?2022年08月17日）道格拉斯·蘭曼（Douglas Lanman）供職Meta已有八年時(shí)間，并主要負(fù)責(zé)顯示系統(tǒng)開發(fā)。在今年六月，Meta首席執(zhí)行官馬克·扎克伯格和Reality Labs首席科學(xué)家邁克爾·亞伯拉什（Michael Abrash）就有分享蘭曼團(tuán)隊(duì)參與的原型。他們的目標(biāo)是實(shí)現(xiàn)一種能夠視覺再現(xiàn)物理現(xiàn)實(shí)的虛擬現(xiàn)實(shí)顯示器，同時(shí)將其整合在緊湊頭顯之中。

延伸閱讀：Meta VR視覺圖靈征途：深度分享變焦、畸變、高分辨率、HDR等原型設(shè)計(jì)和研發(fā)

但要開發(fā)近乎完美的VR頭顯，行業(yè)依然面臨一系列的挑戰(zhàn)，而道格拉斯·蘭曼在今年的Siggraph大會(huì)就介紹了其中的十大障礙：

1. 高分辨率

目前的VR頭顯在分辨率方面依然離人類視覺十分遙遠(yuǎn)。為了令虛擬世界看起來像物理世界一樣逼真、清晰，并且實(shí)現(xiàn)文本在中等距離的可讀性，VR顯示器的分辨率必須顯著提高。

Meta認(rèn)為單眼8K，像素密度60 PPD是初步目標(biāo)。作為比較，當(dāng)前的Quest?2單眼2K，PPD為20。

為了幫助研究人員體驗(yàn)“視網(wǎng)膜分辨率”，并評估其沉浸式效果，Meta開發(fā)了一款實(shí)驗(yàn)原型Butterscotch。蘭曼指出，高分辨率顯示器的開發(fā)和生產(chǎn)不是最大的問題。問題在于支持這等高分辨率顯示器所需的計(jì)算能力。注視點(diǎn)渲染和云端串流可能有所幫助，但它們本身存在重大的技術(shù)挑戰(zhàn)。

2. 更寬的視場

蘭曼表示，行業(yè)在視場方面需要進(jìn)一步努力。人類的水平視場約為200度寬。商用VR頭顯通常只提供100度的水平視場。另外，我們在垂直視場方面同樣有改進(jìn)的空間。

更寬的視場對透鏡技術(shù)提出了巨大挑戰(zhàn)，具體可表現(xiàn)為視場邊緣的圖像失真。這里同樣出現(xiàn)了計(jì)算能力問題。視場越寬，VR頭顯需要顯示的像素越多。這導(dǎo)致更高的功率要求和更多的廢熱產(chǎn)出。

3. 人體工程學(xué)

VR頭顯依然厚重。理想狀態(tài)的VR頭顯需要足夠舒適以支持長時(shí)間穿戴。

Pancake透鏡和全息透鏡可能會(huì)有所幫助。Meta的全功能Holocake 2原型顯示了一個(gè)未來反向。但問題在于：Holocake 2使用定制激光器作為光源，但其尚未發(fā)展到可行的大規(guī)模生產(chǎn)水平。

4. 帶視覺校正的顯示器

完美的VR頭顯應(yīng)該能夠檢測并補(bǔ)償用戶的視覺缺陷，這樣存在視力問題的用戶就不再需要傳統(tǒng)的眼鏡或隱形眼鏡。

這個(gè)問題可以通過特殊的附件進(jìn)行解決，但它們不是理想的解決方案。最佳方案是頭顯可以根據(jù)用戶自身的視力來進(jìn)行視覺調(diào)整。如果顯示器自帶視覺校正能力，頭顯設(shè)計(jì)師就不再需要考慮適配眼鏡等問題。

5. 變焦

困擾現(xiàn)代VR/AR頭顯的一個(gè)重大挑戰(zhàn)是視覺輻輳調(diào)節(jié)沖突。在現(xiàn)實(shí)世界中，人眼可以自然地對焦一個(gè)對象，而世界的其他元素則脫離焦點(diǎn)。VR/AR的問題是，無論你在數(shù)字世界中看向何方，你都只是盯著固定的屏幕，亦即看著相同的距離。換句話說，視覺調(diào)節(jié)（彎曲眼睛晶狀體以聚焦不同距離的對象）永遠(yuǎn)不會(huì)改變，但視覺輻輳（眼睛向內(nèi)旋轉(zhuǎn)以將每只眼睛的視圖重疊成一個(gè)對齊圖像）卻會(huì)出現(xiàn)，從而導(dǎo)致視覺輻輳調(diào)節(jié)沖突。

為了解決這個(gè)問題，Meta的研究人員開發(fā)了一種支持“漸進(jìn)視覺”的顯示器。所述顯示器模擬不同的焦平面和模糊，從而幫助眼睛自然地看到虛擬世界。Meta的變焦原型稱為Half Dome，而團(tuán)隊(duì)針對這個(gè)問題已經(jīng)有大量的研究。

6. 支持所有人的眼動(dòng)追蹤

眼動(dòng)跟蹤是虛擬現(xiàn)實(shí)中的一項(xiàng)關(guān)鍵技術(shù)。它是眾多其他重要VR技術(shù)的基礎(chǔ)，如漸進(jìn)視覺、注視點(diǎn)渲染和畸變校正。它同時(shí)可以在社交體驗(yàn)中支持眼神交流，并且提供新的交互方式。

不過，眼動(dòng)追蹤的一個(gè)問題是，它并不能支持所有人，畢竟不同人的瞳孔不盡相同。所以，行業(yè)需要一個(gè)能夠覆蓋廣泛人口的可靠解決方案。否則，這項(xiàng)技術(shù)不但無法提供幫助，反而會(huì)令消費(fèi)者感到失望。

7. 畸變校正

透鏡固有地產(chǎn)生了必須由軟件校正的圖像畸變。瞳孔最輕微的移動(dòng)都會(huì)導(dǎo)致細(xì)微但明顯的畸變。它們損害了視覺真實(shí)感，尤其是與漸進(jìn)式顯示等其他技術(shù)相結(jié)合時(shí)。

為了加速校正算法的發(fā)展，Meta的研究人員開發(fā)了一個(gè)畸變模擬器。它可以用來測試不同的透鏡、分辨率和視場，而無需構(gòu)建測試頭顯和特殊透鏡。

憑借這一獨(dú)特的快速原型制作能力，團(tuán)隊(duì)首次能夠進(jìn)行用戶研究，調(diào)查眼動(dòng)追蹤畸變校正。與當(dāng)今頭顯中的校正軟件不同，動(dòng)態(tài)畸變校正利用眼動(dòng)追蹤來更新渲染的校正，這有可能產(chǎn)生今天靜態(tài)校正所不能產(chǎn)生的始終穩(wěn)定圖像。

快速原型技術(shù)有望大大加快對VR透鏡畸變和各種校正的研究，為未來VR頭顯減少畸變鋪平道路。

8. 高動(dòng)態(tài)范圍（HDR）

物理對象和環(huán)境的亮度遠(yuǎn)高于虛擬現(xiàn)實(shí)顯示器。針對這個(gè)問題，Meta構(gòu)建了一款亮度峰值可以達(dá)到20000 NIT的原型Starburst。相比之下，HDR電視可以提供數(shù)千NIT，而Quest 2只能提供100NIT。

Starburst可以逼真地模擬封閉房間和夜間環(huán)境中的照明條件。不過，目前的原型機(jī)非常重，需要懸掛到天花板。另外，這個(gè)原型非常耗能。

值得一提的是，Meta認(rèn)為HDR對視覺真實(shí)感的貢獻(xiàn)要大于分辨率和可變焦距，但距離實(shí)際實(shí)現(xiàn)最為遙遠(yuǎn)。

9. 視覺真實(shí)感

完美的VR頭顯必須在兩個(gè)方向都做到半透明。VR用戶應(yīng)該能夠看到環(huán)境，而環(huán)境同樣能夠看到VR用戶。這既是出于用戶舒適性的原因，又是出于社會(huì)接受度的原因。

頭顯傳感器記錄環(huán)境并在虛擬現(xiàn)實(shí)中顯示為視頻圖像。這稱為“透視”的技術(shù)已經(jīng)存在于商用VR頭顯中，不過質(zhì)量很差。例如，Quest 2提供了一種黑白相間的透視模式，而“Quest Pro”則應(yīng)該可以以更高的分辨率和彩色透視進(jìn)一步實(shí)現(xiàn)質(zhì)量提升。

然而，系統(tǒng)尚未實(shí)現(xiàn)物理環(huán)境的完美重建。有待解決的問題之一是，透視技術(shù)捕獲的是從眼睛空間移位的世界視角，而這在長時(shí)間使用過程中可能會(huì)產(chǎn)生問題。所以，Meta正在研究人工智能輔助的視線合成，從而實(shí)時(shí)生成透視正確的視點(diǎn)，并實(shí)現(xiàn)高視覺保真度。

值得一提的是，Meta同時(shí)有在探索“反向透視”的技術(shù)。VR頭顯一般會(huì)遮擋用戶的面容，但利用反向透視，第三人將可以看到VR用戶的眼睛和面部，從而可以進(jìn)行眼神交流或閱讀面部表情。不過，所述技術(shù)尚未成熟。

10. 面部重建

空間共在感是Meta的最終目標(biāo)之一。這家公司希望有朝一日人們能夠在虛擬空間中實(shí)現(xiàn)如同現(xiàn)實(shí)世界一樣的共在會(huì)面。為此，Meta正在展開名為Codec Avatars的項(xiàng)目研究。盡管團(tuán)隊(duì)已經(jīng)在質(zhì)量方面取得了長足的進(jìn)步，但相關(guān)成本依然高昂。

當(dāng)然，這方面的第一步是實(shí)時(shí)讀取面部表情，并將其傳輸?shù)絍R頭顯之中，而Quest Pro將是Meta第一款提供面容追蹤的設(shè)備。

---
原文鏈接：https://news.nweon.com/99862