查看引用/信息源請點擊：映維網(wǎng)Nweon

“這個世界有兩種人：認為虛擬現(xiàn)實將會改變世界的人；以及尚未嘗試過虛擬現(xiàn)實的人?！?/p>

（映維網(wǎng)Nweon?2023年08月01日）為了令人類視覺系統(tǒng)完全相信所呈現(xiàn)的一切都是真實，從而實現(xiàn)與物理現(xiàn)實別無二致的視覺體驗，VR頭顯必須滿足一系列的條件，包括變焦、畸變、視網(wǎng)膜分辨率、HDR等方面。

所以，Meta Reality Labs的顯示系統(tǒng)研究團隊一直在進行各種探索。日前，他們特地撰文介紹了兩個將要在SIGGRAPH 2023展示的原型設(shè)備：變焦頭顯Butterscotch Varifocal；以及利用光場技術(shù)實現(xiàn)無重投影VR透視的計算攝像頭Flamera。下面是具體的整理：

“這個世界有兩種人：認為虛擬現(xiàn)實將會改變世界的人；以及尚未嘗試過虛擬現(xiàn)實的人?！?/p>

這是一句老話，當然，甚至可能有點陳詞濫調(diào)的感覺。是的，有人對這個說法持懷疑態(tài)度，但我們認為他們只是沒有遇到真正令人憬然有悟的合適VR體驗。

盡管很少有事情可以帶來如同你第一次經(jīng)歷VR時的“天吶”時刻，但近年來，我們已經(jīng)看到了同樣強大的未來。對于參加8月6日至10日在洛杉磯舉行的SIGGRAPH 2023的與會人士，你將有機會兩次體驗類似的“天吶”時刻，而這要歸功于Meta Reality Labs的顯示系統(tǒng)研究團隊的兩個全新的演示原型。

Meta的光學(xué)科學(xué)家Yang Zhao和研究科學(xué)家Grace Kuo

第一個是Butterscotch Varifocal，它結(jié)合了我們自2015年以來就一直在研究的Half Dome系列原型的變焦技術(shù)，以及我們于2022年首次亮相的視網(wǎng)膜分辨率VR顯示器。

第二個是Flamera，它是一個利用光場技術(shù)實現(xiàn)無重投影VR透視的計算攝像頭。就像我們最初在2021年分享的反向透視演示一樣，它的外觀和功能與當代頭顯存在巨大的區(qū)別。

Butterscotch Varifocal和Flamera都屬于研究階段，而這里研究的技術(shù)可能永遠不會成為面向消費者的產(chǎn)品。希望你們能明白這一點。

Butterscotch Varifocal

對于將我們沉浸在虛擬世界方面，今天的VR頭顯表現(xiàn)出色。然而，它們目前受到固定焦距的限制：任何距離眼睛1米左右的內(nèi)容都是清晰可見，但如果過于靠近，大多數(shù)人都無法完全正常對焦聚焦。幸運的是，大多數(shù)VR開發(fā)者都有圍繞這一事實進行設(shè)計，并將場景保持在一個舒適的距離，這樣一切都能保持對焦。

但如果你在工作中使用VR，需要在虛擬屏幕閱讀文本呢？或者有一個你希望近距離觀察的有趣物品？這時正是變焦派上用場的時候。

通過利用眼動追蹤技術(shù)，根據(jù)你的注視點將顯示器移近或移離你的眼睛，系統(tǒng)允許你在不同的深度對焦，以獲得更自然、更真實、更舒適的體驗。將其與視網(wǎng)膜分辨率的顯示器相結(jié)合，你就能獲得清晰的視覺效果，可以與你用肉眼所看的效果相媲美。

光學(xué)科學(xué)家Yang Zhao表示：“這項研究旨在展示一種匹配人眼視覺清晰度的VR顯示系統(tǒng)。視網(wǎng)膜分辨率意味著頭顯可以提供接近人眼感知極限的清晰細節(jié)。最重要的是，變焦顯示器支持人眼的視覺調(diào)節(jié)范圍，以便可以在不同的焦深感知高分辨率?！?/p>

Meta一直致力于在改善視覺舒適度的同時提高分辨率，而Butterscotch Varifocal則是團隊八年研究的成果，據(jù)我們所知，它是第一個實現(xiàn)視網(wǎng)膜分辨率顯示，亦即大約每度60像素PPD的變焦原型頭顯，這足以滿足20/20的視覺靈敏度。

就某種意義而言，Butterscotch Varifocal是Half Dome和Butterscotch系列的最佳結(jié)合。利用Half Dome 1和2中成熟的機械變焦機制，它可以快速可靠地改變光學(xué)焦點。另外，它集成了過去Half Dome頭顯的完整渲染，畸變校正，眼動跟蹤和變焦控制軟件，從而能夠支持完整的PC VR內(nèi)容。同時，它使用Butterscotch顯示器和光學(xué)元件作為實現(xiàn)視網(wǎng)膜分辨率的基礎(chǔ)。

“所以我們?yōu)槭裁床唤兴瓾alf Dome 4’呢?”，顯示系統(tǒng)研究總監(jiān)Douglas Lanman解釋道，“原因在于，與過去的Half Dome頭顯不同，這款頭顯只專注于展示視網(wǎng)膜分辨率體驗，而且不一定采用最終適合消費者的硬件技術(shù)?！?/p>

相關(guān)論文：《Retinal-Resolution Varifocal VR》

https://paper.nweon.com/14620

為了通過現(xiàn)有的LCD面板實現(xiàn)視網(wǎng)膜分辨率，Butterscotch Varifocal縮小了視場，僅為50度，而Meta?Quest?2的視場大于90度。另外，外形尺寸比Quest 2等消費類頭顯大一點。

Douglas Lanman補充道：“相比之下，我們在Half Dome 1到3的研究側(cè)重于以一種完全實用的方式小型化變焦技術(shù)。我們圍繞Half Dome原型的工作依然正在繼續(xù)，但我們暫時停下來并演示Butterscotch Varifocal，目標是展示我們依然致力于變焦技術(shù)，并致力于在VR頭顯中提供更好的視覺靈敏度和舒適度。我們希望我們的社區(qū)能夠親自體驗變焦技術(shù)，并參與推動這項技術(shù)的發(fā)展?！?/p>

Half Dome 3引入了電子變焦系統(tǒng)，而與之前的機械變焦系統(tǒng)相比，它大大減少了系統(tǒng)的尺寸，但考慮到所涉及的權(quán)衡，團隊在設(shè)計Butterscotch Varifocal時選擇回歸機械式變焦方案。

Yang Zhao指出：“盡管Half Dome 3中的電子變焦解決方案強調(diào)小尺寸，重量更輕，并且完全是固態(tài)，但在光學(xué)設(shè)計中添加另一個光學(xué)元件或模塊不可避免地會引入光線傳輸?shù)刃阅軗p失或降低圖像質(zhì)量。對于Butterscotch Varifocal，我們的首要任務(wù)是創(chuàng)造最佳的視覺質(zhì)量。所以，我們選擇集成一個機械變焦系統(tǒng)，從而優(yōu)化圖像質(zhì)量，同時降低系統(tǒng)尺寸和重量。”

正如硬件在Half Dome和Butterscotch項目中隨著時間的推移而發(fā)展一樣，軟件同樣在不斷改進和成熟。

研究科學(xué)家Olivier Mercier表示：“為了創(chuàng)造一個優(yōu)秀的變焦體驗，硬件和軟件都需要無縫地協(xié)同工作。我們對失真校正、眼動追蹤、渲染和延遲的理解都得到了提升，可以利用我們最好的變焦硬件來發(fā)揮其最大的潛力。多年來，變焦技術(shù)已經(jīng)從一個小眾的研究課題變成了更多人感興趣的方向。我們的變焦軟件已經(jīng)從一個不穩(wěn)定的、研究性質(zhì)的、一次性的主代碼分支發(fā)展成為可以與我們VR平臺的其他環(huán)節(jié)更好地集成在一起的元素。這使得與其他團隊的合作變得更加容易，并確保變焦成為渲染管道中不可或缺的一環(huán)，從而獲得更好的體驗。這種更緊密的整合同時意味著，我們現(xiàn)在可以支持更多的游戲和應(yīng)用，而不是像早期的變焦頭顯那樣只能采用更簡單的或定制的演示內(nèi)容?！?/p>

最終的結(jié)果非比尋常。當你環(huán)顧四周時，吸引你注意力的內(nèi)容能夠神奇地對焦，而以前可能遭到忽視的小細節(jié)都會閃耀起來。以Ready At Dawn的《Lone Echo II》為例。從機器人底盤的紋理到麗芙頭發(fā)的挑染，所有的細節(jié)都變得清晰可見。相關(guān)的演示將極致呈現(xiàn)開發(fā)者多年的熱情努力和對細節(jié)關(guān)注，而這是前所未有的體驗。

Yang Zhao評價道：“有了Butterscotch Varifocal，我們可以在VR中看到與現(xiàn)實世界所見的相似的分辨率和質(zhì)量。這為在VR中構(gòu)建令人驚嘆的體驗打開了諸多全新可能性。”

Flamera：對Passthrough透視的全新理解

當你想要一個完全身臨其境的體驗或者在盡可能大的屏幕看電影時，VR非常出色。但有時候，你會希望與外部世界有更多的聯(lián)系，例如當什么出乎意料地進入你的游戲空間時，或者當你想把虛擬內(nèi)容帶到物理環(huán)境中時。這時我們就需要混合現(xiàn)實和Passthrough透視，因為所述技術(shù)可以允許你頭顯看到物理世界的數(shù)字再現(xiàn)。

諸如Quest Pro這樣的現(xiàn)代頭顯在透視方面的表現(xiàn)十分出色（Quest 3會做得更好）。然而，今天的透視依賴于頭顯的前置攝像頭。由于位差問題，它主要是通過計算來將圖像重新投影到“正確”視圖，但這可能導(dǎo)致視覺偽影。即便你能夠把攝像頭直接擺在眼睛前面，由于頭顯的厚度，視圖依然會不夠清晰。

研究科學(xué)家Grace Kuo指出：“為了應(yīng)對這一挑戰(zhàn)，我們頭腦風(fēng)暴了一個可以直接捕獲你用肉眼看到的相同光線的光學(xué)架構(gòu)。通過從零開始設(shè)計，而不是修改現(xiàn)有的頭顯，我們最終得到了一個看起來非常獨特的，可以實現(xiàn)更好透視圖像質(zhì)量和更低延遲的攝像頭。”

與傳統(tǒng)的光場攝像頭不同，F(xiàn)lamera在陣列中的每個透鏡后面都有一個光圈。所述光圈可以阻擋不需要的光線，所以只有期望的光線能夠到達眼睛。作為對比，傳統(tǒng)的光場攝像頭會捕獲更多的光線，導(dǎo)致圖像分辨率低得令人無法接受。所使用的架構(gòu)同時將有限的傳感器像素集中于光場的相關(guān)部分，從而產(chǎn)生更高分辨率的圖像。

Flamera重新排列像素，估計一個粗略的深度圖，從而實現(xiàn)基于深度的重建。

相關(guān)論文：《Perspective-Correct VR Passthrough Without Reprojection》

https://paper.nweon.com/14622

所有這一切的結(jié)果是，通過頭顯看到的物理世界更接近于眼睛自然看到的畫面，而且與目前的商用頭顯相比，偽影更少，同時分辨率比傳統(tǒng)的光場攝像頭更高。這為未來更加真實的MR體驗打開了大門，實現(xiàn)一種虛擬內(nèi)容與現(xiàn)實世界無縫融合的視圖體驗。

Grace Kuo表示：“Flamera的光學(xué)設(shè)計在頭顯較薄時效果最好，這使得我們可以將透視攝像頭盡可能地靠近用戶的眼睛。然而，我們使用的攝像頭傳感器存在眾多電子組件，會令頭顯變得更厚，所以我們必須設(shè)計定制的彎曲裝置來移動它們?？偟膩碚f，從光場透視的概念到一個完整的、可工作的頭顯，這是一個令人興奮的挑戰(zhàn)?！?/p>

和Butterscotch Varifocal一樣，F(xiàn)lamera的目標并不是要展示一種可行的消費產(chǎn)品，至少現(xiàn)在不是。

Douglas Lanman說道：“對于我們在光場透視方面的研究，我們專注于預(yù)覽透視正確的MR透視體驗。我們之前與SIGGRAPH社區(qū)分享了神經(jīng)透視項目，使用機器學(xué)習(xí)方法合成比偽影少于現(xiàn)有商業(yè)系統(tǒng)的透視圖像。然而，神經(jīng)透視依然會產(chǎn)生重投影偽影，并且需要工作站級的GPU來實時操作。光場透視則采用計算成像方法，攝像頭硬件和重投影算法設(shè)計成協(xié)同工作，從而極大地簡化了合成具有正確視角的視點的計算挑戰(zhàn)?！?/p>

研究科學(xué)家Nathan Matsuda是相關(guān)研究的先鋒角色，他啟動并管理了透視視點正確項目，以及反向透視和高動態(tài)范圍VR項目。就像Half Dome Zero一樣，所述項目產(chǎn)生的硬件通常十分笨重，甚至可能有點怪異。但它們是未來的潛在一睹。

Douglas Lanman指出：“我們的光場透視演示預(yù)覽了如果我們能夠完善驅(qū)動這個原型的光場攝像頭硬件，MR透視可能有一天會變成什么樣子。與反向透視一樣，它在這個原型中可能看起來非常怪異，但我們希望社區(qū)能夠從他們的早期演示中得到啟發(fā)。它為透視正確傳輸指明了一條前進的道路。它在今天看來可能很‘古怪’，但很可能在未來被證明是實用的，能夠滿足未來MR頭顯的用戶體驗和形狀挑戰(zhàn)?！?/p>

Grace Kuo補充道：“我們設(shè)想了一種允許你戴著頭顯與周圍環(huán)境無縫交互的透視體驗。高質(zhì)量的傳輸允許我們能夠令人信服地將數(shù)字內(nèi)容疊加到對物理世界的感知，同時利用VR頭顯的高對比度、寬視場顯示器。我們專注于透視的一個重要方面，亦即攝像頭視角。我們的演示首先展示了正確視角下的透視效果，并且沒有計算透視方法造成的失真?！?/p>

總結(jié)來說：前面的路依然漫長，但這是一個充滿希望的開始。

Demo or Die（要么演示，要么毀滅）：回歸SIGGRAPH

顯示系統(tǒng)研究團隊多年來一直在進行研究和公開發(fā)布，而他們長期以來一直堅持“Demo or Die（要么演示，要么毀滅）”的精神。

Douglas Lanman說道：“對我來說，‘Demo or Die（要么演示，要么毀滅）’這個說法起源于麻省理工學(xué)院媒體實驗室，我和其他數(shù)千名研究人員都在那里學(xué)到了這個咒語。關(guān)鍵是通過演示來解釋‘為什么’，而不是‘是什么’，從而幫助剛接觸相關(guān)技術(shù)挑戰(zhàn)的人員理解為什么他們想要這樣一項技術(shù)，比如變焦、光場透視和HDR。我們可以演示一種近似體驗，給大家預(yù)覽如果這項技術(shù)能夠以一種實用的、可擴展的方式完全實現(xiàn)，最終體驗將是什么。這正是SIGGRAPH的核心：展示新興的，主要是硬件驅(qū)動的技術(shù)，并以此鼓勵SIGGRAPH社區(qū)將他們的才能發(fā)揮在計算機圖形和交互中的特定問題之上?！?/p>

例如，經(jīng)過大約一年的內(nèi)部演示和用戶研究，高動態(tài)范圍頭顯原型Starburst取得了令人振奮的成功，并獲得了SIGGRAPH 2022新興技術(shù)最佳展示獎。

Nathan Matsuda回憶道：“這段經(jīng)歷對我們這群參與其中的人員來說非常棒。我們會見了眾多HDR顯示領(lǐng)域的杰出人士，以及一系列來自不同背景的有趣人士，包括首席執(zhí)行官、主要電影制片廠的高管、美國宇航局的科學(xué)家。演示的成功促使我們加倍努力向社區(qū)展示我們的工作，并成為我們今年演示的藍圖。特別是，我想嘗試用一種科學(xué)博物館的方式來解釋我們?nèi)ツ甑墓ぷ?，將硬件的分解視圖作為展位的中心。事實證明，這是一種非常好的機制，可以向具有廣泛不同技術(shù)專長的人員解釋我們的研究，吸引參觀者，確保大家在排隊時保持興趣。因此，今年我們將在這兩款原型機方面復(fù)制這一點。?！?/p>

顯示系統(tǒng)研究團隊喜歡用特別的命名來強調(diào)其工作重點。這是一群多才多藝的人員，他們跨學(xué)科工作，以實現(xiàn)獨特的，整體的，并且經(jīng)常是意想不到的解決方案，從而應(yīng)對行業(yè)面臨的挑戰(zhàn)。例如，過往的North Star北極星旨在是向世界展示一條潛在的前進道路，不是強調(diào)產(chǎn)品化，而是用敏銳的遠見來激勵其他人看到這項研究的前景，并承擔起責(zé)任推動我們所有人走向更光明的未來?，F(xiàn)在，顯示系統(tǒng)研究團隊正繼續(xù)朝著這個方向不斷努力。

Douglas Lanman表示：“在SIGGRAPH展示研究一直是我們的計劃。對我自己來說，從十多年前我第一次演示光場顯示器到今年我們展出的兩個原型機，SIGGRAPH新興技術(shù)展一直是我職業(yè)生涯中最重要的活動。我們曾希望展示過去的Half Dome頭顯，但新冠疫情阻止了相關(guān)的計劃。整個團隊都非常高興做到‘Demo or Die（要么演示，要么毀滅）’。作為一名VR/MR愛好者，我非常高興大家能夠根據(jù)我們的原型而不是新聞稿來評判我們?！?/p>

對于希望讀者能從這個故事中得到什么，團隊的回答是：

• Grace Kuo：“我認為透傳是一項重要的技術(shù)，可以允許人們在穿戴頭顯期間與周圍環(huán)境保持聯(lián)系。通過構(gòu)建沒有商業(yè)化產(chǎn)品限制的演示內(nèi)容，我們可以測試新技術(shù)并展示VR中的不同體驗。即便頭顯的外觀與我們今天所習(xí)慣的設(shè)備非常不同，但我希望嘗試了演示內(nèi)容的人能夠瞥見未來VR的樣子。”

• Yang Zhao：“通過我們的工作，我希望人們能夠從第一人稱的角度看到VR可以為他們解鎖的體驗和能力。這可能不是他們可以馬上在商店里買到的東西，但如果有需求，而且技術(shù)繼續(xù)進步，總有一天會實現(xiàn)?！?/p>

• Olivier Mercier：“VR的可能性和市場現(xiàn)有產(chǎn)品之間存在巨大的區(qū)別。我們的兩個SIGGRAPH新興技術(shù)演示提供了一個獨特的機會，可讓你看到如果每個軸都推到更高的質(zhì)量，在不考慮可產(chǎn)品化限制的情況下，這會怎樣幫助創(chuàng)造更逼真的虛擬體驗?！?/p>

• Douglas Lanman：“我希望計劃參加SIGGRAPH的人員抽出時間來看看這兩個演示。盡管我們不能確定所述技術(shù)何時可以商業(yè)化，但我們確實相信，與社區(qū)分享它們將加速支持變焦顯示和透視技術(shù)的發(fā)展。SIGGRAPH是一個擁有大量才華橫溢的人員的社區(qū)，即便只有一小部分成員將他們的注意力轉(zhuǎn)移到所述挑戰(zhàn)，這都會促使VR/MR開發(fā)出更好的視覺體驗。對于SIGGRAPH之外的人員，我希望他們能夠從我們這支小團隊在不斷繼續(xù)尋求解決跨越硬件和軟件的艱巨挑戰(zhàn)的事實中得到啟發(fā)，并與更廣泛的社區(qū)公開分享。我同時希望他們會對正在解決的具體問題感到興奮，亦即為全VR和新興的透視MR體驗制作更好的視覺效果。”

  
  

值得一提的是，在被問及這項研究在推動AR/VR行業(yè)向前發(fā)展方面發(fā)揮著什么作用，以及對于質(zhì)疑/批評這項研究迄今都沒有產(chǎn)品化時，Douglas Lanman給出了以下回應(yīng)：

這個問題有點像回答披頭士樂隊和滾石樂隊哪個更好？我的意思是，對于行業(yè)而言，研究實驗室和在產(chǎn)品團隊的工作之間存在一個典型的區(qū)別。選擇其中一種職業(yè)對你的職業(yè)生涯有利有弊。

對于顯示系統(tǒng)研究團隊的成員，我們決定探索行業(yè)的前沿。有了一支小小的研究團隊，我們可以為任何給定的概念建立少量的原型。但我們必須承認，原型機中的大多數(shù)最終都不會在我們公司或其他地方找到成為消費產(chǎn)品的途徑。有些原型無法大規(guī)模生產(chǎn)；有些原型旨在解決的問題并不重要，不足以證明可以在產(chǎn)品尺寸，重量，成本或功率方面為其做出妥協(xié)；還有一些原型需要首先等待其他幾技術(shù)成熟。

以變焦為例。我們首先從20世紀90年代的論文中了解到這項技術(shù)，然后我們從2015年開始研究，并于2018年首次公開談?wù)撍?。即便是對于今天的產(chǎn)品，這都將是一個漫長的過程。在這段時間里，我們見證了Oculus作為一家初創(chuàng)公司的崛起，并最終推出了三代主要的頭顯，每一代都是在上一代的基礎(chǔ)上發(fā)展起來。產(chǎn)品團隊需要帶著商業(yè)考慮快速前進，而研究團隊擁有這樣一個特權(quán)：考慮未來的可能，而不是現(xiàn)在需要什么。研究無法控制產(chǎn)品團隊何時選擇一項技術(shù)。同時，如果我們正在解決的是他們不會立即面臨的挑戰(zhàn)，他們可能需要等待很長的時間，直到他們發(fā)現(xiàn)自己需要一個我們早就設(shè)計好的解決方案。

所以，作為一名研究科學(xué)家工作了近二十年的時間后，我對這一點有了不同的看法：研究的主要責(zé)任是指出尚未定型的產(chǎn)品。過去沒有人要求變焦或解決視覺輻輳調(diào)節(jié)沖突。過去沒有人要求光場透視或反向透視。我們首先構(gòu)建這種演示是為了向我們自己（然后是我們的產(chǎn)品團隊同事）展示所述問題是值得關(guān)注的，而我們現(xiàn)在正在與更廣泛的SIGGRAPH社區(qū)一起做這件事。

我們談?wù)撔屡d的顯示技術(shù)已經(jīng)有近十年了，比如變焦。我們不知道這個行業(yè)什么時候會把這種技術(shù)應(yīng)用到產(chǎn)品中，但我們有信心，這種演示將說服大多數(shù)人，向其證明所述挑戰(zhàn)值得解決。我們非常期待聽到SIGGRAPH與會者對所述挑戰(zhàn)的看法，以及我們提出的兩種技術(shù)解決方案。

順便說一下，更好的樂隊顯然是披頭士，因為他們總是愿意嘗試新事物。

?

---
原文鏈接：https://news.nweon.com/111014