查看引用/信息源請點擊：映維網(wǎng)Nweon

Quest?Pro

（映維網(wǎng)Nweon?2022年10月12日）在過去的一年里，Meta已經(jīng)陸續(xù)分享了關(guān)于Project Cambria的細節(jié)，而這家公司終于在今天的Connect大會中正式揭曉了這款設(shè)備Quest Pro，以及一系列關(guān)于Quest 內(nèi)容生態(tài)、商業(yè)應(yīng)用、AR前瞻研究等信息，以下是映維網(wǎng)的匯總整理。

1. Quest Pro頭顯

Quest Pro是Meta高端設(shè)備系列的第一款產(chǎn)品，并搭載了一系列的創(chuàng)新功能，如可以提供全彩混合現(xiàn)實體驗的高分辨率傳感器，高清LCD顯示屏，全新時尚的設(shè)計，以及眼動追蹤和面部追蹤。這款設(shè)備將于10月25日以1499.99美元的價格發(fā)售，包裝盒含有Quest Pro頭顯、Touch Pro控制器、觸控筆、部分擋光器和充電座。

Quest Pro是首款采用高通驍龍XR2+ Gen 1平臺的設(shè)備。全新的驍龍XR2+ Gen 1經(jīng)過了專門優(yōu)化，散熱更好，性能顯著提高，實現(xiàn)了50％持續(xù)功率（sustained power）提升和30％散熱性能提升。每臺Quest Pro都配有12GB內(nèi)存、256GB存儲空間和10個高分辨率傳感器（內(nèi)5個，外部5個），從而有助于增強各種沉浸式體驗。

Quess Pro采用Pancake光學(xué)模組取代了Qust 2中的菲涅爾透鏡。Pancake光學(xué)元件可以將光線折疊數(shù)次，在提供清晰視覺效果的同時，光學(xué)模塊的深度可以減少40%。另外，兩個LCD顯示器使用局部調(diào)光和量子點技術(shù)，從而提供更豐富和更生動的顏色。其中，定制的局部調(diào)光技術(shù)由專門的背光硬件和配套的軟件算法支持，可以獨立控制500多個單獨的LED區(qū)塊，并將顯示器的對比度提高75%。

Quest Pro的每英寸像素數(shù)比Quest2多37%，每度像素數(shù)比Quest 2多10%，這使得從閱讀文本到玩游戲的畫面效果看起來都更好。同時，中心視圖的全場視覺清晰度提高了25%，外圍區(qū)域提高了50%，色域比Quest 2大1.3倍。

Quest Pro擁有全新的傳感器架構(gòu)，配備高分辨率前置攝像頭，可捕獲4倍于Quest 2外置攝像頭的像素，從而實現(xiàn)高清的全彩混合現(xiàn)實體驗。

Quest Pro的混合現(xiàn)實允許你以逼真的方式將物理環(huán)境與虛擬元素結(jié)合起來，從而增強社交、生產(chǎn)力和協(xié)作能力。你可以建立一個大型虛擬工作區(qū)，并擺放多個屏幕，而不是局限于辦公桌尺寸。你同時可以在Immersed等生產(chǎn)力應(yīng)用中使用物理鍵盤和鼠標?；蛘撸绻闶且幻揖咴O(shè)計師，你可以使用Arkio和Gravity Sketch與同時實時協(xié)作創(chuàng)建詳細的3D模型，然后看看它們在實際客廳中的效果。借助Presence Platform的場景理解和共享空間錨定，開發(fā)者可以構(gòu)建與物理空間交互的虛擬對象。

2. Touch Pro控制器

Quest Pro的控制器是全新的Touch Pro控制器。它們的一個主要新功能是：每個控制器內(nèi)置了三個傳感器，可獨立于頭顯追蹤其在3D空間中的位置，從而為你提供全方位的360度運動范圍。以這種方式，它確保了對所有VR應(yīng)用的穩(wěn)定追蹤。

Meta表示，這款Pro控制器經(jīng)過了重新設(shè)計，更加平衡，更加符合人體工學(xué)，感覺就像是手的自然延伸。它們同時配備了升級的觸覺反饋，利用全新的TruTouch觸覺系統(tǒng)提供更廣泛、更精確的反饋范圍。當然，Pro控制器包含可充電電池。利用附帶的充電座和45W USB-C電源適配器，你可以隨時為頭顯和控制器充電。

另外，Quest 2用戶可以在今年年底以299.99美元的價格單獨購買Touch Pro控制器。

3. Quest Pro配件

除了新的頭顯和控制器外，你同時可以預(yù)訂各種相關(guān)配件，從而提升你的Quest Pro體驗。

Meta Quest Pro Compact Dock（售價79.99美元，10月25日發(fā)售）是一款二合一的充電座，可為Touch Pro控制器和任何USB-C插口的Quest頭顯充電。它包括一個45W USB-C電源適配器。

Meta Quest Pro Full Light Blocker全遮擋器（售價49.99美元，于11月22日發(fā)售）是一款完全遮光的面部界面，可輕松接到Quest Pro并為你帶來更身臨其境的體驗。另外還有Quest Pro VR Earphones耳機（售價49.99美元，10月25日發(fā)售）和Meta Quest Pro Carry Case from Incase便攜包（售價119.95美元，10月25日發(fā)售）。

4. Quest Store營收

在今天凌晨的Meta Connect 2022大會上，扎克伯格開場就分享了Quest App Store的喜人成績，Quest 商店三分之一的App實現(xiàn)了百萬美元營收，其中55款A(yù)pp實現(xiàn)了500萬美元營收（是一年前的兩倍），33款A(yù)pp實現(xiàn)了1000萬美元營收（是一年前的兩倍）。

開發(fā)者取得成功的速度越來越快。例如，《BONELAB》在發(fā)行不到一個小時的時間內(nèi)就達到了100萬美元，創(chuàng)下了Meta Quest歷史紀錄，但Stress Level Zero并不是唯一一家成功的開發(fā)者。《Zenith: The Last City》和《生化危機4》在不到24小時內(nèi)就達到100萬+美元的營收；《Blade & Sorcery: Nomad》在兩天內(nèi)達到了這個目標，而基于“行尸走肉”的《The Walking Dead:Saints&Sinners》單單在Meta Quest平臺的營收就超過了5千萬美元，幾乎是所有其他平臺營收的兩倍。

當然，構(gòu)建健康可持續(xù)的VR生態(tài)系統(tǒng)的一環(huán)是確保開發(fā)者有多種方式觸及受眾。自2021年推出以來，審核標準更寬的App Lab已經(jīng)發(fā)展到2000多個應(yīng)用。諸如《Smash Drums》，《Ancient Dungeon》和《Puzzling Places》等優(yōu)秀作品都是從App Lab開始。

Meta同時看到了用戶行為的轉(zhuǎn)變：當Quest 2發(fā)布時，用戶在VR中的大部分時間都是獨自度過。但如今，他們的大部分時間都用到了多人游戲和社交應(yīng)用，涉及探索、游戲、學(xué)習(xí)新愛好等等。

5. Quest 新IP游戲：《鋼鐵俠 VR》

Meta宣布來自漫威的《鋼鐵俠 VR》將于11月3日登陸Meta Quest 2。這款基于“鋼鐵俠”宇宙的作品是由Camouflaj Teams，索尼互娛，以及漫威游戲（Marvel Games）共同研發(fā)而成。值得一提的是，著名美術(shù)、概念設(shè)計師阿迪·格蘭諾夫（Adi Granov）為游戲構(gòu)思了相關(guān)的盔甲，將經(jīng)典的漫畫美學(xué)與超現(xiàn)代風(fēng)格融為一體，從而為玩家?guī)砹烁挥谐两械莫毺豓R體驗。

作為故事背景，經(jīng)歷數(shù)年超級英雄生涯后，世界知名的鋼鐵俠托尼·史塔克突然遭到神秘人物幽靈的襲擊。這名反派改造了史塔克工業(yè)的舊武器，并用以對付鋼鐵俠。。

6. Quest 云游戲探索：Xbox

在Connect大會期間，微軟首席執(zhí)行官薩提亞·納德拉宣布Xbox Cloud Gaming（Beta）即將登陸Quest Store，但具體日期未確定。

Xbox Cloud Gaming這項云游戲服務(wù)能夠?qū)?shù)百款高質(zhì)量游戲流式傳輸?shù)揭幌盗性O(shè)備，而這將會包括Meta Quest 2。當Xbox Cloud Gaming在正式支持Quest時，你同時可以啟用巨大的2D屏幕，并利用Xbox控制器暢玩Xbox Game Pass Ultimate內(nèi)容庫中的主機內(nèi)容。

7. VR游戲團隊買買買

盡管針對健身應(yīng)用《Supernatural》開發(fā)商Within的收購受挫，但這家公司依然在繼續(xù)自己的買買買。?在本屆大會，Meta宣布已經(jīng)收購《鋼鐵俠 VR》的開發(fā)商Camouflaj Teams，《Wilson’s Heart》和《Path of the Warrior》背后的開發(fā)商Twisted Pixel，以及《生化危機 4》背后的開發(fā)團隊Armature Studio。

值得一提的是，根據(jù)美國聯(lián)邦貿(mào)易委員會（FCC）早前的揭秘，Twisted Pixel的收購案早已在2021年11月完成。下面是FCC公布的Meta收購的VR內(nèi)容工作室。

• 2020年1月，收購VR游戲《Asgard’s Wrath》背后的工作室Sanzaru Games

• 2020年5月，收購VR游戲《Lone Echo II》背后的工作室Ready at Dawn?–?2021年4月，收購VR游戲《Onward》背后的工作室Downpour Interactive

• 2021年5月，收購VR游戲《Population One》背后的工作室BigBox VR

• 2021年6月，收購了元宇宙游戲平臺Crayta背后的Unit2 Games

• 2021年11月，收購了VR游戲《 Wilson’s Heart》背后的工作室Twisted Pixel

8. Quest Pro混合現(xiàn)實辦公

Quest Pro是為建筑師、工程師、建設(shè)者、創(chuàng)造者和設(shè)計師等希望通過VR增強其工作流程并增強其創(chuàng)造力的人而設(shè)計。從長遠來看，Meta希望所述設(shè)備能夠解鎖一系列的新方法，并改進不同行業(yè)和企業(yè)的工作體驗。

在Connect大會中，微軟宣布與Meta達成進一步的合作，把Mesh for Microsoft Teams，Microsoft 365應(yīng)用，Microsoft Intune和Azure?Active Directory帶到Quest系列頭顯。這家公司指出，作為一家平臺企業(yè)，微軟提高工作效率和協(xié)作的方法是確保其提供的軟件體驗?zāi)軌驇椭杏脩羰芤妗１局@種精神，他們宣布與Meta達成了進一步的合作：

Mesh for Microsoft Teams將支持Meta Quest設(shè)備這個工具旨在將Microsoft Mesh的混合現(xiàn)實功能與Microsoft Teams的生產(chǎn)工具相結(jié)合。

Microsoft 365應(yīng)用程序?qū)⒌顷慚eta Quest設(shè)備，從而允許人們能夠在VR中與Word、Excel、PowerPoint、Outlook和SharePoint等進行交互。未來，Windows 365將同樣登陸Meta Quest設(shè)備并允許流式傳輸Windows Cloud PC，包括你的個性化應(yīng)用、內(nèi)容和設(shè)置。

Microsoft Intune和Azure Active Directory將支持Quest Pro和Quest 2，這樣IT管理員就能夠通過Meta的Quest for Business訂閱為用戶提供服務(wù)，并將PC和移動設(shè)備的安全和管理選項帶到VR。

微軟評論道：“這一合作伙伴關(guān)系補充了我們對HoloLens的承諾，我們非常高興能夠繼續(xù)推進我們的混合現(xiàn)實設(shè)備路線圖，并以我們的云第一方法為先導(dǎo)，以Windows和Microsoft 365為先導(dǎo)。所有這一切都推動了我們建立負責(zé)任的元宇宙基礎(chǔ)的努力，而安全、合規(guī)和企業(yè)級經(jīng)驗是我們?nèi)绾卫^續(xù)為未來辦公開啟新可能性的基礎(chǔ)。”

扎克伯格同時邀請了埃森哲主席兼首席執(zhí)行官朱莉·斯威特（Julie Sweet）。她透露，這家全球?qū)I(yè)服務(wù)公司正在與Meta和微軟合作，共同幫助世界各地的企業(yè)創(chuàng)造新的體驗，從而加速未來辦公的到來。

在2021年，埃森哲部署了6萬臺Quest 2頭顯。這改變了員工的入職流程，他們在與微軟共同創(chuàng)建的Nth Floor虛擬園區(qū)中歡迎了15萬人。埃森哲將在未來一年內(nèi)繼續(xù)與Meta和微軟合作，幫助企業(yè)使用VR改變吸引員工、與客戶互動或在元宇宙中創(chuàng)建產(chǎn)品和服務(wù)的方式。

微軟和埃森哲并不是唯一對未來元宇宙辦公持樂觀態(tài)度的公司。在過去的一年里，Meta與數(shù)十個合作伙伴進行了合作，為希望在VR及其他領(lǐng)域完成任務(wù)的人們創(chuàng)造了新的體驗。

例如，Autodesk正在更新其協(xié)作設(shè)計審查應(yīng)用程序，從而利用Quest Pro提供的新功能。這將為建筑師和設(shè)計師提供一種沉浸式查看3D模型的全新方式。

Meta同時與Adobe合作，幫助人們在VR中完成更多工作。在2023年，Adobe面向?qū)I(yè)3D創(chuàng)造者、設(shè)計師和藝術(shù)家的Substance 3D應(yīng)用程序?qū)⒌顷慟uest Pro和Quest2。另外，Adobe將把Adobe Acrobat帶到Quest Store，從而實現(xiàn)PDF文檔的查看、編輯和協(xié)作。

9. MR開發(fā)工具Presence Platform大更新，釋放Quest Pro混合現(xiàn)實潛力

Meta在2021年的Connect大會亮相了Presence Platform。這個擁有大量機器感知和人工智能功能的工具集旨在幫助你構(gòu)建逼真的混合現(xiàn)實、交互和語音體驗，從而在用戶的物理世界中無縫融合虛擬內(nèi)容。對于今天發(fā)布Quest Pro，它將能解鎖全彩混合現(xiàn)實。

9.1 Movement SDK

Meta發(fā)布了Presence Platform的最新補充Movement SDK。Movement SDK由眼睛追蹤、面部追蹤和三點身體追蹤功能組成，而它們將有助于解鎖全新的臨場維度。Movement SDK允許Avatar使用Quest Pro的朝內(nèi)傳感器實時模擬面部動作?，F(xiàn)在，開發(fā)者可以通過眼動追蹤和面部追蹤實現(xiàn)栩栩如生的Avatar，從而令虛擬角色可以看起來和感覺更像真人。值得一提的是，這是驅(qū)動Horizon Worlds和Holizon Workrooms中的Avatar的相同底層技術(shù)。

9.2 眼動追蹤和面部追蹤

Movement SDK包括Quest Pro新開發(fā)的眼動追蹤和面部追蹤功能。頭顯內(nèi)有五個指向面部的紅外傳感器：三個指向眼睛和上半臉，兩個指向下半臉。面部追蹤由機器學(xué)習(xí)模型驅(qū)動，可允許Quest Pro檢測各種面部運動。

Movement SDK輸出的抽象面部運動數(shù)據(jù)由基于面部動作編碼系統(tǒng)Facial Action Coding System（FACS）的線性混合形狀表示。FACS是一系列0到1的值，與一組通用面部運動相對應(yīng)，例如皺眉。在將信號從Face Tracking API 映射到自己的角色rig時，開發(fā)者可以輕松保留用戶原始動作的語義含義。

隨著Movement SDK的引入，Meta現(xiàn)在能夠支持第三方角色具現(xiàn)的社交臨在。例如，團隊創(chuàng)建了一個稱之為Aura的外星人角色。她可以眨眼，左右移動嘴巴等等。

正如你在上面視頻所示，Aura的面部和眼部動作可用于社交活動，并展示了機器學(xué)習(xí)驅(qū)動的高分辨率角色的潛力。Aura將于本月中下旬作為可下載示例托管至GitHub。你可以自由查看幕后情況，看看Meta是如何實現(xiàn)重定目標和rig映射。屆時可注意相關(guān)的文檔，它將為映射到不同的具體角色提供指導(dǎo)和最佳實踐。

除了社交臨在之外，開發(fā)者同時可以估計某人在VR中的視線作為輸入，從而構(gòu)建全新的交互和體驗，類似于手動追蹤。這意味著人們可以根據(jù)自己的視線所見來與虛擬內(nèi)容進行交互。

9.3 Body Tracking API

Movement SDK同時包括Body Tracking API，后者可根據(jù)控制器或手相對于頭顯的位置來使用三點追蹤。肢體語言是社交體驗的一個重要組成緩解。若看到角色的身體動作不符合人類實際，這將會完全打破沉浸感。所以，Meta使用了大量真實人體運動數(shù)據(jù)集來學(xué)習(xí)和糾正簡單反向運動學(xué)（IK）方法常見的錯誤。

Body Tracking API可以在玩家使用控制器或僅使用裸手的情況下工作，并且在這兩種情況下都提供了完整的模擬上身骨骼。它同時可以自動處理玩家放下控制器并開始使用裸手的情況，無需開發(fā)者進行任何額外的邏輯處理。

Body Tracking API適用于Quest Pro和 Quest2，并會支持未來的Meta Quess設(shè)備。另外，未來幾年的Body Tracking API優(yōu)化將通過相同的API實現(xiàn)，因此你將能繼續(xù)從Meta獲得最佳的身體追蹤技術(shù)，無需切換到不同的界面。

9.4. 混合現(xiàn)實與場景理解

Meta早前已經(jīng)發(fā)布了場景理解功能，并分享了混合現(xiàn)實和Presence Platform的可能性，包括Quest 2和Quest Pro。

使用Presence Platform的混合現(xiàn)實功能，Arkio正在帶來一種更具沉浸感和影響力的體驗，并且遠遠超出了平板屏幕的可能性。

場景理解功能允許開發(fā)人員創(chuàng)建適應(yīng)用戶個人空間的混合現(xiàn)實體驗，并大大增加沉浸感。數(shù)字內(nèi)容可以與物理世界交互，支持遮擋、碰撞和導(dǎo)航網(wǎng)格等等，而所有這一切都提高了混合現(xiàn)實中的沉浸感和真實感。

以Sir Aphino的以上場景為例，它展示了場景理解如何在虛擬角色、物理墻壁和天花板位置，以及玩家房間內(nèi)的其他對象之間實現(xiàn)交互的基本示例。

下面是Meta今天發(fā)布的全新混合現(xiàn)實功能Demo，它將幫助開發(fā)者以全新的方式融合物理世界和虛擬世界。

借助Quest Pro的先進傳感器和4倍像素數(shù)，開發(fā)人員現(xiàn)在可以構(gòu)建允許人們在參與虛擬世界的同時，又保持物理空間中完整、豐富的色彩的體驗。Meta對高級立體視覺算法的投資提供了更高質(zhì)量和更為舒適的Passthrough體驗，在特寫和房間規(guī)?；旌犀F(xiàn)實場景中可以實現(xiàn)更好的深度感知和更少的視覺失真。

生產(chǎn)力應(yīng)用程序可以將巨大的虛擬監(jiān)視器與鍵盤和鼠標等物理工具相結(jié)合。對于Immersed，用戶可以生成多達五個虛擬屏幕，在虛擬桌面上無干擾地工作或與他人協(xié)作。

利用全彩Passthrough，開發(fā)者現(xiàn)在可以進一步指出用戶探索、體驗和參與混合現(xiàn)實。最棒的是，使用Passthrough構(gòu)建的 Quest 2應(yīng)用程序支持Quest Pro。

9.6 Shared Spatial Anchors

Meta在2021年發(fā)布了允許開發(fā)人員在物理世界中錨定虛擬內(nèi)容的Spatial Anchors?，F(xiàn)在，Meta計劃帶來一個令人興奮的升級版本：允許開發(fā)者構(gòu)建本地多人游戲體驗的Shared Spatial Anchors。

Shared Spatial Anchors允許開發(fā)人員為多個用戶創(chuàng)建一個共享的鎖定世界參考幀，從而構(gòu)建本地多玩家（共同定位）體驗。例如，開發(fā)人員可以構(gòu)建兩人或更多人可以在同一物理空間中協(xié)作或一起游玩，并與相同虛擬內(nèi)容進行交互的游戲和應(yīng)用。

在Connect大會，Meta展示了Magic Room的預(yù)覽，這是他們?yōu)槔肧hared Spatial Anchors的Horizon Workroom構(gòu)建的混合現(xiàn)實體驗。Magic Room允許任何形式的組合在共一空間協(xié)作，例如有人遠程有人置身在物理空間。

10. Reality Labs研究探索：EMG手腕交互

但當我們展望未來的AR眼鏡和下一代VR頭顯時，我們看到了人機交互模式轉(zhuǎn)變的必要性，而這將有助于新設(shè)備在一天中可能遇到的各種情況下發(fā)揮作用，同時允許你完全活在當下，專注于世界和周圍的人和事。

對于新的輸入方式（Mea押注于使用肌電圖（EMG）進行基于手腕的交互），Meta對未來的展望需要能夠與未來設(shè)備（尤其是AR眼鏡）協(xié)同工作，從而感知和重建周圍世界，并理解設(shè)備環(huán)境的個性化人工智能。有了這樣的理解，人工智能將能夠提出建議并采取相應(yīng)行動，幫助你完成任務(wù)（理想情況下，你甚至可能不會注意到）。

將個性化人工智能與肌電圖相結(jié)合： 肌電圖將通過手腕的神經(jīng)肌肉信號直接作為輸入信號，這樣你將擁有一個直觀、幾乎無摩擦的界面。這將是第一個真正以人為中心的界面，部分原因是它不會強迫人們學(xué)習(xí)一個困難的新型控制方案。相反，未來的設(shè)備將在你使用時學(xué)習(xí)并適應(yīng)你。通過將機器學(xué)習(xí)和神經(jīng)科學(xué)相結(jié)合，這種未來的界面將適用于不同的人員，同時通過一種稱為“共同適應(yīng)學(xué)習(xí)”的過程來解釋他們在生理、大小等方面的差異。

在第一個演示內(nèi)容中，你可以看到兩個人使用基于手腕的肌電圖開玩街機游戲。盡管他們都在游戲中使用相同的手勢進行控制，但他們的手勢執(zhí)行方式略有不同。每次他們中的一個人執(zhí)行手勢時，算法都會適應(yīng)解釋這個特定人員的信號，所以每個人的自然手勢都能快速可靠地識別出來。換句話說，隨著時間的推移，系統(tǒng)能夠更好地理解它們。協(xié)同適應(yīng)學(xué)習(xí)的潛力不僅限于全手勢，而且包括微手勢。算法能夠?qū)崟r學(xué)習(xí)如何對肌電信號作出反應(yīng)，即人們激活并發(fā)送到手上的肌電信號，只需手部的輕微動作。

系統(tǒng)可以解碼手腕信號并將其轉(zhuǎn)換為數(shù)字命令，從而識別用戶決定執(zhí)行的動作。這樣你幾乎不需要任何手部動作就可以將想要實現(xiàn)的動作傳達給計算機。正如GUI標志著我們與計算機交互方式的巨大變化一樣，EMG有潛力徹底改變我們與數(shù)字世界的交互方式：我們不僅可以做更多的事情，而且可以以我們想要的方式實現(xiàn)。在Connect大會，扎克伯格展示了一個可以通過運動神經(jīng)元信號控制AR/VR設(shè)備的演示內(nèi)容。

通過微妙的動作，你可以查看信息和進行拍照等等。手勢越微妙，體驗就越流暢和輕松。你不必掏出手機就可以完成操作。

這只是開始。真正的AR眼鏡及其未來的界面有望解鎖更加有用的交互，例如能夠右鍵單擊物理對象或位置以獲取相關(guān)詳細信息，更好地控制我們的設(shè)備而無需遠離我們周圍的世界，并從個性化的AI數(shù)字助理獲取主動幫助。它們將共同為計算提供一種更加自然、以人為中心的方法，并可能為我們帶來尚未想到的全新可能性。

這種未來的接口將真正改變我們的生活。一個特別鼓舞人心的例子是卡內(nèi)基梅隆大學(xué)的NavCog項目：幫助視力受損者。

11. Reality Labs研究探索：卡內(nèi)基梅隆大學(xué)合作項目NavCog

Reality Labs兩年前在Connect大會亮相了Project Aria。這個全新的研究項目旨在幫助團隊構(gòu)建第一代可穿戴AR設(shè)備。作為公告的一環(huán)，Meta宣布與卡內(nèi)基梅隆大學(xué)及其Cognitive Assistance Laboratory實驗室進行合作試點，共同構(gòu)建博物館和機場的3D地圖。這種地圖將具有多種應(yīng)用，包括幫助視覺障礙患者更好地在室內(nèi)導(dǎo)航，因為室內(nèi)GPS信號通常無法到達。

今天，Reality Labs分享了這個項目的最新情況。

NavCog是由卡內(nèi)基梅隆大學(xué)開發(fā)的智能手機應(yīng)用，旨在幫助視覺障礙者更好地在室內(nèi)環(huán)境中導(dǎo)航?？▋?nèi)基梅隆大學(xué)的研究人員利用Project Aria繪制了匹茲堡國際機場的3D地圖。然后，他們可以使用所述地圖來訓(xùn)練在手機端運行的人工智能本地化模型。有了NavCog，人們可以知道自己在機場的什么地方，無需依賴機場周圍的外部藍牙信標。這是一個重要的發(fā)展，因為它表明了最終大規(guī)模部署NavCog的能力。

12. Reality Labs研究探索：從物理對象構(gòu)建3D對象

構(gòu)建和操作3D對象的能力將在元宇宙中發(fā)揮關(guān)鍵作用。例如，想象一下在Horizon Home中展示一件珍貴的傳家寶，或者能夠在購買實物家具之前通過AR查看相應(yīng)的效果。從零開始構(gòu)建3D對象十分困難，使用物理對象作為模板可能更容易、更快速。但目前尚沒有無縫的方法來實現(xiàn)這一目標，所以Reality Labs正在研究兩種不同的技術(shù)來幫助解決這個問題。

第一種方法使用基于機器學(xué)習(xí)的神經(jīng)輻射場（NeRFs），從不同角度拍攝的多個2D圖像重建3D對象的外觀。這種方法甚至可以再現(xiàn)對象的最精細細節(jié)。

盡管需要一定的處理時間，但結(jié)果令人印象深刻。紋理非常清晰，你可以拾取細膩的細節(jié)，如單根毛發(fā)。

第二種技術(shù)直接捕獲幾何圖形和外觀。團隊使用一種稱為Inverse Rendering反向渲染的不同技術(shù)來掃描一個對象，并將其數(shù)字孿生帶到VR或AR。它能夠動態(tài)響應(yīng)VR環(huán)境中的照明。當你把它拋向空中，把它扔到墻上，或者把它彈離地面時，它的反應(yīng)與實物的反應(yīng)相同。

這兩種技術(shù)暫時都無法實時運行，而且都有其局限性。但對于幫助人們輕松地將物理對象變成虛擬世界一部分的這一目標，它們都是重要的一步。

13. Reality Labs研究探索：Codec Avatars 2.0

在2021年，Reality Labs已經(jīng)分享了全身Codec Avatars的早期進展。與你可能見過的其他高質(zhì)量Avatar相比，Codec Avatars的區(qū)別在于，它們可以實時自動生成和驅(qū)動，匹配真實人員的外觀和暈動。這意味著它們不限于預(yù)設(shè)動作，你可以實時控制他們。Reality Labs正繼續(xù)開發(fā)這項技術(shù)，而在今天的大會中，他們表示現(xiàn)在已經(jīng)可以改變Codec Avatars的虛擬服飾。

這意味著，未來你將能夠無縫地從動作游戲會話跳到重要的商務(wù)會議，然后回到你的首空間環(huán)境，與朋友或家人在元宇宙中閑逛。

Meta同時展示了他們在Codec Avatars 2.0方面的最新進展。相關(guān)的研究項目旨在幫助合成的面部表情能夠更真實地契合我們的身體形態(tài)。

團隊令Codec Avatars 2.0更具表現(xiàn)力。除了看左、看右、看上、看下等簡單的動作外，Reality Labs同時整合了人們相互交流和理解語氣所依賴的非語言線索，比如揚眉、瞇眼和睜大眼睛。通過更好地捕捉微妙的表情，Codec Avatars 2.0現(xiàn)在更加逼真和自然。你甚至可以控制Codec Avatars 2.0的照明，從而添加另一個維度的真實感。

Codec Avatars令人印象深刻，但它們需要很長時間才能生成，所以Reality正在研究一種更快的解決方案來供人們在未來使用：Instant Codec Avatars。

14. Reality Labs研究探索：Instant Codec Avatars

Instant Codec Avatars比Codec Avatars更快、更容易制作。掃描所需只是智能手機和像樣的照明。以中性表情從多個角度掃描人臉大約30秒，然后在繼續(xù)掃描時再花90秒做出各種表情即可。目前，在掃描過程之后生成一個Instant Codec Avatars需要幾個小時，但團隊正在努力減少總體處理時間。

Reality Labs在Instant Codec Avatars方面取得了非常大的進展。盡管它們的質(zhì)量和逼真度不如Codec Avatars 2.0，但Instant Codec Avatars依然令人感覺逼真和富有表現(xiàn)力。另外，因為掃描所需的只是你的手機，所以它們更容易普及。

團隊強調(diào)，這項工作依然處于研究階段，它可能會，或者可能永遠不會成為實際產(chǎn)品。不過，這只是未來五到十年技術(shù)發(fā)展方向的一瞥。Reality Labs評論道：“我們在過去數(shù)年的研究為未來的發(fā)展奠定了堅實的基礎(chǔ)?！?/p>

15. Horizon Worlds

Meta表示，元宇宙將為VR頭顯、智能手機、筆記本電腦和臺式PC，甚至尚不存在的設(shè)備搭建橋梁。在今天的Connect大會，這家公司宣布將Horizon Worlds帶到其他平臺，這樣你就可以通過手機或筆記本電腦拜訪在VR朋友，反之亦然。例如，如果你正在欣賞喜劇節(jié)目，你可以將鏈接發(fā)送給你的朋友，這樣他們無需頭顯都可以加入其中。網(wǎng)絡(luò)將成為世界各地的人們體驗虛擬世界的第一條途徑。盡管網(wǎng)絡(luò)并沒有提供完整的VR體驗，但它為開發(fā)者、創(chuàng)造者和人們帶來了全新的體驗。

Meta同時在測試一種允許你在Worlds錄制視頻，并輕松地將其作為一個Reel直接分享給Instagram的方法。團隊同時與Instagram的創(chuàng)造者合作，呈現(xiàn)他們依靠奇思妙想所構(gòu)建的世界。

他們同時簡化了為Worlds構(gòu)建內(nèi)容的過程。過去你必須在虛擬現(xiàn)實中構(gòu)建一切。現(xiàn)在，你可以在Horizon Worlds中看到由Crayta構(gòu)建的令人難以置信的世界。同時，團隊正繼續(xù)將創(chuàng)意工具包擴展到VR之外，包括使用腳本語言TypeScript創(chuàng)建更加動態(tài)和交互式的世界。另外，Meta正在努力幫助你將tri-mesh項目導(dǎo)入Worlds，并使用諸如如Maya、3Ds Max、Blender和Adobe Substance 3D等3D內(nèi)容創(chuàng)建工具構(gòu)建部分世界。

它們是專業(yè)人員用來構(gòu)建3D的高質(zhì)量工具。支持它們的主要優(yōu)勢之一是其產(chǎn)生的圖形質(zhì)量。整合所有這一切需要一定的時間，但結(jié)果將令人期待。同時，Meta正在與Epic Games合作，將Creative Commons許可的內(nèi)容從Sketchfab庫引入Horizon Worlds。

Meta進一步談到了你在元宇宙中的個人空間。它應(yīng)該是一個社交空間，無論是什么設(shè)備，你都可以邀請你的朋友過來。最重要的是，你需要有一種如同家一般的舒適感。

這家公司進一步宣布，2023年將開始與NBCUniversal進行多年合作，將標志性的喜劇和恐怖體驗帶入元宇宙?！癟he Office”、“Blumhouse、“Universal Monsters”和“Halloween Horror Nights”都將來到Worlds。當Peacock應(yīng)用在明年來到Meta Quest時，你就可以追番你最喜歡的NBCUniversal節(jié)目。

16.?YouTube?VR

Meta正在與YouTube VR團隊合作，在社交方面進行創(chuàng)新。如果你在Horizon Home和朋友們一起共聚，你很快就能打開YouTube，大家排排坐，一起看視頻。?另外，未來你可以同時處理多個任務(wù)，在工作或在家瀏覽網(wǎng)頁時保持YouTube視頻播放。

值得一提的是，如果你正在使用Quest Pro，你很快就能將YouTube視頻（通過2D面板）帶入其他VR應(yīng)用程序。想象一下，你可以一邊學(xué)習(xí)拳擊課程，一邊暢玩《The Thrill of the Fight 》，或者在《Walkabout Mini Golf》會話期間看音樂視頻。

17. 健身

Meta強調(diào)，VR不僅僅是一個嘗試新游戲和沉浸式體驗的好地方，它對健身而言同樣非常出色。Quest提供了各種各樣的應(yīng)用程序任君選擇。在Connect大會，Meta又宣布了今年即將推出的產(chǎn)品和更新。

• Meta Quest 2 Active Pack：這是Meta的第一個健身捆綁包，今天可以預(yù)購，并將于10月25日以69.99美元的價格發(fā)售。這個捆綁包提供了一個全新的可擦洗面部接口、一套額外的腕帶、以及用于進一步固定控制器的全新可調(diào)節(jié)指節(jié)帶。?–

• Made for Meta計劃（原Oculus?Ready）：Meta正在與硬件制造商合作，從2023年開始為Meta Quest帶來更多配件。

• Quest Move（原Oculus Move）：這個系統(tǒng)級健身應(yīng)用可以幫助你跟蹤和分享自己的健身進度。在今年， Quest Move已經(jīng)正式支持Meta Quest app和蘋果健康 app，從而允許你通過手機端查看相關(guān)的統(tǒng)計信息。

• 如果你是《Supernatural》的粉絲，相信你已經(jīng)熟悉心流和拳擊訓(xùn)練。但現(xiàn)在，這款應(yīng)用添加了一種新型的鍛煉方式：提膝。這是一種激發(fā)核心肌群和下半身活力的爆炸性方式，有助于你發(fā)展平衡和協(xié)調(diào)能力。《Supernatural》將于本月中下旬上線所述鍛煉方式。

• Quest平臺同時帶來了推出了《Gym Class – Basketball VR》。這款基于物理的籃球游戲允許你最多可以與六個人在線游玩。你可以練習(xí)投籃和運球，或者進行精彩的扣籃。值得一提的是，《Gym Class – Basketball VR》在App Lab的下載量已經(jīng)超過100萬次，而IRL Studios計劃在今年秋天把它帶到Quest Store。

• Meta將在今年秋季發(fā)布一個Fitness API測試版，從而幫助開發(fā)人員更容易為Meta Quest平臺構(gòu)建健身內(nèi)容。一旦實現(xiàn)，F(xiàn)itness API就可以允許人們選擇與開發(fā)人員共享來自Move的實時數(shù)據(jù)，如燃燒的總熱量和鍛煉的分鐘數(shù)。這可以帶來新的個性化體驗，比如定制統(tǒng)計頁面或根據(jù)進步解鎖新內(nèi)容。

• Meta在2023年會發(fā)布一種允許你與選定朋友分享健身進度的方式。

18. 元宇宙中的Avatar和身份

你的Avatar就是你，或者至少是你的數(shù)字表示。這意味著Avatar需要為你提供近乎無限的方式來在元宇宙中表達自己。在今年年初，Meta提供了耳蝸植入、耳上助聽器和輪椅，從而幫助用戶進一步表達自己。但現(xiàn)在，團隊又有了更多的改進，包括更多的身體類型和更逼真的皮膚著色器。

你穿什么同樣重要。所以，Meta宣布將于今年下半年帶來Avatar Store，這樣你就可以自由選購自己喜歡的虛擬服飾。Meta正在與體育、娛樂等領(lǐng)域的伙伴合作，以確保你能找到適合自己個人風(fēng)格的服飾。團隊表示：“我們希望這將啟動一個可互操作的數(shù)字產(chǎn)品市場。換句話說，如果你買了一件毛衣，無論你使用什么應(yīng)用程序，你都可以為你的Avatar穿上它?！?/span>

19. Avatar終于有了下半身

Meta在本屆大會宣布了一個備受期待的功能：Avatar的下半身。

當你的數(shù)字身體呈現(xiàn)不正確時，比如說沒有下半身時，這可能會分散你的注意力，打破沉浸感，甚至?xí)钅愀械讲话病eta的設(shè)備之前一直無法呈現(xiàn)Avatar的下半身，但現(xiàn)在Quest 2將能利用預(yù)測功能呈現(xiàn)你的下半身。

團隊表示：“我們投入了大量的時間來確保Quest 2能夠準確可靠地將你的雙腿帶到虛擬現(xiàn)實?！边@一功能將首先向Horizon Worlds開放。但隨著技術(shù)的進步，Meta將開始為更多體驗提供雙腿。

另外，Meta計劃在2023年允許開發(fā)者在游戲和應(yīng)用中實現(xiàn)定制的Avatar動作和行為。

需要注意的是，Meta強調(diào)真正成熟的Avatar尚需多年的時間，但他們正在穩(wěn)步提高技術(shù)和對人們希望如何在VR中呈現(xiàn)自己的理解。

20. 增強現(xiàn)實之路

盡管Meta在虛擬現(xiàn)實和混合現(xiàn)實這兩個元宇宙的重要窗口方面取得了重大進展，但Meta的增強現(xiàn)實依然需要大量的準備。這家公司指出，AR的基礎(chǔ)技術(shù)尚需數(shù)年的時間才能發(fā)展到足以支持優(yōu)秀AR眼鏡的水平。在AR眼鏡的夢想完全實現(xiàn)之前，團隊需要看到整個堆棧的進展：計算、圖形、顯示器、傳感器、AI，基本是所有一切。

Meta正在對相關(guān)領(lǐng)域進行投資，但對于AR眼鏡而言，形狀參數(shù)至關(guān)重要。所有技術(shù)都必須構(gòu)建成足夠輕便舒適的產(chǎn)品，以便用戶可以隨意佩戴。所以，他們正致力于打造能夠適配普通眼鏡形態(tài)的技術(shù)體驗。

這家公司在2021年與Essilor Luxottica合作推出了第一代智能眼鏡Ray Ban Stories。這是團隊向前邁出的第一步。來到2022年，他們進行了升級：將視頻捕獲長度從30秒增加到60秒，并允許你更容易將內(nèi)容從眼鏡上傳到Instagram。

解放雙手是Ray Ban Stories的核心，不再需要你周圍摸索手機。很快，你就可以用你的電話號碼，并直接通過Ray Ban Stories撥打電話或發(fā)送短信。

當然，用戶喜歡音樂，而Meta即將帶來Spotify Tap。你只需輕觸并按住眼鏡的側(cè)面即可播放Spotify。如果你想聽到不同的聲音，請再次輕觸并保持，Spotify將為你推薦新的內(nèi)容。

至于AR開發(fā)平臺Spark。從今天開始，Meta將為創(chuàng)作者提供使用Spark Studio構(gòu)建交互式3D對象的能力，并開始通過Spark Player在混合現(xiàn)實中測試它們。團隊同時在開發(fā)允許創(chuàng)作者更好地了解注視和空間感知如何在物理世界之上形成3D內(nèi)容的工具。

---
原文鏈接：https://news.nweon.com/101461