為什麼在 Meta、微軟元宇宙裡,我們都沒有腿?

當戴 Oculus Quest 2 進入 Meta VR 社交平臺 Horizon Worlds 時,需創(chuàng)建虛擬形象代表自己,可它看起來怎么也不像你,因為沒有下半身,像幽靈一樣漫游。

隔壁微軟也這樣,元宇宙入口 Mesh for Teams 的虛擬形象同樣沒有腿。然后你脫口而出:為什么沒有腿?
加雙腿有那么難嗎?
Andrew Bosworth 是 Meta Reality Labs 副總裁,帶領(lǐng) XR 部門期間,養(yǎng)成透過 Instagram 即時問答的習慣。2 月 10 日問答他就承認加腿是件難事。
如果想在 VR 以逼真樣貌呈現(xiàn)雙腿,首先需知道腿在現(xiàn)實的舉動,然后推斷腿在 VR 裡應該做什么。難點在雖然 Quest 2 能追蹤頭手,估算手臂和胸部的位置,但不知道腿在哪裡。
Quest 2 配備 4 顆廣角灰度鏡頭,2 顆在上方兩角、2 顆在下方偏前。如果我們向前看,這些鏡頭通??煽吹绞直?,如果坐著或向下看,鏡頭也能看到身體更多部分。但追蹤范圍有限,有時腹部等“障礙物”可能會擋住鏡頭;有時傾斜或轉(zhuǎn)動頭部,下方鏡頭也無法看到腿。Meta 還想將設(shè)備做得更小,鏡頭就更難看到腿了。

而另外做腿部設(shè)備感測呢?理論可行,但目前幾乎沒有腿部商用感測器和控制器。
HTC 銷售企業(yè)用戶 Vive VR 設(shè)備,還推出綁在四肢或物體(如網(wǎng)球拍)的追蹤器。不過追蹤器只能與連接電腦設(shè)備,且需要設(shè)置定位器。說到定位器,“無腿”核心原因就呼之欲出,即 Quest 2 的定位方式。
VR 定位技術(shù)可分為兩類,一是 Outside-in,二是 Inside-out。Outside-in 需事先放置多個定位器,定位器會發(fā)射雷射、紅外線、可見光等覆蓋定位器之間空間,以建立三度空間資訊,透過三角定位確定使用者位置和移動方向。

Quest 2 屬于 Inside-out,無需架設(shè)定位裝置,只 VR 設(shè)備裝鏡頭,讓設(shè)備自己檢測外部環(huán)境變化,再用 SLAM 演算法算出鏡頭空間位置和移動方向。
簡單來說,Inside-out 定位無需定位器,所以使用空間自由,更適合日常娛樂和移動;Outside-in 可提供更精準、范圍更大的追蹤效果,全身動捕一般靠 Outside-in 的追蹤設(shè)置達成。
既然目前做不到全身追蹤,Meta、微軟就將腰部以下“砍掉”了。
定位方式與使用習慣及公司戰(zhàn)略方向有關(guān)──科技發(fā)展越方便越好,消費者不一定關(guān)心是什么技術(shù)。起價 299 美元的 Quest 2 雖然精準度和延遲相對落后,但定位方式對普通用戶來說夠友善。
經(jīng)營 VR 社群,一直是許多 VR 制造商的目標。Meta 當然希望將 VR 更推向大眾消費市場。更逼真的身體表現(xiàn)固然引起更多人對 VR 的興趣,但也可能使用戶體驗更繁瑣、成本更高,至少短期如此。所謂“兩權(quán)相害取其輕”,更低使用門檻對普及 VR 意義重大。
Unity 增強和虛擬實境副總裁 Timoni West 提出一種解決方法──先採集大量走路數(shù)據(jù),再利用 AI 據(jù)設(shè)備檢測到的頭部運動預測腿部運動。AI 可能無法精準預測用戶每個動作,會導致 AI 再現(xiàn)動作不自然;“採集大量走路方式數(shù)據(jù)”前提也不容易,當未來某時每人家裡都有跑步機可 360 度捕捉腿部運動時,制作人體運動虛擬模型可能就不再困難。
簡言之,如果不在身上或周圍裝設(shè)許多感測器,就要求消費產(chǎn)品一體式 VR 設(shè)備完美追蹤腿部,基本上不可能。就像 HTC 美國公司總經(jīng)理 O′Brien 所說:
一般人追求的一直是全身心沉浸式體驗,用一臺一體式設(shè)備就再現(xiàn)身體每個動作。但我們目前還做不到。
你要跳舞嗎?
2019 年 9 月,Meta 宣布 Oculus Quest 使用深度神經(jīng)網(wǎng)路準確追蹤手部。戴著 Quest 2,我們可揮手在主介面簡單操作,也可握著控制器在游戲裡大殺四方。在 Horizon Worlds,飄浮的“無腿怪”可閒逛、結(jié)識朋友、開槍殺殭尸或創(chuàng)建世界。
精確的手部追蹤為什么重要?因解鎖一系列新體驗──用手勢暫停電影,社群游戲更自然表達,與現(xiàn)實一樣揮手打招呼、猜拳、握手、拿取、擊掌等。相比之下,如果不需跳舞等游戲用途,腿部追蹤似乎沒那么必要。就算不用腿部追蹤,軟體也可模擬行走、蹲下等動作。
為了讓步行更逼真,有研究人員推出腳部 VR 力回饋方案。舉例說,行走時體感包括視覺場景變化、腳踩在地面的回饋,以及四肢移動的體感。因此理論上,透過刺激和模擬這些體感、視覺效果,也能模擬逼真的行走體驗。如果只是看不慣,裝“假腿”就夠了。Andrew Bosworth 就這么想:
我們可為虛擬形象做雙假腿,讓人們看到完整的形象,沒人會知道差別在哪。

上圖是Piconeo3先鋒版vr眼鏡,下單地址:https://s.click.taobao.com/dHPYWau
當然 Andrew Bosworth 也承認,假腿無法取代真腿。假腿只是能在閒逛、聊天等簡單 VR 社交體驗時讓飄浮的虛擬形像看起來更自然,但沒有靈活的腿,總覺得少了什么。更沉浸真實的 VR 體驗,我們總需要腿,這方面代表便是 VR 社群平臺 VRChat。
VRChat 一大特點是虛擬角色不受限制,二次元飯熟知的 MMD 模型可直接轉(zhuǎn)換成 VRChat 角色,卡比獸、海綿寶寶、初音未來一起出現(xiàn)。不僅如此,越來越多 VR 舞者藉綁在身上的運動追蹤器來場街舞 battle。
為了在 VR 完成全身舞蹈,南韓 VRChat 舞者 Makoto 的追蹤器特別齊全:有無線附加配件的 HTC Vive、手腕上的 Index 控制器及腰部和腳部 Vive Tracker。

VR 愛好者愿意為全身追蹤付出許多金錢和精力,意味擁有“真腿”的門檻依然很高。但更長遠看,社群就是圍繞這些活動形成,世界第一個 VR 舞蹈社群 @IDA_officialVR 在 VRChat 舉辦一系列舞蹈比賽,VR 真正連結(jié)了可能永遠都不會見面的人們。我們?nèi)云诖夹g(shù)更好、更便宜那天到來,VR 就能提供更多比擬真實的體驗。
或許從“為什么沒有腿”問題就可看出,比起祖克柏的元宇宙,現(xiàn)在 VR 技術(shù)還有些距離,Horizon Worlds 也不是完整的元宇宙。話又說回來,或許不是所有人都喜歡有腿,不是每人都想有反射日常生活的虛擬形象。至少,未來人人皆可觸及的 VR 世界,要讓“飄浮的無腿怪”成為選擇之一而不是遺憾。