查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

他們瞄準(zhǔn)的方向是用戶(hù)的下半身追蹤，而不是控制器定位

（映維網(wǎng)Nweon?2022年05月05日）目前，諸如Quest?2等VR一體機(jī)通常是基于頭顯端的內(nèi)向外追蹤來(lái)追蹤控制器（或用戶(hù)的雙手）：頭顯端的攝像頭尋找控制器（通常帶有紅外LED），并使用它們的位置來(lái)映射它們相對(duì)于頭顯的移動(dòng)。

盡管這種方法有效，但前提只控制器需要位于頭顯攝像頭的視場(chǎng)之內(nèi)。這意味著，如果控制器過(guò)于脫離攝像頭視場(chǎng)，頭顯就會(huì)丟失控制器的追蹤。

所以，行業(yè)開(kāi)始把目光投向一種特別的解決方案：控制器本身配備用于內(nèi)向外追蹤的攝像頭。以這種方式，無(wú)論控制器位置何在都可以實(shí)現(xiàn)定位。

例如，早前有消息稱(chēng)將于今年發(fā)布的Magic Leap?2和Project Cambria都會(huì)為控制器采用內(nèi)向外追蹤的方式。

卡內(nèi)基·梅隆大學(xué)的未來(lái)界面小組（ Future Interfaces Group）同樣有就控制器內(nèi)向外追蹤方案進(jìn)行了探索。有趣的是，團(tuán)隊(duì)是基于Quest 2的控制器進(jìn)行了測(cè)試，而且他們瞄準(zhǔn)的方向是用戶(hù)下半身的追蹤，而不是控制器定位。

簡(jiǎn)單來(lái)說(shuō)，由于用戶(hù)一般都會(huì)在身前抬起雙手并握持控制器，所以與難以“看到”用戶(hù)下半身的頭顯攝像頭相比，控制器搭載的用戶(hù)朝向攝像頭可以覆蓋追蹤用戶(hù)下半身。

盡管并非沒(méi)有限制，而且性能效果方面尚不完美，但它能夠支持用戶(hù)在虛擬現(xiàn)實(shí)中執(zhí)行跺腳、下蹲、弓步等一系列的腿腳交互。

盡管內(nèi)向外追蹤的性能已經(jīng)足以在頭顯、控制器和雙手追蹤方面取代外向內(nèi)追蹤，但由于視場(chǎng)覆蓋問(wèn)題，全身動(dòng)捕一直以來(lái)都是依靠外向內(nèi)的追蹤設(shè)置來(lái)實(shí)現(xiàn)。

諸如Quest 2這樣的一體機(jī)目前能夠通過(guò)內(nèi)向外追蹤實(shí)現(xiàn)頭部和雙手的動(dòng)捕，而這又使得估計(jì)手臂和胸部的位置相對(duì)容易。但頭顯難以判斷你的腿、腳或臀部位置，所以今天的Avatar數(shù)字人一直都是缺失下半截。

盡管有人建議可以通過(guò)計(jì)算機(jī)視覺(jué)和算法技巧來(lái)估算雙腳的位置，但Meta首席技術(shù)官安德魯·博斯沃思（Andrew Bosworth）早前就曾明確指出，考慮到攝像頭位置（視場(chǎng)覆蓋），實(shí)現(xiàn)起來(lái)非常困難，而且隨著頭顯形狀參數(shù)的不斷小型化，問(wèn)題將變得越發(fā)困難。

針對(duì)這個(gè)挑戰(zhàn)，卡內(nèi)基·梅隆大學(xué)把目光投向了用戶(hù)握持的控制器。由于用戶(hù)一般都會(huì)在身前抬起雙手并握持控制器，所以與難以“看到”用戶(hù)下半身的頭顯攝像頭相比，控制器搭載的用戶(hù)朝向攝像頭可以更輕松覆蓋追蹤用戶(hù)下半身。

團(tuán)隊(duì)將這種追蹤方法稱(chēng)為ControllerPose。研究人員利用一系列基于腿腳交互的VR內(nèi)容進(jìn)行了測(cè)試，包括一個(gè)類(lèi)俄羅斯方塊游戲，曲棍球守門(mén)員（用腳來(lái)阻擋冰球），以及用腳來(lái)?yè)艨撤綁K的類(lèi)《Beat Saber》游戲《Feet Saber》。

卡內(nèi)基·梅隆大學(xué)表示：“今天的VR系統(tǒng)通常無(wú)法捕捉下半身的姿勢(shì)。在大多數(shù)VR體驗(yàn)中，用戶(hù)在俯視時(shí)往往看不到自己的虛擬雙腿。這是因?yàn)榇蠖鄶?shù)當(dāng)代虛擬現(xiàn)實(shí)系統(tǒng)只捕捉用戶(hù)頭部和雙手的運(yùn)動(dòng)。”

所以在這項(xiàng)研究中，研究人員考慮了另一種實(shí)用的方法來(lái)捕捉用戶(hù)的身體姿勢(shì)：將攝像頭集成到已經(jīng)存在電池、計(jì)算和無(wú)線通信單元的控制器之中。

對(duì)于VR會(huì)話(huà)，團(tuán)隊(duì)發(fā)現(xiàn)用戶(hù)的雙手/控制器在大部分時(shí)間（68.3%）里都位于身體前面。所以，他們希望可以利用這一事實(shí)來(lái)執(zhí)行攝像頭的內(nèi)向外追蹤，從而實(shí)現(xiàn)對(duì)用戶(hù)身體的姿勢(shì)捕捉，尤其是用戶(hù)的下半身。

利用這種姿勢(shì)捕捉方式，研究人員認(rèn)為可以開(kāi)啟全新的和有趣的腿腳交互體驗(yàn)。例如，用戶(hù)現(xiàn)在可以在虛擬現(xiàn)實(shí)中執(zhí)行跺腳、下蹲、弓步和其他腿腳交互。另外，團(tuán)隊(duì)構(gòu)建了一系列的演示應(yīng)用以說(shuō)明方法的潛力和可行性，例如用腳來(lái)?yè)艨撤綁K的類(lèi)《Beat Saber》游戲《Feet Saber》。

結(jié)合頭顯端的頭手追蹤及數(shù)字人上半身渲染，這一系統(tǒng)可以提供包含下半身的全身動(dòng)捕，平均3D關(guān)節(jié)誤差為6.98厘米。

相關(guān)論文：ControllerPose: Inside-Out Body Capture with VR Controller Cameras

當(dāng)然，研究人員強(qiáng)調(diào)在其他情況下這種姿勢(shì)追蹤將會(huì)失敗，例如雙手與前胸貼得太近，以及雙手自然垂放在身體兩側(cè)等等。盡管這可以依賴(lài)基于IMU數(shù)據(jù)的反向運(yùn)動(dòng)學(xué)進(jìn)行預(yù)測(cè)，但效果顯然無(wú)法達(dá)致完美。

另外，團(tuán)隊(duì)坦誠(chéng)這一追蹤方案的性能不及外向內(nèi)追蹤或基于馬克點(diǎn)的全身動(dòng)捕，但他們相信所述系統(tǒng)依然存在一定的實(shí)用性，并可以為未來(lái)的內(nèi)向外追蹤全身動(dòng)捕作出貢獻(xiàn)。

---
原文鏈接：https://news.nweon.com/96774