和2D顯示屏、手機(jī)屏幕相比，VR圖像為什么看起來(lái)更加沉浸、立體呢？一方面是透鏡將左右眼圖像結(jié)合，形成3D視覺(jué)效果，而另一方面則歸功于屏幕畫(huà)面與頭部追蹤的同步作用。

簡(jiǎn)單來(lái)講，就是VR會(huì)根據(jù)用戶(hù)頭部的位置和朝向來(lái)改變其眼前的畫(huà)面，每一幀畫(huà)面對(duì)應(yīng)了用戶(hù)觀看眼前場(chǎng)景的不同視角，從而模擬人眼3D視覺(jué)效果，營(yíng)造一種立體、沉浸的感覺(jué)。

換句話說(shuō)，假如你看傳統(tǒng)電腦顯示屏，不管從哪個(gè)角度看它，屏幕上的圖像觀感都是靜止的。當(dāng)然，我們也可以通過(guò)動(dòng)態(tài)渲染和模擬，來(lái)營(yíng)造一種裸眼3D的感覺(jué)，比如任天堂3DS就通過(guò)雙攝像頭，來(lái)捕捉人眼雙目視差，從而形成3D觀感。近期，電商平臺(tái)Shopify的“空間商務(wù)項(xiàng)目”團(tuán)隊(duì)就研發(fā)了一種類(lèi)似的技術(shù)，該技術(shù)名為WonkaVision，特點(diǎn)是用2D顯示器實(shí)現(xiàn)裸眼3D視覺(jué)效果，且成本低，通過(guò)電腦攝像頭來(lái)追蹤用戶(hù)頭部，從而將電腦屏幕的靜止畫(huà)面變得立體。

據(jù)青亭網(wǎng)了解，WonkaVision靈感來(lái)自于谷歌工程總監(jiān)Johnny Lee在15年前的一個(gè)發(fā)明，當(dāng)時(shí)Lee經(jīng)過(guò)改裝，將任天堂Wii控制器變成了紅外頭部追蹤裝置，用來(lái)定位穿戴在用戶(hù)頭上的傳感器，并利用捕捉到的頭部信息，將2D屏幕變成了跟隨頭部變化的裸眼3D效果（宣稱(chēng)是“VR效果”）。盡管Lee的改裝發(fā)明獲得網(wǎng)友普遍好評(píng)，給人留下了深刻的印象，但它幾乎從未被商用。據(jù)悉，Lee此前曾參與過(guò)微軟Kinect項(xiàng)目，也曾是Google Tango的負(fù)責(zé)人，而現(xiàn)在則在谷歌從事AR設(shè)備和體驗(yàn)管理。

改進(jìn)的裸眼3D方案

為了改進(jìn)Lee的設(shè)計(jì)，Shopify想用電腦攝像頭來(lái)取代Wii控制器，并將裸眼3D程序在瀏覽器中運(yùn)行。Shopify表示：如果使用電腦攝像頭就能實(shí)現(xiàn)Lee的方案，那么它將被更多人使用，甚至可能帶來(lái)全新的網(wǎng)絡(luò)交互體驗(yàn)。未來(lái)可以和電商平臺(tái)很好的結(jié)合，比如打造虛擬界面、立體的商品預(yù)覽等等，如將品牌網(wǎng)站打造成立體的虛擬店面，允許消費(fèi)者查看店面中的商品，就像是在線下逛商場(chǎng)的感覺(jué)。

值得注意的是，WonkaVision并非通過(guò)紅外信號(hào)定位頭部，而是通過(guò)攝像頭來(lái)追蹤用戶(hù)的眼球。通常電腦攝像頭為單目方案，于是項(xiàng)目組采用谷歌MediaPipe Iris眼球追蹤模型，它使用單個(gè)RGB攝像頭就能定位人眼的位置，以及瞳孔的特征點(diǎn)，無(wú)需借助專(zhuān)門(mén)的硬件?；诖?，WonkaVision可預(yù)測(cè)出人眼和攝像頭之間的相對(duì)位置，相對(duì)誤差小于10%。

不過(guò)由于MediaPipe Iris并沒(méi)有開(kāi)源的JavaScript，所以不能在網(wǎng)頁(yè)端運(yùn)行。于是，Shopify改用MediaPipe Face Mesh，來(lái)測(cè)量攝像頭與人眼之間的距離，經(jīng)驗(yàn)證其準(zhǔn)確性對(duì)WonkaVision足夠用。以下是它的流程：

• 1）MediaPipe Face Mesh檢測(cè)瞳孔周?chē)膫€(gè)點(diǎn)（上下左右）；

• 2）結(jié)合四個(gè)點(diǎn)距離，以及瞳孔平均寬度（11.7毫米），來(lái)預(yù)測(cè)用戶(hù)瞳孔參數(shù)；

• 3）結(jié)合瞳孔參數(shù)和攝像頭參數(shù)，通過(guò)簡(jiǎn)單的針孔相機(jī)模型方程，來(lái)計(jì)算出人眼在空間中的深度/距離，從而推算出其X、Y坐標(biāo)。

通過(guò)檢測(cè)黑白棋盤(pán)四角，來(lái)計(jì)算攝像頭參數(shù)

利用DIY方式驗(yàn)證瞳孔距離預(yù)測(cè)的準(zhǔn)確度

將屏幕變成虛擬窗口

通過(guò)WonkaVision，Shopify希望那個(gè)將2D顯示屏變成一個(gè)“窗口”，就像是當(dāng)你透過(guò)窗戶(hù)查看外面立體景色那樣，屏幕顯示的畫(huà)面會(huì)跟隨你的視角、距離而變化，看起來(lái)就像窗外的景色。

在解決眼球追蹤功能后，Shopify團(tuán)隊(duì)在游戲引擎中建立了一個(gè)3D場(chǎng)景，并將該場(chǎng)景與屏幕邊緣對(duì)齊，將攝像頭的位置作為起始點(diǎn)。也就是說(shuō)，該場(chǎng)景顯示在屏幕上的每一幀，都是根據(jù)人眼和屏幕/攝像頭的距離來(lái)改變。

為什么要將虛擬場(chǎng)景和物理屏幕對(duì)齊呢？Shopify解釋?zhuān)瑸榱俗屍聊挥写皯?hù)的效果，則需要假設(shè)屏幕邊框存在于虛擬世界中。與此同時(shí)，還在人眼（右眼）的位置設(shè)置了一個(gè)虛擬相機(jī)，這樣虛擬相機(jī)就能捕捉到，在人眼位置看3D場(chǎng)景的效果（看起來(lái)具有遠(yuǎn)近深度）。

同軸和離軸透視投影

在這個(gè)方案中，Shopify還探索了3D成像的同軸、離軸投影問(wèn)題。

如果WonkaVision的虛擬相機(jī)使用軸上透視投影方案，那么視椎體看起來(lái)像是形狀不變的金字塔，它的問(wèn)題是窗框外邊的虛擬場(chǎng)景也會(huì)透出來(lái)。那么如果使用離軸透視投影矩陣，虛擬相機(jī)的視椎體則看起來(lái)像是不對(duì)稱(chēng)的金字塔，底部固定在虛擬窗口上，從正面看起來(lái)視覺(jué)效果理想，虛擬場(chǎng)景的內(nèi)容會(huì)根據(jù)視角和距離而變化，窗口邊緣外的虛擬內(nèi)容不可見(jiàn)。

另外，WonkaVision的虛擬相機(jī)位于右眼，而非雙眼中間。這是因?yàn)樗粉欕p眼位置來(lái)渲染3D效果，而非定位整個(gè)頭部。但它有一個(gè)局限，就是只能將虛擬相機(jī)放在一只眼睛的位置，觀看時(shí)需要閉上另一只眼睛。而如果將虛擬攝像頭放在雙眼中間，則無(wú)法準(zhǔn)確計(jì)算雙目視差，導(dǎo)致深度錯(cuò)覺(jué)感消失。Shopify表示：虛擬攝像頭放在雙眼中間時(shí)，依然能生成有趣的效果，但立體感不夠理想。

實(shí)際上，VR頭顯就基于類(lèi)似原理。VR會(huì)將同一個(gè)場(chǎng)景渲染兩次，分別對(duì)應(yīng)左右眼，并分別顯示在屏幕左側(cè)或右側(cè)（或是左右兩塊屏幕）。而對(duì)于WonkaVision來(lái)講，由于只有一塊屏幕，因此便僅從一只眼的角度來(lái)進(jìn)行渲染。

最終原型

經(jīng)過(guò)驗(yàn)證，WonkaVision視覺(jué)效果自然，看起來(lái)就像從屏幕中沖出來(lái)一樣。未來(lái)，除了虛擬商品、店面展示外，WonkaVision也可以為動(dòng)畫(huà)、游戲等內(nèi)容帶來(lái)有趣的3D視覺(jué)體驗(yàn)，比如用肉眼感知僵尸從屏幕里面走出來(lái)的感覺(jué)。

不過(guò)與Lee的方案類(lèi)似，WonkaVision也存在一些局限，導(dǎo)致其難以被廣泛應(yīng)用。Shopify指出，雖然解決了硬件成本問(wèn)題，但攝像頭參數(shù)很難計(jì)算，而且屏幕的尺寸各不相同，因此難以適配。此外，它還有一些局限，比如需要閉上一只眼才有好的效果，這無(wú)疑為用戶(hù)體驗(yàn)帶來(lái)了門(mén)檻。

盡管WonkaVision可以在網(wǎng)頁(yè)端運(yùn)行，但它依然不適合廣泛使用，因?yàn)槟壳皟H適用于一種屏幕尺寸，和一種固定的攝像頭參數(shù)。除非能夠輕松獲得任何攝像頭參數(shù)，以及屏幕尺寸，否則這種3D模擬方案將很難成為主流。參考：Shopify