編譯/VR陀螺

今日，谷歌Research團(tuán)隊(duì)在網(wǎng)站上發(fā)表博客稱，為安卓上的Motion Stills（視頻捕捉和觀看app）增加了全新的AR模式。在AR模式下，用戶只需點(diǎn)擊屏幕就可以將有趣的虛擬3D物體放置在靜止，或者移動(dòng)中的水平面上（比如桌子、地板和手上），讓這些物體可以無(wú)縫的和動(dòng)態(tài)的實(shí)時(shí)環(huán)境進(jìn)行互動(dòng)。我們還可以直接錄像以及導(dǎo)出GIF圖和視頻。

這一AR模式由實(shí)時(shí)動(dòng)作追蹤功能所實(shí)現(xiàn)，這是基于iOS版Motion Stills的Motion Text和YouTube上的privacy blur的技術(shù)所實(shí)現(xiàn)的6自由度追蹤，能夠精確的追蹤靜止和移動(dòng)的物體。谷歌的團(tuán)隊(duì)對(duì)這一技術(shù)進(jìn)行的完善和提升，使其可以在任何配備了陀螺儀的安卓設(shè)備上實(shí)現(xiàn)有趣的AR功能。

當(dāng)用戶碰觸屏幕時(shí)，Motion Stills AR能夠?qū)⒁粋€(gè)3D的虛擬物體“粘貼”到指定的位置，使其看起來(lái)就像真實(shí)世界的一部分一樣。通過(guò)假定跟蹤表面和地平面是平行的，同時(shí)使用設(shè)備的加速傳感器來(lái)提供手機(jī)相對(duì)于地平面的初始定向，可以追蹤攝像頭的6自由度（3個(gè)平移自由度和3個(gè)旋轉(zhuǎn)自由度）。這讓我們可以精確的改變和渲染虛擬物體。

即時(shí)動(dòng)作追蹤

即時(shí)運(yùn)動(dòng)跟蹤的核心是將攝像機(jī)的平移和旋轉(zhuǎn)估計(jì)分離，將其視為獨(dú)立的優(yōu)化問(wèn)題。 首先，我們只根據(jù)相機(jī)的視覺(jué)信號(hào)確定3D相機(jī)的平移。 為此，我們觀察目標(biāo)區(qū)域的明顯2D映射和跨幀的相對(duì)比例。 一個(gè)簡(jiǎn)單的針孔照相機(jī)模型將圖像平面中的盒子的平移和縮放與相機(jī)的最終3D平移相關(guān)聯(lián)。

為了解決這個(gè)問(wèn)題，我們?cè)谖覀儸F(xiàn)有的跟蹤器中添加了比例估計(jì)，并在攝像機(jī)的視場(chǎng)之外追加了區(qū)域跟蹤。 當(dāng)相機(jī)靠近被跟蹤的表面時(shí)，虛擬內(nèi)容能夠精確地縮放，這與真實(shí)世界對(duì)象的感知一致。 當(dāng)你在目標(biāo)區(qū)域的視場(chǎng)之外平移時(shí)，虛擬物體將重新出現(xiàn)在大致相同的位置。

在這之后，我們使用手機(jī)的內(nèi)置陀螺儀來(lái)獲得設(shè)備的3D旋轉(zhuǎn)（滾動(dòng)，俯仰和偏航）。 估測(cè)的3D對(duì)應(yīng)圖像與3D旋轉(zhuǎn)相結(jié)合，使我們能夠在取景器中正確渲染虛擬內(nèi)容。 而且由于我們分別處置旋轉(zhuǎn)和平移，所以我們的即時(shí)運(yùn)動(dòng)跟蹤方法不需要校準(zhǔn)，可以在任何帶有陀螺儀的Android設(shè)備上工作。

———————————

更多新鮮有趣的相關(guān)資訊，歡迎關(guān)注VR陀螺的B站專欄號(hào)