左右3D立體視頻VR虛擬主播實現(xiàn)思路


現(xiàn)在2D虛擬主播技術(shù)已經(jīng)很成熟了,3D視頻時代隨著蘋果發(fā)布眼鏡以及AIGC人工智能生成內(nèi)容和模型馬上就來,是時候看看如何實現(xiàn)3D虛擬主播了。

現(xiàn)在實時渲染虛擬主播已經(jīng)達(dá)到真人一樣的效果。

還能隨時調(diào)光。

一鍵更換任何場景裝飾。

一鍵換裝,換發(fā)型換人。

只要能想到的,都能放進(jìn)虛擬空間,玩轉(zhuǎn)光與影的魔法,以后AIGC生成更容易就是幾句話的事。

做普通虛擬主播這樣就是到天花板了,再往后就是立體3D的,本來以后也是都用眼鏡看,一鍵就3D出屏了那誰還會看2D呢。

現(xiàn)在有個思路實現(xiàn)左右3D視頻主播的方法。

首先還是按照上邊的視頻或xr.fan/arvr文字教程手機(jī)連nolo啟動steamvr,打開steamvr的預(yù)覽窗口,讓obs能錄到這個窗口,這樣只要想辦法讓虛擬主播在這個窗口里出現(xiàn)就可以了。
這就要用到動捕技術(shù),包括面部捕捉,動作捕捉等,軟件硬件免費(fèi)付費(fèi)各種實現(xiàn)方法方法很多,理論上找能進(jìn)vr的就可以。
這里用的道樂師無穿戴方案攝像頭測試捕捉動作,有哪里弄不懂的基本上找這些提供專門軟件硬件服務(wù)的都有全套實現(xiàn)方法教,這里就不細(xì)說如何配置了。
表情的話,可用蘋果手機(jī)實現(xiàn),例如live face可捕捉表情和頭動作,live link face專門捕捉表情,這里用的live link face

那么這兩個軟件動作加表情放一起在vr用,就能實現(xiàn)基本的全身攝像頭實時捕捉加實時渲染效果了。

如果想要提高捕捉質(zhì)量和視頻效果,要用專門的帶捕捉的頭顯和硬件軟件,那樣就無法用手機(jī)捕捉表情啦,這也是用nolo的原因。