英國(guó)知名舞蹈真人秀電視節(jié)目——舞動(dòng)奇跡(Strictly Come Dancing) 。節(jié)目自2004年開播至今已走過了18個(gè)年頭，時(shí)代不斷變化，節(jié)目也在不斷地創(chuàng)新。在最新一季中，參賽者Dianne Buswell通過混合現(xiàn)實(shí)的形式在編舞中加入4名機(jī)器人，讓觀眾們驚嘆不已。

為了實(shí)現(xiàn)這一創(chuàng)意，節(jié)目組找來了專業(yè)的特效工作室Unlimited Motion為舞團(tuán)打造虛擬金屬機(jī)器人，并運(yùn)用虛幻引擎的即時(shí)渲染技術(shù)搭配Xsens MVN動(dòng)作捕捉系統(tǒng)，進(jìn)行即時(shí)逼真的舞蹈動(dòng)作錄制。伴隨著Kraftwerk和Yazoo的舞曲，這些虛擬角色與演員一同在舞臺(tái)上舞動(dòng)。

Unlimited Motion的總監(jiān)，Xsens的長(zhǎng)期合作者Ryan Garry， 向我們講述了創(chuàng)作這極具未來感表演的過程，以及他和團(tuán)隊(duì)遇到的一系列困難。?

混合現(xiàn)實(shí)技術(shù)加持大型演藝秀

沉浸式體驗(yàn)再升級(jí)

當(dāng)人人都在談?wù)摗霸钪妗保莩鲂袠I(yè)如何理解和應(yīng)用“元宇宙”？

《舞動(dòng)奇跡》是一個(gè)有著特定模式的成熟節(jié)目，但節(jié)目組一直在尋找新的方法進(jìn)行創(chuàng)新。2020 年，該節(jié)目渴望突破創(chuàng)意界限和新冠疫情的限制，于是通過合作伙伴Potion Pictures將AR技術(shù)引入節(jié)目中。在過去和Potion Pictures的合作中，曾使用兩個(gè)Mo-Sys動(dòng)作跟蹤攝像機(jī)將虛擬人物顯示在舞者身后的大屏幕上。而這一次，他們想嘗試新的元素——動(dòng)作捕捉技術(shù)。

“我們發(fā)現(xiàn)舞者們?cè)诖┐鱔sens MVN Link動(dòng)捕套裝時(shí)感覺很舒適，因?yàn)樗愃朴诖┲鴳蚍硌荩蚁鄬?duì)貼合身體，在舞者表演時(shí)并不會(huì)影響其動(dòng)作，”?Garry分享道。

由于布景導(dǎo)演和舞蹈編導(dǎo)以前從沒使用這類技術(shù)，所以特效團(tuán)隊(duì)需要向?qū)а萁忉寗?dòng)作捕捉的每一個(gè)步驟，“你可以將MVN Link套裝用于任何類型的動(dòng)作捕捉之中，不一定是特定的舞蹈。以前我們會(huì)被限制只能在AR中表演舞蹈，但動(dòng)作捕捉技術(shù)讓我們不再局限于這種形式，這為我們提供了足夠的靈活性?！?Garry說道。

動(dòng)捕技術(shù)對(duì)于電視行業(yè)內(nèi)大部分人來說仍是一個(gè)新事物，雖然表演者們很快接受了這項(xiàng)技術(shù)，但是導(dǎo)演們的思維模式仍然需要轉(zhuǎn)變。

“目前我們遇到的困難是如何實(shí)時(shí)觀看舞蹈排演的問題，即導(dǎo)演在預(yù)覽窗口上看到的并不一定是最終的呈現(xiàn)效果，他們擔(dān)心彩排中出現(xiàn)的問題都會(huì)反映到最終的表演中，于是我們不得不向他們解釋，我們可以在之后解決這些問題?！奔永镎f道。

在這次與機(jī)器人共舞的表演獲得前所未有的成功后，Unlimited Motion將繼續(xù)與《舞動(dòng)奇跡》合作，并使用同樣的方法為節(jié)目的圣誕特別欄目制作了會(huì)跳舞的企鵝。

對(duì)動(dòng)捕技術(shù)的應(yīng)用實(shí)例

隨著大眾對(duì)元宇宙日漸增長(zhǎng)的興趣，以及相關(guān)技術(shù)的持續(xù)發(fā)展，混合現(xiàn)實(shí)表演如今已經(jīng)開始進(jìn)入大眾視野，并融入主流娛樂媒體之中。美國(guó)虛擬選秀節(jié)目《Alter Ego》便將此技術(shù)作為主要賣點(diǎn)；說唱歌手ShiGGa Shay在電競(jìng)大賽上的表演也展示了該領(lǐng)域令人興奮的創(chuàng)新性。

說唱歌手ShiGGa Shay

位于新加坡的多媒體公司Anomalyst Studio，其團(tuán)隊(duì)為說唱歌手ShiGGa Shay制作了混合現(xiàn)實(shí)表演，并在2021全球電子競(jìng)技大賽（Global Esports Games）的開幕式上演出。

搖滾樂隊(duì)21 Pilots

搖滾樂隊(duì)21 Pilots在Roblox的虛擬舞臺(tái)中為3500萬用戶舉行了虛擬演唱會(huì)。表演動(dòng)捕的清晰度對(duì)于Roblox和21 Pilots來說是一個(gè)重要因素，樂隊(duì)希望將音樂會(huì)的情感傳遞到虛擬空間，因此選擇正確的工具和方法至關(guān)重要。樂隊(duì)在表演時(shí)身穿MVN Link套裝，并佩戴Manus的Xsens手套來確保手部動(dòng)作的精準(zhǔn)捕捉。

TikTok紅人Michael Le（五千五百萬粉絲）最近分享了一個(gè)他與自己的虛擬形象共舞的視頻，引起了極大熱度。目前為止已獲得超過8萬的點(diǎn)贊數(shù)。Michael是通過Xsens的動(dòng)捕服來制作虛擬形象。

像《舞動(dòng)奇跡》這類節(jié)目演出通過動(dòng)作捕捉、實(shí)時(shí)虛擬現(xiàn)實(shí)制作和虛幻引擎等技術(shù)，實(shí)現(xiàn)多維感知的異空間場(chǎng)景共存，創(chuàng)造出令人難忘的“沉浸式”數(shù)字媒體藝術(shù)媒體異質(zhì)空間混合現(xiàn)實(shí)體驗(yàn)，勢(shì)必成為一種火熱趨勢(shì)。

那么，混合現(xiàn)實(shí)到底是什么？動(dòng)作捕捉技術(shù)又將如何為混合現(xiàn)實(shí)賦能，給觀眾帶來更真實(shí)的沉浸式體驗(yàn)?zāi)兀?/p>

動(dòng)作捕捉技術(shù)在混合現(xiàn)實(shí)中的價(jià)值

混合現(xiàn)實(shí)是利用各種傳感器和顯示設(shè)備，將虛擬現(xiàn)實(shí)和物理現(xiàn)實(shí)無縫連接在一起的高精尖技術(shù)。將虛擬的信息應(yīng)用到真實(shí)世界，現(xiàn)實(shí)環(huán)境和虛擬物體同時(shí)存在于同一個(gè)時(shí)空。就像在共同組成的一幅畫中，無法分辨哪些是真實(shí)哪些是虛擬的。

作為虛擬現(xiàn)實(shí)技術(shù)的“升級(jí)版”，混合現(xiàn)實(shí)技術(shù)部分整合了虛擬現(xiàn)實(shí)下的三維重建技術(shù)，但是由于引入了對(duì)物理世界的實(shí)時(shí)感知，對(duì)三維重建的實(shí)時(shí)性、精度和逼真度都提出了全面更高的需求?；旌犀F(xiàn)實(shí)有三個(gè)基本特征：真實(shí)性、實(shí)時(shí)與互動(dòng)、構(gòu)想性。

動(dòng)作捕捉在3D動(dòng)畫領(lǐng)域的使用原理簡(jiǎn)單來講就是記錄演員的肢體動(dòng)作或者表情，將生成的動(dòng)作數(shù)據(jù)通過軟件賦予到虛擬的角色人物身上，最終成為動(dòng)畫序列并實(shí)現(xiàn)角色動(dòng)畫。在動(dòng)作捕捉技術(shù)的幫助下，創(chuàng)作者可以展現(xiàn)動(dòng)作流暢逼真的3D虛擬人物。

在電影和游戲這樣的娛樂行業(yè)中，動(dòng)作捕捉技術(shù)用于獲取更真實(shí)的人體運(yùn)動(dòng)，角色的動(dòng)作可以像現(xiàn)實(shí)中人的動(dòng)作一樣無比真實(shí)自然，這在某種程度上給了受眾視覺上的沖擊力，把人們對(duì)會(huì)動(dòng)虛擬角色的認(rèn)知從夸張變形的卡通動(dòng)畫中解放出來。

增強(qiáng)真實(shí)體驗(yàn)，提高觀眾興趣

相對(duì)于虛擬現(xiàn)實(shí)技術(shù)而言，混合現(xiàn)實(shí)技術(shù)最大的優(yōu)越性就在于其真實(shí)感和臨場(chǎng)感，能夠激發(fā)受眾更多真實(shí)的感官體驗(yàn)。動(dòng)作捕捉的應(yīng)用能使虛擬角色的動(dòng)作更加逼真流暢，并且可以使虛擬角色與真實(shí)演員進(jìn)行實(shí)時(shí)交互。

舞動(dòng)奇跡中逼真流暢的機(jī)器人動(dòng)作

這樣觀眾在觀看表演時(shí)，在動(dòng)作真實(shí)的角色帶領(lǐng)下，融合混合現(xiàn)實(shí)技術(shù)所帶來的奇特效果能大大提高觀眾的觀感體驗(yàn)。

縮減制作成本

相比于手工繪制動(dòng)畫，動(dòng)作捕捉技術(shù)能以高出幾百倍甚至幾千倍的制作效率去實(shí)現(xiàn)逼真的動(dòng)畫制作，這是動(dòng)作捕捉在大幅度提升三維制作的生產(chǎn)效率和產(chǎn)品質(zhì)量時(shí)所具有的優(yōu)勢(shì)。

在角色動(dòng)畫的制作過程中，動(dòng)作的制作非常耗時(shí)耗力，角色的動(dòng)作要符合運(yùn)動(dòng)規(guī)律，走路、跑步及說話時(shí)的口型及開心生氣哀傷的表情等，為了達(dá)到這樣的效果動(dòng)畫師要仔細(xì)推敲和研究各種事物的運(yùn)動(dòng)規(guī)律。而動(dòng)作捕捉可以將動(dòng)畫師從繁重的調(diào)幀工作中解脫出來專注于角色動(dòng)畫的創(chuàng)意。

使用Xsens動(dòng)作捕捉系統(tǒng)進(jìn)行創(chuàng)作

驅(qū)動(dòng)《舞動(dòng)奇跡》成功的關(guān)鍵因素之一是Xsens動(dòng)捕套裝的使用，舞者們使用的Xsens MVN Link套裝能夠適應(yīng)舞廳舞臺(tái)等特殊環(huán)境。

“舞臺(tái)地板上有wi-fi信號(hào)干擾，舞臺(tái)裝飾品中有金屬干擾，因此舞臺(tái)環(huán)境并不是一個(gè)理想的無干擾環(huán)境，幸好Xsens動(dòng)作捕捉系統(tǒng)具有很好的抗磁干擾能力。我在使用以前的動(dòng)捕套裝時(shí)發(fā)現(xiàn)，清理數(shù)據(jù)比做創(chuàng)造性工作花費(fèi)的時(shí)間還要多，這就有些本末倒置了。我最初選擇使用Xsens的主要原因之一就是其能夠采集到足夠清晰干凈的數(shù)據(jù)，這幫助我們節(jié)省了大量清理無用數(shù)據(jù)的時(shí)間。”加里說道。

在混合現(xiàn)實(shí)表演中對(duì)動(dòng)作捕捉的探索和實(shí)驗(yàn)將為更多的創(chuàng)意提供動(dòng)力。以Unlimited Motion的《舞動(dòng)奇跡》為例，當(dāng)你能夠使用更加有效工具時(shí)，那么花在處理數(shù)據(jù)上的時(shí)間就會(huì)減少，這會(huì)讓你有更多的時(shí)間和精力專注在創(chuàng)作本身上。

因此，現(xiàn)代意義上的“混合現(xiàn)實(shí)” (Mixed Reality)體驗(yàn)是不同類型的現(xiàn)實(shí)的彼此混合，這種混合生成了物理對(duì)象與虛擬對(duì)象可以共存與互動(dòng)的新環(huán)境。而通過將動(dòng)作捕捉技術(shù)與虛擬現(xiàn)實(shí)技術(shù)相結(jié)合的全新表演形式將更加能夠激發(fā)觀眾們觀看演出的熱情。