【轉(zhuǎn)】《流浪地球2》讓45歲的吳京重回20歲，Deepfake立功了

超神經(jīng)HyperAI

2023-01-29 17:58:31發(fā)布于福建

+關(guān)注

減齡及增齡算法的發(fā)展，要實(shí)現(xiàn)與影視作品中的角色「完美適配」，恐怕還有很長的路要走，而如何監(jiān)控 Deepfake 這項(xiàng)技術(shù)不被濫用，也是工業(yè)界、科技界乃至普通用戶不得不面臨的一個(gè)潛在風(fēng)險(xiǎn)和挑戰(zhàn)。

?

「流浪地球 2」上映 8 天，總票房就已經(jīng)突破了 24 億，打破 36 項(xiàng)紀(jì)錄，獲得 91 項(xiàng)里程碑成就。其中，21 歲小鮮肉劉培強(qiáng)（吳京飾），以及年輕帥氣圖恒宇（劉德華飾），給觀眾留下了深刻的印象。

流浪地球官方微博發(fā)布的一段視頻中，講述了換臉特效背后繁復(fù)的工程難度。

在知乎提問「《流浪地球 2》幕后有哪些不為人知的制作難題」中，《流浪地球 2》視效總監(jiān)、MOREVFX 創(chuàng)始人徐建，坦言技術(shù)上第一難點(diǎn)就是「De-aging」數(shù)字換齡。

數(shù)字換齡，45+ 吳京變身 21 歲小鮮肉

de-aging 是一種應(yīng)用于影視作品的視覺特效技術(shù)，是指利用數(shù)字編輯 (digitally editing)?或計(jì)算機(jī)繪圖 (computer graphics，簡稱 CG) 技術(shù)，實(shí)現(xiàn)演員在特定場景下的年輕化。

在電影「流浪地球 2」中，演員吳京、劉德華、王智等多人飾演的角色，都涉及到了角色年輕化，即 de-aging。

? ?用吳京年輕時(shí)的 2D 素材訓(xùn)練 AI 模型進(jìn)行 de-aging 為實(shí)拍素材完成換臉 ?

一個(gè)小番外：根據(jù)電影劇情推算，劉培強(qiáng)出生年份正是 2023 年。

以吳京為例，現(xiàn)實(shí)中吳京在拍攝這部電影時(shí)，年齡 45+（根據(jù)百度百科資料推算），但是電影中 2044 年時(shí)的劉培強(qiáng)只有 21 歲，45+ 的演員挑戰(zhàn)飾演 21 歲的「小鮮肉」，著實(shí)需要點(diǎn)技術(shù)加持。

3 大主流 de-aging 方法梳理

實(shí)際上，當(dāng)時(shí)全世界主流的 de-aging 方法共分為 3 類。

方法 1：完全電腦生成

代表公司：Wētā FX

代表作品：「雙子殺手」

上映日期：2019 年

主要演員：威爾史密斯

年齡跨度：51 歲23 歲

該方法分為兩個(gè)主要步驟：

* 制作數(shù)字人并進(jìn)行 de-aging

通過演員佩戴的表情捕捉設(shè)備，掃描演員并生成數(shù)據(jù)庫，制作目標(biāo)演員的數(shù)字人，然后根據(jù)演員早期職業(yè)生涯劇照及視頻素材，對(duì)數(shù)字人進(jìn)行 de-aging。

* 基于演員佩戴的動(dòng)作捕捉設(shè)備，對(duì)數(shù)字人進(jìn)行動(dòng)畫制作

根據(jù)「流浪地球 2」視效總監(jiān)徐建在知乎的分享，此方法預(yù)算高、國內(nèi)相關(guān)人才不足，且身上的設(shè)備可能會(huì)影響打斗場景拍攝及演員表演情緒的傳達(dá)。

? ?威爾史密斯佩戴設(shè)備進(jìn)行動(dòng)作及表情捕捉 ?

方法 2：僅電腦生成臉部

代表公司：工業(yè)光魔

代表作品：「愛爾蘭人」

上映日期：2019 年

主要演員：羅伯特·德尼羅

年齡跨度：75+ 歲40 歲左右

在電影「愛爾蘭人」中，工業(yè)光魔開發(fā)了一種無需佩戴物理設(shè)備或在面部做標(biāo)記的 de-aging 技術(shù)，演員被三臺(tái)攝像機(jī)設(shè)備環(huán)繞拍攝，一臺(tái)為正常拍攝機(jī)位，另外兩臺(tái)負(fù)責(zé)記錄 de-aging 需要的數(shù)據(jù)，通過拍攝紅外鏡頭收集必要數(shù)據(jù)，以數(shù)字方式再現(xiàn)表演。

? ?攝像機(jī)記錄的數(shù)據(jù)結(jié)合光線影響 ?

對(duì)角色進(jìn)行 de-aging

方法 3：基于 Deepfake 算法生成

代表公司：Lola?VFX

代表作品：「美國隊(duì)長 3：內(nèi)戰(zhàn)」

上映日期：2016 年

主要演員：小羅伯特唐尼

年齡跨度：50 歲左右20 歲左右

在電影「美國隊(duì)長 3：內(nèi)戰(zhàn)」中，視效團(tuán)隊(duì)利用小羅伯特唐尼早期的影視作品、視覺素材，訓(xùn)練基于 Deepfake 算法的 AI 模型并完成換臉。

? ?Deepfake 年輕版鋼鐵俠 Tony Stark ?

據(jù)「流浪地球 2」視效總監(jiān)徐建介紹，早在電影開拍一年半之前，視效團(tuán)隊(duì)就開始了技術(shù)實(shí)驗(yàn)，測試了 5、6 種換臉方法后，視效團(tuán)隊(duì)最終決定采用 de-aging 方法三，基于 Deepfake 算法用演員年輕時(shí)的 2D 素材訓(xùn)練 AI 模型，最終迭代 500 多萬次后，替換實(shí)拍素材。

人臉年輕化及增齡的論文梳理

《Production-Ready Face Re-Aging for Visual Effects》

DisneyResearch 團(tuán)隊(duì)提出了一個(gè) Face Re-Aging Network，簡稱 FRAN，可以在不丟失身份的前提下，自動(dòng)重塑視頻中的人臉圖像，實(shí)現(xiàn)目標(biāo)人臉年輕化或增齡效果。

? ?輸入人像年齡 35 歲 上下排分別為 re-aging 為 65 歲和 18 歲 ?

本篇論文提出了一個(gè)用于面部年齡編輯的 encoder-decoder 架構(gòu)，使用一種簡單的方法實(shí)現(xiàn)了高分辨率人臉年齡編輯，可以輸出 1024*1024 分辨率的圖像。

? ?依據(jù)輸入人臉（黃色框）輸出不同年齡段的高質(zhì)量人臉圖像 ?

本篇論文提出了一種圖像到圖像的轉(zhuǎn)換方法，直接將真實(shí)的面部圖像編碼到預(yù)先訓(xùn)練好的無條件 GAN 的 latent space 中，進(jìn)行老化轉(zhuǎn)變。可以僅憑試驗(yàn)者的一張照片就生成全年齡階段的容貌，精確到每一條皺紋。

? ?使用論文提出的 SAM 架構(gòu)生成的老化結(jié)果 ?

像素級(jí)換臉技術(shù)任重道遠(yuǎn)，仍需行業(yè)規(guī)范

「流浪地球 2」中，年輕劉培強(qiáng)和圖恒宇的呈現(xiàn)，雖然是基于 Deepfake 算法實(shí)現(xiàn)，然而通過考察眾多相關(guān)論文，結(jié)合視效總監(jiān)徐建的介紹，我們得知在電影制作的后期，仍需專業(yè)后期人員對(duì)換臉后的角色進(jìn)行繁復(fù)的完善和修復(fù)。

這是因?yàn)閾Q臉技術(shù)在一些細(xì)節(jié)處理上仍存在不足，如表情生硬、眼神表情不自然，這些「不協(xié)調(diào)」在電影大熒幕上無疑會(huì)被放大，給觀眾帶來不適。

減齡及增齡算法的發(fā)展，要實(shí)現(xiàn)與影視作品中的角色「完美適配」，恐怕還有很長的路要走，而如何監(jiān)控 Deepfake 這項(xiàng)技術(shù)不被濫用，也是工業(yè)界、科技界乃至普通用戶不得不面臨的一個(gè)潛在風(fēng)險(xiǎn)和挑戰(zhàn)。

參考鏈接：

[1]?https://www.zhihu.com/question/579613527

[2]?https://onlinelibrary.wiley.com/doi/full/10.1111/oli.12302

[3]?https://www.respeecher.com/blog/de-aging-technology-changing-hollywood-future-film-making

免責(zé)聲明：本內(nèi)容來自騰訊平臺(tái)創(chuàng)作者，不代表騰訊新聞或騰訊網(wǎng)的觀點(diǎn)和立場。

舉報(bào)

評(píng)論 42文明上網(wǎng)理性發(fā)言，請(qǐng)遵守《新聞評(píng)論服務(wù)協(xié)議》

請(qǐng)先登錄后發(fā)表評(píng)論~

76191844

9

40歲修復(fù)到20歲，不光是修復(fù)皺紋，臉型也不一樣

北京網(wǎng)友

1月29日

回復(fù)

mboo

1

流浪地球2比無名滿江紅還好看，

湖南網(wǎng)友

1月30日

回復(fù)

京東太貴了用不起

4

抵制滿江紅，抵制無名，抵制深海，

湖南網(wǎng)友

1月30日

回復(fù)

木木

12

抵制人家干啥，你是來搗亂的吧

浙江網(wǎng)友

1月30日

1回復(fù)

我愛中國

1

你這抵制，人家導(dǎo)演演員又要睡不著了……

浙江網(wǎng)友

1月30日

回復(fù)

阿熾

6

49歲硬要說45

湖北網(wǎng)友

1月29日

回復(fù)

????煒員長

5

劉德華年輕時(shí)候沒這么瘦

上海網(wǎng)友

1月29日

回復(fù)

用戶5idejc8

8

這是滿江能玩的不？

湖南網(wǎng)友

1月29日

回復(fù)

用戶9168105

2

思維膚淺

北京網(wǎng)友

1月30日

1回復(fù)

LHM

2

和

上海網(wǎng)友

1月30日

回復(fù)