文／晴天 

編輯/野草

計算機能自己做電影了！？看看英偉達（nVIDIA）和MIT共同完成的這個最新實驗項目，你就會覺得這一天好像離我們不遠了。

前段時間，一系列動圖在網(wǎng)絡上被眾多人傳閱。它們便來自nVIDIA與MIT最新的嘗試，所使用的工具是

GANs

Generative Adversarial Networks

GANs解決的問題是：輸入一段只有大色塊的視頻段落，工具可以自動幫助用戶生成一個照相寫實級別的擬真視頻。而且這視頻還具有2048x1024像素的極高分辨率。

例如，我們?yōu)橛嬎銠C提供一段城市街景的動態(tài)草圖，計算機就能夠生成出電影場景般的畫面：

可以說，即使我的視頻已經(jīng)丟失掉了大量的信息，只剩下些籠統(tǒng)的、色調(diào)分離的輪廓，計算機還是可以通過算法，模擬還原出一個視頻的完整原貌。

要不要這么炫。

該項目的完整展示視頻如下——

（視頻詳見微信公眾號【動畫學術趴】）

 

該項目的全稱是Video-to-Video Synthesis。按照科研團隊的說法，從照片到照片的研究在文獻里很多見；但從視頻到視頻的，目前還是太少了。

在這里，我們并不需要對場景中的物體形狀、材質(zhì)、燈光等各種視頻要素進行人工的設置，一切的模擬合成都是電腦自己完成的。

計算機「思考」的過程大致長上圖那個樣子。不是所有人都能看出很多門道，但很明顯，看到Past Images你就知道，這是個機器學習的過程。

隨著機器訓練集的加大，可以合成出的視頻效果也必定越來越豐富，能夠合成出的視頻時長也越來越長。在現(xiàn)階段中，研究人員已經(jīng)能夠合成出長達30 秒的2K分辨率的視頻了。

訓練集增加，也意味著符合草圖特征的合成效果越來越多，計算機可不像人那么聰明，例如草圖中一個方塊，既可以被合成為一輛車，也可以被合成為一個報亭，所以研究人員進一步對系統(tǒng)增加了內(nèi)容定義功能，也就是讓使用者能夠人為指定新視頻中的局部景觀。

到了這個階段，研究人員進一步發(fā)揮創(chuàng)造力，通過采集人臉運動的數(shù)據(jù)集，生成人臉的運動模型，可以輕易地實現(xiàn)用人臉輪廓草圖生成真人人臉視頻。

我們可以用同一段視頻，但改變?nèi)四樀哪w色、膚質(zhì)、發(fā)型、年齡狀態(tài)等等，生成不同版本的照片寫實級別的視頻。小菜一碟。

既然臉都可以生成了，身體的運動數(shù)據(jù)一樣可以用來合成新視頻——

當然，這項技術是該團隊在探索視頻合成的通用解決方案中的一項階段性成果。從合成效果來看，汽車行駛視頻中還是存在很多瑕疵：畫面鋸齒，抖動的景觀，扭曲的空間……

這項技術暫時還處于原始階段，因為文獻太少嘛，還正在起步。但是相信用不了多久，它的技術不斷迭代之后，一旦能夠滿足視效行業(yè)的需求，將對行業(yè)產(chǎn)生巨大的影響。

這種一鍵生成的效果，將為電影工業(yè)大大降低制作成本，并能在多個生產(chǎn)環(huán)節(jié)壓縮生成時間。

這樣的技術，今后能否改變小工作室與大廠之間的力量對比？讓我們拭目以待吧。

不過話說回來，科技的發(fā)展總有一天會把重復性的勞動由機器代工。另外別忘了畢竟我們連圍棋都已經(jīng)下不過機器人了。拍電影的、做動畫的，之后會有工作上的危機嗎？

今天和大家聊到這個項目的所有代碼、模型，包括如何配置環(huán)境等一系列問題都可以在下方的地址中找到，感興趣的小伙伴可以嘗嘗鮮哦~

項目展示

tcwang0509.github.io/vid2vid

項目資料

github.com/NVIDIA/vid2vid

今日話題

以后的電影工業(yè)，會不會只需要雇個超級計算機就可以了？

文/晴天 編輯/野草

關注微信公眾號『動畫學術趴』超豪華福利等著你~

復制鏈接直達動畫學術趴官網(wǎng)，發(fā)現(xiàn)每日動畫資訊： www.donghuaxsp.com