作者?/ Pel?
編輯 /?彼方?

“一種非常吃后期的轉描動畫?！?/span>

這兩天，一個叫做《石頭剪刀布》的動畫短片突然在動畫圈子里火了起來。

影片講述了一對雙胞胎王子通過“石頭剪刀布”的形式爭奪王位繼承權的故事。其中令人捧腹的無厘頭劇情以及模仿日式動畫的沙雕演出，讓很多人印象深刻。

但它的火爆，最主要還不是因為講了什么故事，而是因為——

這是一部使用AI工具制作的動畫。

在AI大舉“攻占”圍棋、繪畫、文書等領域之后。再一次，連「動畫」這樣一個流程相當復雜的行當，也要被“取代”了嗎？

我知道你可能很焦慮，但可以先別焦慮。本篇推送，學術趴就為各位分享這部AI動畫的「制作難點」「制作流程」以及我們的「觀后感想」。不妨先一起來看一看這部動畫是怎么做的，制作方是活躍于特效領域的YouTube博主Corridor，發(fā)布這部動畫的同時，他們也公開了自己的制作幕后。

了解之后，或許你不僅能加深對AI動畫的理解，還會發(fā)現(xiàn)：至少這部片子的制作背后并沒有什么驚天地泣鬼神的AI進化，主要仍是現(xiàn)有技術的整合，有不少“取巧”的成分，不妨說——是一種非常吃后期的轉描動畫——AI仍是我們揮灑創(chuàng)意的工具啦。

*動畫短片原網(wǎng)址：https://www.youtube.com/watch?v=GVT3WUa-48Y
*幕后揭秘原網(wǎng)址：https://www.youtube.com/watch?v=_9LX9HSQkWo

01技術難點

這部短片制作的整體思路是——把實拍影像變成動畫。只不過手段不是讓動畫師「轉描」也不是用昂貴儀器「動捕」，而是用機器學習模型Stable Diffusion把圖像逐幀轉化為動畫風格。

沒錯，圖像參考來自實拍，不是用關鍵詞直接生成的，所以不會出現(xiàn)“畫不來手”的情況。

聽上去很簡單，我們都已見過AI繪畫的威力，但此前為什么很少有成熟的動畫作品出現(xiàn)呢？

技術難點之一在于消除“噪點”。

AI（至少Stable Diffusion）轉換圖像畫風的工作原理，就是通過公式和學習，獲取圖像數(shù)據(jù)，并添加噪點、刪去噪點，再復原圖片的過程。

我們都知道實拍和動畫的本質都是連續(xù)的圖像，問題在于AI給每一幀轉換風格之后，幀與幀差異相當之大，銜接起來的結果相當【怪異、不流暢】

如果在一段時間內(nèi)凍結噪點，就可以得到較為連續(xù)的畫面，但結果會很有涂抹感，細節(jié)也時隱時現(xiàn)；

他們的解決方案是逆向操作，直接把原來的畫面幀生成噪點圖，再把噪點圖覆蓋在原視頻上，噪點就不會過于隨機地改變，也不會一直停在原地。

技術難點之二在于保持畫風

動起來之后，依然會遇到“閃爍”的問題，每一幀的畫面風格并不統(tǒng)一。

他們的解決方案，是用Stable Diffusion訓練風格模型，采用了Nitrosocke的Diffusion模型，將圖像調整成特定風格。

為進一步解決各種五官、褶皺的細節(jié)混在一起的缺陷，他們會專門訓練單個演員的模型（統(tǒng)一綠幕背景+服化道），提升幀與幀的連續(xù)性。

如果還不夠連貫清晰，就使用去閃爍的特效插件。

接下來就可以“拍”動畫了。

02流程介紹

step1 “拍”動畫！

首先，最靈魂的編劇、分鏡、表演編排，依然是由人類創(chuàng)作的。

然后錄制臺詞、準備服裝（corridor直接選擇網(wǎng)購廉價制服，尤其是他們選了有很多紐扣的衣服，其中復雜的紋理在手繪動畫中并不常見）。

準備好之后，在綠幕面前擺造型，截取單幀。（不配口型，只需一直阿八阿八）

全程只要兩個人負責攝影和打光，畢竟他們想要靠近的手繪動畫質感，其光影本來就不會太復雜。

step2 訓練每個演員的模型

根據(jù)上述原理，讓AI根據(jù)實拍逐幀“轉描”實拍的畫面。用Stable Diffusion訓練能夠將【演員】與【模仿風格】對位轉換的模型

他們對標的風格是日本動畫名作《吸血鬼獵人D》（我們曾發(fā)表文章深度解析過這部作品，點擊閱讀：賽璐珞動畫的巔峰之作——瑰麗兩字遠不足以形容它），截取了上百個不同角色/物件、不同景別的截圖用于訓練。

其中遇到一個問題：演員有胡子，而《吸血鬼獵人D》里的角色大多沒有，直接生成會很凌亂。解決方案便是再做幾個演員形象的動畫濾鏡，跟《吸血鬼獵人D》截圖一同放進資料庫訓練。

step3 實際生成圖像

在這一環(huán)節(jié)，創(chuàng)作者化身“召喚師”，用添加關鍵詞、排除關鍵詞、來回調整細節(jié)數(shù)值的方法，將實拍畫面批量生成為24幀每秒的“動畫”。這可能是全程最無聊最機械的一個環(huán)節(jié)。

其中會有1-2幀略顯跳躍，corridor的解決方案也相當簡單粗暴，將鏡頭放入視效合成軟件Fusion，加入防閃爍插件，設置為fluoro light模式，一個節(jié)點不夠，就再貼一個。

肉眼感覺足夠流暢之后，將角色從綠幕中摳出來，幀率減半變?yōu)?2，使其更像動畫、更自然。

step4 處理背景

使用虛幻引擎里的場景（封閉教堂），根據(jù)想要的效果微調渲染和光照。找到適合當作背景的場景，截取4張圖片。把截圖丟給Stable Diffusion，輸入關鍵詞（見下圖），進一步轉換畫風。

step5 合成

將前景的角色和背景合成在一起，添加特寫效果。把四張背景貼在一起，高速橫向運動，增加模糊效果；需要特寫時候拉近到下圖中有窗戶的位置；加入light rays插件，模擬光照效果。

找?guī)讉€三維物件（蠟燭臺），轉換成動畫風格，放在攝影機前景，增加模糊效果，使鏡頭更有攝影機旋轉的實感。最后在關鍵位置加一兩條手繪效果線。

????最終的效果。

step6 剪輯?

剪輯，導出。

03
觀后感想

從技術層面上來講，這個動畫的生產(chǎn)流程并沒有對技術底層做出較大革新，更多可以視為一次現(xiàn)有技術的整合樣例。相比于一味渲染焦慮情緒，我們在保持謹慎觀察態(tài)度的基礎上，也看到了目前AI在動畫生產(chǎn)當中的局限。

一方面，雖然沒有在視頻當中明言，但制作團隊之所以選擇“石頭剪刀布”這樣的題材，應該還是因為這個題材涉及的鏡頭與場景并不復雜——我們在片中大多看到的是單一角色出現(xiàn)的場景，角色之間也沒有進行直接的交互；分鏡方面，鏡頭的調度和設計也相對簡單。

再進一步，片中大量使用了針對《吸血鬼獵人D》這部作品的采樣。目前關于AI訓練的版權爭端尚未有定論，如這一流程的使用場景擴大，也勢必引起相關的爭端。

不過上述的這些局限是否會在短期內(nèi)被突破，我們尚未可知，或許很快我們就會看到這種“AI轉描”動畫迎來廣闊的商用前景。筆者不禁暢想，比方籌備拍攝某部真人劇集的同時，片方也聘請藝術家（群體）制作大量繪畫素材，用于投喂訓練模型——然后通過算法將真人影視改為動畫，同步推出形似神不似或神似形不似的動畫版？

以及，過往就有部分動畫人倡導“轉描動畫也有美學”，比如《怪貓菲力茲》《指環(huán)王》動畫版導演拉爾夫·巴克希和《愛在黎明破曉前》《阿波羅10?號：太空時代的童年》導演理查德·林克萊特，但這種選擇始終未能成為動畫行業(yè)的主流，或許有產(chǎn)能效率的因素，或許有審美慣性的因素。假若攫取實拍素材制作成的動畫大行其道，這種比傳統(tǒng)動畫更奇特/違和的視覺風格，或許會開拓動畫藝術新的道路？

你覺得AI將在何種程度上影響動畫的發(fā)展？

本文來自「動畫學術趴」，未經(jīng)授權請勿轉載。