■ 用AIGC制作動(dòng)畫片，如何解決畫面抖動(dòng)問題

CorridorDigital 社區(qū)，使用AIGC技術(shù)制作了一部二維動(dòng)畫短片《ROCK, PAPER, SCISSORS》，主要是使用了 StableDiffusion 這一開源技術(shù)。

該團(tuán)隊(duì)公布了整個(gè)工作流程，并做了詳細(xì)講解。參見視頻 Did We Just Change Animation Forever? 和該部動(dòng)畫的官方頁面。

> https://www.corridordigital.com/season/60

他們說：是熱愛+大量勞動(dòng)完成了這個(gè)項(xiàng)目。因?yàn)榱瞬黄鸬拈_源社區(qū)，有了各種技術(shù)和方法可以使用。希望通過分享我們的發(fā)現(xiàn)和技術(shù)，能夠幫助推動(dòng)這項(xiàng)技術(shù)的發(fā)展，能夠以更低門檻創(chuàng)作更好的作品，讓任何人都可以用這種開創(chuàng)性的技術(shù)制作動(dòng)畫片。

傳統(tǒng)二維動(dòng)畫片的制作方式，需要熟練的繪畫技師，逐幀繪制畫面，這樣高昂的人力成本不是小團(tuán)隊(duì)可以做到的。他們看到 Stable Diffusion 以圖生圖的能力，想到一種將現(xiàn)實(shí)變成卡通的方式。

主要攻克的問題就是畫面“閃爍”問題。
其次是統(tǒng)一每一幀畫面的轉(zhuǎn)換風(fēng)格。

畫風(fēng)遷移已經(jīng)成熟，可以通過一張圖片生成各種其它風(fēng)格。但由于穩(wěn)定擴(kuò)散技術(shù)（Stable Diffusion）是基于已有的“噪點(diǎn)”像素?cái)?shù)據(jù)（有損圖片），通過“腦補(bǔ)”全部的像素生成一張新圖片。所以每次生成的圖像都會(huì)有差別。視頻需要每一幀畫面之間是連續(xù)的，而擴(kuò)散技術(shù)生成的每一幀畫面在細(xì)節(jié)上會(huì)有不一致，導(dǎo)致畫面看起來跳躍閃爍。

其中關(guān)鍵的工作流如下：
1, 從已有的動(dòng)畫片中選出想要的風(fēng)格。然后從該動(dòng)畫中截圖各種對(duì)象的圖片，例如人臉、物品、建筑物等，用來微調(diào)訓(xùn)練專門的 Stable Diffusion 模型，實(shí)現(xiàn)統(tǒng)一的轉(zhuǎn)換風(fēng)格。
2, 根據(jù)劇本，配上少量服化道，實(shí)拍角色視頻。
3, 使用訓(xùn)練好的AI模型將實(shí)拍實(shí)拍轉(zhuǎn)換成動(dòng)畫風(fēng)格。這個(gè)過程中通過控制“隨機(jī)數(shù)種子”，盡量降低畫面的閃爍。
4, 通過影視后期軟件，進(jìn)一步弱化閃爍。
5, 動(dòng)畫片中的場(chǎng)景是基于三維模型，截圖，再通過AI模型轉(zhuǎn)換風(fēng)格。

這是朝著真正的創(chuàng)作自由又邁進(jìn)一步。