造夢師手記:讓Stable Diffusion的美少女動起來


大部分使用Stable Diffusion繪畫的選手,都能夠很熟練的畫出一張滿意的照片。
隨著AI技術(shù)的迭代,已經(jīng)有AI工具可以繪制短視頻。
也有人利用Stable Diffusion結(jié)合ControlNet插件,繪制成千上萬張照片,再疊加成一段視頻。
但是,大部分人沒有這么大的精力和時間來畫圖,畢竟還要搬磚賺顯卡錢。
在AI視頻普及之前,Stable Diffusion有沒有一種便捷的方式,可以簡單的生成視頻呢?
有人做了一個插件,可以在比較省心省力的情況下,一鍵生成一段短視頻(大約幾秒),可以讓我們的圖片“動”起來。
不過,代價是顯存要足夠多。

具體要多大的顯存呢?
作者是這么說的:
目前,您可以通過 NVIDIA 3090 使用此擴展運行 WebUI。我不能保證 GPU 的任何其他變體。實際VRAM(顯存)使用情況取決于您的圖像大小和視頻幀數(shù)。您可以嘗試減小圖像大小或視頻幀數(shù)以減少VRAM的使用。默認設(shè)置(顯示在“樣本/txt2img”部分中)消耗 12GB VRAM。
按照這個說法,起碼要16G顯存起步。
不過,經(jīng)過我的實測,12G的3060也是勉強可用的,經(jīng)過其他群友的實測,8G顯存也有較大的成功概率。
在安裝該插件之前,把NVIDIA的驅(qū)動升級到最新,然后在啟動器設(shè)置不要使用xformers(目前的版本有個奇怪的錯誤)。
插件名叫animatediff,安裝路徑是:

https://github.com/continue-revolution/sd-webui-animatediff
安裝成功后,重啟Stable Diffusion會在首頁看到animatediff的配置界面。在配置之前,需要下載模型,mm_sd_v15.ckpt,并拷貝至extensions\sd-webui-animatediff\model

animatediff可以用在文生圖,也可以用在圖生圖。
為了避免出現(xiàn)畫面較大的跳躍,建議在圖生圖界面進行。該插件生成的超短視頻以GIF格式存儲。
配置界面比較簡單,總幀數(shù)是要生成的超短視頻的幀數(shù),一般建議20幀以下,F(xiàn)PS則選擇30-60為佳。如果想一次生成多個GIF,可以更改Display loop number。

其余的設(shè)置保持默認即可。
從生成圖片的過程看,工作邏輯是根據(jù)提示詞生成指定幀數(shù)的圖片,然后組合成GIF形成動態(tài)效果。
由于3060的12G顯存不太夠用,經(jīng)常是生成一次超短視頻后,就無法再次跑圖了,只能重啟啟動器。
所以大家如果使用該插件,請量力而行。
如果需要做成MP4等視頻格式,可以用格式工廠進行轉(zhuǎn)換(感覺必要性不大)。

一分鐘前3060又爆掉了,只好重啟。
聽說4060 Ti的16G顯卡上市了,我去看看... ...

