造夢師手記:Stable Diffusion小女兒的繪畫本


2019年的時候,一組涂鴉曾經(jīng)風靡網(wǎng)絡。

一邊是兒子稚嫩的涂鴉畫,另一邊是老爸用電腦精修的漫畫。
但是,這組畫如果放到2023年的今天,這些拍案叫絕的創(chuàng)意,就黯然失色了。
因為有了Stable Diffusion,它可以把孩子的涂鴉變成美輪美奐的漫畫。短短幾年,AI繪畫突飛猛進。
我朋友養(yǎng)了個如花似玉的女兒--字面意思,她的名字里有個玉,所以被稱作玉兒。
朋友抱怨她的女兒上課的時候偷偷畫畫,被老師捉到罰站,我說太好了你把她畫的畫拍下來發(fā)給我。
朋友一邊抱怨,一邊發(fā)過來女兒的畫。
果然很可愛。

我選取了第一張圖,用Stable Diffusion處理了下,不到2分鐘,生成一張彩色的動漫圖。


朋友驚訝的說,哇塞,還能這樣!
這個小“魔術”依托于controlnet插件的線稿上色功能。
下面我來介紹如何使用controlnet插件給線稿上色,特別適合家有小畫家的或者自己就喜歡畫線稿的選手。
1、檢查是否有controlnet插件,如果沒有請安裝,如果版本低于1.1請進行在線升級(最近controlnet升級比較頻繁,只要是1.1以上即可)

https://github.com/Mikubill/sd-webui-controlnet
2、選取線稿圖片導入Controlnet

選擇啟用,控制類型選擇Lineart(線稿),模型選取control_v11p_sd15_lineart
其他選項不變,在文生圖里簡單輸入提示詞。
比如,這張圖我就簡單的輸入了 3girls。模型選用了anything5。

一張可愛的彩色照片就出現(xiàn)了。
不過,這張照片的缺點也很明顯,畫質清晰度不夠,背景比較隨意。
讓我們完善一下提示詞。畫質增強,日落的黃昏。
3 girls, (masterpiece:1.4, best quality), (intricate details), unity 8k wallpaper, ultra detailed, beautiful and aesthetic, (photorealistic:1.4), perfect lighting, dusk, sunset,

讓我們再換一個模型,breakdomainrealistic_R2333
順便調整了尺寸,把默認的768512調整為了768*600,畫面比較完整。

需要注意的是,線稿出圖盡量不要使用面部修復,尤其是夸張的漫畫線稿,因為比例不符合真人臉,可能會出現(xiàn)一些意外的效果。

我把最終上色的畫發(fā)給朋友,打算讓她轉給玉兒。
結果朋友說,訓孩子去了,讓她專心學習,不要搞這些亂七八糟的。
我只好把她的另一張線稿上色。


如果使用模型報錯,是模型未下載成功,線稿模型下載地址:
https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_lineart.pth