造夢師手記:轉(zhuǎn)化成生產(chǎn)力,用SDXL給小朋友畫繪本

剛剛接觸AI繪畫的時候,有朋友咨詢我,能用一本小說畫本子不?
我想了想,說,比較難,因為要先把小說轉(zhuǎn)換成提示詞,AI的提示詞比較復雜,每一頁畫面都要深思熟慮,而且還很容易出現(xiàn)畫面人物形象變化過大的情況。
隨著技術(shù)的不斷迭代,尤其是SDXL發(fā)布后,這個愿望似乎變得不太難了。
首先,SDXL對自然語言的理解非常強大(當然,還是要先翻譯成英文),幾乎不需要刻意的通過調(diào)整權(quán)重來生成想要的畫面;
其次,roop等插件可以“固定”住主角的臉,從而方便的生成同一角色不同場景的畫面。
再次,基于SDXL的模型、LoRA資源也越來越多,繪本風格的LoRA已經(jīng)非常好用。
比如,有個LoRA就叫Picture-Story Book For Children XL,專門用來進行故事繪本的編制。
什么?
你有個朋友想畫別的本子?
是這種嗎?不要急,文末附下載。

我們繼續(xù)聊Picture-Story Book For Children XL,這個LoRA訓練了大量的繪本素材,可以畫出色彩繽紛的畫面,適合學齡前兒童。
作者在C站的介紹如下:
不需要觸發(fā)詞,裝上就用。訓練的時候加了很多花花和小星星進去,所以如果想達到更好的童話效果可以試試這幾個詞。
“flower, star, magical”
后續(xù)也許會改進提示詞的可控性,大概可能會做一些不同風格類型的繪本風。過于驚悚的畫風不會考慮。
如果有人能夠用這個模型去做一些有趣的兒童故事,歡迎分享,我會給我家孩子看的。
模型:
sdxl_bluePencilXL_v009
提示詞:
Valley, butterfly, forest, girl carrying a pink backpack
<lora:picbookXLlorAV1:0.6>

提示詞:
At the end of the valley is a village with towering towers and clouds in the sky, <lora:picbookXLlorAV1:0.6>

提示詞:
Farmers in the fields are harvesting crops, tractors, autumn trees, and children on the roadside, <lora:picbookXLlorAV1:0.6>

提示詞:
Rocket Launch Towers in the Valley, <lora:picbookXLlorAV1:0.6>

提示詞:
Space flight, spaceship, girl in spacesuit, <lora:picbookXLlorAV1:0.6>

提示詞:
A girl in a spacesuit, shaking hands with aliens <lora:picbookXLlorAV1:0.6>

LoRA下載:
1、繪本Picture-Story Book For Children XL
https://www.123pan.com/s/ueDeVv-z80I.html?提取碼:lgyh
2、文章開頭提到的美女繪本風格LoRA是fashion girl
https://www.123pan.com/s/ueDeVv-L80I.html?提取碼:lgyh
注意事項,兩個LoRA均為SDXL版本,無法在SD1.5使用。