【AI畫畫訓練】頭像框生成

數(shù)據(jù)
某寶買了很多頭像框的數(shù)據(jù)。挑選出了一些比較符合自己需求的圓形頭像框。并且都做了底色填充、縮放和padding的操作。最后數(shù)據(jù)大概這樣:

丟入tagger對其進行打標(同時加上觸發(fā)詞)
在第一個版本中,打標后的tag我并沒有再經(jīng)過二次處理。直接就訓練了。
訓練
首先用lora做測試,如果可用,就不會再嘗試dreambooth。
基礎(chǔ)模型選擇了AbssOrangeMix3a3的模型。其他參數(shù)基本默認。
因為本身數(shù)據(jù)對于訓練lora來說,已經(jīng)不算少了(800張左右)擔心過擬合,所以最初只訓練了10個epoch。但第一波訓練完畢后,發(fā)現(xiàn)第10個epoch最對味,所以調(diào)整到了20個。
調(diào)試
x/y對比一些prompt,選出覺得效果最好的一個epoch

應用
給一些prompt生成圓形頭像框的參考。
隨便給一些關(guān)鍵字

或者搭配一些風格。(因為很多時候游戲內(nèi)創(chuàng)造是有對應的主題和參考的)
根據(jù)參考圖片顏色
使用賽博朋克德圖提供controlnet風格。
網(wǎng)上隨便找了個賽博朋克的圖

使用controlnet的色彩模型

除此之外應該還有很多其他應用場景。如果大家有什么好的想法歡迎一起交流哦~
Lora下載地址:https://civitai.com/models/27700/avatar-frame-generator