5月11日,Stable Diffusion復(fù)雜紋飾重現(xiàn)測(cè)試

文中圖片除標(biāo)示原圖外,其余均為SD生成,僅用于學(xué)習(xí)交流,禁止商用,禁止違法用途。?

因沒(méi)有多余的圖片內(nèi)容,也沒(méi)有網(wǎng)絡(luò)圖片可用,只能將就這四張圖片來(lái)練(原圖都還有色差)。
第一次嘗試快速練模,摳圖后400步,過(guò)擬合嚴(yán)重,失敗。

第二次嘗試快速練模,摳圖后200步,欠擬合,失敗。

第三次在更改思路后,嘗試另一種煉丹方式,不摳圖,步數(shù)至4000+,過(guò)擬合嚴(yán)重,失敗。

第四次在更改思路后,嘗試第三種煉丹方式,步數(shù)至1000+,紋飾仍然無(wú)法準(zhǔn)確識(shí)別位置,失敗。

第五次嘗試第四種煉丹方式,步數(shù)至600,純色可用,復(fù)雜花紋還是不行,且存在顏色污染。

第六次嘗試第五種煉丹方式,步數(shù)至2000+,結(jié)果還算勉強(qiáng)能用(圖在原圖下面)。
loss值需要穩(wěn)定在0.6-0.8。

?原圖↓




最近一次的煉丹生成結(jié)果(底模:basil mix)↓





















底模切回chilloutmix_NiPrunedFp32后,站姿效果則更接近實(shí)物。
不過(guò)因?yàn)橛?xùn)練集中缺少各種姿態(tài),所以在形態(tài)變化后,是否依舊符合實(shí)物結(jié)果未知。
另一個(gè)問(wèn)題是沒(méi)有對(duì)手部做優(yōu)化,所以模特架的粗細(xì)直接被應(yīng)用到了手上,看著像男性的手臂和手。























結(jié)果:
4張圖片的訓(xùn)練結(jié)果在只使用Lora的情況下,還沒(méi)法做到100%復(fù)現(xiàn)。
最終結(jié)果只能說(shuō)是近似,能引流,但不能作為產(chǎn)品實(shí)物宣傳圖。
在調(diào)整lora組合的過(guò)程中,在部分調(diào)用和上色這個(gè)位置始終存在一定的問(wèn)題。
下一次測(cè)試將在優(yōu)化訓(xùn)練集標(biāo)簽后再次進(jìn)行。