SDXLMixSampler 1.1

大家好,我是小志Jason。一個探索Latent Space的程序員。
之前0.9的時候出了一個SDXLMixSampler,現(xiàn)在更新一下功能。
前文:【玩轉(zhuǎn)SD】自制節(jié)點介紹SDXLMixSampler LatentByRatio
https://www.bilibili.com/read/cv25107377
首先解釋一下什么是loop,loop就是base+refiner共同跑完一次的結(jié)果,為止一次loop,
多重混合節(jié)點的目的是讓base+refiner跑完一次后,先不輸出結(jié)果,把第一次的結(jié)果作為下一個loop的latent image再跑一次base+refiner,來實現(xiàn)多次base+refiner的圖片。
這次主要更新的是把之前的total_steps改成了loop,不用自己算了,背后直接mix_steps*loop=total_steps。
兼容一次輸出多個loop的結(jié)果,但是由于每個loop的leftover_noise和結(jié)算步數(shù)都不一樣,所以不能簡單的輸出每次循環(huán)的latent image,背后需要每個循環(huán)都自己跑一次,所以出圖會比較慢。
所以默認的是final_only:yes,只輸出最后那個loop的結(jié)果,如果final_only:no,那就輸出每次循環(huán)的結(jié)果:





C站地址:
https://civitai.com/models/108594/sdxlmixsampler-comfyui-jnode-workflow-included
PS碎碎念:
經(jīng)過詢問和交流,感覺現(xiàn)在SDXL的lora還有微調(diào)都是不完善的。
SDXL的架構(gòu)是base+refiner等于完整輸出,而目前無論是lora還是微調(diào),都集中在base模型那里,問題在于無論是lora還是微調(diào),使用原來的refiner去添加細節(jié),都會影響到lora和微調(diào)的訓(xùn)練出來的特征,讓訓(xùn)練的效果減弱。
所以現(xiàn)在的微調(diào)和lora不得不減少refiner的作用來保留訓(xùn)練的特征,這種做法我覺得是有違SDXL的架構(gòu)的,如果想使用SDXL的架構(gòu)來達到最好的效果,就需要有對應(yīng)的refiner訓(xùn)練。
比如base+base lora->refiner+refiner lora,fine tune base->fine tune refiner,這樣的流程來確保base和refiner都能向訓(xùn)練的特征偏移,才能實現(xiàn)最好的結(jié)果。
歡迎點贊投幣轉(zhuǎn)發(fā)加群
群號:866612947
驗證:小志Jason
