【玩轉(zhuǎn)SD】自制節(jié)點介紹SDXLMixSampler LatentByRatio

大家好,我是小志Jason,一位正在探索AI領(lǐng)域的程序員。
自從SDXL 0.9重新拿起comfyui使用后,比起一開始的模模糊糊學(xué)會怎么用,終于有了更多的進步,學(xué)會了如何寫自制節(jié)點,如何保存模板。之前的第一個自制的混合節(jié)點還沒寫專欄,那就在這里一并介紹。
首先是SDXLMixSampler,我稱之為多重混合采樣器,它的主要作用是可以在一個取樣器節(jié)點里完成SDXL base+refiner的取樣工作,由原來的2個取樣器節(jié)點簡化成一個。這是它名字里面的“混合”的作用。
其次,多重指的是經(jīng)過base+refiner一輪(loop)的取樣后,可以通過總步數(shù)(total_steps),來讓該節(jié)點重復(fù)進行base+refiner的多輪取樣,每輪取樣總步數(shù)由混合步數(shù)(mix_steps)決定,每輪步數(shù)中,基礎(chǔ)模型步數(shù)由基礎(chǔ)步數(shù)百分比(base_steps_percentage)決定。
最后輸出一個latent_image再進行解碼。如下圖:

經(jīng)過多輪采樣后,可以產(chǎn)生同一副圖的不同變體,有時候能幫助SDXL產(chǎn)出更好的文字效果(也有可能更差)
例圖:

左邊的是多輪采樣的,右邊的是普通的base+refiner。





上面的提示詞是克總破壞東京,經(jīng)過多輪采樣后,同樣的提示詞種子cfg等參數(shù),但是周圍的建筑由古代變成了現(xiàn)代,特別有趣。
這就是我第一個自制的節(jié)點,多重混合采樣器。
第二個節(jié)點是LatentByRatio,中文大概可以叫長寬比畫布?
這個節(jié)點主要的左右是提供一個基于模型基礎(chǔ)大小,進行比例拉伸的潛空間。主要是在SD1.5里面就記住了512,768,放到SDXL里面好像不太好用,而且長寬比那么多,腦子不應(yīng)該用來記這些東西。一開始我還想著選完后輸出長和寬,然后連接到EmptyLatentSpace,后來一想,我直接出latent不就完了,為什么還要額外連別的節(jié)點,所以最后選完就直接出latent,用更少的節(jié)點去做更多的事。
最好把所有的節(jié)點都整合起來,節(jié)點越少越好。操作如下圖:

基于SDXLMixSampler和LatentByRatio,我也試了一下Comfyui圖生圖(風(fēng)格偏移)和高清化的流程,把它們都整合起來,大概如下:

第一個部分是文生圖,生成一張畫,然后把latent作為圖生圖的輸入,通過不同風(fēng)格的prompt,基于文生圖的latent進行高強度降噪,產(chǎn)生一張真實照片風(fēng)格的圖,再把真實風(fēng)格的latent進行一個高清化。


高清化的圖太大了,放不上來,
https://civitai.com/images/1610170?modelVersionId=120216&prioritizedUserIds=2676&period=AllTime&sort=Most+Reactions&limit=20
其實我覺得comfyui真的很不錯,特別是分享工作流這一下,搞好了其實比webui更容易上手,就是目前的基礎(chǔ)建設(shè)不太足,很多時候新手上來就要先把一大堆概念搞懂,才能開始玩。我之后的方向應(yīng)該會主要放在這方面,讓更多的人能更好更容易的使用comfyui。
用更少的節(jié)點做更多的事,讓更多的人更省心省力。
歡迎各位點贊,投幣,關(guān)注,轉(zhuǎn)發(fā),我才有動力去做更多的后續(xù)。
節(jié)點+工作流
鏈接:https://pan.baidu.com/s/1XG3D9WOfPfHfJphSDYUy2A?
提取碼:uozc?
C站鏈接:
https://civitai.com/models/111435?modelVersionId=120216
C站賬號:xiaozhijason
歡迎加群討論AI相關(guān)的話題,遇到問題有能力的我會盡量解答
驗證:小志Jason?
