SDXL的修手插件(embeddings)終于出來了


2023年8月,傳說中的SDXL1.0大模型千呼萬喚始出來。
和之前流行的SD1.5相比,SDXL1.0畫面更精致,對自然語言的理解更到位,幾乎可以實現(xiàn)隨心所欲的AI繪畫。
然而,有一個細節(jié)卻大大倒退了:畫手。
SDXL1.0依然畫不好手。
SD1.5通過各種畫手插件,基本解決了畫手難題,尤其是新出的一些大模型,通過加強對手的訓練,基本能實現(xiàn)直出大概率好手。結(jié)合批跑和局部重繪,畫出好手變得輕而易舉。
然而,到了SDXL1.0,這一切都倒回了原始社會。
經(jīng)過一個多月,我發(fā)現(xiàn)C站出現(xiàn)了一個修手的embeddings模型,經(jīng)過測試,效果非常好。
這個embeddings模型叫:unaestheticXL
先簡單解釋下什么是embeddings模型,所謂embeddings模型是一種大模型中的嵌入式小模型。
embeddings可以應用在文本大模型、AI繪畫大模型以及各種推薦大模型。簡單地說,embedding就是把一個東西映射到一個向量 x。如果兩個東西很像,那么得到的向量 x1 和 x2 的歐式距離很小。
這就意味著,embeddings可以用一個很小的變量,來實現(xiàn)大模型變化的效果。
修手模型,就是利用embeddings的這個特性,給stable diffsion畫手的時候提供一個變量,實現(xiàn)相對較好的效果。
作者很搞笑,他制作了兩個版本,他在C站這樣評價自己的作品:
它似乎有很強的修復手部的能力(v1.3)。
他們說它制作動畫插圖的能力很強(v1)。
請根據(jù)您的偏好和模型進行使用。
請合理搭配或調(diào)整強度。
我們的目標是介于v1和v13之間的感覺(v31)。
AYv1似乎增加了對比度。
1、坐在手機堆里拿手機的女孩
大模型使用sdxl_counterfeitxl_v10
提示詞:
hyper-detailed,extremely realistic,masterpiece,epic quality,(a girl sit meditating on a pile of mobile phones),trash of moilephones,
負面提示詞:
空

可以看到女孩的手畫的非常隨意。
負面提示詞增加上embeddings模型:
unaestheticXL_AYv1,unaestheticXLv13,
我們把兩個版本都放上。
手指發(fā)生了很大的改觀,但畫面也變成了插畫風格。
2、點贊的黑人
大模型使用sdxl_dreamshaper
提示詞:
cinematic photo cinematic film still breathtaking Snoop Dogg giving 2 thumbs up while standing in his marijuana field at sunset, dramatic lighting, dynamic pose . award-winning, professional, highly detailed, (best quality, masterpiece, highest detail), detailed skin texture, (blush:0.5), (blemishes:0.5), (goosebumps:0.5), subsurface scattering . shallow depth of field, vignette, highly detailed, high budget Hollywood movie, bokeh, cinemascope, moody, epic, gorgeous, film grain, grainy . 35mm photograph, film, bokeh, professional, 4k, highly detailed

這個手指比較抽象了。
負面提示詞加上:
unaestheticXL_AYv1,unaestheticXLv13,

雖然有點油膩的發(fā)亮,但手指還是很贊的。
完美。
3、女戰(zhàn)士
提示詞:
((sarah connor from terminator)),((((holding a cardboard sign saying "STOP Playing AI !")))),bionic metal hands,pleading facial expressions,destroyed post apocalyptic city background,smoke from buildings,red sun with smog,god rays,cinematic still,action movie,intricate detail,high texture detail,antialiased,perfect viewpoint,highly detailed,wide-angle lens,hyper realistic,with dramatic sky,polarizing filter,natural lighting,vivid colors,everything in sharp focus,UHD,64K,HDR,
負面提示詞:
unaestheticXLv13,

不難發(fā)現(xiàn),這個修手模型體積雖小,效果卻非常明顯。
C站地址:
https://civitai.com/models/119032?modelVersionId=162146
網(wǎng)盤下載:
https://www.123pan.com/s/ueDeVv-Jj0I.html?提取碼:lgyh