AI繪畫 使用LoRA微調Stable Diffusion到底有多少種方法?
LoRA作者的github倉庫:http://github.com/cloneofsimo/lora

這里寫到一共有三種方法,
DreamBooth 我們最常用的, 需要顯存少,效果好
注意: 不使用Prior Loss 被稱為
Fine-tuning (native training), including U-Net and Text Encoder
這個和大模型使用LoRA微調不一樣的
Textual Inversion 知道,似乎沒人用
?Pivotal Turning 很少人知道,而且很少人用,LoRA作者說其效果最好,但需要12G以上顯存

第三種方法LoRA作者說其效果最好,但需要12G以上顯存。
我們使用的kohya-ss的LoRA訓練腳本至今也沒第三種實現(xiàn),可能是因為顯存要的比較多吧。
再來看Diffusers庫:
使用LoRA微調大模型,這里和上面Fine-tuning (native training) 是不一樣的
?

使用DreamBooth LoRA微調:

標簽: