AI畫圖經(jīng)驗
ai畫圖最近比較流行,正好看到騰訊云上有一個新用戶GPU試用,就試了一下。
一,主流ai畫圖方法簡介
目前主流的出圖方法都是用的stable-diffusion,這個模型集成了文本模型和畫圖模型,可以根據(jù)輸入的文本prompt,生成圖像。
但最基本的模型效果比較不好,出的圖有點不受控制,特別是畫人的時候經(jīng)常畫崩,因此就需要更加定制的模型,為了方便進行擴展和配參數(shù)、換prompt出圖,目前主流的方法是采用stable-diffusion-webui,將插件和更小的模型等安裝進去。
需要自行安裝和下載的模型分為checkpoint、texture、LoRA等,checkpoint是比較大的,一次只能選一個加載,LoRA比較小,相當(dāng)于微調(diào),可以同時用多個組合,但有時候組合起來效果不好。
可以簡單理解,先安裝stable-diffusion-webui,再下載checkpoint和lora,根據(jù)prompt就可以出圖了。
二,安裝過程踩坑
stable-diffusion-webui在github上有,并且有安裝的說明,但是由于網(wǎng)絡(luò)不穩(wěn)定等原因,可能無法直接安裝,一些內(nèi)容需要換成大陸源才行。
首先是安裝python 3.10和git,這兩個可以直接去官網(wǎng)下載。
之后需要配置一下python源,可以換成清華源。
但即使換了清華源,在安裝torch的時候,還是會去torch官網(wǎng)去下載,一旦下載很容易失敗,這里可以在安裝到這一步時,把對應(yīng)的whl文件下載,然后通過pip手動來安裝whl文件。
在安裝完上述之后,webui會檢查cuda,有時候cuda檢測失敗,可能是裝的torch版本不對,進python然后
import torch
print(torch.__version__)
如果帶了cuda就是有cuda版本,如果是cpu那就不正確。
之后有一些從github上安裝的部分,可能會失敗,需要用github鏡像站,如gitclone。
這里需要修改webui的腳本,修改launcher.py,找到所有的github部分,修改對應(yīng)的地址。
簡單總結(jié):
1,python換源
2,手動下載torch的whl安裝
3,修改launcher.py中的github倉庫地址
三,使用經(jīng)驗
我用得多的checkpoint主要有兩個,chilloutmax,國風(fēng)。
國風(fēng)用來跑一些3d人物形象比較好,在使用lora的時候可以看一下作者推薦哪些。
用了兩個斗羅小舞的lora,搭配國風(fēng)是比較好的。