造夢(mèng)師手記:如何靠AI成為女朋友的私房攝影師


今天有個(gè)好消息,最新版的ControlNet(版本1.1.401)終于支持SDXL了。
由于和SD1.5沒什么特別的區(qū)別,除了需要下載幾個(gè)新的模型,我就不單獨(dú)寫教程了。
今天要給大家推薦的,是一個(gè)叫做EasyPhoto的插件,可以用5-20張照片,生成固定的人臉,然后生成任意場(chǎng)景的照片。
從操作流程上看,和妙鴨相機(jī)如出一轍。
從思路上看,大致是訓(xùn)練一個(gè)特定的LoRA,然后使用這個(gè)LoRA適配各種提示詞。
簡(jiǎn)單的測(cè)試了下,發(fā)現(xiàn)邏輯果然如此,系統(tǒng)自動(dòng)生成了多個(gè)LoRA,然后選取其中訓(xùn)練的較好的一個(gè)拷貝至LoRA目錄中。
和手動(dòng)訓(xùn)練一個(gè)LoRA相比,EasyPhoto能夠自動(dòng)打標(biāo)、自動(dòng)生成LoRA,基本上可以一鍵式處理,方便新手入門。
如果有時(shí)間和精力訓(xùn)練LoRA,不推薦使用該插件,但如果追求簡(jiǎn)單,這個(gè)插件能起到意想不到的效果。
使用這個(gè)插件,所有換臉的插件都可以say byebye了,畢竟,LoRA素材豐富,出圖效果更好。
1、安裝
在擴(kuò)展--從網(wǎng)址安裝輸入:
https://github.com/aigc-apps/sd-webui-EasyPhoto
推薦使用GitHub代理
https://ghproxy.com/https://github.com/aigc-apps/sd-webui-EasyPhoto

2、上傳訓(xùn)練照片,5-20張,越多越好,最好是不同角度。
訓(xùn)練的數(shù)值選擇默認(rèn)即可。

3、開始訓(xùn)練
點(diǎn)擊“start training”開始訓(xùn)練,插件會(huì)提示輸入ID,并最終以此命名LoRA名稱。
訓(xùn)練開始時(shí),程序第一次運(yùn)行會(huì)先開始下載模型,根據(jù)網(wǎng)絡(luò)等情況,10-30分鐘不等。
下載完成后,進(jìn)入LoRA訓(xùn)練過程。
根據(jù)系統(tǒng)性能(主要是顯卡),訓(xùn)練時(shí)間從10分鐘到1小時(shí)(可能更長(zhǎng))不等,命令行可以看到訓(xùn)練進(jìn)度。
訓(xùn)練完成后,會(huì)在以下目錄輸出10個(gè)LoRA文件,outputs\easyphoto-user-id-infos\你輸入的ID\user_weights
并將其中一個(gè)命名為“你輸入的ID.safetensors”,同時(shí)將該LoRA拷貝至model\lora
4、使用參考圖片“換臉”
訓(xùn)練完成后,LoRA已經(jīng)可以和普通LoRA完全一樣使用了(基于SD1.5)。
不過,插件還提供了更加便捷的一鍵式使用方式。

可以根據(jù)插件提供的默認(rèn)參考圖片(也可以自行上傳),一鍵生成換臉的的照片。
此處EasyPhoto使用了ControlNet插件,如果ControlNet的模型不全,還會(huì)遇到下載模型的情況。

選擇好ID編號(hào),點(diǎn)擊Start即可生成。
此處有幾個(gè)選項(xiàng),可以設(shè)置權(quán)重值,選項(xiàng)的含義:
1.After Face Fusion Ratio代表第二次人臉融合的比例,數(shù)值越高生成圖片越接近訓(xùn)練對(duì)象。
2.Crop Face Preprocess代表生成前是否裁剪圖像,可以適應(yīng)人臉較小的圖片。
3.Apply Face Fusion Before代表是否進(jìn)行第一次人臉融合。
4.Apply Face Fusion After代表是否進(jìn)行第二次人臉融合。

5、視同普通LoRA進(jìn)行使用
在SD1.5的模型中,可以使用該LoRA。
一般來說,人像類LoRA的權(quán)重不要太高,在0.5-0.8之間效果比較好。
