超炫酷項目來襲!DragGAN 正式開源了!

之前樹先生給大家介紹過一個項目 DragGAN,現(xiàn)在正式開源了!
那還等什么,盤它!
DragGAN 是什么?
不同于 Stable Diffusion 與 Midjourney 使用的擴散模型,DragGAN 是一款基于生成對抗網(wǎng)絡(GANs)技術的圖片編輯項目。追根溯源,其實還是 NVIDIA 的 StyleGAN 的衍生項目。
DragGAN 由兩個主要部分組成:
第一部分是基于特征的運動監(jiān)督,通過控制起始點向目標點運動,實現(xiàn)圖像的變形;
第二部分是新的點跟蹤方法,即最近鄰檢索,通過在相同的特征空間上進行點跟蹤,提高了效率,并避免了累計誤差損失。
簡單來說,它能夠讓你輕松掌控圖片中的人物和動物,通過拖拽控制點和目標點來調(diào)整他們的位置、形狀、姿勢等等。目前這個項目在 Github 上已經(jīng)斬獲了 20K star 了,趨勢榜第一,足見其火爆程度!
部署要求
支持 Linux 和 Windows,建議使用 Linux
內(nèi)存 12 GB 以上
1–8 NVIDIA 高端 GPU
Python >= 3.8,PyTorch >= 1.9.0
CUDA toolkit >= 11.1
安裝部署
安裝過程,真是一把鼻涕一把淚,到處都是坑,先是在阿里 PAI 平臺栽跟頭,折騰好久才發(fā)現(xiàn)是基礎環(huán)境問題,后來又在安裝方法上翻了車,官方的安裝指導也是各種報錯。
一路艱難摸索過來,現(xiàn)在將實測可行的一套部署方法帶給大家。
這里我們選擇 AutoDL 云平臺,使用 Python 3.8,CUDA 11.8 的鏡像,這個鏡像的環(huán)境就已經(jīng)滿足項目要求了。

下載源碼
github 搜 DragGAN 下載源碼
安裝依賴
如果出現(xiàn)下面的報錯,代表這個 pip 源里沒有對應的版本。

修改 requirements.txt
文件,去除特定版本依賴,再次執(zhí)行即可。
下載模型

運行
這里選擇運行 WebUI,看到 URL 就代表啟動成功了。

效果展示
使用上非常簡單,鼠標在圖中點點就行,紅點是起始點,藍點是目標點,實現(xiàn)圖像的拖拽效果。




還可以控制區(qū)域圖像,避免整體圖像跟著變化。


很多人都以為這個項目能直接選一張照片,就能像 PS 一樣進行 P 圖了,其實并不是,至少目前還不支持,上面你看到的這些圖片都是經(jīng)過訓練而生成的模型,所以本質(zhì)上,你是在操作一個模型,而非圖片!
如果你想操作自己的圖片,那么按官網(wǎng)說的,你需要使用到 PTI 項目,將你自定義的圖片訓練成 StyleGAN 模型。


這部分內(nèi)容下期再介紹,折騰 DragGAN 部署費了好大勁,有點累了,記得三連啊~