廢話不多說(shuō)，先上圖。

? ? 走過(guò)路過(guò)不要錯(cuò)過(guò)！這就是今天我們要聊的T2IAdapter，這家伙可能是ControlNet最大的對(duì)手哦~ 這個(gè)小巧玲瓏的家伙雖然只有70M參數(shù)，300M存儲(chǔ)空間，但它能夠在凍結(jié)時(shí)給預(yù)訓(xùn)練的文本到圖像模型提供額外指導(dǎo)。它能檢測(cè)出草圖的邊緣圖，檢測(cè)出人形圖形的關(guān)鍵姿勢(shì)適配器，還有基于分割的邊緣對(duì)象檢測(cè)器和深度檢測(cè)器，這樣生成的圖像會(huì)更有感覺(jué)哦！更重要的是，它還結(jié)合了深度和鍵位適配器，可以在3D中檢測(cè)人形圖形！是不是很棒呢？快來(lái)試試吧！

? ??當(dāng)將文本凍結(jié)為圖像模型時(shí)，我們可以從輸入樣本中轉(zhuǎn)移檢測(cè)到的特征分布。這個(gè)過(guò)程需要適配器以不同的形式提取指導(dǎo)信息，并將其應(yīng)用于重新噪聲化的圖像。這種方法為T2IAdapter帶來(lái)了很多好處，其中最重要的是實(shí)現(xiàn)了對(duì)小說(shuō)合成和圖像編輯的高度控制。? ??你或許會(huì)問(wèn)，這種高度控制到底是什么意思呢？簡(jiǎn)單來(lái)說(shuō)，就是我們可以根據(jù)我們想要的效果，針對(duì)不同的指導(dǎo)信息進(jìn)行調(diào)整，從而創(chuàng)造出我們需要的圖像。比如，我們可以使用草圖功能檢測(cè)邊緣圖，或者用關(guān)鍵姿勢(shì)適配器來(lái)調(diào)整人形圖形的姿態(tài)。還有基于分割的邊緣對(duì)象檢測(cè)器和深度檢測(cè)器，它們能夠讓我們更好地安排生成圖像的感知深度。這些指導(dǎo)信息在重新噪聲化的圖像上應(yīng)用后，能夠讓我們更加準(zhǔn)確地控制圖像的生成。? ??這種高度控制的好處是顯而易見的。通過(guò)使用T2IAdapter，我們可以根據(jù)我們需要的效果對(duì)圖像進(jìn)行編輯和合成，而且還可以在圖像中添加不同的元素，例如3D人形圖形。這一點(diǎn)對(duì)于游戲和虛擬現(xiàn)實(shí)等領(lǐng)域來(lái)說(shuō)，是非常有用的。因此，T2IAdapter不僅是一種小而強(qiáng)大的工具，而且還是一種能夠讓我們更加自由地創(chuàng)造和探索的工具。

? ??就像Controlnet一樣，T2I-Adapter 對(duì)最終的最終輸出實(shí)現(xiàn)極高級(jí)別的控制。從上面的例子中我們可以看出，這種方法比單獨(dú)使用 Stable Diffusion 效果要好得多。

梯度運(yùn)行

T2I 是一種有效的技術(shù)。如果我們想在自己的遠(yuǎn)程機(jī)器上使用它，而不是受到 HuggingFace Space GPU 可用性的潛在限制，請(qǐng)按照此處的說(shuō)明設(shè)置 T2IAdapter Gradio 筆記本。

要運(yùn)行它，請(qǐng)打開本頁(yè)頂部鏈接的漸變筆記本。筆記本電腦啟動(dòng)后，導(dǎo)航到標(biāo)有 T2I 適配器的第一部分。在這里，我們首先將 Space 從 HuggingFace 克隆到我們的機(jī)器上。從那里，我們需要做的就是安裝應(yīng)用程序的要求。首先運(yùn)行下面顯示的代碼單元以安裝所需的文件。

!apt-get update && apt-get install git-lfs
!git-lfs clone <https://huggingface.co/spaces/Adapter/T2I-Adapter>
!pip install -r requirements.txt


這將安裝我們運(yùn)行 Gradio 應(yīng)用程序所需的一切。從那里，運(yùn)行下面的下一個(gè)單元格以獲取指向 Gradio 應(yīng)用程序的可共享鏈接。

!python app.py --share

? ? ?從而我們可以測(cè)試應(yīng)用程序的各種功能。上面是使用兩個(gè)女孩舉行茶話會(huì)的照片和深度 + 鍵位適配器制作的示例，并將其變成兩只泰迪熊拳頭碰撞的圖像。

? ? 如果要添加你自己的模型來(lái)處理此問(wèn)題，需要轉(zhuǎn)到notebooks/T2I-Adapter/demo/demos.py并編輯每個(gè)演示函數(shù)以指向保存文件的位置。最簡(jiǎn)單的方法是將它們移動(dòng)到模型文件夾中以方便執(zhí)行此操作。

? ??T2IAdapter?目前已經(jīng)可以在Stable dffusion?Colab版本中下載調(diào)用了，喜歡嘗鮮的朋友可以去試著用一下，加強(qiáng)自己的武器庫(kù)范圍。

總之，在本人使用之后，覺(jué)得T2IAdapter在某些方面甚至在對(duì)輸入圖像和提示指導(dǎo)的感知準(zhǔn)確性方面優(yōu)于controlnet。我可能在以后的工作流程中會(huì)使用到他，并期待開發(fā)及完善包含此技術(shù)的 Web UI 擴(kuò)展。