自SAM「分割一切」模型推出之后，二創(chuàng)潮就開始了，有想法有行動(dòng)！飛槳AI Studio開發(fā)者會(huì)唱歌的煉丹師就創(chuàng)作出SAM進(jìn)化版，將SAM、Stable Diffusion集成，實(shí)現(xiàn)「分割」、「生成」能力二合一，并部署為應(yīng)用，支持在線使用！

在線免費(fèi)使用應(yīng)用

創(chuàng)作者：會(huì)唱歌的煉丹師
作者主頁：https://aistudio.baidu.com/aistudio/personalcenter/thirdview/338262

應(yīng)用使用參數(shù)解讀：
Text：sam分割圖像的分割對象，如輸入car，就會(huì)把圖片中的car進(jìn)行分割。Prompt：針對分割對象的可控文本生成，輸入對應(yīng)的PromptAdvanced options：高級(jí)選項(xiàng)

Images：生成圖像數(shù)量

Image Resolution：生成圖像分辨率，一般使用為512*512

Control Strength：control model 生成的條件合并到 stable diffsion 模型上的權(quán)重，默認(rèn)為 1

Guess Model：為使用更多樣性的結(jié)果，生成后得到不那么遵守圖像條件的結(jié)果

Segmentation Resolution：圖像分割分辨率

Steps：推理步長

Guidance Scale：是一種增加對指導(dǎo)生成（在本例中為文本）以及總體樣本質(zhì)量的條件信號(hào)的依從性的方法。它也被稱為無分類器引導(dǎo)，簡單地說，調(diào)整它可以更好的使用圖像質(zhì)量更好或更具備多樣性。值介于7和8.5之間通常是穩(wěn)定擴(kuò)散的好選擇。默認(rèn)情況下使用為7.5。

如果值很大， 圖像質(zhì)量可能更好，但對應(yīng)的多樣性會(huì)降低

如果值很小， 圖像質(zhì)量可能更差，但對應(yīng)的多樣性會(huì)增加

Seed：隨機(jī)種子數(shù)

eta (DDIM)：DDIM采樣方法

Added Prompt：在上述Prompt基礎(chǔ)上所額外添加的提示，使生成的圖片更好

Negative Prompt：控制sd生成的圖片把那些相關(guān)提示過濾

使用技術(shù)Segment Anything：提示詞分割的大模型ControlNet Canny ：對分割圖進(jìn)行邊緣檢測，以此作為圖像生成的控制條件Stable Diffusion ：文本到圖像的擴(kuò)散大模型通過Segment Anything Model強(qiáng)大的圖像分割能力，我們可以很好的得到分割后的像素圖。然后由ControlNet with Stable Diffusion將控制圖為不同語義的分割圖和文本（prompt）作為控制條件來完成Segment to Image任務(wù)。這樣Segment Anything Model通過ControlNet與Stable Diffusion進(jìn)行集成。

fork項(xiàng)目運(yùn)行

fork該項(xiàng)目

啟動(dòng)進(jìn)入線上開發(fā)環(huán)境

建議選擇V100 32GB開發(fā)環(huán)境。

飛槳AI Studio每周運(yùn)行項(xiàng)目即可免費(fèi)獲得56小時(shí)V100 32G算力

安裝ppdiffusers依賴

安裝ppsegSAM依賴

AI技術(shù)日日迭代，期待各位開發(fā)者精彩創(chuàng)作，也誠邀各位開發(fā)者加入AI Studio進(jìn)行開源創(chuàng)作。