擴(kuò)散模型 (Diffusion models) 是「生成模型」算法領(lǐng)域中的一個(gè)相對(duì)較新的算法。生成模型通過學(xué)習(xí)大量訓(xùn)練樣本（例如圖像或者音頻），創(chuàng)建一些與訓(xùn)練數(shù)據(jù)神似，但又不是完全相同的多樣化輸出。

Diffusers 庫(kù)是一個(gè)操作擴(kuò)散模型的工具箱，由 Hugging Face 團(tuán)隊(duì)發(fā)布，它可以非常方便的使用各種擴(kuò)散模型生成圖像、音頻，也可以非常方便的使用各種噪聲調(diào)度器，用于調(diào)節(jié)在模型推理中的速度和質(zhì)量，同時(shí)，這個(gè)庫(kù)也支持多種類型的模型。

上周，Diffusers 發(fā)布了 v0.9.0 版，正式支持了最新的 Stable Diffusion 2，Stable Diffusion 可以簡(jiǎn)要理解為是一個(gè)自然語(yǔ)言生成圖片的模型，并于上周發(fā)布了 2.0 版本，可以生成 768x768 和 512x512 分辨率的圖片，也包括了一個(gè) Upscaler Diffusion 模型，可以將圖片分辨率升級(jí)為 2048x2048 甚至更高，更多關(guān)于 Stable Diffusion 2 的更新，請(qǐng)閱讀?機(jī)器之心的文章?了解更多。

你可以在 Hugging Face Spaces 上體驗(yàn) Stable Diffusion 2:
https://huggingface.co/spaces/stabilityai/stable-diffusion

?差一點(diǎn)忘記我們的「正事兒」——介紹 Diffusers 的更新，下面開始正文部分內(nèi)容：

?? 安裝最新版 Diffusers v0.9.0 體驗(yàn) Stable Diffusion 2

Diffusers 支持 Stable Diffusion 2 中的多種模型，我們將在后面的章節(jié)介紹用法以及示例代碼。

基于 768x768 圖像的 Stable Diffusion 2.0-V

最新的基于 768x768 大小圖像的穩(wěn)定擴(kuò)散模型：Stable Diffusion 2.0-V，它的參數(shù)數(shù)量為 U-Net 模型的 1.5 倍，但采用了?OpenCLIP-ViT/H?作為文本編碼器從頭開始訓(xùn)練，因此 2.0-V 也被稱為：v-prediction 模型。

• OpenCLIP-ViT/H:?
  https://github.com/mlfoundations/open_clip

• v-prediction 模型:?
  https://arxiv.org/abs/2202.00512

基于?512x512?圖像的 Stable Diffusion 2.0-base

上面的模型是基于 SD 2.0-base 進(jìn)行微調(diào)而來(lái)，SD 2.0-base 在 512x512 圖像數(shù)據(jù)集上被訓(xùn)練為標(biāo)準(zhǔn)的噪聲預(yù)測(cè)模型，當(dāng)然 base 模型在我們的平臺(tái)上也是支持的。

Stable Diffusion 2.0 用于圖像修補(bǔ) (Inpanting)

該模型用于文本引導(dǎo)的圖像修補(bǔ)，它同樣基于 SD 2.0-base 進(jìn)行微調(diào)，遵循?LAMA?中提出的掩碼生成策略 (mask-generation strategy)，并結(jié)合掩碼圖像 (masked image) 的隱式 VAE 表示。

• LAMA:?
  https://github.com/saic-mdal/lama

Stable Diffusion X4 超分辨率圖像 (Upscaler)

這款模型在 512x512 的數(shù)據(jù)集上訓(xùn)練，并且是基于文本指導(dǎo) (text-guided) 的隱式分辨率提高擴(kuò)散器模型 (latent upscaling diffusion model)。

除了文本輸入之外，它還接收一個(gè)?noise_level?作為輸入?yún)?shù)，可用于根據(jù)預(yù)定義的擴(kuò)散計(jì)劃 (predefined diffusion schedule) 向輸入的低分辨率圖像添加噪聲。

• latent upscaling diffusion model:?
  https://arxiv.org/abs/2112.10752

• predefined diffusion schedule:?
  https://hf.co/stabilityai/stable-diffusion-x4-upscaler/blob/main/low_res_scheduler/scheduler_config.json

保存并加載多功能擴(kuò)散器 (Versatile Diffusion) 的 bug 已經(jīng)被修復(fù)

我們修復(fù)了之前在保存并加載多功能擴(kuò)散器時(shí)出現(xiàn)的 bug ，以便保證大家更高效地工作。

以上就是本次 Diffusers v0.9.0 更新的內(nèi)容，如果有任何發(fā)現(xiàn)的 Bug 和建議，歡迎你在 GitHub Issue 里向我們提出:
https://github.com/huggingface/diffusers/issues

正文部分譯者：

丁繼崢 Johnson，微信號(hào)：ZJUer_0817 拾象DAO成員，浙江大學(xué)機(jī)器人工程專業(yè)，主要關(guān)注 AI 模型與交互的前沿進(jìn)展，專用機(jī)器人的產(chǎn)業(yè)落地，通用機(jī)器人的無(wú)限可能。

文章頭圖：Lynn