最近又看見不少關(guān)于擴(kuò)散模型的新技術(shù)，其中有一些是學(xué)姐覺得不錯(cuò)的，整理了一下就來(lái)和大家分享啦~

因?yàn)閿U(kuò)散模型相關(guān)的論文非常之多，1個(gè)月就有上百篇了，所以今天先和大家分享一部分論文，后續(xù)學(xué)姐會(huì)慢慢更新，大家可以先收藏一下~

掃碼添加小享，回復(fù)“DM論文”

免費(fèi)獲取全部論文+部分代碼

1.Hyperspectral and Multispectral Image Fusion Using the Conditional Denoising Diffusion Probabilistic Model

標(biāo)題：多光譜圖像和超光譜圖像融合使用基于條件去噪擴(kuò)散概率模型

內(nèi)容：Hyperspectral 圖像有大量光譜信息，但空間分辨率低。多光譜圖像如 RGB 圖像有高空間分辨率，但波段不足。圖像融合目標(biāo)是獲得同時(shí)具有高空間分辨率和高光譜分辨率的圖像?，F(xiàn)有方法依賴已知的圖像退化模型，但這在實(shí)際中常常不可用。

本文提出基于條件去噪擴(kuò)散模型 DDPM-Fus 的深度融合方法。它包含正向添加高斯噪聲的擴(kuò)散過程，以及反向從噪聲版本預(yù)測(cè)高分辨率 HSI 的去噪過程。訓(xùn)練完成后，在測(cè)試數(shù)據(jù)上實(shí)現(xiàn)反向過程，根據(jù)高分辨率 MSI 和低分辨率 HSI 生成融合的高分辨率 HSI。實(shí)驗(yàn)結(jié)果展示了與其他深度學(xué)習(xí)融合方法相比的優(yōu)勢(shì)。

2.IPO-LDM ?Depth-aided 360-degree Indoor RGB Panorama Outpainting via Latent Diffusion Model

標(biāo)題：IPO-LDM：基于潛在擴(kuò)散模型的深度輔助室內(nèi)360度RGB全景圖像補(bǔ)painting

內(nèi)容：作者提出使用潛在擴(kuò)散模型(LDM)進(jìn)行室內(nèi)360° RGB全景圖像補(bǔ) painting的方法。

論文主要貢獻(xiàn)：

• 提出一種新穎的雙模態(tài)潛在擴(kuò)散結(jié)構(gòu)，在訓(xùn)練時(shí)同時(shí)利用RGB和深度全景數(shù)據(jù)，但在推理時(shí)僅需要RGB圖像就能進(jìn)行出色的補(bǔ)painting。

• 在每個(gè)擴(kuò)散反噪聲步驟中引入漸進(jìn)式相機(jī)旋轉(zhuǎn)，大幅提升全景圖像的環(huán)繞一致性。

• 與SOTA方法相比，該方法不僅全景RGB圖像補(bǔ)painting效果顯著提升，還可以為不同mask生成多個(gè)不同且結(jié)構(gòu)合理的結(jié)果。

3.How to Detect Unauthorized Data Usages in Text-to-image Diffusion Models

標(biāo)題：如何檢測(cè)文本到圖像擴(kuò)散模型中的未經(jīng)授權(quán)的數(shù)據(jù)用法

內(nèi)容：這篇文章提出了一種通過在受保護(hù)的數(shù)據(jù)集上訓(xùn)練的文本到圖像擴(kuò)散模型中植入注入記憶，來(lái)檢測(cè)未經(jīng)授權(quán)的數(shù)據(jù)用法的方法。

主要工作如下：

• 在受保護(hù)的圖像數(shù)據(jù)集上修改圖片，增加難以被人眼察覺但可以被擴(kuò)散模型捕捉并記憶的獨(dú)特內(nèi)容，如隱秘的圖像包裝函數(shù)。

• 通過分析模型是否對(duì)注入的內(nèi)容有記憶(即生成的圖像是否被選擇的后處理函數(shù)處理過)，可以檢測(cè)到非法使用未經(jīng)授權(quán)數(shù)據(jù)訓(xùn)練的模型。

• 在Stable Diffusion和LoRA模型上的實(shí)驗(yàn)表明，該方法可以有效檢測(cè)未經(jīng)授權(quán)的數(shù)據(jù)用法。

• 該技術(shù)能夠幫助保護(hù)藝術(shù)家的作品免受未經(jīng)授權(quán)的使用。

4.Censored Sampling of Diffusion Models Using 3 Minutes of Human Feedback

標(biāo)題：僅用3分鐘人工反饋對(duì)Diffusion模型進(jìn)行審查采樣

內(nèi)容：Diffusion模型最近在高質(zhì)量圖像生成方面取得了顯著成功，但是，預(yù)訓(xùn)練的diffusion模型有時(shí)會(huì)表現(xiàn)出一定的失準(zhǔn)，可以生成好的圖像，但有時(shí)也會(huì)輸出不可取的圖像。如果出現(xiàn)這種情況，我們只需要阻止生成bad images，這就是審查(censoring)。在本文中，作者提出了一種方法，使用在極少人工反饋上訓(xùn)練的獎(jiǎng)勵(lì)模型來(lái)進(jìn)行預(yù)訓(xùn)練diffusion模型的審查生成。結(jié)果表明，這種審查方式可以以極高的人工反饋效率實(shí)現(xiàn)，僅幾分鐘的人工反饋生成的標(biāo)簽就足以完成此任務(wù)。

5.Synthetic CT Generation from MRI using 3D Transformer-based Denoising Diffusion Model

標(biāo)題：使用基于3D變壓器的去噪擴(kuò)散模型從MRI生成合成CT

內(nèi)容：本文提出了一種MRI到CT的基于變壓器的去噪擴(kuò)散概率模型(MC-DDPM)，將MRI轉(zhuǎn)換為高質(zhì)量的sCT，以促進(jìn)放射治療計(jì)劃。MC-DDPM通過帶移位窗口的變壓器網(wǎng)絡(luò)實(shí)現(xiàn)了從MRI到sCT的擴(kuò)散過程。該模型由兩個(gè)過程組成：正向過程是在真實(shí)CT上添加高斯噪聲以創(chuàng)建噪聲圖像，反向過程是Swin-Vnet去噪被輸入MRI對(duì)應(yīng)患者的噪聲CT，以產(chǎn)生無(wú)噪聲CT。通過優(yōu)化訓(xùn)練的Swin-Vnet，反向擴(kuò)散過程用于生成與MRI解剖匹配的sCT。

6.Detecting Images Generated by Deep Diffusion Models using their Local Intrinsic Dimensionality

標(biāo)題：使用局部?jī)?nèi)在維度檢測(cè)深度擴(kuò)散模型生成的圖像

內(nèi)容：本文提出使用最初為檢測(cè)對(duì)抗樣本而開發(fā)的輕量級(jí)多局部?jī)?nèi)在維度(multiLID)來(lái)自動(dòng)檢測(cè)合成圖像和識(shí)別對(duì)應(yīng)的生成器網(wǎng)絡(luò)。與許多只能檢測(cè)GAN生成的圖像的現(xiàn)有檢測(cè)方法不同，該方法在許多實(shí)際使用場(chǎng)景中可以實(shí)現(xiàn)接近完美的檢測(cè)結(jié)果。大量實(shí)驗(yàn)在已知和新創(chuàng)建的數(shù)據(jù)集上表明，所提出的multiLID方法在擴(kuò)散檢測(cè)和模型識(shí)別方面展現(xiàn)出優(yōu)越性。

7.DiffFlow: A Unified SDE Framework for Score-Based Diffusion Models and Generative Adversarial Networks

標(biāo)題：DiffFlow: 統(tǒng)一的SDE框架,適用于基于得分的擴(kuò)散模型和對(duì)抗生成網(wǎng)絡(luò)

內(nèi)容：本文提出了一個(gè)統(tǒng)一的理論框架來(lái)描述SDMs和GANs。表明：SDMs和GANs的學(xué)習(xí)動(dòng)力學(xué)可以用一種新提出的名為歧視器去噪擴(kuò)散流(DiffFlow)的SDE來(lái)描述；通過調(diào)整不同分?jǐn)?shù)術(shù)語(yǔ)之間的相對(duì)權(quán)重，可以獲得SDMs和GANs之間的平滑過渡，而SDE的邊緣分布保持不變；作者證明了DiffFlow動(dòng)力學(xué)的漸近最優(yōu)性和最大似然訓(xùn)練方案；在統(tǒng)一理論框架下，作者提出了幾個(gè) DiffFlow的具體實(shí)現(xiàn)，它們提供了精確似然推理和在高樣本質(zhì)量與快速采樣速度之間進(jìn)行平衡的新算法。本文為GANs和SDMs提供了一個(gè)統(tǒng)一的理論框架，并基于此提出新的生成模型算法。

掃碼添加小享，回復(fù)“DM論文”

免費(fèi)獲取全部論文+部分代碼

8.Training Energy-Based Models with Diffusion Contrastive Divergences

標(biāo)題：使用擴(kuò)散對(duì)比散度訓(xùn)練能量基模型

內(nèi)容：本文將CD解釋為我們提出的擴(kuò)散對(duì)比散度(DCD)家族的一個(gè)特例。通過用其他不依賴EBM參數(shù)的擴(kuò)散過程替換CD中使用的Langevin動(dòng)力學(xué)，作者提出了一種更高效的散度，證明所提出的DCD相較CD既更高效又不受非可忽略梯度項(xiàng)的限制。作者進(jìn)行了大量實(shí)驗(yàn)，包括合成數(shù)據(jù)建模、高維圖像降噪和生成，來(lái)展示所提出DCD的優(yōu)勢(shì)。在合成數(shù)據(jù)學(xué)習(xí)和圖像降噪實(shí)驗(yàn)中，作者提出的DCD明顯優(yōu)于CD。在圖像生成實(shí)驗(yàn)中，所提出的DCD能夠訓(xùn)練出一個(gè)生成Celab-A 32x32數(shù)據(jù)集的能量基模型，與現(xiàn)有EBM可比。

9.DragonDiffusion: Enabling Drag-style Manipulation on Diffusion Models

標(biāo)題：DragonDiffusion: 在擴(kuò)散模型上實(shí)現(xiàn)拖拽式操作

內(nèi)容：本文提出了一種新穎的圖像編輯方法DragonDiffusion，在擴(kuò)散模型上實(shí)現(xiàn)拖拽式操作。具體來(lái)說(shuō)，通過擴(kuò)散模型中間特征的強(qiáng)對(duì)應(yīng)關(guān)系構(gòu)建分類器指導(dǎo)。它可以通過特征對(duì)應(yīng)損失將編輯信號(hào)轉(zhuǎn)換為漸變，以修改擴(kuò)散模型的中間表示。在此指導(dǎo)策略的基礎(chǔ)上，還構(gòu)建了多尺度指導(dǎo)，同時(shí)考慮語(yǔ)義和幾何對(duì)齊。此外，添加了跨分支自注意力以維持原始圖像和編輯結(jié)果之間的一致性。通過高效設(shè)計(jì)，作者的方法實(shí)現(xiàn)了對(duì)生成或真實(shí)圖像的各種編輯模式,如對(duì)象移動(dòng)、調(diào)整大小、外觀替換和內(nèi)容拖拽。值得注意的是，所有編輯和內(nèi)容保留信號(hào)都來(lái)自圖像本身，模型不需要微調(diào)或額外模塊。

10.Synchronous Image-Label Diffusion Probability Model with Application to Stroke Lesion Segmentation on Non-contrast CT

標(biāo)題：非對(duì)比CT圖像腦梗塞灶分割的同步圖像標(biāo)簽擴(kuò)散概率模型

內(nèi)容：本文提出了一種新穎的同步圖像標(biāo)簽擴(kuò)散概率模型(SDPM)，用于在非對(duì)比CT上分割腦梗塞灶，基于馬爾可夫擴(kuò)散過程。作者提出的SDPM完全基于潛變量模型(LVM)，提供了完整的概率推斷。引入額外的網(wǎng)狀流并行噪聲預(yù)測(cè)流，以高效推斷最終標(biāo)簽。通過優(yōu)化變分邊界，訓(xùn)練好的模型可以在輸入帶噪聲圖像時(shí)推斷多個(gè)參考標(biāo)簽。在公開和私有三個(gè)腦梗塞灶數(shù)據(jù)集上評(píng)估了該模型，與若干U-Net和Transformer基礎(chǔ)分割模型相比，作者提出的SDPM模型能夠達(dá)到最先進(jìn)的性能。

11.SwinGNN：Rethinking Permutation Invariance in Diffusion Models for Graph Generation

標(biāo)題：SwinGNN：重新思考圖生成擴(kuò)散模型中的排列不變性

內(nèi)容：基于排列等變網(wǎng)絡(luò)的擴(kuò)散模型可以為圖數(shù)據(jù)學(xué)習(xí)排列不變的分布，然而與非不變模型相比，這些不變模型的學(xué)習(xí)面臨更大挑戰(zhàn)，因?yàn)樗鼈兊挠行繕?biāo)分布展現(xiàn)更多模態(tài)，最優(yōu)一步去噪分?jǐn)?shù)是具有更多成分的高斯混合的分?jǐn)?shù)函數(shù)。為此，作者提出了一個(gè)非不變的擴(kuò)散模型SwinGNN，它采用高效的邊到邊2-WL消息傳遞網(wǎng)絡(luò)，并利用Swin Transformers啟發(fā)的移位窗口自注意力。此外，通過系統(tǒng)的分析，作者確定了幾個(gè)關(guān)鍵的訓(xùn)練和采樣技術(shù)，這顯著提高了圖生成的樣本質(zhì)量。最后，作者引入了一個(gè)簡(jiǎn)單的后處理技巧，即隨機(jī)排列生成的圖，這可以證明任何圖生成模型都可以轉(zhuǎn)換為排列不變的。

其他論文

• TomatoDIFF ?On-plant Tomato Segmentation with Denoising Diffusion Models

• Unsupervised Video Anomaly Detection with Diffusion Models Conditioned on Compact Motion Representations

• Squeezing Large-Scale Diffusion Models for Mobile

• ACDMSR ：Accelerated Conditional Diffusion Models for Single Image Super-Resolution

• ON A CHEMOTAXIS-HAPOTAXIS MODEL WITH NONLINEAR DIFFUSION MODELLING MULTIPLE SCLEROSIS

• MissDiff：Training Diffusion Models on Tabular Data with Missing Values

• Spiking Denoising Diffusion Probabilistic Models

• DiffusionSTR：Diffusion Model for Scene Text Recognition

• DiffSketcher：Text Guided Vector Sketch Synthesis through Latent Diffusion Models

• Diffusion Model Based Low-Light Image Enhancement for Space Satellite

• HumanDiffusion：diffusion model using perceptual gradients

• EMoG：Synthesizing Emotive Co-speech 3D Gesture with Diffusion Model

• Diffusion model based data generation for partial differential equations

• Drag-guided diffusion models for vehicle image generation

• Diffusion Models for Zero-Shot Open-Vocabulary Segmentation

• On the Robustness of Latent Diffusion Models

• Diffusion Models for Black-Box Optimization

• Fast Diffusion Model

• DiffusionShield：A Watermark for Copyright Protection against Generative Diffusion Models

• Faster Training of Diffusion Models and Improved Density Estimation via Parallel Score Matching

CVPR 2023

• Imagic: Text-Based Real Image Editing with Diffusion Models

• DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

• Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models

• On Distillation of Guided Diffusion Models

• Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding

• Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models

• Null-text Inversion for Editing Real Images using Guided Diffusion Models

• How to Backdoor Diffusion Models

• DCFace: Synthetic Face Generation with Dual Condition Diffusion Model

• SmartBrush: Text and Shape Guided Object Inpainting with Diffusion Model

ICLR 2023

• Diffusion Posterior Sampling for General Noisy Inverse Problems

• Diffusion probabilistic modeling of protein backbones in 3D for the motif-scaffolding problem

• Diffusion Adversarial Representation Learning for Self-supervised Vessel Segmentation

• DreamFusion: Text-to-3D using 2D Diffusion

• Diffusion-GAN: Training GANs with Diffusion

• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning

• Blurring Diffusion Models

• Analog Bits: Generating Discrete Data using Diffusion Models with Self-Conditioning

• Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model

掃碼添加小享，回復(fù)“DM論文”

免費(fèi)獲取全部論文+部分代碼