Title: DreamDiffusion: Generating High-Quality Images from Brain EEG Signals

ChatGPT says:

Comments

本論文介紹了一種名為”DreamDiffusion”的新方法，用于直接從大腦腦電圖（EEG）信號生成高質(zhì)量的圖像，無需將思想轉(zhuǎn)化為文本。該方法利用預(yù)訓(xùn)練的文本到圖像模型和時間遮蔽信號建模來對EEG編碼器進行預(yù)訓(xùn)練，以獲得有效和穩(wěn)健的EEG表示。此外，該方法還利用CLIP圖像編碼器提供額外的監(jiān)督，以更好地對齊EEG、文本和圖像嵌入，并且只使用有限的EEG圖像對。該方法克服了使用EEG信號進行圖像生成的挑戰(zhàn)，如噪聲、有限信息和個體差異，并取得了有希望的結(jié)果。定量和定性結(jié)果證明了該方法作為便攜和低成本的思維到圖像的重要一步，具有神經(jīng)科學(xué)和計算機視覺的潛在應(yīng)用。

Summary

中文摘要：本文介紹了一種名為”DreamDiffusion”的新方法，該方法通過預(yù)訓(xùn)練模型和時間遮蔽信號建模來對大腦腦電圖（EEG）信號進行編碼，并直接生成高質(zhì)量的圖像。在預(yù)訓(xùn)練過程中，模型還利用CLIP圖像編碼器提供額外的監(jiān)督，以更好地對齊EEG、文本和圖像嵌入。該方法通過克服使用EEG信號進行圖像生成的挑戰(zhàn)，如噪聲、有限信息和個體差異，取得了有希望的結(jié)果。實驗證明了該方法作為思維到圖像的一次重要嘗試，具有神經(jīng)科學(xué)和計算機視覺的潛在應(yīng)用。

英文摘要：This paper presents a novel approach called “DreamDiffusion” that encodes brain electroencephalography (EEG) signals and directly generates high-quality images. The method utilizes pre-training of a text-to-image model and temporal masking signal modeling to encode the EEG signals and achieve effective and robust EEG representations. Additionally, the method incorporates supervised alignment of EEG, text, and image embeddings using a CLIP image encoder. Despite challenges such as noise, limited information, and individual differences in using EEG signals for image generation, promising results have been achieved. The experimental evaluation demonstrates the significance of this approach as a crucial step towards portable and cost-effective thought-to-image generation, with potential applications in neuroscience and computer vision.

Transtranslation

Abstract

本文介紹了一種名為DreamDiffusion的新方法，通過從腦電圖（EEG）信號直接生成高質(zhì)量圖像，無需將思想轉(zhuǎn)化為文本。DreamDiffusion利用預(yù)訓(xùn)練的文本到圖像模型，并采用時間序列的屏蔽信號建模來預(yù)訓(xùn)練EEG編碼器，以獲得有效且穩(wěn)健的EEG表達。此外，該方法進一步利用CLIP圖像編碼器提供額外的監(jiān)督，以更好地對齊EEG、文本和圖像嵌入，僅使用有限的EEG-圖像對?？傮w而言，所提出的方法克服了使用EEG信號進行圖像生成的挑戰(zhàn)，如噪聲、有限信息和個體差異，并取得了有希望的結(jié)果。

定量和定性結(jié)果證明了所提方法作為便攜式和低成本的“思維到圖像”的重要進展，具有在神經(jīng)科學(xué)和計算機視覺領(lǐng)域的潛在應(yīng)用。

在近年來的圖像生成研究中，特別是文本到圖像生成的突破后[16][22][4]，取得了巨大的進展。最近的文本到圖像生成不僅極大提高了生成圖像的質(zhì)量，而且使人們能夠通過文本控制創(chuàng)建精美的繪畫和藝術(shù)作品。我們非常好奇是否可以直接從大腦活動（如腦電圖(EEG)記錄）中控制圖像的生成，而不需要在生成之前將思想轉(zhuǎn)化為文本。這種“思維到圖像”的方法具有廣闊的前景，并且可以拓寬人們的想象力。例如，它可以極大地提高藝術(shù)創(chuàng)作的效率，幫助捕捉那些稍縱即逝的靈感。它還有可能有助于我們在夜晚可視化我們的夢境（這啟發(fā)了DreamDiffusion這一名稱）。此外，它甚至可能有助于心理療法，幫助自閉癥兒童和語言殘疾人士。一些最新的研究，如MinD-Vis [7]和[40]，嘗試基于功能磁共振成像（fMRI）信號重建視覺信息，這是另一種測量大腦活動的方式。它們已經(jīng)證明從大腦活動中重建高質(zhì)量結(jié)果的可行性。然而，它們與我們使用大腦信號進行方便和高效創(chuàng)作的目標(biāo)還相差很遠。1）由于fMRI設(shè)備不便攜且需要專業(yè)人員操作，捕捉fMRI信號是困難的。2）fMRI獲取的成本較高。這些因素極大地妨礙了該方法在實際藝術(shù)生成中的廣泛應(yīng)用。
相比之下，腦電圖（EEG）是一種無創(chuàng)且低成本記錄大腦電活動的方法?，F(xiàn)在已經(jīng)有了便攜式商業(yè)產(chǎn)品，方便地獲取EEG信號，顯示出未來藝術(shù)生成的巨大潛力。

在這項工作中，我們旨在利用預(yù)訓(xùn)練的文本到圖像模型（如Stable Diffusion [32]）的強大生成能力，直接從腦電圖（EEG）信號生成高質(zhì)量的圖像。然而，這并不是一件容易的事情，并且面臨兩個挑戰(zhàn)。1）EEG信號是非侵入性獲取的，因此固有的噪聲問題。此外，EEG數(shù)據(jù)有限，個體差異也不可忽視。如何從具有如此多約束的EEG信號中獲得有效且穩(wěn)健的語義表達？ 2）由于使用了CLIP [28]并且在大量的文本圖像對上進行訓(xùn)練，Stable Diffusion中的文本空間和圖像空間對齊良好。然而，EEG信號具有其自身的特點，其空間與文本和圖像的空間相當(dāng)不同。如何在有限且噪聲干擾的EEG-圖像對中對齊EEG、文本和圖像空間？為了解決第一個挑戰(zhàn)，我們提出使用大量EEG數(shù)據(jù)來訓(xùn)練EEG表達式，而不僅僅是少量的EEG-圖像對。具體而言，我們采用了屏蔽信號建模來根據(jù)上下文提示預(yù)測缺失的標(biāo)記。與MAE[18]和MinD-Vis [7]不同，它們將輸入視為二維圖像并屏蔽空間信息，我們考慮了EEG信號的時間特征，并深入研究了人腦時間變化背后的語義含義。我們隨機屏蔽一部分標(biāo)記，然后在時間域內(nèi)重構(gòu)這些屏蔽的標(biāo)記。這樣，預(yù)訓(xùn)練的編碼器能夠深入了解來自不同人和不同腦活動的EEG數(shù)據(jù)。

對于第二個挑戰(zhàn)，之前的方法[40, 7]通常直接對穩(wěn)定擴散（SD）模型進行微調(diào)，使用少量的噪聲數(shù)據(jù)對進行微調(diào)。然而，通過僅使用最終圖像重建損失對SD進行端到端微調(diào)，學(xué)習(xí)到大腦信號（例如，腦電圖和功能磁共振成像）與文本空間之間的準(zhǔn)確對齊是困難的。因此，我們提議使用額外的CLIP [28]監(jiān)督來輔助對齊腦電圖、文本和圖像空間。具體而言，SD本身使用CLIP的文本編碼器生成文本嵌入向量，這與之前階段的預(yù)訓(xùn)練腦電圖嵌入向量有很大不同。我們利用CLIP的圖像編碼器提取豐富的圖像嵌入向量，這些向量與CLIP文本嵌入向量很好地對齊。然后，我們使用這些CLIP圖像嵌入向量進一步優(yōu)化腦電圖嵌入表示。因此，經(jīng)過改進的腦電圖特征嵌入向量可以與CLIP圖像和文本嵌入向量很好地對齊，并且更適合于SD圖像生成，從而提高了生成圖像的質(zhì)量。

憑借上述兩個精心設(shè)計，我們提出的方法DreamDiffusion可以從腦電圖信號生成高質(zhì)量和逼真的圖像。我們的貢獻可以總結(jié)如下：1）我們提出了DreamDiffusion，利用強大的預(yù)訓(xùn)練文本到圖像擴散模型僅從腦電圖信號生成逼真圖像。這是朝著便攜式和低成本的“思維到圖像”邁出的進一步步伐。2）采用時間序列屏蔽信號建模方式對腦電圖編碼器進行預(yù)訓(xùn)練，以獲得有效和魯棒的腦電圖表示。3）我們進一步利用CLIP圖像編碼器提供額外的監(jiān)督，以更好地對齊腦電圖、文本和圖像嵌入向量，僅使用有限的腦電圖-圖像配對數(shù)據(jù)。4）定量和定性結(jié)果顯示了我們DreamDif-fusion方法的有效性。

Introduction

關(guān)于 weekly reading

我會將每周所寫周報中paper reading部分上傳至我的blog供參考，希望能為你提供一些幫助。

LLM現(xiàn)已被引入來加速我的工作流，本篇文章在ChatGPT輔助下完成。