Stable Diffusion大突破！除了畫小姐姐，竟還能重建腦信號(hào)?。?！

Stable Diffusion因?yàn)檎嫒四Ｐ同F(xiàn)世，又掀起了一波熱潮，而更火爆的消息也緊隨其后。

近日,日本大阪大學(xué)教授 Shinji Nishimoto 在推特發(fā)文表示自己團(tuán)隊(duì)發(fā)表的關(guān)于使用Stable Diffusion重現(xiàn)大腦信號(hào)的文章已經(jīng)被CVPR（世界頂級(jí)的計(jì)算機(jī)視覺(jué)會(huì)議）接收。該教授同時(shí)也是日本腦信息通信融合研究中心的首席研究員。

作者聲稱，其構(gòu)建的簡(jiǎn)單框架可以以高語(yǔ)義保真度從大腦活動(dòng)中重建高分辨率圖像，而無(wú)需訓(xùn)練或微調(diào)復(fù)雜的深度生成模型。

這項(xiàng)研究是基于一種擴(kuò)散模型的新方法來(lái)從功能性磁共振成像（fMRI）中獲得的人腦活動(dòng)中重建圖像。具體而言，作者采用了一個(gè)稱為“Stable Diffusion”的潛在擴(kuò)散模型（LDM）。該模型減少了DM的計(jì)算成本，同時(shí)保持了其高生成性能。

部分研究結(jié)果如下圖：

右側(cè)上方為展示圖片，右側(cè)下方為根據(jù)大腦接受的視覺(jué)信號(hào)重現(xiàn)的圖片。

左側(cè)紅框?yàn)檎故緢D片，右側(cè)為為根據(jù)大腦接受的視覺(jué)信號(hào)重現(xiàn)的圖片。

此外，作者通過(guò)研究LDM的不同組成部分（如圖像的潛在向量Z、條件輸入C和去噪U(xiǎn)-Net的不同元素）與不同的腦功能之間的關(guān)系來(lái)表征LDM的內(nèi)部機(jī)制。作者表明，我們提出的方法可以直接地重建高保真度的高分辨率圖像，而無(wú)需進(jìn)行任何復(fù)雜深度學(xué)習(xí)模型的額外訓(xùn)練和微調(diào)。

模型具體工作原理如下圖：

此消息一出，頓時(shí)在網(wǎng)上又掀起了一場(chǎng)關(guān)于AIGC的大討論。有網(wǎng)友說(shuō)該研究直逼馬斯克的腦機(jī)接口。還有網(wǎng)友們甚至想用他來(lái)復(fù)現(xiàn)夢(mèng)境。

相似的早期研究

其實(shí)早在2017年，就有研究人員在《自然》雜志上發(fā)表了一項(xiàng)研究 "Deep image reconstruction from human brain activity"，使用Stable Diffusion來(lái)模擬視網(wǎng)膜上的神經(jīng)元活動(dòng)，從而實(shí)現(xiàn)了對(duì)人類看到的圖像的較為粗糙的復(fù)現(xiàn)。該研究采用了一種稱為“人腦圖像數(shù)據(jù)集”（Human Connectome Project）的數(shù)據(jù)集，該數(shù)據(jù)集收集了大量人類腦中的神經(jīng)元活動(dòng)數(shù)據(jù)和相應(yīng)的視覺(jué)刺激。

該研究的結(jié)果顯示，使用Stable Diffusion可以將神經(jīng)元活動(dòng)數(shù)據(jù)轉(zhuǎn)化為圖像，從而復(fù)現(xiàn)了人類看到的圖像的一些特征，例如邊緣和紋理。然而，該方法仍然存在一些局限性，例如難以模擬更高級(jí)別的視覺(jué)處理和時(shí)間動(dòng)態(tài)。

因此，雖然當(dāng)下使用Stable Diffusion復(fù)現(xiàn)人類腦中的畫面是一個(gè)有前途的研究方向。

但仍需要進(jìn)一步的技術(shù)發(fā)展和研究來(lái)解決其局限性，

比如，人類大腦中的視覺(jué)系統(tǒng)是非常復(fù)雜的，包括多個(gè)層次的處理，從低層次的邊緣檢測(cè)到高層次的物體識(shí)別和場(chǎng)景理解。Stable Diffusion可能只能模擬其中一些過(guò)程，而無(wú)法模擬整個(gè)視覺(jué)系統(tǒng)。

其次，Stable Diffusion可能無(wú)法模擬人類腦中的時(shí)間動(dòng)態(tài)。人類大腦中的視覺(jué)處理是一種動(dòng)態(tài)過(guò)程，與時(shí)間和物體的運(yùn)動(dòng)密切相關(guān)。Stable Diffusion可能無(wú)法模擬這種動(dòng)態(tài)性，因?yàn)樗腔陟o態(tài)的圖像數(shù)據(jù)進(jìn)行處理的。

再有，Stable Diffusion需要大量的計(jì)算資源和算法優(yōu)化才能實(shí)現(xiàn)高效的圖像處理。要使用Stable Diffusion復(fù)現(xiàn)人類腦中的畫面可能需要更強(qiáng)大的計(jì)算資源和更高級(jí)的算法。

總之要使用Stable Diffusion復(fù)現(xiàn)人類腦中的畫面是一個(gè)非常困難的挑戰(zhàn)，依舊需要人們更深入的研究和技術(shù)發(fā)展。