大連理工大學(xué)、浙江大學(xué)合作團隊在《電子與信息學(xué)報》發(fā)表最新文章：《基于事件相機的圖像重構(gòu)綜述》。

文章從事件相機出發(fā)，簡述了事件相機的現(xiàn)狀、發(fā)展過程、優(yōu)勢與挑戰(zhàn)，介紹了各種類型事件相機的工作原理和一些基于事件相機的圖像重構(gòu)算法，并闡述了事件相機面對的挑戰(zhàn)和未來趨勢。

原文：

徐齊, 鄧潔, 申江榮, 唐華錦, 潘綱. 基于事件相機的圖像重構(gòu)綜述[J]. 電子與信息學(xué)報. 預(yù)出版.?

doi:?10.11999/JEIT221456

1 引言

如今傳統(tǒng)相機已經(jīng)廣泛應(yīng)用在人類生活的各個領(lǐng)域，包含軍事國防、航天航空、船舶運輸、道路交通、體育、自動駕駛等領(lǐng)域。傳統(tǒng)的基于幀的視覺傳感器可以獲取豐富的圖像信息，在深度學(xué)習(xí)的助力下，計算機視覺領(lǐng)域相關(guān)算法蓬勃發(fā)展。然而，傳統(tǒng)相機由人工創(chuàng)建的定時和控制信號驅(qū)動，以固定速率和固定曝光時間輸出強度圖像，即便像素值未發(fā)生變化，也會重復(fù)曝光，降低了數(shù)據(jù)傳輸效率、膨脹了數(shù)據(jù)體積，導(dǎo)致數(shù)據(jù)處理延遲和數(shù)據(jù)冗余等問題。此外，在記錄快速運動物體時易產(chǎn)生運動模糊，在高動態(tài)范圍場景下易出現(xiàn)過曝或者欠曝的情況，這些都會導(dǎo)致細節(jié)信息的丟失。事件相機與傳統(tǒng)相機有著不同的工作方式，由視野中發(fā)生的事件驅(qū)動，輸出各個像素上的亮度變化。在像素陣列中，當像素級亮度變化超出一定閾值時，事件相機每個像素以微秒級分辨率獨立地輸出，輸出的異步稀疏數(shù)據(jù)被稱為“事件”(event)，包括事件的像素位置、時間戳以及極性。事件相機能夠發(fā)送具有高動態(tài)范圍、高時間分辨率和低延遲的異步事件流，可以在高速運動和具有挑戰(zhàn)性的光照條件下發(fā)揮強大優(yōu)勢?；谑录鄼C的圖像重構(gòu)算法是一種利用事件相機獲得的事件流數(shù)據(jù)來重構(gòu)場景圖像的算法。這種算法可以通過快速響應(yīng)的事件相機來獲得高速移動場景的信息，同時避免了傳統(tǒng)圖像采集方法中的模糊和失真問題。通過圖像重構(gòu)獲得亮度圖像可以解決現(xiàn)有算法受限問題，能夠?qū)⒅貥?gòu)圖像直接用于現(xiàn)有的計算機視覺任務(wù)中，因此重構(gòu)具有更高動態(tài)范圍和更少模糊偽影的高分辨率圖像具有十分重要的意義。同時，事件表示連續(xù)圖像幀之間的強度變化，與傳統(tǒng)圖像提供的信息相關(guān)聯(lián)，能夠生成具有超分辨率的高幀率視頻，在工業(yè)界有非常強的應(yīng)用前景。

2 事件相機的種類

最早的事件相機可以追溯到1992年，被稱作硅視網(wǎng)膜，是Mahowald等人基于脊椎動物視網(wǎng)膜模型設(shè)計的，在此研究中提出了新型集成電路通信協(xié)議——地址事件協(xié)議，異步輸出帶地址的數(shù)字脈沖來響應(yīng)光照強度的變化。

然而，硅視網(wǎng)膜不同像素之間的響應(yīng)存在相當大的失配問題，且像素面積太大，因此，只能作為演示設(shè)備，無法用于實踐。隨后十幾年，基于神經(jīng)形態(tài)的視覺傳感器不斷發(fā)展，研究者們相繼研發(fā)出了時間對比度傳感器、基于梯度的傳感器、邊緣方向敏感傳感器和光流傳感器。但是，這些傳感器由于噪聲、像素面積、對比度靈敏性以及電路復(fù)雜性等原因，在實際任務(wù)的應(yīng)用中仍存在很大問題。

直到2006年，Delbruck團隊研發(fā)出動態(tài)視覺傳感器(DVS)，使事件相機的發(fā)展進入新階段。后續(xù)，為了滿足可視化的要求，Posh等人在2008年研發(fā)出了基于異步時間的圖像傳感器(ATIS)，可以輸出事件信息和灰度信息。

2013年，Delbruck團隊又提出了動態(tài)主動像素視覺傳感器(DAVIS)，在2017年被擴展為彩色版本DAVIS346，2018年5月在機器人和自動化國際會議上DAVIS346首次展示給頂尖的研究人員，標志著適用于真實環(huán)境的高分辨率、高性能傳感器的誕生。

不同于Delbruck團隊的工作，南洋理工大學(xué)的陳教授團隊開發(fā)了一種新型動態(tài)視覺傳感器CeleX，不僅能夠顯示物體的運動變化，還能夠重構(gòu)紋理。2018年北大的黃鐵軍教授團隊研發(fā)了一款具有獨特視頻捕捉方案的脈沖相機——Vidar，該傳感器可以重構(gòu)任意時刻的圖像，從而實現(xiàn)高速運動回放。

事件相機現(xiàn)在主要的生產(chǎn)企業(yè)有：Samsung,?IniVation,?Prophesee,?CelePixel?等。

Samsun開發(fā)DVS-Gen系列動態(tài)視覺傳感器不具有亮度值的輸出，有DVS Gen1、DVS Gen2、DVS Gen3、DVS Gen4。

Prophesee的前身為Chronocam，是4代基于事件的傳感器的發(fā)明者和供應(yīng)商，該公司專注于工業(yè)、移動物聯(lián)網(wǎng)和汽車應(yīng)用。

IniVation總部位于蘇黎世，是一家快速發(fā)展的公司，熱門型號包括：DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini等。

Celepixel是一家中國公司，目前的CeleX系列有：CeleX-IV，CeleX-V，支持多種輸出模式，CeleX-V是當前分辨率最高的DVS傳感器。

3 圖像重構(gòu)算法與應(yīng)用

目前，已經(jīng)有很多研究針對基于事件相機的圖像重構(gòu)算法進行了探索。其中一些研究主要關(guān)注于設(shè)計高效的事件相機數(shù)據(jù)采集方法和數(shù)據(jù)處理算法，以提高圖像重構(gòu)的精度和速度。另外一些研究則著重于開發(fā)新的深度學(xué)習(xí)模型和算法，以更好地利用事件流數(shù)據(jù)來實現(xiàn)圖像重構(gòu)。

根據(jù)論文的模型中所處理的數(shù)據(jù)類型，分為純事件流以及事件流與圖像結(jié)合兩類，對基于事件相機的圖像重構(gòu)算法做詳細介紹，在表 2 和表 3 中進行了不同重構(gòu)算法的比較。

基于純事件流的重構(gòu)方法

將一些典型的輸入為純事件流的重構(gòu)模型按照時間排序，如圖 1 所示。

早期的研究使用了各種方法，如流形正則化、光流和異步濾波器等，隨著深度學(xué)習(xí)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的工作取得了非常優(yōu)秀的重構(gòu)效果。

2019 年，Rebecq 等人提出了一種新穎的重構(gòu)模型 E2VID，采用循環(huán)網(wǎng)絡(luò)架構(gòu) UNet。該模型的重構(gòu)函數(shù)由遞歸卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)，訓(xùn)練網(wǎng)絡(luò)的事件數(shù)據(jù)是由事件模擬器合成。這種帶循環(huán)連接的網(wǎng)絡(luò)不需要在每個時間步從頭開始重構(gòu)新圖像，而只需要使用新的事件序列 增量更新以前的重構(gòu)。

之后 Rebecq 對 E2VID 進行了改進，提出的新網(wǎng)絡(luò)具有記憶功能， 會從任意長的過去事件序列中更新，而不是只使用最后幾張圖像。其次，新網(wǎng)絡(luò)使用了堆疊的 ConvLSTM，這可以防止長序列在時間反向傳播期間梯度消失，增加了網(wǎng)絡(luò)處理可變數(shù) 量事件的能力，也適用于更長事件序列的訓(xùn)練。但上述工作在實現(xiàn)視頻重構(gòu)時使用的神經(jīng)網(wǎng) 絡(luò)模型結(jié)構(gòu)較為復(fù)雜且計算成本高昂。?

2020 年，Scheerlinck 等人提出一種新的神經(jīng)網(wǎng)絡(luò)架構(gòu) FireNet，從事件中執(zhí)行快速圖 像重構(gòu)。FireNet 比 E2VID 小得多，需要更少的參數(shù)(38 k vs 10 M)，更少的內(nèi)存(0.16 MB vs 43 MB)和更少的浮點運算數(shù)(12.6 G vs 147.2 G)，運行速度比 E2VID 快3倍。FireNet 是一個完全卷積的網(wǎng)絡(luò)，它依賴于循環(huán)連接來隨著時間的推移建立一個狀態(tài)，在較小的網(wǎng)絡(luò)上重用 以前的結(jié)果，能在非常小的循環(huán)網(wǎng)絡(luò)上快速運行。?

2019 年，Wang 等人提出了基于事件相機的條件生成對抗網(wǎng)絡(luò)，學(xué)習(xí)觀測圖像與隨機噪 聲到輸出圖像之間的映射關(guān)系，將純事件信息轉(zhuǎn)換為高動態(tài)范圍圖像和高幀率視頻。2020 年 Wang 等人又提出了一種端到端的模型EventSR，從低質(zhì)量事件流中重構(gòu)低質(zhì)量強度圖 像，然后再從低質(zhì)量強度圖像中重構(gòu)超分辨強度圖像。整個模型分3個階段進行訓(xùn)練，首先從事件流中重構(gòu)低質(zhì)量圖像，然后增強圖像質(zhì)量，最后對增強的圖像進行上采樣。該方法在沒有真實高分辨圖像的情況下進行無監(jiān)督訓(xùn)練，并且部署對抗學(xué)習(xí)。此外，為了訓(xùn)練 EventSR，論文提出了包含真實場景和模擬場景的開放數(shù)據(jù)集。2021 年作者又將論文中的方法擴展到了高動態(tài)范圍和彩色的圖像重構(gòu)，并且證明了該論文的成果可以作為高級任務(wù)事件的中間表示，如語義分割，對象識別和檢測。?

基于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的事件圖像重構(gòu)模型的一個潛在缺點是計算成本，這與事件相機低功 耗和低延遲的特性不符，無法充分發(fā)揮事件相機的優(yōu)勢。而 SNN 作為仿生神經(jīng)網(wǎng)絡(luò)，異步輸出二進制脈沖，相較于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在功耗和計算成本上有很大優(yōu)勢，因此，一些學(xué)者將其應(yīng)用在事件相機的圖像重構(gòu)領(lǐng)域。?

2020 年 Zhu 等人提出了一種新的3層脈沖神經(jīng)模型對脈沖相機的輸出重構(gòu)。該模型由局部運動激發(fā)層、脈沖細化層和視覺重構(gòu)層組成，這些層由 Leaky integrate-and-fire 神經(jīng)元 組成，神經(jīng)元之間的突觸連接采用的是脈沖時序依賴可塑性規(guī)則。局部運動激發(fā)層接收脈沖 并標記神經(jīng)元的運動狀態(tài)：靜止或運動，然后脈沖細化層根據(jù)每個神經(jīng)元的運動狀態(tài)調(diào)整不 應(yīng)期，最后的視覺重構(gòu)層采用自適應(yīng)機制，將每個神經(jīng)元的動態(tài)閾值映射到灰度圖像中作為 輸出。

2021 年 Zhu 等人提出了一種基于深度 SNN 的視頻重構(gòu)框架 EVSNN。為了更好的利 用時間信息，作者提出了自適應(yīng)膜電位神經(jīng)元 PA-EVSNN，可以根據(jù)輸入的脈沖自適應(yīng)地 更新膜電位。作者提出的基于 SNN 的視頻重構(gòu)方法達到了與基于 ANN 的模型相當?shù)男阅埽?并且在能耗和計算效率上有著更好的表現(xiàn)。?

2021 年 Duwek 等人提出了一個 CNN 與 SNN 相結(jié)合的神經(jīng)網(wǎng)絡(luò)。第1階段的 CNN 被 訓(xùn)練進行拉普拉斯預(yù)測，第2階段將經(jīng)過訓(xùn)練的 CNN 轉(zhuǎn)換為 SNN 進行推理，在推理過程 中，第1階段的拉普拉斯被驅(qū)動到 SNN 中進行泊松積分。每個事件數(shù)據(jù)都轉(zhuǎn)換為事件幀張量，每個事件幀都應(yīng)用空間中值濾波器進行預(yù)處理，使用卷積核降低噪聲。該方法從 CNN 開始，CNN 預(yù)測給定幀張量的拉普拉斯，然后利用泊松積分優(yōu)化的 SNN 來處理，將事件幀劃分為多個塊，分別預(yù)測和重構(gòu)每個塊，最后將它們拼接在一起合成完整的圖像。

[1]?Kim H, Handa A, Benosman R, et al. Simultaneous mosaicing and tracking with an event camera[J]. J. Solid State Circ, 2008, 43: 566-576.

[2]?Belbachir A N, Schraml S, Mayerhofer M, et al. A novel hdr depth camera for real-time 3d 360 panoramic vision[C]. 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. IEEE, 2014: 425-432.

[3]?Lagorce X, Orchard G, Galluppi F, et al. Hots: a hierarchy of event-based time-surfaces for pattern recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2016, 39(7): 1346-1359.

[4]?Munda G, Reinbacher C, Pock T. Real-time intensity-image reconstruction for event cameras using manifold regularisation[J]. International Journal of Computer Vision, 2018, 126(12): 1381-1393.

[5]?Barua S, Miyatani Y, Veeraraghavan A. Direct face detection and video reconstruction from event cameras[C]. 2016 IEEE winter conference on applications of computer vision (WACV). IEEE, 2016: 1-9.

[6]?Rebecq H, Ranftl R, Koltun V, et al. Events-to-video: Bringing modern computer vision to event cameras[C]. The IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 3857-3866.

[7]?Rebecq H, Ranftl R, Koltun V, et al. High speed and high dynamic range video with an event camera[J]. IEEE transactions on pattern analysis and machine intelligence, 2019, 43(6): 1964-1980.

[8]?Scheerlinck C, Rebecq H, Gehrig D, et al. Fast image reconstruction with an event camera[C]. The IEEE/CVF Winter Conference on Applications of Computer Vision. 2020: 156-163

[9]?Wang L, Ho Y S, Yoon K J. Event-based high dynamic range image and very high frame rate video generation using conditional generative adversarial networks[C]. The IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 10081-10090.

[10]?Wang L, Kim T K, Yoon K J. Eventsr: From asynchronous events to image reconstruction, restoration, and super-resolution via end-to-end adversarial learning[C]. The IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 8315-8325

[11]?Wang L, Kim T K, Yoon K J. Joint framework for single image reconstruction and super-resolution with an event camera[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(11): 7657-7673.

[12]?Zhu L, Dong S, Li J, et al. Retina-like visual image reconstruction via spiking neural model[C]. The IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 1438-1446.

基于事件流和幀的重構(gòu)方法

將一些典型的輸入為事件流和幀的重構(gòu)模型按照時間排序，如圖2所示。

2014 年，Brandli 等人將 DAVIS 相機輸出的圖像幀與事件流結(jié)合，提出了第1個針對DAVIS 的實時事件數(shù)據(jù)解壓縮算法，動態(tài)估計每個事件的時間對比度閾值來計算兩幀之間 的強度信息。所提出的算法任務(wù)分為兩部分：基于事件的圖像解壓縮和強度估計。每一幀的 新圖像都會重置強度信息，防止整合誤差的過度增長，但也丟棄了重要的累積信息。

2017 年，Liu 等人使用仿射運動模型重構(gòu)高速靜態(tài)背景視頻，能夠恢復(fù)快速運動的場景，例如下落或旋轉(zhuǎn)的物體以及弦的振動。

2018 年 Scheerlinck 等人提出了基于事件強度估計的連續(xù)時間公式，使用互補濾波將圖 像幀與事件結(jié)合，濾波器采取異步的、事件驅(qū)動的更新方案，以合并最新的事件信息，消除 窗口延遲，不依賴于運動模型，可以在高動態(tài)、復(fù)雜的環(huán)境中運行。連續(xù)時間公式不是隨著 新幀的到來重置強度估計值，而是保留來自事件的高動態(tài)范圍信息，保持比圖像幀具有更大 時間分辨率和動態(tài)范圍的圖像狀態(tài)。?

2019 年 Pan 等人提出了一種基于事件的雙積分(EDI)模型，從單個模糊圖像及其事件數(shù)據(jù)中重構(gòu)高幀率的、清晰的視頻。為了減少事件累積的噪 聲，作者將積分限制在曝光時間中心周圍的時間間隔內(nèi)，能夠重構(gòu)較短的視頻片段，將片段 拼接獲得最終視頻。但是，當相機和物體具有較大的相對運動時，會導(dǎo)致閃爍。因此，2020 年作者將 EDI 模型擴展到多重雙積分(mEDI)，以處理視頻片段邊界處的不連續(xù)性，作者進行了大量實驗，此方法可以在不同條件下(例如低光照和復(fù)雜的動態(tài)場景)生成高質(zhì)量、 高幀率的視頻，但極端的照明變化會降低該方法的性能，此外，事件誤差積累也會降低重構(gòu)圖像的質(zhì)量。?

使用事件流和強度圖像，二者之間相互作用，在重構(gòu)圖像上可以獲得較好的效果，但無 法解決圖像幀模糊的問題，重構(gòu)高幀率視頻時，會有一定的模糊。Shedligeri 等人對相機和 觀察到的場景之間的相對運動進行編碼，在一定程度上改善了模糊幀導(dǎo)致的圖像退化問題， 充分利用了編碼的運動信息進行高幀率視頻的重構(gòu)。

[13]?Liu H C, Zhang F L, Marshall D, et al. High-speed video generation with an event camera[J]. The Visual Computer, 2017, 33: 749-759.

[14]?Scheerlinck C, Barnes N, Mahony R. Continuous-time intensity estimation using event cameras[C]. Asian Conference on Computer Vision. Springer, Cham, 2018: 308-324.

[15]?Pan L, Scheerlinck C, Yu X, et al. Bringing a blurry frame alive at high frame-rate with an event camera[C]. The IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 6820-6829.

[16]?Pan L, Hartley R, Scheerlinck C, et al. High frame rate video reconstruction based on an event camera[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.

4 挑戰(zhàn)和展望

事件相機是一種神經(jīng)形態(tài)視覺傳感器，隨著事件相機的不斷發(fā)展，在硬件和算法上的不 斷進步，有關(guān)事件相機的研究已經(jīng)取得階段性進展，但想要比肩人類視覺系統(tǒng)在復(fù)雜交互環(huán) 境中的感知能力，還面臨著巨大的挑戰(zhàn)，本節(jié)討論事件相機所面臨的挑戰(zhàn)以及未來發(fā)展方向。

在硬件方面，事件相機是一類受人腦啟發(fā)創(chuàng)建的神經(jīng)形態(tài)視覺傳感器。人腦具有速度快、 能耗低、可擴展等優(yōu)點，但是，讓硅電路模仿細胞復(fù)雜且豐富的機制，使其能像大腦一樣不 斷調(diào)整以適應(yīng)復(fù)雜多變的環(huán)境是十分困難的。受外界環(huán)境因素的影響，晶體管電流的可變性會限制相機的精度，同時電路內(nèi)部的元器件之間也會產(chǎn)生不必要地響應(yīng)。神經(jīng)形態(tài)芯片研發(fā)人員需要進行巧妙的電路和系統(tǒng)設(shè)計來降低這些干擾，以提高事件相機的輸出精度，減少輸出的噪聲。

數(shù)據(jù)集對模型的訓(xùn)練至關(guān)重要，而且在大規(guī)模數(shù)據(jù)集上實驗得到的結(jié)果更具有說服力。當前，基于事件相機的數(shù)據(jù)集主要是針對分類和識別任務(wù)，這些數(shù)據(jù)集場景簡單且數(shù)據(jù)規(guī)模較小。盡管各個研究機構(gòu)正在嘗試收集更多的數(shù)據(jù)，但是由于事件流是時間和空間上的異步 點陣，無法直接手工標注，只能借助其他傳感器進行輔助標注，這導(dǎo)致上述數(shù)據(jù)集規(guī)模不夠， 無法直接利用標簽學(xué)習(xí)方法實現(xiàn)大模型的訓(xùn)練。因此，亟需開發(fā)一個更大規(guī)模的事件相機數(shù)據(jù)集，以提升模型在實現(xiàn)相關(guān)任務(wù)時的學(xué)習(xí)能力。

在事件流的圖像重構(gòu)方面，對事件數(shù)據(jù)的處理方式主要有兩類，一類是逐事件處理，另 一類是將事件聚合成幀的形式。第一種逐個事件的數(shù)據(jù)處理方式雖然可以實現(xiàn)較小的延遲， 但是每個事件攜帶的信息量少，而且受噪聲影響，計算量較大，算法的實用性低。第二種將 事件流累積成幀的數(shù)據(jù)處理方式，犧牲了事件相機低延時的特性。因此，現(xiàn)階段迫切需要研究能有效提高運算效率且保留事件相機低延遲低功耗特性的事件流處理算法。

科研團隊介紹

1 關(guān)于團隊

課題組于 2022 年 9 月成立，目前課題組在站博士后 1 人，在讀博士生 1 人，碩士生 4 人，所指導(dǎo)的碩士/博士已發(fā)表多篇 CCF A、中科院一區(qū)及 IEEE/ACM trans 論文。課題組成員在多項國家自然科學(xué)基金、基礎(chǔ)加強計（173）、科技創(chuàng)新 2030-新一代 人工智能、腦科學(xué)與類腦研究重大項目、國家 973 及國自然重點項目等國家級項目的支持 下開展大規(guī)模深度脈沖神經(jīng)網(wǎng)絡(luò)模型構(gòu)建、突觸權(quán)重學(xué)習(xí)、神經(jīng)信號編解碼和類腦芯片軟硬 件協(xié)同設(shè)計等方面的研究。課題組與北京大學(xué)、清華大學(xué)、浙江大學(xué)及英國利茲大學(xué)、萊斯 特大學(xué)、瑞士蘇黎世聯(lián)邦學(xué)院等保持良好的合作關(guān)系。

2 研究方向

(1) 腦機混合智能

? 類腦計算（脈沖神經(jīng)網(wǎng)絡(luò)模型構(gòu)建）；

? 類腦視覺（圖像增強、去噪、超分辨率重建） ；

? 類腦強化學(xué)習(xí)（多智能體博弈） 。

(2) 人工智能?

? 深度學(xué)習(xí)（檢測、識別、跟蹤）；

? 機器學(xué)習(xí)（無監(jiān)督、半監(jiān)督、小樣本） 。

3 研究成員

負責(zé)人：徐齊 博士，副教授，碩士生導(dǎo)師

通信郵箱：xuqi@dlut.edu.cn

研究方向：人工智能、類腦計算、神經(jīng)形態(tài)計算、神經(jīng)信號編解碼等?

學(xué)術(shù)研究：在 CCF A 類或中科院一區(qū) SCI 期刊發(fā)表包括 IJCAI, AAAI, CVPR, IEEE TNNLS, TCYB, TIM, Neural Networks, IJCNN, EMBC 等二十余篇論文，谷歌學(xué)術(shù)顯示 引用 500+ 成員?

申江榮：女，浙江大學(xué)助理研究員，研究方向為類腦計算、神經(jīng)形態(tài)計算、神經(jīng)信號編解碼。?

周冬冬：男，助理研究員，研究方向為睡眠分期、腦認知信號處理。?

羅海華：男，博士生，研究方向為基于脈沖神經(jīng)網(wǎng)絡(luò)的睡眠分期研究。

鄧 潔：女，碩士生，研究方向為事件相機，脈沖神經(jīng)網(wǎng)絡(luò)。?

李雅馨：女，碩士生，研究方向為神經(jīng)信號編解碼，脈沖神經(jīng)網(wǎng)絡(luò)。?

方炫燁：男，碩士生，研究方向為脈沖神經(jīng)網(wǎng)絡(luò)時序數(shù)據(jù)分析。?

高毓源：男，碩士生，研究方向為基于突觸可塑性的脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)研究。

4 研究成果

Qi Xu, Yaxin Li, Jiangrong Shen, Jian K Liu, Huajin Tang, Gang Pan. Constructing Deep Spiking Neural Networks from Artificial Neural Networks with Knowledge Distillation[C]. Proceedings of the IEEE conference on computer vision and pattern recognition, 2023. (Accepted)

Jiangrong Shen, Qi Xu, Jian K. Liu, Yueming Wang, Gang Pan, Huajin Tang. ESL-SNNs: An Evolutionary Structure Learning Strategy For Spiking Neural Networks[C]. Proceedings of the AAAI Conference on Artificial Intelligence 37, 2023. (Accepted)

Qi Xu, Yaxin Li, Jiangrong Shen, Pingping Zhang, Jian K Liu, Huajin Tang, Gang Pan. Hierarchical Spiking-Based Model for Efficient Image Classification With Enhanced Feature Extraction and Encoding[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022.

Qi Xu, Jianxin Peng, Jiangrong Shen, Huajin Tang, Gang Pan. Deep CovDenseSNN: A hierarchical event-driven dynamic framework with spiking neurons in noisy environment[J]. Neural Networks, 2020, 121: 512-519.

Qi Xu, Yu Qi, Hang Yu, Jiangrong Shen, Huajin Tang, Gang Pan. Csnn: an augmented spiking based framework with perceptron-inception[C]//IJCAI. 2018: 1646-1652.

編輯 | 電子與信息學(xué)報融媒體工作室

聲 明：本文系《電子與信息學(xué)報》獨家稿件，內(nèi)容僅供學(xué)習(xí)交流，版權(quán)屬于原作者。歡迎評論、轉(zhuǎn)載，轉(zhuǎn)載請與本號聯(lián)系授權(quán)，標注原作者和信息來源。

本號發(fā)布信息旨在傳播交流。如涉及文字、圖片、版權(quán)等問題，請在20日內(nèi)與本號聯(lián)系，我們將第一時間處理。

END