EMS-YOLO：第一個用于目標檢測的深度直接訓(xùn)練脈沖神經(jīng)網(wǎng)絡(luò)，首次使用代理梯度訓(xùn)練深度 SNN 進行檢測，并設(shè)計全脈沖殘差塊EMS-ResNet，代碼剛剛開源！單位：國科大, 西安交大, 清華, 北大, 華為 脈沖神經(jīng)網(wǎng)絡(luò) (SNN) 是受大腦啟發(fā)的節(jié)能模型，可對時空動態(tài)信息進行編碼。最近，直接訓(xùn)練的深度 SNN 在以很少的時間步長實現(xiàn)分類任務(wù)的高性能方面取得了巨大成功。然而，如何為目標檢測的回歸任務(wù)設(shè)計直接訓(xùn)練的 SNN 仍然是一個具有挑戰(zhàn)性的問題。為了解決這個問題，我們提出了 EMS-YOLO，一種用于目標檢測的新型直接訓(xùn)練 SNN 框架，這是第一個使用代理梯度訓(xùn)練深度 SNN 進行目標檢測而不是 ANN-SNN 轉(zhuǎn)換策略的嘗試。 具體來說，我們設(shè)計了一個全脈沖殘差塊EMS-ResNet，它可以有效地以低功耗擴展直接訓(xùn)練的SNN的深度。 此外，我們從理論上分析并證明了EMS-ResNet可以避免梯度消失或爆炸。 結(jié)果表明，我們的方法以極少的時間步長（僅 4 個時間步長）優(yōu)于最先進的 ANN-SNN 轉(zhuǎn)換方法（至少 500 個時間步長）。 結(jié)果表明，我們的模型可以在基于框架的 COCO 數(shù)據(jù)集和基于事件的 Gen1 數(shù)據(jù)集上實現(xiàn)與具有相同架構(gòu)的 ANN 相當?shù)男阅?，同時消耗 5.83 倍的能量。

論文地址：https://openaccess.thecvf.com/content/ICCV2023/html/Su_Deep_Directly-Trained_Spiking_Neural_Networks_for_Object_Detection_ICCV_2023_paper.html 代碼地址：https://github.com/BICLab/EMS-YOLO 更多論文創(chuàng)新點加微信群：Lh1141755859 公眾號：CV算法小屋