軟硬件去耦合是計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)中非常重要的設(shè)計(jì)方法論。簡單來理解，即軟件研發(fā)人員不需要考慮底層硬件如何設(shè)計(jì)；而硬件開發(fā)人員則只需要遵循一定指令集規(guī)范，并不用擔(dān)心兼容性，也不用考慮上層軟件開發(fā)問題。多年以來，軟硬件去耦合確保了通用計(jì)算機(jī)體系結(jié)構(gòu)的快速發(fā)展。而之所以能夠做到軟硬件去耦合，其背后的原理便是“圖靈機(jī)與計(jì)算理論”。

?

那么類腦計(jì)算，要超越甚至替代馮·諾依曼模型和傳統(tǒng)計(jì)算機(jī)，是否也需要做到軟硬件去耦合？該用什么方法實(shí)現(xiàn)？這些問題對類腦計(jì)算的研究和開發(fā)意義重大。?

?

針對這些問題，在第二屆北京智源大會“智能體系架構(gòu)和芯片”專題論壇上，智源學(xué)者、清華大學(xué)張悠慧做了題為“軟硬件去耦合的類腦計(jì)算系統(tǒng)設(shè)計(jì)與思考”的專題報(bào)告。

張悠慧，清華大學(xué)計(jì)算機(jī)系研究員，博導(dǎo)，主要從事計(jì)算機(jī)體系結(jié)構(gòu)，包括處理器設(shè)計(jì)、類腦計(jì)算芯片與基礎(chǔ)軟件、高性能計(jì)算等方向的研究；曾擔(dān)任多個國際/國內(nèi)學(xué)術(shù)會議程序委員會委員及期刊編委；在NATURE、ASPLOS、MICRO、NIPS、DAC等期刊/會議上發(fā)表論文近70篇；是國家科技進(jìn)步二等獎、國家級教學(xué)成果二等獎、教育部科技進(jìn)步一等獎獲得者。

張悠慧在演講中首先介紹了類腦計(jì)算的起源、應(yīng)用與發(fā)展等研究背景，并分析了以類腦芯片為核心的軟硬件和基于“通用”類腦計(jì)算開發(fā)框架（語言）系統(tǒng)兩種類腦計(jì)算研究的現(xiàn)狀，以及探討了如何從傳統(tǒng)計(jì)算機(jī)的發(fā)展中汲取經(jīng)驗(yàn)，采用軟硬件去耦合、軟硬件協(xié)同設(shè)計(jì)等多種方法論，來探索符合類腦計(jì)算與神經(jīng)形態(tài)器件特色的設(shè)計(jì)方法論，最后，張悠慧簡述了通用類腦計(jì)算當(dāng)前研究的最新進(jìn)展和下步工作重點(diǎn)。

?

整理：智源社區(qū) 王光華，賈偉

一、研究背景：類腦計(jì)算的起源、應(yīng)用與發(fā)展

?

類腦計(jì)算或者神經(jīng)形態(tài)計(jì)算的歷史比較悠遠(yuǎn)。神經(jīng)形態(tài)計(jì)算的鼻祖之一，加州理工的Carver Mead教授在1990年提出“神經(jīng)形態(tài)計(jì)算”這個詞，并將其定義為“采用以模擬器件仿真生物神經(jīng)系統(tǒng)的VLSI來實(shí)現(xiàn)大規(guī)模并行的自適應(yīng)計(jì)算系統(tǒng)”[1]。

?

圖1：加州理工Carver Mead教授

?

但這個概念提出的初衷，并不是為了做AI或神經(jīng)網(wǎng)絡(luò)計(jì)算等，主要是為了追求計(jì)算效能。因?yàn)閭鹘y(tǒng)數(shù)字架構(gòu)，一條指令執(zhí)行時(shí)，需要經(jīng)過譯碼、數(shù)據(jù)傳輸?shù)纫幌盗胁僮髟龠M(jìn)行計(jì)算，其“耗能不單是這個計(jì)算本身的，而是執(zhí)行整個計(jì)算流程所消耗的總能量”，效能不高。而生物系統(tǒng)的計(jì)算效能比數(shù)字計(jì)算系統(tǒng)計(jì)算效能高幾個數(shù)量級。所以，當(dāng)時(shí)的有識之士，便開始借鑒生物神經(jīng)網(wǎng)思想，用以提升計(jì)算效能。這里主要包括兩點(diǎn)：一是使用基本的物理現(xiàn)象作為計(jì)算的原語，類似于模擬計(jì)算的方法。二是，采用類似Spiking這樣的模擬相對值而不是數(shù)字的絕對值來進(jìn)行信息表述。這兩點(diǎn)是生物系統(tǒng)能效優(yōu)勢的根本原因，對于提升計(jì)算效能具有非常重要的啟示。

??

圖2：類腦計(jì)算所支持的各類應(yīng)用[2]

?

張悠慧介紹，類腦計(jì)算應(yīng)用目前比較側(cè)重于AI。根據(jù)綜述文章[2]，類腦計(jì)算目前所支持的主要應(yīng)用是神經(jīng)網(wǎng)絡(luò)形式的，但是也有越來越多的工作在探索利用類腦計(jì)算實(shí)現(xiàn)非神經(jīng)網(wǎng)絡(luò)應(yīng)用。主要包括兩種，一種是以神經(jīng)網(wǎng)絡(luò)的形式解決圖計(jì)算、計(jì)算優(yōu)化等非AI的問題；另一種是問題形式、表述形式、解決形式等非神經(jīng)網(wǎng)絡(luò)形式的，比如利用脈沖神經(jīng)網(wǎng)絡(luò)構(gòu)建通用計(jì)算框架。

?

但2016年的《Nature》文章提到：類腦計(jì)算作為后摩爾時(shí)代極具潛力的發(fā)展方向之一，不能把類腦計(jì)算應(yīng)用只局限于AI，要放寬一點(diǎn)。

?

圖3：引領(lǐng)類腦計(jì)算的技術(shù)浪潮[5]

?

那么類腦計(jì)算的未來會怎么樣？2020年初有一篇文章[5]指出，類腦計(jì)算可能引領(lǐng)下一波Computer Engineering的浪潮。目前，GPU驅(qū)動了第一階段浪潮，第二個階段將是ASIC加速器，而第三階段可能就是神經(jīng)形態(tài)計(jì)算。圖靈獎得主John L. Hennessy和 David A. Patterson在2018年的圖靈報(bào)告[3]里也提到，未來10年是重新定義計(jì)算機(jī)體系結(jié)構(gòu)的10年。目前體系結(jié)構(gòu)因發(fā)展路徑的多樣性，將帶來體系基礎(chǔ)結(jié)構(gòu)創(chuàng)新的重大契機(jī)，逐步會有越來越多的非馮處理器崛起，包括神經(jīng)形態(tài)處理器，基于量子力學(xué)規(guī)律的處理器等[4]。

?

二、現(xiàn)狀分析：

專用芯片 vs “通用”框架（語言）

?

張悠慧介紹，目前已經(jīng)有很多種類的類腦芯片開發(fā)，比如，斯坦佛大學(xué)Neurogrid團(tuán)隊(duì)和滑鐵盧大學(xué)NEF團(tuán)隊(duì)合作的Braindrop；英特爾的Loihi；以及TrueNorth、SpiNNaker、BrainScales等。

?

這些類腦芯片大多以軟硬件協(xié)同設(shè)計(jì)為主，各芯片提供了自己特有的軟硬件接口以及工具鏈。好處是端到端的設(shè)計(jì)對于適配的應(yīng)用而言效率比較高；不足之處則是縱向設(shè)計(jì)，把上層應(yīng)用和下層系統(tǒng)軟硬件等綁定在一起，導(dǎo)致缺乏應(yīng)用的可移植性，降低開發(fā)的效率，開發(fā)人員不得不面對底層硬件暴露的約束。

?圖4：Braindrop[6]

?

與Loihi等系統(tǒng)相比，Braindrop做得比較靈活。Loihi等系統(tǒng)對外提供的編程原語是基于神經(jīng)元、神經(jīng)元突觸、神經(jīng)網(wǎng)絡(luò)這個層次。而Braindrop則是利用滑鐵盧大學(xué)的NEF框架，在功能級上提出的編程原語。用戶可以將認(rèn)知計(jì)算函數(shù)描述成為一個非線性的微分方程系統(tǒng)，并且與底層硬件是無關(guān)的、去耦合的，然后通過NEF將每個方程轉(zhuǎn)換成一組物理上的神經(jīng)元，并映射到模數(shù)混合的芯片上。但它的問題在于當(dāng)進(jìn)行設(shè)計(jì)的時(shí)候，軟硬件的所有層次都要協(xié)同設(shè)計(jì)，底層硬件設(shè)計(jì)也要嚴(yán)格遵循理論框架，它的上、下層耦合度很高，只是耦合到了NEF框架里去了。

?

圖5：TrueNorth[7]

TrueNorth是基于認(rèn)知計(jì)算編程語言Corelet進(jìn)行應(yīng)用開發(fā)的。硬件基礎(chǔ)單元是TrueNorth中的神經(jīng)形態(tài)基元模型，包括神經(jīng)元計(jì)算模型、突觸模型及其擴(kuò)展，通過一個或多個神經(jīng)元配置互聯(lián)實(shí)現(xiàn)基本功能的函數(shù)。通過Corelet編程，軟件工具鏈采用分而治之策略，將一個復(fù)雜算法分解為簡單算法，反復(fù)分解直至變換為一個神經(jīng)突觸核所能完成的計(jì)算，這時(shí)候形成神經(jīng)形態(tài)網(wǎng)絡(luò)層面的基礎(chǔ)單元以及單元的連接。實(shí)際上，這種方法也同樣把硬件底層的基礎(chǔ)單元暴露給了上層開發(fā)者。

?

圖6：Loihi神經(jīng)元計(jì)算硬件流水線[8]

Loihi對外提供一系列編程原語，用于脈沖神經(jīng)網(wǎng)絡(luò)拓?fù)涿枋龅纳窠?jīng)元間室模型、突出模型、突出蹤跡、描述SNN動力學(xué)的神經(jīng)元模型以及突出學(xué)習(xí)規(guī)則。如圖6，實(shí)際上該硬件流水線基本是對照SNN的仿真模型實(shí)現(xiàn)的，計(jì)算神經(jīng)學(xué)中仿真神經(jīng)元計(jì)算怎么做，Loihi便把它用硬件實(shí)現(xiàn)。相當(dāng)于Loihi把神經(jīng)網(wǎng)絡(luò)模擬里的軟件流水線硬件固化，形成基本功能單元再暴露給上層的開發(fā)人員。首爾大學(xué)基于Loihi結(jié)構(gòu)進(jìn)行了拓展[9]，支持SNN的各類學(xué)習(xí)算法，這些算法主要是基于STDP或者STDP衍生的眾多算法，首爾大學(xué)分析了多種算法并歸納出更多原語進(jìn)行擴(kuò)展支持。但不管怎樣，還是把底層的原語直接暴露給上層。

?

現(xiàn)在很多研究越來越往通用框架演進(jìn)，目的則是提供一種高層次的編程抽象，實(shí)現(xiàn)與具體芯片無關(guān)的統(tǒng)一開發(fā)框架，使底層硬件規(guī)則約束能夠?qū)?yīng)用開發(fā)透明。好處在于較高層次的抽象能夠屏蔽硬件細(xì)節(jié)，提高可移植性和開發(fā)效率。但目前的問題在于，芯片底層缺乏一致的硬件接口，仍存在一對一的移植工作?，F(xiàn)在很多采用開放社區(qū)與標(biāo)準(zhǔn)化方案鼓勵大家做相關(guān)工作，比如，美國國家實(shí)驗(yàn)室2019年做的Fugu項(xiàng)目就是其中典型案例[10]。它試圖提供一個通用開發(fā)平臺，研究人員不需要大量背景知識就能開發(fā)應(yīng)用程序，開發(fā)框架通過開源社區(qū)的方式去做，將具體應(yīng)用、脈沖神經(jīng)網(wǎng)絡(luò)算法設(shè)計(jì)、以及神經(jīng)形態(tài)硬件平臺的具體細(xì)節(jié)分離開來，形成三個層次?？蚣茏罡邔拥哪繕?biāo)人群是科學(xué)計(jì)算或者應(yīng)用開發(fā)人員，他們對自己領(lǐng)域很熟但是不熟悉神經(jīng)網(wǎng)絡(luò)計(jì)算方法；中間層用戶比較熟悉神經(jīng)網(wǎng)絡(luò)計(jì)算，用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)功能、提供函數(shù)，但是不熟悉硬件平臺；第三層用戶是硬件平臺專家開發(fā)人員，能夠優(yōu)化和裁剪針對特定硬件的神經(jīng)網(wǎng)絡(luò)算法。從公開文獻(xiàn)看目前該項(xiàng)目還沒有支持某一款特定的芯片，仍然是用模擬器進(jìn)行替代。

?

三、當(dāng)前進(jìn)展：

通用計(jì)算機(jī)啟示下的類腦計(jì)算研究

?

?圖7：解耦合的系統(tǒng)設(shè)計(jì)

?

張悠慧認(rèn)為，基于通用處理器的計(jì)算機(jī)系統(tǒng)層次結(jié)構(gòu)采用的是非常典型的軟硬件去耦合的設(shè)計(jì)方法，這將給予我們方法論上的啟示。

?

總體思路，如圖7所示，也是采用軟硬件去耦合的系統(tǒng)設(shè)計(jì)，但在應(yīng)用和芯片之間引入了軟件編程模型、硬件執(zhí)行模型兩層抽象。軟件編程模型提供給軟件開發(fā)人員使用，不需要關(guān)心底層硬件的規(guī)格與約束，把這些交給硬件執(zhí)行模型處理，在兩層之間通過“編譯器”進(jìn)行編譯轉(zhuǎn)換。

?

以神經(jīng)網(wǎng)絡(luò)計(jì)算為例，上層的編程模型是數(shù)據(jù)流或者計(jì)算圖的編程模型，下層的硬件執(zhí)行模型也可以看作是數(shù)據(jù)流，但是，它的原語和規(guī)模都是受限的。關(guān)鍵的問題是要把兩者進(jìn)行等價(jià)轉(zhuǎn)換。

?

張悠慧介紹，他們團(tuán)隊(duì)在2016年便提出了解耦合系統(tǒng)原型[11]，主要通過神經(jīng)網(wǎng)絡(luò)的冗余來容忍硬件層面的約束，實(shí)現(xiàn)了在類腦硬件具有精度、連接度、函數(shù)類型等約束的情況下上層模型到下層模型的自動轉(zhuǎn)換；利用神經(jīng)網(wǎng)絡(luò)的冗余性和容錯性，通過去除一定的冗余性之后降低精度來匹配硬件約束。該工作支持“天機(jī)一代”芯片約束下的“編譯”。

?

2018年，張悠慧團(tuán)隊(duì)進(jìn)一步做了神經(jīng)網(wǎng)絡(luò)編譯器[12]。這包括兩個方面，一是對硬件執(zhí)行模型的形式化定義，引入點(diǎn)積和非線性函數(shù)兩個硬件基本算子，二是實(shí)現(xiàn)嚴(yán)格硬件約束下的神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)換，即把神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為約束條件下等價(jià)的網(wǎng)絡(luò)。因?yàn)檐浖窠?jīng)元和硬件神經(jīng)元能力不一樣，轉(zhuǎn)換成硬件神經(jīng)元以后規(guī)?？赡苄枰蛎洠砸?guī)模換取能力實(shí)現(xiàn)精度損失可控。

?

在工作[12]的基礎(chǔ)上，張悠慧團(tuán)隊(duì)做了架構(gòu)設(shè)計(jì)與映射工具[13]。[12]說明方案是可行的，還需要進(jìn)一步研究該方案的效率。基于所需的基本原語，他們提出基于憶阻器的可重構(gòu)神經(jīng)網(wǎng)絡(luò)芯片架構(gòu)（FPSA），證明了方案的高效性與可實(shí)現(xiàn)性。整體上是遵從RISC設(shè)計(jì)思想，簡化硬件設(shè)計(jì)利用憶阻器高效實(shí)現(xiàn)兩個原語，上層各種各樣軟件的靈活性通過編譯器實(shí)現(xiàn)。同時(shí)，引入FPGA可重構(gòu)路由，解決傳統(tǒng)BUS和NOC無法匹配憶阻器高速計(jì)算的通信瓶頸問題。

?

圖8：動態(tài)圖軟硬件模型

?

張悠慧團(tuán)隊(duì)還把相關(guān)工作拓展到動態(tài)計(jì)算圖[14]，即在軟件編程模型和硬件執(zhí)行模型當(dāng)中使用控制流來支持動態(tài)圖，使其功能更加完整。動態(tài)計(jì)算圖中包括多個靜態(tài)計(jì)算圖，在軟件編程模型里根據(jù)輸入的不同動態(tài)調(diào)用靜態(tài)圖來執(zhí)行。底層硬件很大程度上借鑒了FPGA的設(shè)計(jì)，利用可編程的邏輯單元來實(shí)現(xiàn)控制流，即硬件上控制器選擇不同的分支來完成不同的執(zhí)行路徑。

?

圖9：FPSA系統(tǒng)棧

FPSA系統(tǒng)棧如圖9。最上層是包含各種張量的動態(tài)計(jì)算圖，即各種各樣有控制的、不受限制的神經(jīng)網(wǎng)絡(luò)操作，通過神經(jīng)網(wǎng)絡(luò)編譯器編譯成等價(jià)的僅包括控制流本身和硬件支持的幾個核心原語的動態(tài)計(jì)算圖。核心原語目前主要有兩個，一個是點(diǎn)積，一個是非線性函數(shù)。然后再通過神經(jīng)網(wǎng)絡(luò)映射器，把硬件執(zhí)行模型進(jìn)一步轉(zhuǎn)化為包含核心原語計(jì)算、緩存和控制邏輯的網(wǎng)表，即計(jì)算邏輯、計(jì)算調(diào)度、數(shù)據(jù)移動和暫存等，最后直接復(fù)用FPGA的功能實(shí)現(xiàn)相關(guān)的布局布線。

?

在前端，張悠慧團(tuán)隊(duì)做了基于GPU的高性能脈沖神經(jīng)網(wǎng)絡(luò)開發(fā)與仿真平臺[15]，它支持被廣泛應(yīng)用的SNN的開發(fā)語言——PyNN。針對SNN行為的稀疏性、事件驅(qū)動等特征，他們采用了細(xì)粒度神經(jīng)網(wǎng)絡(luò)表示與執(zhí)行模式，以及帶時(shí)間戳的稀疏矩陣存儲等方法進(jìn)行特殊優(yōu)化。使得其性能比現(xiàn)有最新的基于GPU的SNN模擬器要快很多。

圖10：BSIM工作流

圖10是BSIM工作流，最上層給開發(fā)人員使用，并且屏蔽了硬件的細(xì)節(jié)，開發(fā)人員可以定義模型進(jìn)行預(yù)處理，將網(wǎng)絡(luò)各種層次連接起來，最后通過編譯生成GPU上的執(zhí)行程序。同時(shí)，它還支持不同的底層硬件神經(jīng)元和突出模型，方便進(jìn)行功能驗(yàn)證。作為類腦計(jì)算編程、編譯與運(yùn)行時(shí)系統(tǒng)，目前該平臺支持GPU集群異構(gòu)計(jì)算并提供認(rèn)知計(jì)算功能單元、算子庫、開發(fā)接口。

?

四、下一步研究：通用類腦計(jì)算？

?

張悠慧認(rèn)為，當(dāng)前在類腦計(jì)算領(lǐng)域，不管是各家基于芯片構(gòu)建的系統(tǒng)，還是意圖通用的、去耦合的軟硬件系統(tǒng)棧都面臨的問題是：各平臺都有自己不同的開發(fā)接口、編程接口，各用各的。

?

所以從長遠(yuǎn)來看，我們需要一個解決方案能夠應(yīng)對多個平臺。因此希望未來硬件接口能夠穩(wěn)定下來，開發(fā)出相同（或者兼容）的接口。

通用計(jì)算機(jī)系統(tǒng)在這方面做得比較好，軟硬件去耦合的計(jì)算機(jī)層次結(jié)構(gòu)是經(jīng)典計(jì)算機(jī)迅猛發(fā)展的體系結(jié)構(gòu)基礎(chǔ)，這是通用計(jì)算機(jī)幾十年來快速發(fā)展背后體系結(jié)構(gòu)方面的邏輯。

?

如果類腦計(jì)算要超越或替代馮·諾依曼模型，我們不能總基于歸納法進(jìn)行軟硬件體系結(jié)構(gòu)的設(shè)計(jì)，因?yàn)檫@種方法未來無法滿足新的應(yīng)用，并且存在軟硬件綁定的問題。

?

五、總結(jié)

?

張悠慧的報(bào)告，讓我們體會到：傳統(tǒng)計(jì)算機(jī)系統(tǒng)的軟硬件去耦合的層次化設(shè)計(jì)思想是IT技術(shù)得以飛速發(fā)展的體系結(jié)構(gòu)基礎(chǔ)；目前類腦計(jì)算的系統(tǒng)和芯片，雖然具體類型有所不同但都比較側(cè)重于端到端的軟硬件協(xié)同設(shè)計(jì)方法，缺乏能將算法、芯片和器件等不同領(lǐng)域技術(shù)和需求有機(jī)結(jié)合起來的軟硬件系統(tǒng)棧設(shè)計(jì)；因此，我們需要進(jìn)一步從傳統(tǒng)的通用計(jì)算系統(tǒng)的成功思路中汲取經(jīng)驗(yàn)，既要形似，也要神似！

?

另外，演講結(jié)束后，中科院計(jì)算所研究員、智源首席科學(xué)家陳云霽對演講內(nèi)容進(jìn)行了提問，我們也將張悠慧的回答整理給大家。

?

Q&A

?

Q：作為計(jì)算機(jī)研究者來說，通用性和完備性非常重要，這正是像圖靈機(jī)這樣具有通用性完備性的模型，使得我們今天研究的是計(jì)算機(jī)，而不僅僅是一個計(jì)算器。第一個問題，中間層和TVM的差別是什么？

?

A：從在系統(tǒng)中的位置和作用來說，它們是類似的。不同在于，第一，TVM主要支持DNN，我們這邊更傾向于做SNN。第二，我們目前正在做的工作是想提出一套硬件原語，從理論上確保這個硬件原語從神經(jīng)系統(tǒng)計(jì)算層面來說是足夠的。我們目前做了這么一個簡單的原型系統(tǒng)，能夠證明帶來三個好處：1）如果硬件能夠?qū)崿F(xiàn)這套原語的話，理論上確保軟件模型和硬件模型的等價(jià)；2）至少理論上可以使得底層的類腦硬件能夠支持通用的計(jì)算；3）我們這種設(shè)計(jì)將來引入新的系統(tǒng)評測維度，一般系統(tǒng)講應(yīng)用性能和硬件開銷之間的Tradeoff，我們引入了近似粒度，能夠容忍怎樣的Error。這是一個三角關(guān)系。

?

Q：我想請教一個問題，我自己感覺在深度學(xué)習(xí)發(fā)展里面有這樣一個問題，一開始在學(xué)術(shù)界應(yīng)用相對少一些它會顯得比較干凈規(guī)整，但是一旦進(jìn)入工業(yè)界之后，很多“骯臟的東西”就會往上跑。比如我們看現(xiàn)在比較大規(guī)模的深度神經(jīng)網(wǎng)絡(luò)，比如自然語言處理里面的BERT，或者圖像檢測里面的Faster R-CNN，僅僅說是向量內(nèi)機(jī)（點(diǎn)積）和非線性激活函數(shù)就感覺hold不住了。目前SNN在工業(yè)上的實(shí)際部署相對來說比較少一些，您能否預(yù)測SNN未來進(jìn)入大規(guī)模工業(yè)應(yīng)用會不會有這樣的問題出現(xiàn)？

?

A：我覺得肯定會有這樣的問題出現(xiàn)，去耦合和Codesign永遠(yuǎn)是相輔相成的。理想情況下，基石是去耦合的，通過提供一系列原語來實(shí)現(xiàn)。同時(shí)，針對特定應(yīng)用而言，還要通過Codesign在去耦合基礎(chǔ)上去提升性能和效率，我相信將來系統(tǒng)肯定是這么一個混合式系統(tǒng)，包括傳統(tǒng)計(jì)算機(jī)也是這樣的，完備性是個基石，但是Codesign是提升效能的關(guān)鍵，所以我們可能會針對不同應(yīng)用需求去擴(kuò)展做Codesign。

?

點(diǎn)擊閱讀原文，進(jìn)入智源社區(qū)參與更多討論。

參考文獻(xiàn)

[1]?C. Mead.Neuromorphic electronic systems. Proceedings of the IEEE, 1990, 78(10):1629-1636.

[2]?Schuman C D , Potok T E , Patton R M , et al. A Survey of Neuromorphic Computing and Neural Networks in Hardware[J]. 2017.

[3]?John L. Hennessy, David A. Patterson. A New Golden Age for Computer Architecture. Communications of the ACM, February 2019.

[4]?Kathleen E. Hamilton，et al. Accelerating Scientific Computing in the Post-Moore’s Era. ACM Transactions on Parallel Computing. 2020.

[5]?Jack D. Kendall, Suhas Kumar. The building blocks of a brain-inspired computer. Applied Physics Reviews 7, 011305 (2020).

[6]?“Braindrop: A mixed-signal neuromorphic architecture with a dynamical systems-based programming model. Proceedings of the IEEE, ?2019”.

[7]?A. Amir et al., Cognitive computing programming paradigm: A Corelet Language for composing networks of neurosynaptic cores, IJCNN 2013.

[8]?Lin C K , Wild A , Chinya G , et al. Programming Spiking Neural Networks on Intel Loihi[J]. Computer, 2018.

[9]?E. Baek et al., FlexLearn: Fast and Highly Efficient Brain Simulations Using Flexible On-Chip Learning, MICRO 2019

[10]?James B. Aimone, William Severa, Craig M. Vineyard. Composing neural algorithms with Fugu. International Conference on Neuromorphic Systems. 2019.

[11]?Yu Ji, et al. “NEUTRAMS: Neural network transformation and co-design under neuromorphic hardware constraints”.

[12]?Yu Ji, et al. “Bridge the Gap between Neural Networks and Neuromorphic Hardware with a Neural Network Compiler”.

[13]?Yu Ji, et al. “FPSA: A Full System Stack Solution for Reconfigurable ReRAM-based NN Accelerator Architecture”.

[14]?Y. Ji, Z. Liu and Y. Zhang, "A Reduced Architecture for ReRAM-based Neural Network Accelerator and Its Software Stack".

[15]?P. Qu, Y. Zhang, et al, "High Performance Simulation of Spiking Neural Network on GPGPUs".