AI加速器架構(gòu)設(shè)計與實現(xiàn)
鏈接：https://pan.baidu.com/s/15ehTgoanmvK_geLa7zKivw?pwd=v3o6?
提取碼：v3o6
這是一本講解NPU硬件架構(gòu)設(shè)計與技術(shù)實現(xiàn)的。作者將自己在CPU、GPU和NPU領(lǐng)域15年的軟硬件工作經(jīng)驗融會貫通，將四代NPU架構(gòu)設(shè)計經(jīng)驗融為一體，將端側(cè)和云側(cè)NPU架構(gòu)合二為一，總結(jié)并提煉出本書內(nèi)容。本書主要討論經(jīng)網(wǎng)絡(luò)硬件層面，尤其是芯片設(shè)計層面的內(nèi)容，主要含經(jīng)網(wǎng)絡(luò)的分析、經(jīng)網(wǎng)絡(luò)加速器的設(shè)計以及具體實現(xiàn)技術(shù)。通過閱讀本書，讀者可以深入了解主流的經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，掌握如何從零開始設(shè)計一個能用、好用的產(chǎn)品級加速器。
通過閱讀本書，你將：
?透徹理解與深度學(xué)相關(guān)的機器學(xué)算法及其實現(xiàn)
?學(xué)會主流圖像處理領(lǐng)域經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
?掌握加速器運算子系統(tǒng)和存儲子系統(tǒng)的設(shè)計
?摸清加速器設(shè)計中遇到的具體問題及其解決方法
?了解NPU架構(gòu)需要考慮的控制通路和數(shù)據(jù)通路
前言
第1章 卷積經(jīng)網(wǎng)絡(luò) 1
1.1 經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 2
1.2 GCN 4
1.3 網(wǎng)絡(luò)的基本塊 7
1.4 網(wǎng)絡(luò)的算子 17
1.5 網(wǎng)絡(luò)參數(shù)量與運算量 29
1.6 加速器編程模型 31
1.7 硬件加速器架構(gòu)分類 33
第2章 運算子系統(tǒng)的設(shè)計 35
2.1 數(shù)據(jù)流設(shè)計 35
2.2 算力與帶寬 38
2.2.1 算力與輸入帶寬 38
2.2.2 算力與輸出帶寬 41
2.3 卷積乘法陣列 43
2.3.1 Conv算法詳解 43
2.3.2 NVDLA的乘法陣列 47
2.3.3 TPU的乘法陣列 59
2.3.4 GPU的乘法陣列 66
2.3.5 華為DaVinci的乘法陣列 74
2.4 卷積運算順序的選擇 80
2.5 池化模塊的設(shè)計 81
第3章 存儲子系統(tǒng)的設(shè)計 86
3.1 存儲子系統(tǒng)概述 86
3.1.1 存儲子系統(tǒng)的組成 86
3.1.2 內(nèi)緩存的設(shè)計 89
3.2 數(shù)據(jù)格式的定義 97
3.2.1 征圖的格式 98
3.2.2 權(quán)重的格式 100
第4章 架構(gòu)化技術(shù) 106
4.1 運算度的選擇 106
4.1.1 dynamic fixed point類型 109
4.1.2 bfloat16類型 110
4.2 硬件資源的復(fù)用 111
4.2.1 FC 112
4.2.2 de-Conv 115
4.2.3 dilate Conv 123
4.2.4 group Conv 123
4.2.5 3D Conv 127
4.2.6 TC Conv 130
4.2.7 3D Pool 132
4.2.8 Up Sample Pooling 136
4.2.9 多個加速器的級聯(lián) 136
4.3 Winograd算法和FFT算法 138
4.3.1 Winograd算法解析 138
4.3.2 FFT算法解析 148
4.4 除法變乘法 150
4.5 LUT的使用 150
4.6 宏塊并行技術(shù) 155
4.7 減少軟件配置時間 156
4.8 軟件化技術(shù) 157
4.9 一些激進的化技術(shù) 158
第5章 與護 160
5.1 技術(shù) 160
5.2 性評估 162
5.3 護 163
第6章 經(jīng)網(wǎng)絡(luò)加速器的實現(xiàn) 165
6.1 乘法器的設(shè)計 165
6.1.1 整型乘法器的設(shè)計 166
6.1.2 浮點運算器的設(shè)計 171
6.2 數(shù)字電路常見基本塊的設(shè)計 184
6.3 時序化 203
6.4 低功耗設(shè)計 207
第7章 盤點與展望 211
7.1 AI加速器盤點 211
7.2 Training加速器 211
7.3 展望 218
后記 220
