神經(jīng)網(wǎng)絡加速器的計算架構及存儲優(yōu)化技術研究

第1章  緒論 1
1.1  研究背景 1
1.2  研究現(xiàn)狀 3
1.2.1  神經(jīng)網(wǎng)絡算法的發(fā)展歷程  3
1.2.2  神經(jīng)網(wǎng)絡加速器的研究現(xiàn)狀  7
1.3  研究動機 10
1.4  研究思路與研究內容 11
1.4.1  研究思路  11
1.4.2  研究內容 12
第2章  面向通用神經(jīng)網(wǎng)絡近似的神經(jīng)網(wǎng)絡計算架構RNA 14
2.1  引言 14
2.2  問題背景 17
2.2.1  神經(jīng)網(wǎng)絡近似與加速 17
2.2.2  通用架構模型 17
2.3  計算模式  19
2.3.1  RNA 架構概覽 19
2.3.2  FP 計算模式 20
2.3.3  NE 計算模式 21
2.3.4  CE 計算模式 23
2.3.5  調度框架 24
2.4  RNA 架構設計  31
2.4.1  RNA 架構的PE 設計   31
2.4.2  RNA 架構的互連設計 31
2.4.3  RNA 架構的控制器設計 34
2.5  實驗結果 37
2.5.1  實驗設置 37
2.5.2  RNA 架構的版圖和硬件指標 38
2.5.3  RNA 架構的性能分析 39
2.5.4  RNA 架構的參數(shù)探索 47
2.6  小結 50
第3章  面向專用人工智能領域的神經(jīng)網(wǎng)絡計算架構DNA  51
3.1  引言 51
3.2  問題背景 53
3.2.1  CNN 模型 53
3.2.2  以CNN 加速器為中心的計算系統(tǒng)架構 55
3.2.3  CNN 加速的兩大執(zhí)行目標和挑戰(zhàn)  56
3.3  計算模式 57
3.3.1  計算模式概覽 57
3.3.2  數(shù)據(jù)復用模式 57
3.3.3  卷積映射方法 66
3.3.4  對全連接層的支持 70
3.4  DNA 架構設計   71
3.4.1  可重構數(shù)據(jù)通路設計 71
3.4.2  可重構卷積引擎設計 73
3.4.3  DNA 架構的工作流程和調度框架  77
3.5  實驗結果  79
3.5.1  實驗設置    79
3.5.2  DNA 架構的版圖和硬件指標 79
3.5.3  DNA 架構的訪存和整體能耗分析 80
3.5.4  DNA 架構的性能分析 84
3.5.5  DNA 架構與國際工作的比較 85
3.5.6  基于DNA 架構的人工智能計算芯片Thinker  88
3.6  小結  90
第4章  基于數(shù)據(jù)保持時間的神經(jīng)網(wǎng)絡存儲優(yōu)化框架RANA  92
4.1  引言  92
4.2  問題背景   95
4.2.1  CNN 模型   95
4.2.2  CNN 加速器 96
4.2.3  CNN 加速器的緩存容量問題  97
4.2.4  eDRAM 及數(shù)據(jù)保持問題  98
4.3  研究動機   99
4.3.1  實驗平臺  99
4.3.2  問題分析  100
4.3.3  優(yōu)化機會 102
4.4  RANA 框架 102
4.4.1  RANA 框架概覽  102
4.4.2  基于數(shù)據(jù)保持時間的訓練方法  104
4.4.3  混合計算模式   107
4.4.4  刷新優(yōu)化的eDRAM 控制器  113
4.5  實驗結果   114
4.5.1  實驗設置 114
4.5.2  對RANA 框架的評估  115
4.5.3  在DaDianNao 上的擴展性分析  120
4.6  小結  121
第5章  總結與展望 123
5.1  工作總結  123
5.2  未來工作展望  124
參考文獻   126
在學期間發(fā)表的學術論文與研究成果  137
致謝   139