通用圖形處理器設(shè)計(jì)：GPGPU編程模型與架構(gòu)原理

第1章 GPGPU概述
1.1 GPGPU與并行計(jì)算機(jī)
1.1.1 并行體系結(jié)構(gòu)
1.1.2 GPU與CPU體系結(jié)構(gòu)對(duì)比
1.2 GPGPU發(fā)展概述
1.2.1 GPU
1.2.2 從GPU到GPGPU
1.3 現(xiàn)代GPGPU產(chǎn)品
1.3.1 NVIDIA GPGPU
1.3.2 AMD GPGPU
1.3.3 Intel GPGPU
1.3.4 其他GPU
參考文獻(xiàn)
第2章 GPGPU編程模型
2.1 計(jì)算模型
2.1.1 數(shù)據(jù)并行和線程
2.1.2 主機(jī)-設(shè)備端和內(nèi)核函數(shù)
2.2 線程模型
2.2.1 線程組織與數(shù)據(jù)索引
2.2.2 線程分配與執(zhí)行
2.2.3 線程模型小結(jié)
2.3 存儲(chǔ)模型
2.3.1 多樣的存儲(chǔ)器類(lèi)型
2.3.2 存儲(chǔ)資源與線程并行度
2.4 線程同步與通信模型
2.4.1 同步機(jī)制
2.4.2 協(xié)作組
2.4.3 流與事件
2.4.4 原子操作
2.5 CUDA指令集概述
2.5.1 中間指令PTX
2.5.2 機(jī)器指令SASS
參考文獻(xiàn)
第3章 GPGPU控制核心架構(gòu)
3.1 GPGPU架構(gòu)概述
3.1.1 CPU-GPGPU異構(gòu)計(jì)算系統(tǒng)
3.1.2 GPGPU架構(gòu)
3.1.3 擴(kuò)展討論：架構(gòu)特點(diǎn)和局限性
3.2 GPGPU指令流水線
3.2.1 前段：取指與譯碼
3.2.2 中段：調(diào)度與發(fā)射
3.2.3 后段：執(zhí)行與寫(xiě)回
3.2.4 擴(kuò)展討論：線程束指令流水線
3.3 線程分支
3.3.1 謂詞寄存器
3.3.2 SIMT堆棧
3.3.3 分支屏障
3.3.4 擴(kuò)展討論：更高效的線程分支執(zhí)行
3.4 線程束調(diào)度
3.4.1 線程束并行、調(diào)度與發(fā)射
3.4.2 基本的調(diào)度策略
3.4.3 擴(kuò)展討論：線程束調(diào)度策略優(yōu)化
3.5 記分牌
3.5.1 數(shù)據(jù)相關(guān)性
3.5.2 GPGPU中的記分牌
3.5.3 擴(kuò)展討論：記分牌設(shè)計(jì)優(yōu)化
3.6 線程塊分配與調(diào)度
3.6.1 線程塊并行、分配與調(diào)度
3.6.2 基本的線程塊分配與調(diào)度策略
3.6.3 擴(kuò)展討論：線程塊分配與調(diào)度策略優(yōu)化
參考文獻(xiàn)
第4章 GPGPU存儲(chǔ)架構(gòu)
4.1 GPGPU存儲(chǔ)系統(tǒng)概述
4.1.1 CPU的層次化存儲(chǔ)
4.1.2 GPGPU的存儲(chǔ)層次
4.2 寄存器文件
4.2.1 并行多板塊結(jié)構(gòu)
4.2.2 板塊沖突和操作數(shù)收集器
4.2.3 操作數(shù)并行訪問(wèn)時(shí)的相關(guān)性冒險(xiǎn)
4.2.4 擴(kuò)展討論：寄存器文件的優(yōu)化設(shè)計(jì)
4.3 可編程多處理器內(nèi)的存儲(chǔ)系統(tǒng)
4.3.1 數(shù)據(jù)通路概述
4.3.2 共享存儲(chǔ)器訪問(wèn)
4.3.3 L1高速緩存訪問(wèn)
4.3.4 紋理緩存
4.3.5 擴(kuò)展討論：片上存儲(chǔ)系統(tǒng)的優(yōu)化設(shè)計(jì)
4.4 可編程多處理器外的存儲(chǔ)系統(tǒng)
4.4.1 存儲(chǔ)分區(qū)單元
4.4.2 L2緩存
4.4.3 幀緩存單元
4.4.4 全局存儲(chǔ)器
4.5 存儲(chǔ)架構(gòu)的優(yōu)化設(shè)計(jì)
4.5.1 片上存儲(chǔ)資源融合
4.5.2 技術(shù)對(duì)比與小結(jié)
參考文獻(xiàn)
第5章 GPGPU運(yùn)算單元架構(gòu)
5.1 數(shù)值的表示
5.1.1 整型數(shù)據(jù)
5.1.2 浮點(diǎn)數(shù)據(jù)
5.1.3 擴(kuò)展討論：多樣的浮點(diǎn)數(shù)據(jù)表示
5.2 GPGPU的運(yùn)算單元
5.2.1 整型運(yùn)算單元
5.2.2 浮點(diǎn)運(yùn)算單元
5.2.3 特殊功能單元
5.2.4 張量核心單元
5.3 GPGPU的運(yùn)算單元架構(gòu)
5.3.1 運(yùn)算單元的組織和峰值算力
5.3.2 實(shí)際的指令吞吐率
5.3.3 擴(kuò)展討論：脈動(dòng)陣列結(jié)構(gòu)
參考文獻(xiàn)
第6章 GPGPU張量核心架構(gòu)
6.1 深度神經(jīng)網(wǎng)絡(luò)的計(jì)算
6.1.1 深度神經(jīng)網(wǎng)絡(luò)的計(jì)算特征
6.1.2 卷積運(yùn)算方式
6.2 張量核心架構(gòu)
6.2.1 張量核心架構(gòu)特征概述
6.2.2 Volta架構(gòu)中的張量核心
6.2.3 張量核心的發(fā)展
6.2.4 擴(kuò)展討論：張量核心對(duì)稀疏的支持
6.3 神經(jīng)網(wǎng)絡(luò)計(jì)算的軟件支持
6.4 深度學(xué)習(xí)評(píng)價(jià)基準(zhǔn)——MLPerf
參考文獻(xiàn)
第7章 總結(jié)與展望
7.1 本書(shū)內(nèi)容總結(jié)
7.2 GPGPU發(fā)展展望