CUDA并行程序設(shè)計(jì)：GPU編程指南

致中國(guó)讀者
譯者序
前言
第1章  超級(jí)計(jì)算簡(jiǎn)史
1.1  簡(jiǎn)介
1.2  馮·諾依曼計(jì)算機(jī)架構(gòu)
1.3  克雷
1.4  連接機(jī)
1.5  Cell處理器
1.6  多點(diǎn)計(jì)算
1.7  早期的GPGPU編程
1.8  單核解決方案的消亡
1.9  英偉達(dá)和CUDA
1.10  GPU硬件
1.11  CUDA的替代選擇
1.11.1  OpenCL
1.11.2  DirectCompute
1.11.3  CPU的替代選擇
1.11.4  編譯指令和庫(kù)
1.12  本章小結(jié)
第2章  使用GPU理解并行計(jì)算
2.1  簡(jiǎn)介
2.2  傳統(tǒng)的串行代碼
2.3  串行/并行問題
2.4  并發(fā)性
2.5  并行處理的類型
2.5.1  基于任務(wù)的并行處理
2.5.2  基于數(shù)據(jù)的并行處理
2.6  弗林分類法
2.7  常用的并行模式
2.7.1  基于循環(huán)的模式
2.7.2  派生/匯集模式
2.7.3  分條/分塊
2.7.4  分而治之
2.8  本章小結(jié)
第3章  CUDA硬件概述
3.1  PC架構(gòu)
3.2  GPU硬件結(jié)構(gòu)
3.3  CPU與GPU
3.4  GPU計(jì)算能力
3.4.1  計(jì)算能力1.0 
3.4.2  計(jì)算能力1.1 
3.4.3  計(jì)算能力1.2 
3.4.4  計(jì)算能力1.3 
3.4.5  計(jì)算能力2.0 
3.4.6  計(jì)算能力2.1 
第4章  CUDA環(huán)境搭建
4.1  簡(jiǎn)介
4.2  在Windows下安裝軟件開發(fā)工具包
4.3  VisualStudio
4.3.1  工程
4.3.2  64位用戶
4.3.3  創(chuàng)建工程
4.4  Linux
4.5  Mac
4.6  安裝調(diào)試器
4.7  編譯模型
4.8  錯(cuò)誤處理
4.9  本章小結(jié)
第5章  線程網(wǎng)格、線程塊以及線程
5.1  簡(jiǎn)介
5.2  線程
5.2.1  問題分解
5.2.2  CPU與GPU的不同
5.2.3  任務(wù)執(zhí)行模式
5.2.4  GPU線程
5.2.5  硬件初窺
5.2.6  CUDA內(nèi)核
5.3  線程塊
5.4  線程網(wǎng)格
5.4.1  跨幅與偏移
5.4.2  X與Y方向的線程索引
5.5  線程束
5.5.1  分支
5.5.2  GPU的利用率
5.6  線程塊的調(diào)度
5.7  一個(gè)實(shí)例——統(tǒng)計(jì)直方圖
5.8  本章小結(jié)
第6章  CUDA內(nèi)存處理
6.1  簡(jiǎn)介
6.2  高速緩存
6.3  寄存器的用法
6.4  共享內(nèi)存
6.4.1  使用共享內(nèi)存排序
6.4.2  基數(shù)排序
6.4.3  合并列表
6.4.4  并行合并
6.4.5  并行歸約
6.4.6  混合算法
6.4.7  不同GPU上的共享內(nèi)存
6.4.8  共享內(nèi)存小結(jié)
6.5  常量?jī)?nèi)存
6.5.1  常量?jī)?nèi)存高速緩存
6.5.2  常量?jī)?nèi)存廣播機(jī)制
6.5.3  運(yùn)行時(shí)進(jìn)行常量?jī)?nèi)存更新
6.6  全局內(nèi)存
6.6.1  記分牌
6.6.2  全局內(nèi)存排序
6.6.3  樣本排序
6.7  紋理內(nèi)存
6.7.1  紋理緩存
6.7.2  基于硬件的內(nèi)存獲取操作
6.7.3  使用紋理的限制
6.8  本章小結(jié)
第7章  CUDA實(shí)踐之道
7.1  簡(jiǎn)介
7.2  串行編碼與并行編碼
7.2.1  CPU與GPU的設(shè)計(jì)目標(biāo)
7.2.2  CPU與GPU上的最佳算法對(duì)比
7.3  數(shù)據(jù)集處理
7.4  性能分析
7.5  一個(gè)使用AES的示例
7.5.1  算法
7.5.2  AES的串行實(shí)現(xiàn)
7.5.3  初始內(nèi)核函數(shù)
7.5.4  內(nèi)核函數(shù)性能
7.5.5  傳輸性能
7.5.6  單個(gè)執(zhí)行流版本
7.5.7  如何與CPU比較
7.5.8  考慮在其他GPU上運(yùn)行
7.5.9  使用多個(gè)流
7.5.10  AES總結(jié)
7.6  本章小結(jié)
第8章  多CPU和多GPU解決方案
8.1  簡(jiǎn)介
8.2  局部性
8.3  多CPU系統(tǒng)
8.4  多GPU系統(tǒng)
8.5  多GPU算法
8.6  按需選用GPU
8.7  單節(jié)點(diǎn)系統(tǒng)
8.8  流
8.9  多節(jié)點(diǎn)系統(tǒng)
8.10  本章小結(jié)
第9章  應(yīng)用程序性能優(yōu)化
9.1  策略1：并行/串行在GPU/CPU上的問題分解
9.1.1  分析問題
9.1.2  時(shí)間
9.1.3  問題分解
9.1.4  依賴性
9.1.5  數(shù)據(jù)集大小
9.1.6  分辨率
9.1.7  識(shí)別瓶頸
9.1.8  CPU和GPU的任務(wù)分組
9.1.9  本節(jié)小結(jié)
9.2  策略2：內(nèi)存因素
9.2.1  內(nèi)存帶寬
9.2.2  限制的來源
9.2.3  內(nèi)存組織
9.2.4  內(nèi)存訪問以計(jì)算比率
9.2.5  循環(huán)融合和內(nèi)核融合
9.2.6  共享內(nèi)存和高速緩存的使用
9.2.7  本節(jié)小結(jié)
9.3  策略3：傳輸
9.3.1  鎖頁內(nèi)存
9.3.2  零復(fù)制內(nèi)存
9.3.3  帶寬限制
9.3.4  GPU計(jì)時(shí)
9.3.5  重疊GPU傳輸
9.3.6  本節(jié)小結(jié)
9.4  策略4：線程使用、計(jì)算和分支
9.4.1  線程內(nèi)存模式
9.4.2  非活動(dòng)線程
9.4.3  算術(shù)運(yùn)算密度
9.4.4  一些常見的編譯器優(yōu)化
9.4.5  分支
9.4.6  理解底層匯編代碼
9.4.7  寄存器的使用
9.4.8  本節(jié)小結(jié)
9.5  策略5：算法
9.5.1  排序
9.5.2  歸約
9.5.3  本節(jié)小結(jié)
9.6  策略6：資源競(jìng)爭(zhēng)
9.6.1  識(shí)別瓶頸
9.6.2  解析瓶頸
9.6.3  本節(jié)小結(jié)
9.7  策略7：自調(diào)優(yōu)應(yīng)用程序
9.7.1  識(shí)別硬件
9.7.2  設(shè)備的利用
9.7.3  性能采樣
9.7.4  本節(jié)小結(jié)
9.8  本章小結(jié)
第10章  函數(shù)庫(kù)和SDK
10.1  簡(jiǎn)介
10.2  函數(shù)庫(kù)
10.2.1  函數(shù)庫(kù)通用規(guī)范
10.2.2  NPP
10.2.3  Thrust
10.2.4  CuRAND
10.2.5  CuBLAS庫(kù)
10.3  CUDA運(yùn)算SDK
10.3.1  設(shè)備查詢
10.3.2  帶寬測(cè)試
10.3.3  SimpleP2P
10.3.4  asyncAPI和cudaOpenMP
10.3.5  對(duì)齊類型
10.4  基于指令的編程
10.5  編寫自己的內(nèi)核
10.6  本章小結(jié)
第11章  規(guī)劃GPU硬件系統(tǒng)
11.1  簡(jiǎn)介
11.2  CPU處理器
11.3  GPU設(shè)備
11.3.1  大容量?jī)?nèi)存的支持
11.3.2  ECC內(nèi)存的支持
11.3.3  Tesla計(jì)算集群驅(qū)動(dòng)程序
11.3.4  更高雙精度數(shù)學(xué)運(yùn)算
11.3.5  大內(nèi)存總線帶寬
11.3.6  系統(tǒng)管理中斷
11.3.7  狀態(tài)指示燈
11.4  PCI-E總線
11.5  GeForce板卡
11.6  CPU內(nèi)存
11.7  風(fēng)冷
11.8  液冷
11.9  機(jī)箱與主板
11.10  大容量存儲(chǔ)
11.10.1  主板上的輸入/輸出接口
11.10.2  專用RAID控制器
11.10.3  HDSL
11.10.4  大容量存儲(chǔ)需求
11.10.5  聯(lián)網(wǎng)
11.11  電源選擇
11.12  操作系統(tǒng)
11.12.1  Windows
11.12.2  Linux
11.1  3  本章小結(jié)
第12章  常見問題、原因及解決方案
12.1  簡(jiǎn)介
12.2  CUDA指令錯(cuò)誤
12.2.1  CUDA錯(cuò)誤處理
12.2.2  內(nèi)核啟動(dòng)和邊界檢查
12.2.3  無效的設(shè)備操作
12.2.4  volatile限定符
12.2.5  計(jì)算能力依賴函數(shù)
12.2.6  設(shè)備函數(shù)、全局函數(shù)和主機(jī)函數(shù)
12.2.7  內(nèi)核中的流
12.3  并行編程問題
12.3.1  競(jìng)爭(zhēng)冒險(xiǎn)
12.3.2  同步
12.3.3  原子操作
12.4  算法問題
12.4.1  對(duì)比測(cè)試
12.4.2  內(nèi)存泄漏
12.4.3  耗時(shí)的內(nèi)核程序
12.5  查找并避免錯(cuò)誤
12.5.1  你的GPU程序有多少錯(cuò)誤
12.5.2  分而治之
12.5.3  斷言和防御型編程
12.5.4  調(diào)試級(jí)別和打印
12.5.5  版本控制
12.6  為未來的GPU進(jìn)行開發(fā)
12.6.1  開普勒架構(gòu)
12.6.2  思考
12.7  后續(xù)學(xué)習(xí)資源
12.7.1  介紹
12.7.2  在線課程
12.7.3  教學(xué)課程
12.7.4  書籍
12.7.5  英偉達(dá)CUDA資格認(rèn)證
12.8  本章小結(jié)
……