高性能計算：現(xiàn)代系統(tǒng)與應用實踐

譯者序
序言
前言
致謝
第1章　緒論 1
1.1　高性能計算學科 2
1.1.1　定義 3
1.1.2　應用程序 3
1.1.3　性能和指標 3
1.1.4　高性能計算系統(tǒng) 4
1.1.5　超算問題 6
1.1.6　應用編程 7
1.2　超算對科學、社會和安全的影響 8
1.2.1　促進欺詐檢測和市場數(shù)據(jù)分析 8
1.2.2　發(fā)現(xiàn)、管理和分配石油和天然氣 8
1.2.3　加快制造業(yè)的創(chuàng)新 9
1.2.4　個性化醫(yī)藥和藥物發(fā)現(xiàn) 9
1.2.5　預測自然災害和了解氣候變化 10
1.3　超級計算機剖析 11
1.4　計算機性能 13
1.4.1　性能 13
1.4.2　峰值性能 13
1.4.3　持續(xù)性能 14
1.4.4　可擴展性 15
1.4.5　性能退化 15
1.4.6　性能提升 17
1.5　超級計算機簡史 17
1.5.1　第一個階段—利用機械技術的自動計算機 18
1.5.2　第二個階段—真空管時代的馮·諾依曼架構 19
1.5.3　第三個階段—指令級并行 23
1.5.4　第四個階段—向量處理和積分 24
1.5.5　第五個階段—單指令多數(shù)據(jù)陣列 27
1.5.6　第六個階段—順序處理器的通信和超大規(guī)模集成電路 27
1.5.7　第七個階段—多核和千萬億次 30
1.5.8　新數(shù)字時代和超越摩爾定律 30
1.6　作為學生的指南和工具 31
1.7　本章小結及成果 32
1.8　練習 33
參考文獻 34
第2章　HPC架構：系統(tǒng)和技術 35
2.1　引言 35
2.2　HPC架構的關鍵特性 36
2.2.1　速度 36
2.2.2　并行性 36
2.2.3　效率 37
2.2.4　功率 37
2.2.5　可靠性 38
2.2.6　可編程性 38
2.3　并行架構家族—弗林分類法 39
2.4　支持技術 41
2.4.1　技術階段 41
2.4.2　技術的角色 44
2.4.3　數(shù)字邏輯 45
2.4.4　存儲技術 47
2.5　馮·諾依曼順序處理器 50
2.6　向量和流水線 52
2.6.1　流水線并行 53
2.6.2　向量處理 55
2.7　單指令多數(shù)據(jù)陣列 56
2.7.1　單指令多數(shù)據(jù)架構 56
2.7.2　阿姆達定律 57
2.8　多處理器 59
2.8.1　共享內(nèi)存多處理器 60
2.8.2　大規(guī)模并行處理器 62
2.8.3　商品集群系統(tǒng) 62
2.9　異構計算機結構 63
2.10　本章小結及成果 64
2.11　練習 65
參考文獻 67
第3章　商品集群 68
3.1　引言 68
3.1.1　商品集群的定義 68
3.1.2　集群的動機和理由 69
3.1.3　集群元素 70
3.1.4　對500強名單的影響 70
3.1.5　簡史 71
3.1.6　章節(jié)指南 73
3.2　Beowulf集群項目 74
3.3　硬件架構 76
3.3.1　節(jié)點 76
3.3.2　系統(tǒng)區(qū)域網(wǎng)絡 77
3.3.3　輔助存儲 78
3.3.4　商業(yè)系統(tǒng)摘要 78
3.4　編程接口 78
3.4.1　高性能計算程序設計語言 78
3.4.2　并行編程模式 80
3.5　軟件環(huán)境 80
3.5.1　操作系統(tǒng) 80
3.5.2　資源管理 82
3.5.3　調(diào)試器 83
3.5.4　性能分析 84
3.5.5　可視化 85
3.6　基本使用方法 86
3.6.1　登錄 86
3.6.2　用戶空間和目錄系統(tǒng) 87
3.6.3　包的配置和構建 92
3.6.4　編譯器和編譯 93
3.6.5　運行應用程序 94
3.7　本章小結及成果 94
3.8　練習 95
參考文獻 95
第4章　基準測試程序 97
4.1　引言 97
4.2　HPC基準測試程序的關鍵屬性 100
4.3　標準的HPC社區(qū)的基準測試程序 101
4.4　高度并行計算的Linpack 102
4.5　HPC挑戰(zhàn)基準測試套件 104
4.6　高性能共軛梯度 106
4.7　NAS并行基準測試程序 110
4.8　Graph500 111
4.9　小型應用作為基準測試程序 115
4.10　本章小結及成果 116
4.11　練習 117
參考文獻 118
第5章　資源管理的基礎 119
5.1　資源管理 119
5.2　SLURM的基礎 123
5.2.1　架構概述 123
5.2.2　工作負載的組織 124
5.2.3　SLURM調(diào)度 125
5.2.4　SLURM命令概要 127
5.2.5　SLURM作業(yè)腳本 141
5.2.6　SLURM速查表 146
5.3　便攜式批量系統(tǒng)基礎 147
5.3.1　PBS概述 147
5.3.2　PBS架構 148
5.3.3　PBS命令概要 148
5.3.4　PBS作業(yè)腳本 158
5.3.5　PBS速查表 160
5.4　本章小結及成果 161
5.5　練習 162
參考文獻 163
第6章　對稱多處理器架構 164
6.1　引言 164
6.2　架構概覽 165
6.3　阿姆達定律 168
6.4　處理器核心的架構 171
6.4.1　執(zhí)行流水線 172
6.4.2　指令級并行 173
6.4.3　分支預測 173
6.4.4　直通 174
6.4.5　保留站 174
6.4.6　多線程 174
6.5　存儲層次 175
6.5.1　數(shù)據(jù)重用和局部性 175
6.5.2　存儲層次結構 176
6.5.3　存儲系統(tǒng)的性能 178
6.6　PCI總線 180
6.7　外部I/O接口 184
6.7.1　網(wǎng)絡接口控制器 184
6.7.2　串行高級技術附件 185
6.7.3　JTAG 187
6.7.4　通用串行總線 189
6.8　本章小結及成果 190
6.9　練習 191
參考文獻 192
第7章　OpenMP的基礎 194
7.1　引言 194
7.2　OpenMP編程模型概覽 195
7.2.1　線程并行 195
7.2.2　線程變量 197
7.2.3　運行時庫與環(huán)境變量 197
7.3　并行線程和循環(huán) 199
7.3.1　并行線程 199
7.3.2　私有 200
7.3.3　并行“for”語句 200
7.3.4　塊 206
7.4　同步 208
7.4.1　臨界同步指令 208
7.4.2　master指令 209
7.4.3　barr