大模型時代的基礎架構：大模型算力中心建設指南

第1章 AI與大模型時代對基礎架構的需求
1.1 我們在談論AI時，到底在談論什么
1.2 機器學習算法初窺
1.3 一元線性回歸算法剖析
1.4 機器學習算法對計算機硬件的特殊需求
1.4.1 機器學習算法的核心運算特征
1.4.2 使用CPU實現(xiàn)機器學習算法和并行加速
1.4.3 機器學習算法的主力引擎——GPU
1.4.4 機器學習算法的新引擎——TPU和NPU
1.5 本章小結

第2章 軟件程序與專用硬件的結合
2.1 GPU并行運算庫
2.2 機器學習程序的開發(fā)框架
2.3 分布式AI訓練
2.4 本章小結

第3章 GPU硬件架構剖析
3.1 GPU的總體設計
3.2 Nvidia GH100芯片架構剖析
3.3 其他Hopper架構的GPU
3.4 本章小結

第4章 GPU服務器的設計與實現(xiàn)
4.1 初識Nvidia DGX
4.2 Nvidia DGX A100的總體設計
4.3 Nvidia DGX A100 CPU與內存子系統(tǒng)的設計
4.4 Nvidia DGX A100 PCI-E子系統(tǒng)的設計
4.5 Nvidia DGX A100 NVLink子系統(tǒng)的設計
4.6 其他輔助子系統(tǒng)的設計
4.7 本章小結

第5章 機器學習所依托的I/O框架體系
5.1 Magnum IO的需求來源
5.2 Magnum IO的核心組件
5.3 服務器內部的GPU互通
5.4 跨服務器節(jié)點的GPU通信
5.5 RDMA的兩種實現(xiàn)
5.6 GPU對存儲的訪問
5.7 Magnum IO所依賴的其他支撐技術
5.7.1 DPDK（ Data Plane Development Kit，數(shù)據(jù)平面開發(fā)套件）
5.7.2 DPU（Data Processing Unit，數(shù)據(jù)處理器）
5.7.3 MPI Tag Matching
5.8 本章小結

第6章 GPU集群的網(wǎng)絡設計與實現(xiàn)
6.1 GPU集群中RoCE計算網(wǎng)絡的設計與實現(xiàn)
6.2 GPU集群中存儲與業(yè)務網(wǎng)絡的設計與實現(xiàn)
6.3 GPU集群中帶外管理監(jiān)控網(wǎng)絡的設計與實現(xiàn)
6.4 GPU集群中網(wǎng)絡邊界的設計與實現(xiàn)
6.5 本章小結

第7章 GPU板卡級算力調度技術
7.1 基于虛擬化技術的GPU調度
7.2 基于容器技術的GPU調度
7.3 本章小結

第8章 GPU虛擬化調度方案
8.1 Nvidia的GPU虛擬化調度方案
8.1.1 API Remoting與vCUDA
8.1.2 GRID vGPU
8.1.3 Nvidia MIG
8.2 其他硬件廠商的GPU虛擬化調度方案
8.2.1 AMD的SRIOV方案
8.2.2 Intel的GVT-G方案
8.3 云廠商與開源社區(qū)基于容器的GPU虛擬化調度方案
8.3.1 TKE vCUDA+GPU Manager
8.3.2 阿里云的cGPU
8.3.3 騰訊云的qGPU
8.4 本章小結

第9章 GPU集群的網(wǎng)絡虛擬化設計與實現(xiàn)
9.1 基于SDN的VPC技術：網(wǎng)絡虛擬化技術的基石
9.2 云負載均衡：機器學習網(wǎng)絡的中流砥柱
9.3 專線接入、對等連接與VPC網(wǎng)關
9.4 SDN NFV網(wǎng)關的實現(xiàn)與部署
9.4.1 基于virtio-net/vhost的虛擬機部署NFV
9.4.2 基于SRIOV的虛擬機部署NFV
9.4.3 使用DPDK技術對NFV加速
9.5 本章小結

第10章 GPU集群的存儲設計與實現(xiàn)
10.1 程序與系統(tǒng)存儲——分布式塊存儲
10.1.1 塊存儲的業(yè)務需求
10.1.2 集中式塊存儲與分布式塊存儲
10.1.3 分布式塊存儲的故障恢復
10.1.4 分布式塊存儲的性能優(yōu)化
10.1.5 分布式塊存儲的快照與回滾
10.2 海量非結構化數(shù)據(jù)存儲——分布式對象存儲
10.2.1 入門級對象存儲的首選：Ceph
10.2.2 開源海量對象存儲：Swift
10.2.3 商業(yè)化對象存儲：大型公有云對象存儲私有化
10.2.4 未來之星：Minio
10.3 AI訓練素材存儲——分布式并發(fā)高性能存儲
10.3.1 開源大數(shù)據(jù)存儲鼻祖：HDFS
10.3.2 業(yè)界對HDFS的改進
10.3.3 長青松柏：Lustre
10.4 本章小結

第11章 機器學習應用開發(fā)與運行平臺的設計與實現(xiàn)
11.1 微服務平臺
11.1.1 Kubernetes：微服務基礎能力平臺
11.1.2 Spring Cloud：Java系專屬微服務平臺
11.1.3 Istio：不挑開發(fā)語言，只挑部署架構
11.1.4 商業(yè)化微服務平臺：兼顧各類需求的選擇
11.2 中間件服務
11.2.1 消息中間件
11.2.2 緩存中間件
11.2.3 數(shù)據(jù)庫（數(shù)據(jù)中間件）
11.3 應用日志服務
11.4 本章小結

第12章 基于云平臺的GPU集群的管理與運營
12.1 云運維平臺
12.1.1 硬件基礎設施管理
12.1.2 系統(tǒng)監(jiān)控與告警平臺
12.1.3 CMDB
12.2 云運營平臺
12.3 云審計平臺
12.4 本章小結

第13章 服務機器學習的GPU計算平臺落地案例
13.1 需求來源：自動駕駛模型訓練
13.2 總體設計——基于云原生的高性能計算
13.3 計算需求分析與設計實現(xiàn)
13.4 存儲需求分析與設計實現(xiàn)
13.5 網(wǎng)絡需求分析與設計實現(xiàn)
13.6 本章小結
后記