持久內(nèi)存編程

第1章　持久內(nèi)存編程簡(jiǎn)介 1
1.1　高級(jí)示例程序 2
1.1.1　有何區(qū)別 4
1.1.2　性能差異 5
1.1.3　程序復(fù)雜性 5
1.1.4　libpmemkv如何運(yùn)行 5
1.2　后文提要 6
1.3　總結(jié) 7
第2章　持久內(nèi)存架構(gòu) 8
2.1　持久內(nèi)存的特性 8
2.2　持久內(nèi)存的平臺(tái)支持 9
2.3　緩存層級(jí) 10
2.4　電源故障保護(hù)域 11
2.5　刷新、排序和屏障操作的需求 13
2.6　數(shù)據(jù)可見(jiàn)性 16
2.7　用于持久內(nèi)存的英特爾機(jī)器指令 16
2.8　檢測(cè)平臺(tái)功能 17
2.9　應(yīng)用程序啟動(dòng)與恢復(fù) 18
2.10　后文提要 20
2.11　總結(jié) 20
第3章　持久內(nèi)存的操作系統(tǒng)支持 21
3.1　內(nèi)存和存儲(chǔ)的操作系統(tǒng)支持 21
3.2　持久內(nèi)存用作塊存儲(chǔ) 22
3.3　持久內(nèi)存感知型文件系統(tǒng) 23
3.4　內(nèi)存映射文件 24
3.5　持久內(nèi)存直接訪(fǎng)問(wèn) 30
3.6　總結(jié) 37
第4章　持久內(nèi)存編程的基本概念 38
4.1　有何區(qū)別 38
4.2　原子更新 39
4.3　事務(wù) 39
4.3.1　原子性 39
4.3.2　一致性 40
4.3.3　隔離性 40
4.3.4　持久性 40
4.4　刷新不具有事務(wù)性 41
4.5　啟動(dòng)時(shí)職責(zé) 41
4.6　針對(duì)硬件配置進(jìn)行調(diào)優(yōu) 41
4.7　總結(jié) 42
第5章　持久內(nèi)存開(kāi)發(fā)套件簡(jiǎn)介 43
5.1　背景 43
5.2　選擇正確的語(yǔ)義 44
5.3　易失性庫(kù) 44
5.3.1　libmemkind 44
5.3.2　libvmemcache 45
5.3.3　libvmem 46
5.4　持久性庫(kù) 46
5.4.1　libpmem 46
5.4.2　libpmemobj 46
5.4.3　libpmemobj-cpp 47
5.4.4　libpmemkv 47
5.4.5　libpmemlog 47
5.4.6　libpmemblk 48
5.5　工具和命令程序 48
5.5.1　pmempool 48
5.5.2　pmemcheck 48
5.5.3　pmreorder 49
5.6　總結(jié) 49
第6章　libpmem：底層持久內(nèi)存支持 50
6.1　使用庫(kù) 51
6.2　映射文件 51
6.3　復(fù)制到持久內(nèi)存 52
6.4　分解刷新步驟 53
6.5　總結(jié) 54
第7章　libpmemobj：原生事務(wù)性對(duì)象存儲(chǔ) 55
7.1　什么是libpmemobj 55
7.2　為什么不使用malloc() 55
7.3　組合操作 56
7.4　內(nèi)存池 56
7.4.1　創(chuàng)建內(nèi)存池 56
7.4.2　池對(duì)象指針和根對(duì)象 59
7.4.3　打開(kāi)內(nèi)存池并從內(nèi)存池中讀取數(shù)據(jù) 60
7.5　內(nèi)存池集 61
7.5.1　串聯(lián)池集 61
7.5.2　副本池集 62
7.6　管理內(nèi)存池和池集 62
7.7　類(lèi)型化對(duì)象標(biāo)識(shí)符 63
7.8　分配內(nèi)存 63
7.9　持久保存數(shù)據(jù) 63
7.9.1　原子操作 64
7.9.2　保留/發(fā)布API 66
7.9.3　事務(wù)API 68
7.9.4　可選標(biāo)記 71
7.9.5　持久保存數(shù)據(jù)總結(jié) 71
7.10　libpmemobj的API可提供保障 71
7.11　管理庫(kù)操作 72
7.12　調(diào)試與錯(cuò)誤處理 72
7.13　總結(jié) 74
第8章　libpmemobj-cpp：自適應(yīng)語(yǔ)言C++和持久內(nèi)存 75
8.1　簡(jiǎn)介 75
8.2　元編程 75
8.2.1　持久指針 76
8.2.2　事務(wù) 76
8.2.3　創(chuàng)建快照 77
8.2.4　分配 79
8.3　C++標(biāo)準(zhǔn)限制 80
8.3.1　對(duì)象的生命周期 80
8.3.2　平凡類(lèi)型 81
8.3.3　對(duì)象布局 82
8.3.4　指針 83
8.3.5　限制總結(jié) 85
8.4　簡(jiǎn)化持久性 85
8.5　生態(tài)系統(tǒng) 91
8.5.1　持久容器 91
8.5.2　持久容器示例 91
8.6　總結(jié) 94
第9章　pmemkv：持久內(nèi)存鍵值存儲(chǔ) 95
9.1　pmemkv架構(gòu) 97
9.2　電話(huà)簿示例 99
9.3　讓持久內(nèi)存更靠近云 102
9.4　總結(jié) 103
第10章　持久內(nèi)存編程的易失性用途 104
10.1　簡(jiǎn)介 104
10.2　背景 105
10.2.1　內(nèi)存分配 105
10.2.2　工作原理 105
10.2.3　支持的內(nèi)存“類(lèi)型” 105
10.3　memkind API 107
10.3.1　類(lèi)型管理API 107
10.3.2　堆管理API 111
10.3.3　類(lèi)型配置管理 112
10.3.4　更多memkind代碼示例 113
10.4　面向PMEM類(lèi)型的C++分配器 113
10.4.1　pmem::allocator方法 114
10.4.2　嵌套容器 114
10.5　C++示例 114
10.5.1　使用pmem::allocator 115
10.5.2　創(chuàng)建字符串向量 115
10.6　使用持久內(nèi)存擴(kuò)展易失性?xún)?nèi)存 116
10.7　libvmemcache：面向大容量持久內(nèi)存的高效易失性鍵值緩存 120
10.7.1　libvmemcache概述 120
10.7.2　libvmemcache設(shè)計(jì) 122
10.7.3　使用libvmemcache 124
10.8　總結(jié) 126
第11章　設(shè)計(jì)適用于持久內(nèi)存的數(shù)據(jù)結(jié)構(gòu) 127
11.1　連續(xù)數(shù)據(jù)結(jié)構(gòu)和碎片化 127
11.1.1　內(nèi)部和外部碎片化 127
11.1.2　原子性和一致性 128
11.1.3　選擇性持久化 131
11.1.4　示例數(shù)據(jù)結(jié)構(gòu) 131
11.2　總結(jié) 140
第12章　調(diào)試持久內(nèi)存應(yīng)用程序 141
12.1　用于Valgrind的pmemcheck 142
12.1.1　棧溢出示例 142
12.1.2　內(nèi)存泄漏示例 143
12.2　Intel Inspector?—?Persistence Inspector 144
12.2.1　棧溢出示例 144
12.2.2　內(nèi)存泄漏示例 145
12.3　常見(jiàn)的持久內(nèi)存編程問(wèn)題 146
12.3.1　非持久存儲(chǔ) 146
12.3.2　數(shù)據(jù)存儲(chǔ)未添加到事務(wù) 157
12.3.3　將一個(gè)內(nèi)存對(duì)象添加至兩個(gè)不同的事務(wù) 160
12.3.4　內(nèi)存覆寫(xiě) 165
12.3.5　非必要刷新 166
12.3.6　亂序?qū)懭? 170
12.4　總結(jié) 179
第13章　實(shí)際應(yīng)用程序中實(shí)現(xiàn)持久性 180
13.1　數(shù)據(jù)庫(kù)示例 180
13.2　不同的持久內(nèi)存實(shí)現(xiàn)方式 181
13.3　開(kāi)發(fā)持久內(nèi)存感知型MariaDB*存儲(chǔ)引擎 181
13.3.1　了解存儲(chǔ)層 182
13.3.2　創(chuàng)建存儲(chǔ)引擎類(lèi) 183
13.4　總結(jié) 191
第14章　并發(fā)和持久內(nèi)存 192
14.1　事務(wù)與多線(xiàn)程 192
14.2　持久內(nèi)存上的互斥體 196
14.3　原子操作與持久內(nèi)存 198
14.4　持久內(nèi)存的并發(fā)數(shù)據(jù)結(jié)構(gòu) 198
14.4.1　并發(fā)有序映射 199
14.4.2　并發(fā)散列映射 202
14.5　總結(jié) 202
第15章　分析與性能 204
15.1　簡(jiǎn)介 204
15.2　性能分析概念 204
15.2.1　計(jì)算受限與內(nèi)存受限 204
15.2.2　內(nèi)存延時(shí)與內(nèi)存容量 205
15.2.3　讀取與寫(xiě)入性能 205
15.2.4　內(nèi)存訪(fǎng)問(wèn)模式 205
15.2.5　I/O存儲(chǔ)受限的工作負(fù)載 205
15.3　確定工作負(fù)載是否適合持久內(nèi)存 206
15.3.1　易失性用例 206
15.3.2　需要持久性的用例 208
15.4　使用持久內(nèi)存的工作負(fù)載性能分析 209
15.4.1　確定工作負(fù)載特性 210
15.4.2　內(nèi)存帶寬與延時(shí) 210
15.4.3　持久內(nèi)存讀寫(xiě)比率 211
15.4.4　工作集大小與內(nèi)存占用空間大小 211
15.4.5　非一致內(nèi)存架構(gòu)行為 211
15.4.6　優(yōu)化面向持久內(nèi)存的軟件 212
15.5　總結(jié) 215
第16章　PMDK內(nèi)部組件：重要算法和數(shù)據(jù)結(jié)構(gòu) 216
16.1　持久內(nèi)存池：高層架構(gòu)概覽 216
16.2　內(nèi)存映射的不確定性：持久內(nèi)存對(duì)象標(biāo)識(shí)符 218
16.3　持久化線(xiàn)程本地存儲(chǔ)：使用通道 220
16.4　確保電源故障原子性：重做日志和撤銷(xiāo)日志 220
16.4.1　事務(wù)重做日志 221
16.4.2　事務(wù)撤銷(xiāo)日志 221
16.4.3　libpmemobj統(tǒng)一日志 222
16.5　持久分配：事務(wù)持久分配器的接口 223
16.6　持久內(nèi)存堆管理：持久內(nèi)存分配器設(shè)計(jì) 223
16.7　ACID事務(wù)：高效的底層持久事務(wù) 226
16.8　延遲重新初始化變量：將易失性狀態(tài)存儲(chǔ)在持久內(nèi)存上 227
16.9　總結(jié) 228
第17章　可靠性、可用性與可維護(hù)性 229
17.1　處理不可糾正錯(cuò)誤 229
17.1.1　已使用的不可糾正錯(cuò)誤處理 230
17.1.2　未使用的不可糾正錯(cuò)誤處理 231
17.1.3　清除不可糾正錯(cuò)誤 234
17.2　設(shè)備狀態(tài) 234
17.2.1　ACPI定義的設(shè)備狀態(tài)函數(shù)（_NCH，_NBS） 236
17.2.2　特定供應(yīng)商的設(shè)備狀態(tài)（_DSM） 236
17.2.3　ACPI NFIT狀態(tài)事件通知 236
17.3　不安全/異常關(guān)機(jī) 237
17.4　總結(jié) 238
第18章　遠(yuǎn)程持久內(nèi)存 239
18.1　RDMA網(wǎng)絡(luò)協(xié)議 240
18.2　初始遠(yuǎn)程持久內(nèi)存架構(gòu)的目標(biāo) 242
18.3　確保遠(yuǎn)程持久性 242
18.3.1　通用遠(yuǎn)程復(fù)制方法 243
18.3.2　設(shè)備遠(yuǎn)程復(fù)制方法 244
18.4　一般軟件架構(gòu) 246
18.5　librpmem架構(gòu)及其在復(fù)制中的使用 246
18.5.1　使用內(nèi)存池集配置遠(yuǎn)程復(fù)制 249
18.5.2　性能注意事項(xiàng) 249
18.5.3　遠(yuǎn)程復(fù)制錯(cuò)誤處理 250
18.5.4　向復(fù)制世界“問(wèn)好” 251
18.6　總結(jié) 254
第19章　高級(jí)主題 256
19.1　非一致性?xún)?nèi)存訪(fǎng)問(wèn) 256
19.1.1　NUMACTL Linux程序 257
19.1.2　NDCTL Linux程序 258
19.1.3　英特爾內(nèi)存延遲檢查器程序 259
19.1.4　NUMASTAT程序 260
19.1.5　英特爾VTune Profiler —Platform Profiler 261
19.1.6　IPMCTL程序 261
19.1.7　BIOS調(diào)優(yōu)選項(xiàng) 261
19.1.8　自動(dòng)NUMA平衡 261
19.2　使用具有持久內(nèi)存的卷管理器 263
19.3　mmap()的MAP_SYNC標(biāo)記 264
19.4　總結(jié) 265
附錄A　如何在Linux上安裝NDCTL和DAXCTL 266
附錄B　如何安裝持久內(nèi)存開(kāi)發(fā)套件 271
附錄C　如何在Linux和Windows上安裝IPMCTL 277
附錄D　面向持久內(nèi)存的Java 282
附錄E　遠(yuǎn)程持久內(nèi)存復(fù)制的未來(lái) 289
術(shù)語(yǔ)表 292