123,123,123

內(nèi)容簡(jiǎn)介

　　本書主要介紹基于日志結(jié)構(gòu)合并樹LSM-tree 的鍵值存儲(chǔ)系統(tǒng)的性能優(yōu)化，具體包括：面向新型存儲(chǔ)硬件的鍵值存儲(chǔ)結(jié)構(gòu)優(yōu)化，面向資源負(fù)載自適應(yīng)LSM-tree 結(jié)構(gòu)的鍵值存儲(chǔ)優(yōu)化，基于強(qiáng)化學(xué)習(xí)相關(guān)性的LSM-tree 鍵值存儲(chǔ)自動(dòng)調(diào)優(yōu)，面向知識(shí)圖譜應(yīng)用的LSM-tree 鍵值存儲(chǔ)優(yōu)化。本書可使讀者對(duì)鍵值存儲(chǔ)結(jié)構(gòu)引擎有初步了解，并且掌握LSM-tree 存儲(chǔ)引擎的實(shí)現(xiàn)和優(yōu)化思路。

作者簡(jiǎn)介

　　柴艷峰，太原科技大學(xué)講師，畢業(yè)于中國(guó)人民大學(xué)計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)，工學(xué)博士，主要研究方向?yàn)閿?shù)據(jù)庫(kù)、新型存儲(chǔ)硬件和鍵值存儲(chǔ)等系統(tǒng)的設(shè)計(jì)與優(yōu)化研究。

圖書目錄

第1 章緒論… ………………………………………………………………… 1
1.1 研究背景與意義… ……………………………………………………… 1
1.2 鍵值存儲(chǔ)系統(tǒng)面臨的挑戰(zhàn)… …………………………………………… 2
1.2.1 鍵值存儲(chǔ)與新硬件的適配優(yōu)化… ………………………………… 2
1.2.2 鍵值存儲(chǔ)結(jié)構(gòu)的自適應(yīng)優(yōu)化… …………………………………… 3
1.2.3 基于機(jī)器學(xué)習(xí)的鍵值存儲(chǔ)自動(dòng)調(diào)優(yōu)… …………………………… 3
1.3 本書的主要研究工作… ………………………………………………… 3
1.4 本書的組織結(jié)構(gòu)… ……………………………………………………… 7
第2 章鍵值存儲(chǔ)系統(tǒng)相關(guān)背景… …………………………………………… 8
2.1 基于LSM-tree 的鍵值存儲(chǔ)系統(tǒng)介紹… ………………………………… 8
2.1.1 LSM-tree 鍵值存儲(chǔ)系統(tǒng)的基本概念… …………………………… 9
2.1.2 LSM-tree 鍵值存儲(chǔ)系統(tǒng)存在的性能問(wèn)題… …………………… 10
2.2 面向新硬件的鍵值存儲(chǔ)系統(tǒng)結(jié)構(gòu)優(yōu)化… …………………………… 13
2.2.1 新型高密度磁盤的LSM-tree 鍵值存儲(chǔ)優(yōu)化… ………………… 15
2.2.2 面向固態(tài)磁盤SSD 的LSM-tree 鍵值存儲(chǔ)優(yōu)化… ……………… 17
2.2.3 面向非易失性內(nèi)存的LSM-tree 鍵值存儲(chǔ)優(yōu)化… ……………… 18
2.3 面向動(dòng)態(tài)資源及負(fù)載的自適應(yīng)優(yōu)化… ……………………………… 23
2.4 基于機(jī)器學(xué)習(xí)的數(shù)據(jù)庫(kù)系統(tǒng)性能自動(dòng)優(yōu)化… ……………………… 24
第3 章面向新型存儲(chǔ)硬件的LSM-tree 合并機(jī)制優(yōu)化…………………… 27
3.1 引言… ………………………………………………………………… 27
3.2 問(wèn)題描述… …………………………………………………………… 28
3.2.1 LSM-tree 的寫放大問(wèn)題… ……………………………………… 29
3.2.2 LSM-tree 性能抖動(dòng)延遲問(wèn)題… ………………………………… 30
3.2.3 相關(guān)研究… ……………………………………………………… 31
3.3 底層驅(qū)動(dòng)合并機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)… ………………………………… 32
3.3.1 底層驅(qū)動(dòng)合并機(jī)制整體設(shè)計(jì)… ………………………………… 33
3.3.2 底層驅(qū)動(dòng)合并機(jī)制的實(shí)現(xiàn)… …………………………………… 38
基于日志結(jié)構(gòu)合并樹的鍵值存儲(chǔ)系統(tǒng)優(yōu)化研究
3.4 實(shí)驗(yàn)評(píng)估… …………………………………………………………… 42
3.4.1 實(shí)驗(yàn)測(cè)試環(huán)境配置… …………………………………………… 42
3.4.2 吞吐性能測(cè)試… ………………………………………………… 43
3.4.3 合并機(jī)制空間開銷性能測(cè)試… ………………………………… 46
3.4.4 降低延遲影響測(cè)試… …………………………………………… 48
3.5 本章小結(jié)… …………………………………………………………… 49
第4 章面向資源負(fù)載自適應(yīng)LSM-tree 結(jié)構(gòu)的鍵值存儲(chǔ)優(yōu)化…………… 51
4.1 引言… ………………………………………………………………… 51
4.2 問(wèn)題描述… …………………………………………………………… 53
4.2.1 LSM-tree 形態(tài)對(duì)系統(tǒng)性能的影響… …………………………… 54
4.2.2 LSM-tree 合并機(jī)制對(duì)系統(tǒng)性能的影響… ……………………… 55
4.2.3 鍵值存儲(chǔ)的自適應(yīng)模型… ……………………………………… 56
4.2.4 相關(guān)研究… ……………………………………………………… 57
4.3 自適應(yīng)LSM-tree 鍵值存儲(chǔ)系統(tǒng)ALDC-DB 的設(shè)計(jì)與實(shí)現(xiàn)… ……… 58
4.3.1 自適應(yīng)LSM-tree 結(jié)構(gòu)設(shè)計(jì)… …………………………………… 58
4.3.2 自適應(yīng)LSM-tree 結(jié)構(gòu)實(shí)現(xiàn)… …………………………………… 61
4.3.3 自適應(yīng)合并機(jī)制實(shí)現(xiàn)… ………………………………………… 64
4.4 實(shí)驗(yàn)評(píng)估… …………………………………………………………… 70
4.4.1 實(shí)驗(yàn)環(huán)境配置… ………………………………………………… 70
4.4.2 吞吐性能評(píng)估… ………………………………………………… 71
4.4.3 延遲影響性能評(píng)估… …………………………………………… 75
4.4.4 內(nèi)部相關(guān)結(jié)構(gòu)性能評(píng)估… ……………………………………… 76
4.5 本章小結(jié)… …………………………………………………………… 80
第5 章基于相關(guān)性的LSM-tree 鍵值存儲(chǔ)自動(dòng)調(diào)優(yōu)……………………… 81
5.1 引言… ………………………………………………………………… 81
5.2 問(wèn)題描述… …………………………………………………………… 83
5.2.1 自動(dòng)調(diào)優(yōu)的時(shí)間開銷… ………………………………………… 84
5.2.2 鍵值存儲(chǔ)的結(jié)構(gòu)性優(yōu)化… ……………………………………… 84
5.2.3 相關(guān)研究… ……………………………………………………… 85
5.3 基于相關(guān)性的自動(dòng)調(diào)優(yōu)系統(tǒng)XTuning 的設(shè)計(jì)與實(shí)現(xiàn)… …………… 87
5.3.1 XTuning 整體架構(gòu)設(shè)計(jì)…………………………………………… 87
5.3.2 內(nèi)部專家規(guī)則模塊實(shí)現(xiàn)… ……………………………………… 88
5.3.3 外部專家規(guī)則模塊實(shí)現(xiàn)… ……………………………………… 92
5.3.4 基于專家規(guī)則的調(diào)優(yōu)算法PEKT………………………………… 95
5.3.5 LSM-tree 結(jié)構(gòu)性優(yōu)化的實(shí)現(xiàn)… ………………………………… 97
5.4 實(shí)驗(yàn)評(píng)估… …………………………………………………………… 99
5.4.1 實(shí)驗(yàn)環(huán)境設(shè)置… ………………………………………………… 100
5.4.2 訓(xùn)練時(shí)間開銷評(píng)測(cè)… …………………………………………… 100
5.4.3 吞吐性能評(píng)測(cè)… ………………………………………………… 101
5.4.4 延遲影響評(píng)測(cè)… ………………………………………………… 102
5.4.5 鍵值存儲(chǔ)系統(tǒng)內(nèi)部I/O 評(píng)測(cè)分析………………………………… 103
5.5 本章小結(jié)… …………………………………………………………… 105
第6 章基于LSM-tree 鍵值存儲(chǔ)的知識(shí)圖譜系統(tǒng)優(yōu)化…………………… 107
6.1 引言… ………………………………………………………………… 107
6.2 問(wèn)題描述… …………………………………………………………… 108
6.2.1 鄰域查詢性能… ………………………………………………… 108
6.2.2 基于NVM 的圖譜加速優(yōu)化……………………………………… 108
6.2.3 相關(guān)研究… ……………………………………………………… 109
6.3 基于LSM-tree 鍵值存儲(chǔ)系統(tǒng)的知識(shí)圖譜查詢加速系統(tǒng)… ………… 112
6.3.1 提升鄰域查詢性能… …………………………………………… 112
6.3.2 面向知識(shí)圖譜應(yīng)用的鍵值存儲(chǔ)引擎優(yōu)化… …………………… 113
6.3.3 面向分布式知識(shí)圖譜的Raft 優(yōu)化… …………………………… 115
6.4 實(shí)驗(yàn)評(píng)估… …………………………………………………………… 116
6.4.1 實(shí)驗(yàn)環(huán)境設(shè)置… ………………………………………………… 116
6.4.2 吞吐性能測(cè)試… ………………………………………………… 117
6.4.3 平均延遲性能測(cè)試… …………………………………………… 118
6.4.4 尾延遲性能測(cè)試… ……………………………………………… 119
基于日志結(jié)構(gòu)合并樹的鍵值存儲(chǔ)系統(tǒng)優(yōu)化研究
6.4.5 可擴(kuò)展性測(cè)試… ………………………………………………… 120
6.5 本章小結(jié)… …………………………………………………………… 121
第7 章總結(jié)與展望… ……………………………………………………… 123
7.1 主要研究?jī)?nèi)容與成果貢獻(xiàn)… ………………………………………… 123
7.2 未來(lái)的研究計(jì)劃… …………………………………………………… 126
參考文獻(xiàn)………………………………………………………………………… 127