云原生數(shù)據(jù)倉庫：原理與實踐

第1章 數(shù)據(jù)倉庫與大數(shù)據(jù)處理技術(shù)概述/1
1.1 數(shù)據(jù)倉庫發(fā)展概述 /2
1.1.1 萌芽：OLTP 數(shù)據(jù)庫與數(shù)據(jù)倉庫概念的提出  /2
1.1.2 發(fā)展：聯(lián)機分析處理與信息倉庫集成理論  /6
1.1.3 成熟：商用數(shù)據(jù)倉庫與數(shù)據(jù)倉庫建模理論  /13
1.2 大數(shù)據(jù)處理技術(shù)與數(shù)據(jù)倉庫/20
1.2.1 大數(shù)據(jù)處理技術(shù)的起源  /21
1.2.2 分布式技術(shù)  /22
1.2.3 經(jīng)典大數(shù)據(jù)處理架構(gòu)  /28
1.2.4 湖倉一體  /29
1.3 數(shù)據(jù)倉庫發(fā)展趨勢 /31
1.3.1 云原生與分布式  /31
1.3.2 大數(shù)據(jù)與數(shù)據(jù)庫一體化  /33
1.3.3 彈性與Serverless 擴容計費  /34
1.3.4 智能化  /36
1.3.5 數(shù)據(jù)共享與安全可信  /37
第2章 數(shù)據(jù)倉庫與云計算/39
2.1 云計算時代數(shù)據(jù)倉庫的發(fā)展 /40
2.1.1 基礎(chǔ)設(shè)施服務(wù)化  /40
2.1.2 數(shù)據(jù)倉庫服務(wù)化  /43
2.2 云計算時代數(shù)據(jù)倉庫技術(shù)的機遇與挑戰(zhàn) /45
2.2.1 高彈性和平臺成本之間的權(quán)衡  /45
2.2.2 穩(wěn)定性挑戰(zhàn)  /46
2.2.3 計算存儲帶寬瓶頸  /47
2.2.4 安全的挑戰(zhàn)  /47
2.3 云原生數(shù)據(jù)倉庫的技術(shù)特點 /48
2.3.1 存算分離與資源池化  /48
2.3.2 超融合基礎(chǔ)架構(gòu)  /49
2.3.3 高可用  /49
2.3.4 自服務(wù)  /49
2.3.5 分層架構(gòu)與彈性擴展  /50
2.3.6 數(shù)據(jù)實時性與多級一致性  /50
2.3.7 數(shù)據(jù)開放性與共享  /51
2.3.8 計算多樣性  /51
第3章 云原生數(shù)據(jù)倉庫架構(gòu)/53
3.1 設(shè)計理念/54
3.1.1 充分利用云資源  /54
3.1.2 縱向解耦與橫向彈性  /54
3.1.3 一體化數(shù)據(jù)處理  /55
3.2 參考架構(gòu)/56
3.3 典型云原生數(shù)據(jù)倉庫/ 58
3.3.1 Redshift / 58
3.3.2 Snowflake / 63
3.3.3 BigQuery / 69
3.3.4 Databricks / 72
3.3.5 AnalyticDB / 74
3.4 云原生數(shù)據(jù)倉庫比較/77
3.4.1 存算分離  /77
3.4.2 彈性能力與可擴展性  /77
3.4.3 Serverless 支持 / 78
3.4.4 計算模型  /78
3.4.5 ACID 語義  /78
3.4.6 生態(tài)兼容  /79
第4章 計算引擎關(guān)鍵技術(shù)/80
4.1 執(zhí)行模型/ 81
4.1.1 迭代模型  /81
4.1.2 物化模型  /82
4.1.3 批處理模型 /83
4.2 單機執(zhí)行模型/ 84
4.2.1 執(zhí)行模型  /84
4.2.2 典型執(zhí)行算子  /85
4.2.3 執(zhí)行算子優(yōu)化  /87
4.3 分布式執(zhí)行框架/ 91
4.3.1 MPP 架構(gòu) / 91
4.3.2 BSP /94
4.4 典型交互模式/ 98
4.4.1 批處理 / 99
4.4.2 交互式  /101
4.4.3 實時檢索  /102
4.4.4 機器學(xué)習(xí)  /103
4.5 AnalyticDB計算引擎實踐/104
4.5.1 AnalyticDB 的執(zhí)行模型  /105
4.5.2 AnalyticDB 的計算資源調(diào)度  /111
4.5.3 AnalyticDB 混合負(fù)載管理  /117
第5章 優(yōu)化器關(guān)鍵技術(shù)/123
5.1 優(yōu)化技術(shù)分類/124
5.2 成熟優(yōu)化器模型/125
5.2.1 分層搜索  /125
5.2.2 統(tǒng)一搜索  /126
5.3 深入CBO/133
5.3.1 代價模型與參數(shù)估計  /133
5.3.2 動態(tài)抽樣  /140
5.3.3 查詢重優(yōu)化  /143
5.4 AnalyticDB優(yōu)化器實踐/150
5.4.1 主體框架  /150
5.4.2 統(tǒng)計信息管理  /152
5.4.3 湖倉一體優(yōu)化器  /157
第6章 數(shù)據(jù)倉庫存儲關(guān)鍵技術(shù)/158
6.1 湖倉架構(gòu)/159
6.1.1 Azure、AWS 和Open Data Lakehouse / 160
6.1.2 Hudi、IceBerg 和Delta Lake  /165
6.2 數(shù)據(jù)倉庫存儲架構(gòu)/172
6.2.1 單機存儲架構(gòu)  /172
6.2.2 分布式共享存儲  /173
6.3 典型存儲格式/175
6.3.1 行存儲  /176
6.3.2 列存儲  /177
6.3.3 行列混合存儲  /178
6.4 關(guān)鍵數(shù)據(jù)結(jié)構(gòu)、索引與壓縮技術(shù)/ 180
6.4.1 數(shù)據(jù)結(jié)構(gòu)  /180
6.4.2 索引實現(xiàn)  /186
6.4.3 典型壓縮算法  /197
6.5 數(shù)據(jù)分區(qū)技術(shù)/204
6.5.1 哈希分區(qū)  /205
6.5.2 Range 分區(qū) / 206
6.5.3 其他數(shù)據(jù)分布模式  /207
6.5.4 數(shù)據(jù)冷熱分層及生命周期管理 /208
6.6 數(shù)據(jù)一致性和可用性/209
6.6.1 數(shù)據(jù)一致性概念與分級  /210
6.6.2 二階段提交  /212
6.6.3 多版本并發(fā)控制  /213
6.6.4 分布式一致性協(xié)議  /215
6.6.5 數(shù)據(jù)可用性  /219
6.6.6 數(shù)據(jù)實時性  /220
6.6.7 備份恢復(fù)  /221
第7章 資源管理與調(diào)度/223
7.1 云上資源調(diào)度的挑戰(zhàn)與機遇/224
7.1.1 Serverless 的服務(wù)級別協(xié)議 / 224
7.1.2 多租戶系統(tǒng)  /224
7.1.3 預(yù)測模型  /225
7.2 典型資源調(diào)度框架/225
7.2.1 Yarn/Yarn2  /225
7.2.2 Mesos  /229
7.2.3 Kubernetes  /232
7.3 AnalyticDB資源調(diào)度實踐/238
7.3.1 云庫存調(diào)度 / 238
7.3.2 資源利用率  /240
7.3.3 按需彈性  /245
第8章 AnalyticDB云上應(yīng)用實踐/247
8.1 實例創(chuàng)建/248
8.2 數(shù)據(jù)接入/250
8.2.1 Serverless 的服務(wù)級別協(xié)議 / 250
8.2.2 數(shù)據(jù)導(dǎo)入方式介紹  /250
8.2.3 數(shù)據(jù)導(dǎo)入性能優(yōu)化  /254
8.3 數(shù)據(jù)類型和基本操作/257
8.3.1 數(shù)據(jù)類型 / 257
8.3.2 系統(tǒng)函數(shù)  /257
8.3.3 物化視圖  /258
8.3.4 全文檢索 / 259
8.3.5 DDL  /262
8.3.6 DML  /263
8.3.7 DQL  /263
8.3.8 DCL / 264
8.3.9 元數(shù)據(jù)庫數(shù)據(jù)字典  /264
8.4 查詢優(yōu)化/264
8.4.1 智能診斷與調(diào)優(yōu) / 264
8.4.2 調(diào)優(yōu)查詢  /270
8.5 運維管理/276
8.5.1 工作負(fù)載管理  /276
8.5.2 監(jiān)控與報警  /277
8.5.3 安全管理  /277
8.5.4 備份與恢復(fù)  /279
8.5.5 變配與擴容 / 279
8.5.6 維護(hù)時間與運維事件  /281
8.5.7 數(shù)據(jù)資產(chǎn)管理  /282
8.5.8 標(biāo)簽管理 / 283
8.6 最佳實踐/283
8.6.1 數(shù)據(jù)資產(chǎn)管理  /283
8.6.2 數(shù)據(jù)變更最佳實踐  /286
8.6.3 數(shù)據(jù)查詢最佳實踐  /287
8.6.4 負(fù)載管理最佳實踐  /287
8.7 典型應(yīng)用場景/290
8.7.1 實時數(shù)據(jù)倉庫 / 290
8.7.2 精準(zhǔn)營銷  /290
8.7.3 商業(yè)智能報表  /290
8.7.4 多源聯(lián)合分析  /291
8.7.5 交互式查詢  /291
參考文獻(xiàn)/292