Spark SQL內(nèi)核剖析

第 1 章 Spark SQL 背景
1．1 大數(shù)據(jù)與 Spark 系統(tǒng)
1．2 關(guān)系模型與 SQL 語(yǔ)言
1．3 Spark SQL 發(fā)展歷程
1．4 本章小結(jié)
第 2 章 Spark 基礎(chǔ)知識(shí)介紹
2．1 RDD 編程模型
2．2 DataFrame 與 Dataset
2．3 本章小結(jié)
第 3 章 Spark SQL 執(zhí)行全過(guò)程概述
3．1 從 SQL 到 RDD：一個(gè)簡(jiǎn)單的案例
3．2 重要概念
3．2．1 InternalRow 體系
3．2．2 TreeNode 體系
3．2．3 Expression 體系
3．3 內(nèi)部數(shù)據(jù)類型系統(tǒng)
3．4 本章小結(jié)
第 4 章 Spark SQL 編譯器 Parser
4．1 DSL 工具之 ANTLR 簡(jiǎn)介
4．1．1 基于 ANTLR 4 的計(jì)算器
4．1．2 訪問(wèn)者模式
4．2 SparkSqlParser 之 AstBuilder
4．3 常見 SQL 生成的抽象語(yǔ)法樹概覽
4．4 本章小結(jié)
第 5 章 Spark SQL 邏輯計(jì)劃（LogicalPlan）
5．1 Spark SQL 邏輯計(jì)劃概述
5．2 LogicalPlan 簡(jiǎn)介
5．2．1 QueryPlan 概述
5．2．2 LogicalPlan 基本操作與分類
5．2．3 LeafNode 類型的 LogicalPlan
5．2．4 UnaryNode 類型的 LogicalPlan
5．2．5 BinaryNode 類型的 LogicalPlan
5．2．6 其他類型的 LogicalPlan
5．3 AstBuilder 機(jī)制：Unresolved LogicalPlan 生成
5．4 Analyzer 機(jī)制：Analyzed LogicalPlan 生成
5．4．1 Catalog 體系分析
5．4．2 Rule 體系
5．4．3 Analyzed LogicalPlan 生成過(guò)程
5．5 Spark SQL 優(yōu)化器 Optimizer
5．5．1 Optimizer 概述
5．5．2 Optimizer 規(guī)則體系
5．5．3 Optimized LogicalPlan 的生成過(guò)程
5．6 本章小結(jié)
第 6 章 Spark SQL 物理計(jì)劃（PhysicalPlan）
6．1 Spark SQL 物理計(jì)劃概述
6．2 SparkPlan 簡(jiǎn)介
6．2．1 LeafExecNode 類型
6．2．2 UnaryExecNode 類型
6．2．3 BinaryExecNode 類型
6．2．4 其他類型的 SparkPlan
6．3 Metadata 與 Metrics 體系
6．4 Partitioning 與 Ordering 體系
6．4．1 Distribution 與 Partitioning 的概念
6．4．2 SparkPlan 的常用分區(qū)排序操作
6．5 SparkPlan 生成
6．5．1 物理計(jì)劃 Strategy 體系
6．5．2 常見 Strategy 分析
6．6 執(zhí)行前的準(zhǔn)備
6．6．1 PlanSubqueries 規(guī)則
6．6．2 EnsureRequirements 規(guī)則
6．7 本章小結(jié)
第 7 章 Spark SQL 之 Aggregation 實(shí)現(xiàn)
7．1 Aggregation 執(zhí)行概述
7．1．1 文法定義
7．1．2 聚合語(yǔ)句 Unresolved LogicalPlan 生成
7．1．3 從邏輯算子樹到物理算子樹
7．2 聚合函數(shù)（AggregateFunction）
7．2．1 聚合緩沖區(qū)與聚合模式（AggregateMode）
7．2．2 DeclarativeAggregate 聚合函數(shù)
7．2．3 ImperativeAggregate 聚合函數(shù)
7．2．4 TypedImperativeAggregate 聚合函數(shù)
7．3 聚合執(zhí)行
7．3．1 執(zhí)行框架 AggregationIterator
7．3．2 基于排序的聚合算子 SortAggregateExec
7．3．3 基于 Hash 的聚合算子 HashAggregateExec
7．4 窗口（Window）函數(shù)
7．4．1 窗口函數(shù)定義與簡(jiǎn)介
7．4．2 窗口函數(shù)相關(guān)表達(dá)式
7．4．3 窗口函數(shù)的邏輯計(jì)劃階段與物理計(jì)劃階段
7．4．4 窗口函數(shù)的執(zhí)行
7．5 多維分析
7．5．1 OLAP 多維分析背景
7．5．2 Spark SQL 多維查詢
7．5．3 多維分析 LogicalPlan 階段
7．5．4 多維分析 PhysicalPlan 與執(zhí)行
7．6 本章小結(jié)
第 8 章 Spark SQL 之 Join 實(shí)現(xiàn)
8．1 Join 查詢概述
8．2 文法定義與抽象語(yǔ)法樹
8．3 Join 查詢邏輯計(jì)劃
8．3．1 從 AST 到 Unresolved LogicalPlan
8．3．2 從 Unresolve LogicalPlan 到 Analyzed LogicalPlan
8．3．3 從 Analyzed LogicalPlan 到 Optimized LogicalPlan
8．4 Join 查詢物理計(jì)劃
8．4．1 Join 物理計(jì)劃的生成
8．4．2 Join 物理計(jì)劃的選取
8．5 Join 查詢執(zhí)行
8．5．1 Join 執(zhí)行基本框架
8．5．2 BroadcastJoinExec 執(zhí)行機(jī)制
8．5．3 ShuffledHashJoinExec 執(zhí)行機(jī)制
8．5．4 SortMergeJoinExec 執(zhí)行機(jī)制
8．6 本章小結(jié)
第 9 章 Tungsten 技術(shù)實(shí)現(xiàn)
9．1 內(nèi)存管理與二進(jìn)制處理
9．1．1 Spark 內(nèi)存管理基礎(chǔ)
9．1．2 Tungsten 內(nèi)存管理優(yōu)化基礎(chǔ)
9．1．3 Tungsten 內(nèi)存優(yōu)化應(yīng)用
9．2 緩存敏感計(jì)算（Cache-aware computation）
9．3 動(dòng)態(tài)代碼生成（Code generation）
9．3．1 漫談代碼生成
9．3．2 Janino 編譯器實(shí)踐
9．3．3 基本（表達(dá)式）代碼生成
9．3．4 全階段代碼生成（WholeStageCodegen）
9．4 本章小結(jié)
第 10 章 Spark SQL 連接 Hive
10．1 Spark SQL 連接 Hive 概述
10．2 Hive 相關(guān)的規(guī)則和策略
10．2．1 HiveSessionCatalog 體系
10．2．2 Analyzer 之 Hive-Specific 分析規(guī)則
10．2．3 SparkPlanner 之 Hive-Specific 轉(zhuǎn)換策略
10．2．4 Hive 相關(guān)的任務(wù)執(zhí)行
10．3 Spark SQL 與 Hive 數(shù)據(jù)類型
10．3．1 Hive 數(shù)據(jù)類型與 SerDe 框架
10．3．2 DataTypeToInspector 與 Data Wrapping
10．3．3 InspectorToDataType 與 Data Unwrapping
10．4 Hive UDF 管理機(jī)制
10．5 Spark Thrift Server 實(shí)現(xiàn)
10．5．1 Service 體系
10．5．2 Operation 與 OperationManager
10．5．3 Session 與 SessionManager
10．5．4 Authentication 安全認(rèn)證管理
10．5．5 Spark Thrift Server 執(zhí)行流程
10．6 本章小結(jié)
第 11 章 Spark SQL 開發(fā)與實(shí)踐
11．1 騰訊大數(shù)據(jù)平臺(tái)（TDW）簡(jiǎn)介
11．2 騰訊大數(shù)據(jù)平臺(tái) SQL 引擎（TDW-SQL-Engine）
11．2．1 SQL-Engine 背景與演化歷程
11．2．2 SQL-Engine 整體架構(gòu)
11．3 TDW-Spark SQL 開發(fā)與優(yōu)化
11．3．1 業(yè)務(wù)運(yùn)行支撐框架
11．3．2 新功能開發(fā)案例
11．3．3 性能優(yōu)化開發(fā)案例
11．4 業(yè)務(wù)實(shí)踐經(jīng)驗(yàn)與教訓(xùn)
11．4．1 Spark SQL 集群管理的經(jīng)驗(yàn)
11．4．2 Spark SQL 業(yè)務(wù)層面調(diào)優(yōu)
11．4．3 SQL 寫法的“陷阱”
11．5 本章小結(jié)
總結(jié)
參考文獻(xiàn)