Presto技術(shù)內(nèi)幕

第一部分 基礎(chǔ)篇第 1 章 Presto概述21.1 Presto 背景及發(fā)展21.2 Presto 特點(diǎn)21.3 基本概念31.3.1 Presto 服務(wù)進(jìn)程31.3.2 Presto 模型41.3.3 Presto 查詢執(zhí)行模型 51.4 Presto 整體架構(gòu)91.4.1 硬件架構(gòu)91.4.2 軟件架構(gòu)91.5 小結(jié)11第 2 章 Presto 安裝與部署122.1 環(huán)境說明 122.2 準(zhǔn)備工作132.2.1 建立 SSH 信任關(guān)系132.2.2 安裝 Java 172.2.3 安裝 Maven 172.2.4 安裝 Hive 182.3 源碼編譯212.3.1 下載源碼 212.3.2 源碼結(jié)構(gòu)說明 222.3.3 編譯 262.4 部署 302.4.1 服務(wù)部署 302.4.2 客戶端部署 382.4.3 JDBC 使用 402.5 小結(jié) 42第二部分 核心設(shè)計篇第 3 章 Presto RESTful 框架解析 443.1 Statement 服務(wù)接口 443.2 Query 服務(wù)接口 473.3 Stage 服務(wù)接口483.4 Task 服務(wù)接口493.5 小結(jié) 52第 4 章 提交查詢 534.1 提交查詢的步驟 534.2 源碼解析 534.3 提交查詢的流程 604.4 小結(jié) 61第 5 章 生成查詢執(zhí)行計劃 625.1 基本概念 635.1.1 Node 635.1.2 Metadata API 675.2 詞法與語法分析 685.2.1 語法規(guī)則 695.2.2 詞法分析 695.2.3 語法分析 715.3 獲取 QueryExecution 725.3.1 獲取 QueryExecutionFactory 725.3.2 創(chuàng)建 QueryExecution 735.3.3 啟動 QueryExecution 745.4 語義分析 775.4.1 Statement 分析 775.4.2 Relation 分析845.4.3 表達(dá)式分析 915.5 執(zhí)行計劃生成915.5.1 執(zhí)行計劃節(jié)點(diǎn) 915.5.2 SQL 執(zhí)行計劃935.5.3 Relation 執(zhí)行計劃955.5.4 Query 執(zhí)行計劃 995.6 執(zhí)行計劃優(yōu)化1025.6.1 ImplementSampleAsFilter 1025.6.2 CanonicalizeExpressions 1025.6.3 SimplifyExpressions 1025.6.4 UnaliasSymbolReferences 1035.6.5 PruneRedundantProjections 1035.6.6 SetFlatteningOptimizer 1035.6.7 LimitPushDown 1045.6.8 PredicatePushDown 1045.6.9 MergeProjections 1045.6.10 ProjectionPushDown 1045.6.11 IndexJoinOptimizer1055.6.12 CountConstantOptimizer 1055.6.13 WindowFilterPushDown 1055.6.14 HashGenerationOptimizer 1055.6.15 PruneUnreferencedOutputs 1065.6.16 MetadataQueryOptimizer 1065.6.17 SingleDistinctOptimizer 1065.6.18 BeginTableWrite 1065.6.19 AddExchanges 1075.6.20 PickLayout 1075.7 執(zhí)行計劃分段1075.7.1 Source 1075.7.2 Fixed 1075.7.3 Single 1075.7.4 Coordinator_only 1075.8 示例1085.8.1 Count 執(zhí)行計劃1085.8.2 Join 執(zhí)行計劃1085.9 小結(jié)110第 6 章 查詢調(diào)度 1116.1 生成調(diào)度執(zhí)行器 1116.2 查詢調(diào)度過程 1136.2.1 NodeManager 1146.2.2 NodeSelector 1156.3 小結(jié) 118第 7 章 查詢執(zhí)行 1197.1 查詢執(zhí)行邏輯 1207.2 Task 調(diào)度1207.2.1 Source Task 調(diào)度1207.2.2 Fixed Task 調(diào)度1267.2.3 Single Task 調(diào)度 1287.2.4 Coordinator_Only Task 調(diào)度 1287.3 Task 執(zhí)行1297.3.1 創(chuàng)建 Task 1297.3.2 更新 Task 1357.3.3 運(yùn)行 Task 1407.4 小結(jié) 147第 8 章 隊(duì)列 1488.1 配置說明 1488.1.1 queues 隊(duì)列定義1498.1.2 rules 規(guī)則定義 1498.2 隊(duì)列加載 1508.3 隊(duì)列匹配 1518.4 小結(jié) 154第 9 章 System Connector 1559.1 System Connector 使用1559.1.1 Information_schema 1559.1.2 Metadata 1579.1.3 Runtime 1579.2 System Connector 實(shí)現(xiàn)1599.2.1 Information_schema 實(shí)現(xiàn)1609.2.2 System Connector 實(shí)現(xiàn)1639.3 小結(jié) 168第 10 章 Hive Connector 16910.1 與 Hive 的結(jié)合 17010.2 Split 分片管理  17510.3 數(shù)據(jù)讀取17910.4 Create Table As Select 的實(shí)現(xiàn) 18210.5 小結(jié)186第 11 章 Kafka Connector 18711.1 認(rèn)識 Kafka Connector 18711.1.1 配置18711.1.2 配置屬性18711.1.3 內(nèi)置字段18911.1.4 表定義文件19011.1.5 Kafka 中的 key 和 message 19111.1.6 行解碼19211.1.7 日期和時間解碼器19411.1.8 文本解碼器19411.1.9 數(shù)值解碼器19411.2 Kafka 連接器使用教程19411.2.1 安裝 Apache Kafka19511.2.2 下載數(shù)據(jù)19511.2.3 在 Presto 中配置 Kafka topics 19711.2.4 基本數(shù)據(jù)查詢19711.2.5 添加表定義文件19911.2.6 將 message 中所有值映射到不同列20011.2.7 使用實(shí)時數(shù)據(jù)20211.3 Kafka Connector 獲取數(shù)據(jù) 20711.3.1 Split 分片管理20711.3.2 數(shù)據(jù)讀取20911.4 小結(jié)210第 12 章 Connector 開發(fā)21112.1 創(chuàng)建 Maven 工程 21112.2 注冊 Plugin 21312.3 Connector 21312.4 Metadata 21512.5 SplitManager 21712.6 RecordSetProvider 21812.7 小結(jié) 219第 13 章 Functions 開發(fā)22013.1 Function 注冊 22013.2 窗口函數(shù) 22513.3 聚合函數(shù) 22913.4 小結(jié) 232第三部分 高級篇第 14 章 JD-Presto 功能改造23414.1 PDBO 功能開發(fā)23414.1.1 JDBC Split 剖析23514.1.2 JdbcRecordCursor 剖析 23814.1.3 分批次讀取實(shí)現(xiàn)原理 24014.1.4 動態(tài)步長實(shí)現(xiàn)原理 24314.1.5 條件下發(fā) 24514.1.6 PDBO 配置定義 24714.2 DDL 及 DML 支持 25014.2.1 Hive 連接器 Insert 功能 25014.2.2 Hive 連接器 CTAS 動態(tài)分區(qū)表功能 25214.3 動態(tài)增加、修改、刪除 Catalog 25414.3.1 目的 25414.3.2 現(xiàn)狀 25414.3.3 實(shí)現(xiàn) 25514.3.4 效果 25814.4 小結(jié) 258第 15 章 Presto 性能調(diào)優(yōu)25915.1 合理設(shè)計分區(qū) 25915.2 Group By 字句優(yōu)化 25915.3 使用模糊聚合函數(shù) 25915.4 合并多條 Like 子句為一條 regexp_like 子句26015.5 大表放在 Join 子句左邊26015.6 關(guān)閉 distributed hash join 26115.7 使用 ORC 存儲 26115.8 小結(jié) 262第 16 章 Presto 應(yīng)用場景 26316.1 ETL 26316.2 實(shí)時數(shù)據(jù)計算26416.3 Ad-Hoc 查詢26616.4 實(shí)時數(shù)據(jù)流分析26616.5 小結(jié)268附錄 A 常見問題及解決辦法269A.1 同時訪問兩個 Hadoop 集群269A.2 Kafka 集群重啟后無法獲取數(shù)據(jù)272A.3 Task exceeded max memory size 277A.4 SQL 中 In 子句太長導(dǎo)致棧溢出錯誤278A.5 高并發(fā)導(dǎo)致大量查詢出錯279附錄 B Presto 配置參數(shù)說明 282附錄 C Presto 執(zhí)行信息說明289