123,123

內(nèi)容簡(jiǎn)介

　　Apache Kylin是Hadoop大數(shù)據(jù)平臺(tái)上的一個(gè)開(kāi)源OLAP引擎，將大數(shù)據(jù)的查詢速度和并發(fā)性能提升至原來(lái)的百倍以上，為超大規(guī)模數(shù)據(jù)集上的交互式大數(shù)據(jù)分析打開(kāi)了大門(mén)。本書(shū)由Apache Kylin核心團(tuán)隊(duì)編寫(xiě)，系統(tǒng)地介紹了Apache Kylin安裝、入門(mén)、調(diào)優(yōu)、可視化、運(yùn)維管理、流式計(jì)算、Spark構(gòu)建、擴(kuò)展開(kāi)發(fā)、跟主流云平臺(tái)的集成，以及經(jīng)典案例等方面，是目前市面上學(xué)習(xí)Apache Kylin的材料。本書(shū)第1章和第2章是基本概念和快速入門(mén)，為初學(xué)者打下堅(jiān)實(shí)基礎(chǔ)。第3章和第4章介紹基本的Cube優(yōu)化手段和增量構(gòu)建。第5章展示豐富的查詢接口和其上的可視化能力。第6章介紹了基于CubePlanner的自動(dòng)優(yōu)化的核心算法和原理。第7章是進(jìn)階的流式準(zhǔn)實(shí)時(shí)構(gòu)建，以將構(gòu)建的批次間隔縮短到分鐘級(jí)。第8章介紹如何使用Spark進(jìn)行Cube構(gòu)建，以及如何調(diào)優(yōu)性能。第9章通過(guò)介紹若干Kylin的重點(diǎn)案例，幫助讀者理解Kylin的使用場(chǎng)景和重要價(jià)值。第10章介紹可擴(kuò)展架構(gòu)和二次開(kāi)發(fā)接口，適合高級(jí)開(kāi)發(fā)者。第11章則介紹企業(yè)級(jí)功能、用戶的認(rèn)證和授權(quán)相關(guān)知識(shí)。第12章著重于問(wèn)題的排查診斷、日常的運(yùn)維管理，以及如何通過(guò)社區(qū)獲得幫助等內(nèi)容。第13章分別以AWS，微軟Azure和阿里云為例，介紹如何在主流云平臺(tái)上部署和使用Kylin。第14章說(shuō)明如何參與和貢獻(xiàn)到開(kāi)源項(xiàng)目。第15章介紹了Apache Kylin的未來(lái)發(fā)展方向。

作者簡(jiǎn)介

　　本書(shū)在2016年一稿撰寫(xiě)的時(shí)候，Kylin核心團(tuán)隊(duì)剛剛加入新成立的Kyligence 公司，一切從頭開(kāi)始，當(dāng)時(shí)把寫(xiě)書(shū)當(dāng)作了頭等大事，整個(gè)六人團(tuán)隊(duì)都參與了其中：韓卿、李棟、李揚(yáng)、馬洪賓、史少鋒、仲儉，署名“Apache Kylin 核心團(tuán)隊(duì)”。三年后，Kyligence 已經(jīng)發(fā)展到一百多人；在更新第二版的時(shí)候，更多年輕小伙伴加入了進(jìn)來(lái)，包括新Kylin Committer／contributor 陳志雄、龍超、翟娜、孫宇婕；BI 專家：何京珂、湯雪；解決方案專家馮禮、李森輝、宗正；技術(shù)支持工程師周丁倩，以及市場(chǎng)部美女編輯符云霞等；此外還有許多同事參與了書(shū)稿的審閱。他們都義務(wù)將自己的業(yè)余時(shí)間貢獻(xiàn)出來(lái)，歷時(shí)數(shù)月完成書(shū)稿的更新、修正和校對(duì)。

圖書(shū)目錄

推薦序 \n
前　言 \n
第1章　Apache Kylin概述1 \n
1.1　背景和歷史1 \n
1.2　Apache Kylin的使命3 \n
1.2.1　為什么要使用Apache Kylin3 \n
1.2.2　Apache Kylin怎樣解決關(guān)鍵問(wèn)題4 \n
1.3　Apache Kylin的工作原理5 \n
1.3.1　維度和度量簡(jiǎn)介5 \n
1.3.2　Cube和Cuboid6 \n
1.3.3　工作原理7 \n
1.4　Apache Kylin的技術(shù)架構(gòu)7 \n
1.5　Apache Kylin的主要特點(diǎn)9 \n
1.5.1　標(biāo)準(zhǔn)SQL接口9 \n
1.5.2　支持超大數(shù)據(jù)集10 \n
1.5.3　亞秒級(jí)響應(yīng)10 \n
1.5.4　可伸縮性和高吞吐率10 \n
1.5.5　BI及可視化工具集成11 \n
1.6　與其他開(kāi)源產(chǎn)品的比較11 \n
1.7　小結(jié)13 \n
第2章　快速入門(mén) 14 \n
2.1　核心概念 14 \n
2.1.1　數(shù)據(jù)倉(cāng)庫(kù)、OLAP與BI14 \n
2.1.2　維度建模15 \n
2.1.3　事實(shí)表和維度表16 \n
2.1.4　維度和度量16 \n
2.1.5　Cube、Cuboid和Cube Segment16 \n
2.2　在Hive中準(zhǔn)備數(shù)據(jù) 17 \n
2.2.1　多維數(shù)據(jù)模型17 \n
2.2.2　維度表的設(shè)計(jì) 17 \n
2.2.3　Hive表分區(qū) 18 \n
2.2.4　了解維度的基數(shù) 18 \n
2.2.5　樣例數(shù)據(jù)18 \n
2.3　安裝和啟動(dòng)Apache Kylin19 \n
2.3.1　環(huán)境準(zhǔn)備19 \n
2.3.2　必要組件19 \n
2.3.3　啟動(dòng)Apache Kylin19 \n
2.4　設(shè)計(jì)Cube 19 \n
2.4.1　導(dǎo)入Hive表定義19 \n
2.4.2　創(chuàng)建數(shù)據(jù)模型21 \n
2.4.3　創(chuàng)建Cube23 \n
2.5　構(gòu)建Cube 32 \n
2.5.1　全量構(gòu)建和增量構(gòu)建34 \n
2.5.2　歷史數(shù)據(jù)刷新35 \n
2.5.3　合并36 \n
2.6　查詢Cube 38 \n
2.6.1　Apache Kylin查詢介紹38 \n
2.6.2　查詢下壓40 \n
2.7　SQL參考 41 \n
2.8　小結(jié)41 \n
第3章　Cube優(yōu)化42 \n
3.1　Cuboid剪枝優(yōu)化42 \n
3.1.1　維度的組合42 \n
3.1.2　檢查Cuboid數(shù)量43 \n
3.1.3　檢查Cube大小45 \n
3.1.4　空間與時(shí)間的平衡46 \n
3.2　剪枝優(yōu)化工具47 \n
3.2.1　使用衍生維度47 \n
3.2.2　聚合組49 \n
3.2.3　必需維度51 \n
3.2.4　層級(jí)維度51 \n
3.2.5　聯(lián)合維度52 \n
3.3　并發(fā)粒度優(yōu)化54 \n
3.4　Rowkey優(yōu)化55 \n
3.4.1　調(diào)整Rowkey順序55 \n
3.4.2　選擇合適的維度編碼56 \n
3.4.3　按維度分片57 \n
3.5　Top_N度量?jī)?yōu)化58 \n
3.6　Cube Planner優(yōu)化61 \n
3.7　其他優(yōu)化62 \n
3.7.1　降低度量精度62 \n
3.7.2　及時(shí)清理無(wú)用Segment63 \n
3.8　小結(jié)63 \n
第4章　增量構(gòu)建64 \n
4.1　為什么要增量構(gòu)建64 \n
4.2　設(shè)計(jì)增量Cube66 \n
4.2.1　設(shè)計(jì)增量Cube的條件66 \n
4.2.2　增量Cube的創(chuàng)建67 \n
4.3　觸發(fā)增量構(gòu)建69 \n
4.3.1　Web GUI觸發(fā)69 \n
4.3.2　構(gòu)建相關(guān)的REST API70 \n
4.4　管理Cube碎片76 \n
4.4.1　合并Segment76 \n
4.4.2　自動(dòng)合并77 \n
4.4.3　保留Segment79 \n
4.4.4　數(shù)據(jù)持續(xù)更新79 \n
4.5　小結(jié)80 \n
第5章　查詢和可視化81 \n
5.1　Web GUI81 \n
5.1.1　查詢81 \n
5.1.2　顯示結(jié)果82 \n
5.2　REST API84 \n
5.2.1　查詢認(rèn)證85 \n
5.2.2　查詢請(qǐng)求參數(shù)85 \n
5.2.3　查詢返回結(jié)果86 \n
5.3　ODBC87 \n
5.4　JDBC90 \n
5.4.1　獲得驅(qū)動(dòng)包90 \n
5.4.2　認(rèn)證90 \n
5.4.3　URL格式90 \n
5.4.4　獲取元數(shù)據(jù)信息91 \n
5.5　Tableau集成91 \n
5.5.1　連接Kylin數(shù)據(jù)源92 \n
5.5.2　設(shè)計(jì)數(shù)據(jù)模型93 \n
5.5.3　“Live”連接93 \n
5.5.4　自定義SQL94 \n
5.5.5　可視化展現(xiàn)94 \n
5.5.6　發(fā)布到Tableau Server95 \n
5.6　Zeppelin集成95 \n
5.6.1　Zeppelin架構(gòu)簡(jiǎn)介95 \n
5.6.2　KylinInterpreter的工作原理96 \n
5.6.3　如何使用Zeppelin訪問(wèn)Kylin96 \n
5.7　Superset 集成98 \n
5.7.1　下載Kylinpy98 \n
5.7.2　安裝Superset99 \n
5.7.3　在Superset中添加Kylin Database100 \n
5.7.4　在Superset中添加Kylin Table100 \n
5.7.5　在Superset中創(chuàng)建圖表103 \n
5.7.6　在Superset中通過(guò)SQL Lab探索Kylin105 \n
5.8　QlikView 集成106 \n
5.8.1　連接Kylin數(shù)據(jù)源106 \n
5.8.2　“Direct Query”連接107 \n
5.8.3　創(chuàng)建可視化109 \n
5.8.4　發(fā)布到QlikView Server110 \n
5.9　Qlik Sense集成110 \n
5.9.1　連接Kylin數(shù)據(jù)源110 \n
5.9.2　“Direct Query”連接112 \n
5.9.3　創(chuàng)建可視化114 \n
5.9.4　發(fā)布到Qlik Sense Hub115 \n
5.9.5　在Qlik Sense Hub中連接Kylin數(shù)據(jù)源117 \n
5.10　Redash集成118 \n
5.10.1　連接Kylin數(shù)據(jù)源118 \n
5.10.2　新建查詢119 \n
5.10.3　新建儀表盤(pán)121 \n
5.11　MicroStrategy 集成122 \n
5.11.1　創(chuàng)建數(shù)據(jù)庫(kù)實(shí)例123 \n
5.11.2　導(dǎo)入邏輯表124 \n
5.11.3　創(chuàng)建屬性、事實(shí)和度量124 \n
5.11.4　創(chuàng)建報(bào)告124 \n
5.11.5　MicroStrategy連接Kylin最佳實(shí)踐126 \n
5.12　小結(jié)127 \n
第6章　Cube Planner及儀表盤(pán)128 \n
6.1　Cube Planner128 \n
6.1.1　為什么要引入Cube Planner128 \n
6.1.2　Cube Planner 算法介紹129 \n
6.1.3　使用Cube Planner131 \n
6.2　System Cube134 \n
6.2.1　開(kāi)啟System Cube134 \n
6.2.2　構(gòu)建和更新System Cube135 \n
6.3　儀表盤(pán)135 \n
6.4　小結(jié)137 \n
第7章　流式構(gòu)建138 \n
7.1　為什么要進(jìn)行流式構(gòu)建139 \n
7.2　準(zhǔn)備流式數(shù)據(jù)139 \n
7.2.1　數(shù)據(jù)格式139 \n
7.2.2　消息隊(duì)列140 \n
7.2.3　創(chuàng)建Schema141 \n
7.3　設(shè)計(jì)流式Cube144 \n
7.3.1　創(chuàng)建Model144 \n
7.3.2　創(chuàng)建Cube145 \n
7.4　流式構(gòu)建原理147 \n
7.5　觸發(fā)流式構(gòu)建150 \n
7.5.1　單次觸發(fā)構(gòu)建151 \n
7.5.2　自動(dòng)化多次觸發(fā)152 \n
7.5.3　初始化構(gòu)建起點(diǎn)152 \n
7.5.4　其他操作153 \n
7.5.5　出錯(cuò)處理153 \n
7.6　小結(jié)154 \n
第8章　使用Spark155 \n
8.1　為什么要引入Apache Spark155 \n
8.2　Spark構(gòu)建原理156 \n
8.3　使用Spark構(gòu)建Cube158 \n
8.3.1　配置Spark引擎1