大數(shù)據(jù)Spark企業(yè)級實(shí)戰(zhàn)

第1章　Spark編程模型 1
1.1 Spark：一體化、多元化的高速
大數(shù)據(jù)通用計(jì)算平臺和庫 1
1.1.1 為什么需要使用Spark 5
1.1.2 Spark技術(shù)生態(tài)系統(tǒng)簡介 9
1.2 Spark大數(shù)據(jù)處理框架 20
1.2.1 Spark速度為何如此之快 20
1.2.2 RDD：分布式函數(shù)式編程 24
1.3 Spark子框架解析 28
1.3.1 圖計(jì)算框架Spark GraphX 28
1.3.2 實(shí)時流處理框架
（Spark Streaming） 41
1.3.3 交互式SQL處理框架
Spark SQL 46
1.3.4 機(jī)器學(xué)習(xí)框架
（Spark MLlib） 49
第2章　構(gòu)建Spark分布式集群 55
2.1 搭建Hadoop單機(jī)版本和偽
分布式開發(fā)環(huán)境 55
2.1.1 開發(fā)Hadoop需要的基本
軟件 56
2.1.2 安裝每個軟件 58
2.1.3 配置Hadoop單機(jī)模式并
運(yùn)行Wordcount示例 76
2.1.4 配置Hadoop偽分布模式
并運(yùn)行Wordcount示例 84
2.2 搭建 Hadoop分布式集群 92
2.2.1 在VMWare 中準(zhǔn)備第二、
第三臺運(yùn)行Ubuntu系統(tǒng)的
機(jī)器 92
2.2.2 按照配置偽分布式模式
的方式配置新創(chuàng)建運(yùn)行
Ubuntu系統(tǒng)的機(jī)器 93
2.2.3 配置Hadoop分布式集群
環(huán)境 94
2.2.4 測試Hadoop分布式集群
環(huán)境 105
2.3 Spark集群的動手搭建 108
2.3.1 Spark集群需要的軟件 108
2.3.2 安裝每個軟件 110
2.3.3 啟動并查看集群的狀況 116
2.4 構(gòu)建Hadoop單機(jī)版本和偽
分布式環(huán)境 120
2.4.1 通過Spark的shell測試
Spark的工作 121
2.4.2 使用Spark的cache機(jī)制
觀察一下效率的提升 125
第3章　Spark開發(fā)環(huán)境及其測試 129
3.1 搭建和設(shè)置IDEA開發(fā)環(huán)境 129
3.1.1 構(gòu)建Spark的IDE開發(fā)
環(huán)境 129
3.1.2 配置Spark的IDE開發(fā)
環(huán)境 132
3.2 測試IDEA環(huán)境 146
3.3 實(shí)戰(zhàn)：在IDEA中開發(fā)代碼，
并運(yùn)行在Spark集群中 148
第4章　Spark RDD與編程API
實(shí)戰(zhàn) 159
4.1 深度解析Spark RDD 159
4.2 Transformation Operations
動手實(shí)戰(zhàn) 165
4.3 Action Operations動手實(shí)戰(zhàn) 175
4.4 Spark API綜合實(shí)戰(zhàn) 179
第5章　Spark運(yùn)行模式深入解析 191
5.1 Spark運(yùn)行模式概述 192
5.1.1 Spark的運(yùn)行模式列表 196
5.1.2 Spark的基本工作流程 197
5.2 Standalone模式 201
5.2.1 部署及程序運(yùn)行 202
5.2.2 內(nèi)部實(shí)現(xiàn)原理 206
5.3 Yarn-Cluster模式 234
5.3.1 部署及程序運(yùn)行 235
5.3.2 內(nèi)部實(shí)現(xiàn)原理 237
5.4 Yarn-Client模式 243
5.4.1 部署及運(yùn)行程序 243
5.4.2 內(nèi)部實(shí)現(xiàn)原理 244
第6章　Spark內(nèi)核解析 247
6.1 Spark內(nèi)核初探 247
6.1.1 Spark內(nèi)核核心術(shù)語解析 247
6.1.2 Spark集群概覽 250
6.1.3 Spark核心組件 251
6.1.4 Spark任務(wù)調(diào)度系統(tǒng)初見 252
6.2 Spark內(nèi)核核心源碼解讀 256
6.2.1 SparkContext核心源碼
解析初體驗(yàn) 256
6.2.2 TaskSceduler啟動源碼
解析初體驗(yàn) 260
6.2.3 DAGScheduler源碼解讀
初體驗(yàn) 261
6.2.4 Spark的Web監(jiān)控頁面 262
6.3 以RDD的count操作為例觸發(fā)
Job全生命周期源碼研究 263
6.4 Akka驅(qū)動下的Driver、
Master、Worker 276
6.4.1 Driver中的AppClient
源碼解析 276
6.4.2 AppClient注冊Master 279
6.4.3 Worker中Executor啟動
過程源代碼解析 282
第7章　GraphX大規(guī)模圖計(jì)算與
圖挖掘?qū)崙?zhàn) 287
7.1 Spark GraphX概覽 288
7.2 Spark GraphX設(shè)計(jì)實(shí)現(xiàn)的
核心原理 291
7.3 Table operator和Graph
Operator 295
7.4 Vertices、edges、triplets 296
7.5 以最原始的方式構(gòu)建graph 299
7.6 動手編寫第一個Graph代碼
實(shí)例并進(jìn)行Vertices、edges、
triplets操作 299
7.7 在Spark集群上使用文件中
的數(shù)據(jù)加載成為graph并進(jìn)
行操作 310
7.8 在Spark集群上掌握比較重
要的圖操作 320
7.9 Spark GraphX圖算法 342
7.10 淘寶對Spark GraphX的大
規(guī)模使用 347
第8章　Spark SQL原理與實(shí)戰(zhàn) 349
8.1 為什么使用Spark SQL 349
8.1.1 Spark SQL的發(fā)展歷程 349
8.1.2 Spark SQL的性能 351
8.2 Spark SQL運(yùn)行架構(gòu) 355
8.2.1 Tree和Rule 357
8.2.2 sqlContext的運(yùn)行過程 360
8.2.3 hiveContext的運(yùn)行過程 362
8.2.4 catalyst優(yōu)化器 365
8.3 解析Spark SQL組件 367
8.3.1 LogicalPlan 367
8.3.2 SqlParser 370
8.3.3 Analyzer 378
8.3.4 Optimizer 381
8.4 深入了解Spark SQL運(yùn)行
的計(jì)劃 383
8.4.1 hive/console的安裝過程
和原理 383
8.4.2 常用操作 386
8.4.3 不同數(shù)據(jù)源的運(yùn)行計(jì)劃 388
8.4.4 不同查詢的運(yùn)行計(jì)劃 391
8.4.5 查詢的優(yōu)化 393
8.5 搭建測試環(huán)境 396
8.5.1 搭建虛擬集群（Hadoop1、
Hadoop2、Hadoop3） 397
8.5.2 搭建客戶端 398
8.5.3 文件數(shù)據(jù)的準(zhǔn)備工作 399
8.5.4 Hive數(shù)據(jù)的準(zhǔn)備工作 399
8.6 Spark SQL之基礎(chǔ)應(yīng)用 400
8.6.1 sqlContext的基礎(chǔ)應(yīng)用 402
8.6.2 hiveContext的基礎(chǔ)應(yīng)用 405
8.6.3 混合使用 408
8.6.4 緩存的使用 409
8.6.5 DSL的使用 410
8.7 ThriftServer和CLI 411
8.7.1 令人驚訝的CLI 411
8.7.2 ThriftServer 414
8.8 Spark SQL之綜合應(yīng)用 418
8.8.1 店鋪分類 419
8.8.2 PageRank 421
8.9 Spark SQL之調(diào)優(yōu) 424
8.9.1 并行性 424
8.9.2 高效的數(shù)據(jù)格式 425
8.9.3 內(nèi)存的使用 427
8.9.4 合適的Task 428
8.9.5 其他的一些建議 428
第9章　Machine Learning on
Spark 431
9.1 Spark MLlib機(jī)器學(xué)習(xí) 431
9.1.1 機(jī)器學(xué)習(xí)快速入門 432
9.1.2 Spark MLlib介紹 442
9.1.3 Spark MLlib架構(gòu)解析 447
9.1.4 Spark Mllib核心解析 458
9.2 MLlib經(jīng)典算法解析和案例
實(shí)戰(zhàn) 462
9.2.1 Linear Regression解析和
實(shí)戰(zhàn) 462
9.2.2 K-Means解析和實(shí)戰(zhàn) 484
9.2.3 協(xié)同過濾算法分析和案例
實(shí)戰(zhàn) 502
9.3 MLLib其他常用算法解析
和代碼實(shí)戰(zhàn) 552
9.3.1 Basic Statics解析和實(shí)戰(zhàn) 553
9.3.2 MLlib樸素貝葉斯解析和
實(shí)戰(zhàn) 560
9.3.3 MLlib決策樹解析和實(shí)戰(zhàn) 562
第10章　Tachyon文件系統(tǒng) 565
10.1 Tachyon文件系統(tǒng)概述 565
10.1.1 Tachyon文件系統(tǒng)簡介 565
10.1.2 HDFS與Tachyon 566
10.1.3 Tachyon設(shè)計(jì)原理 568
10.2 Tachyon入門 568
10.2.1 Tachyon部署 568
10.2.2 Tachyon API的使用 570
10.2.3 在MapReduce、Spark
上使用Tachyon 572
10.3 Tachyon深度解析 573
10.3.1 Tachyon整體設(shè)計(jì)概述 573
10.3.2 Tachyon Master啟動流
程分析 574
10.3.3 Tachyon Worker啟動流
程分析 577
10.3.4 客戶端讀寫文件源碼分析 577
10.4 Tachyon配置參數(shù)一覽 579
10.5 小結(jié) 580
第11章　Spark Streaming原理
與實(shí)戰(zhàn) 581
11.1 Spark Streaming原理 581
11.1.1 原理和運(yùn)行場景 581
11.1.2 編程模型DStream 584
11.1.3 持