Spark Streaming：實(shí)時(shí)流處理入門(mén)與精通

目?錄
第1章?Spark和Spark Streaming的安裝與配置\t1
安裝Spark\t2
硬件需求\t2
軟件需求\t4
安裝Spark擴(kuò)展――Spark Streaming\t7
配置和運(yùn)行Spark集群\t8
你的第一個(gè)Spark程序\t11
用Scala編碼Spark作業(yè)\t12
用Java開(kāi)發(fā)Spark作業(yè)\t15
管理員/開(kāi)發(fā)者工具\(yùn)t18
集群管理 \t18
提交Spark作業(yè)\t19
故障定位 \t20
配置端口號(hào) \t20
類(lèi)路徑問(wèn)題――類(lèi)沒(méi)有發(fā)現(xiàn) \t20
其他常見(jiàn)異常\t20
總結(jié)\t21
第2章?Spark和Spark Streaming的體系結(jié)構(gòu)與組件\t23
批處理和實(shí)時(shí)數(shù)據(jù)處理的比較\t24
批處理\t24
實(shí)時(shí)數(shù)據(jù)處理\t26
Spark的體系結(jié)構(gòu)\t28
Spark對(duì)比Hadoop\t28
Spark的層次化結(jié)構(gòu)\t29
Spark Streaming的體系結(jié)構(gòu)\t31
Spark Streaming是什么\t32
Spark Streaming的上層體系結(jié)構(gòu)\t32
你的第一個(gè)Spark Streaming程序\t34
用Scala編碼Spark Streaming作業(yè)\t34
用Java編碼Spark Streaming作業(yè)\t37
客戶(hù)端程序\t39
打包和部署一個(gè)Spark Streaming作業(yè)\t41
總結(jié)\t43
第3章?實(shí)時(shí)處理分布式日志文件\t45
Spark的封裝結(jié)構(gòu)和客戶(hù)端API\t46
Spark內(nèi)核\t48
Spark庫(kù)及擴(kuò)展\t54
彈性分布式數(shù)據(jù)集及離散流\t58
彈性分布式數(shù)據(jù)集\t59
離散流\t63
從分布的、多樣的數(shù)據(jù)源中加載數(shù)據(jù)\t65
Flume 框架\t67
Flume的安裝和配置\t69
配置Spark以接收Flume事件\t73
封裝和部署Spark Streaming作業(yè)\t77
分布式日志文件處理的總體架構(gòu)\t77
總結(jié)\t78
第4章?在流數(shù)據(jù)中應(yīng)用Transformation\t79
理解并應(yīng)用Transformation功能\t80
模擬日志流\t80
功能操作\t82
轉(zhuǎn)換操作\t89
窗口操作\t91
性能調(diào)優(yōu)\t94
分塊和并行化\t94
序列化\t94
Spark內(nèi)存調(diào)優(yōu)\t95
總結(jié)\t97
第5章?日志分析數(shù)據(jù)的持久化\t99
Spark Streaming的輸出操作\t100
集成Cassandra\t110
安裝和配置Apache Cassandra\t110
配置Spark\t112
通過(guò)編寫(xiě)Spark作業(yè)將流式網(wǎng)頁(yè)日志存入Cassandra\t113
總結(jié)\t120
第6章?與Spark高級(jí)庫(kù)集成\t121
實(shí)時(shí)查詢(xún)流數(shù)據(jù)\t122
了解Spark SQL\t122
集成Spark SQL與流數(shù)據(jù)\t129
圖的分析――Spark GraphX\t135
GraphX API介紹\t137
集成Spark Streaming\t140
總結(jié)\t147
第7章?產(chǎn)品部署\t149
Spark部署模式\t150
部署在Apache Mesos上\t151
部署在Hadoop或者YARN上\t156
高可用性和容錯(cuò)性\t160
單機(jī)模式下的高可用性\t160
Mesos或者YARN下的高可用性\t162
容錯(cuò)性\t162
Streaming 作業(yè)的監(jiān)聽(tīng)\t166
應(yīng)用程序UI界面/作業(yè)UI界面\t166
與其他監(jiān)控工具的集成\t169
總結(jié)\t170