大數(shù)據(jù)計算系統(tǒng)：原理、技術與應用

目　　錄
前言
第一部分　基礎
第1章　大數(shù)據(jù)計算系統(tǒng)概述2
1.1　大數(shù)據(jù)計算系統(tǒng)的定義2
1.1.1　大數(shù)據(jù)2
1.1.2　大數(shù)據(jù)計算4
1.1.3　大數(shù)據(jù)計算系統(tǒng)4
1.2　常見的大數(shù)據(jù)計算系統(tǒng)6
1.2.1　批處理計算框架Hadoop6
1.2.2　分布式計算框架Spark6
1.2.3　流計算系統(tǒng)Storm7
1.2.4　分布式圖計算框架GraphX7
1.2.5　大數(shù)據(jù)計算系統(tǒng)的對比7
1.3　大數(shù)據(jù)計算系統(tǒng)的監(jiān)控與
　　 運維概述7
1.3.1　概述7
1.3.2　監(jiān)控與運維的范圍8
1.3.3　大數(shù)據(jù)計算系統(tǒng)的監(jiān)控與
　　　　　　運維方法8
1.3.4　大數(shù)據(jù)計算系統(tǒng)的運維目標9
1.4　大數(shù)據(jù)計算系統(tǒng)的性能優(yōu)化10
1.4.1　提升大數(shù)據(jù)計算系統(tǒng)
　　　　　　性能的途徑10
1.4.2　提升大數(shù)據(jù)計算系統(tǒng)
　　　　　　性能的難度11
1.4.3　運維與性能優(yōu)化的關系12
習題112
第二部分　應用實現(xiàn)
第2章　Hadoop的配置與編程14
2.1　批處理計算框架概述14
2.1.1　計算框架14
2.1.2　批處理15
2.2　Hadoop環(huán)境的配置與搭建15
2.2.1　環(huán)境配置前的準備15
2.2.2　Hadoop安裝的預備知識16
2.2.3　本地/獨立模式的配置17
2.2.4　偽分布式模式的配置18
2.2.5　全分布式模式的配置20
2.3　一個簡單示例22
2.3.1　環(huán)境與數(shù)據(jù)的準備22
2.3.2　在IDEA下建立基于Maven
　　　　　　的Hadoop項目23
2.3.3　編寫WordCount程序26
2.3.4　Hadoop程序的運行過程與
　　　　　　結果查看29
2.4　MapReduce編程30
2.4.1　MapReduce計算模型30
2.4.2　MapReduce程序的運行過程32
2.4.3　去重38
習題241
第3章　HDFS及其應用42
3.1　HDFS概述42
3.2　HDFS Shell43
3.2.1　概述43
3.2.2　幫助的使用方法44
3.2.3　通用命令行操作45
3.3　HDFS目錄與數(shù)據(jù)的瀏覽47
3.4　HDFS API48
3.4.1　概述48
3.4.2　讀文件操作48
3.4.3　寫文件操作48
3.4.4　FileUtil文件處理49
3.4.5　HDFS API應用示例51
習題357
第4章　Spark的配置與編程58
4.1　Spark環(huán)境的安裝與部署59
4.1.1　Spark的安裝59
4.1.2　Scala的安裝60
4.1.3　Spark的源碼編譯61
4.1.4　搭建Spark單機版環(huán)境64
4.1.5　搭建Spark獨立運行環(huán)境66
4.1.6　搭建Spark on YARN環(huán)境68
4.1.7　Spark的高可用性部署70
4.2　Spark的運行72
4.2.1　Spark程序運行概述72
4.2.2　Spark的本地運行過程73
4.2.3　獨立運行模式74
4.2.4　Spark on YARN的運行過程75
4.2.5　獨立運行模式與YARN
　　　　　 模式的比較76
4.3　Spark Scala編程76
4.3.1　Scala的語法76
4.3.2　Scala編程入門82
4.3.3　Spark API的使用86
4.3.4　用Scala開發(fā)Spark應用
　　　　　 程序的案例88
4.3.5　程序運行過程的分析93
習題495
第5章　Storm的配置與編程96
5.1　流計算概述96
5.2　Storm概述98
5.2.1　什么是Storm98
5.2.2　Storm的特征98
5.3　Storm開發(fā)環(huán)境的搭建99
5.3.1　Storm環(huán)境的配置99
5.3.2　命令行客戶端102
5.3.3　IDEA下建立Storm的
　　　　　　Maven項目107
5.4　Storm編程109
5.4.1　可以與Storm集成的系統(tǒng)109
5.4.2　計算模型109
5.4.3　可以使用任何語言110
5.4.4　簡單的API110
5.5　Storm編程示例—單詞計數(shù)110
5.5.1　實現(xiàn)目標110
5.5.2　建立編寫程序的包名111
5.5.3　編寫spouts文件Word-
　　　　　　Reader112
5.5.4　編寫bolts文件Word-
　　　　　　Normalizer114
5.5.5　編寫bolts文件WordCounter115
5.5.6　編寫主函數(shù)文件Topologoy-
　　　　　　　Main116
5.5.7　通過主函數(shù)文件Topologoy-
　　　　　　Main運行程序117
習題5117
第6章　GraphX及其應用118
6.1　圖計算概述118
6.1.1　圖118
6.1.2　屬性圖119
6.1.3　圖計算119
6.1.4　支持圖計算的GraphX120
6.2　GraphX編程120
6.2.1　GraphX項目的導入120
6.2.2　GraphX中屬性圖的表達120
6.2.3　圖操作符121
6.3　GraphX編程示例126
6.3.1　一個簡單的GraphX示例126
6.3.2　GraphX應用編程—
　　　子圖發(fā)現(xiàn)129
6.3.3　GraphX應用編程—
　　　PageRank130
習題6132
第三部分　原理
第7章　Hadoop的原理134
7.1　Hadoop的體系結構134
7.2　MapReduce的工作機制135
7.2.1　背景135
7.2.2　計算的執(zhí)行流程137
7.2.3　計算的本地性138
7.3　MapReduce作業(yè)的運行機制139
7.3.1　經(jīng)典的MapReduce139
7.3.2　YARN145
7.4　作業(yè)的調(diào)