Hadoop大數(shù)據(jù)開發(fā)案例教程與項(xiàng)目實(shí)戰(zhàn)（在線實(shí)驗(yàn)+在線自測）

基礎(chǔ)篇
第1章　Hadoop概述　1
1．1　Hadoop簡介　1
1．2　Hadoop相關(guān)項(xiàng)目　2
1．3　Hadoop來源　3
1．4　Hadoop的發(fā)展史　4
1．5　Hadoop特點(diǎn)　5
1．6　Hadoop體系架構(gòu)　6
1．6．1　HDFS體系結(jié)構(gòu)　7
1．6．2　MapReduce體系結(jié)構(gòu)　7
本章小結(jié)　8
習(xí)題　8
第2章　Hadoop基礎(chǔ)環(huán)境配置　9
2．1　準(zhǔn)備Linux環(huán)境　9
2．1．1　安裝VMware12虛擬機(jī)　9
2．1．2　部署CentOS 64位操作系統(tǒng)　11
2．2　Linux配置　16
2．2．1　什么是Linux　16
2．2．2　Linux發(fā)行版　16
2．2．3　配置網(wǎng)絡(luò)　16
2．2．4　Linux終端　17
2．3　Hadoop環(huán)境搭建　21
2．3．1　JDK安裝和測試　21
2．3．2　Hadoop安裝和配置　25
2．3．3　SSH免密碼配置　31
本章小結(jié)　33
習(xí)題　34
第3章　分布式存儲HDFS　35
3．1　HDFS概念　35
3．1．1　HDFS簡介　35
3．1．2　HDFS設(shè)計(jì)思路和理念　35
3．2　HDFS體系結(jié)構(gòu)　36
3．3　HDFS文件存儲機(jī)制　36
3．4　HDFS Shell介紹　39
3．4．1　命令格式　39
3．4．2　HDFS用戶命令　40
3．4．3　HDFS管理員命令　40
3．5　Hadoop項(xiàng)目創(chuàng)建　47
3．6　RPC通信原理　53
3．6．1　什么是Hadoop的RPC　53
3．6．2　RPC采用的模式　53
3．7　分布式文件系統(tǒng)操作類　59
本章小結(jié)　69
習(xí)題　69
第4章　計(jì)算系統(tǒng)MapReduce　70
4．1　MapReduce概念　70
4．1．1　MapReduce簡介　70
4．1．2　MapReduce 數(shù)據(jù)類型與格式　71
4．1．3　數(shù)據(jù)類型Writable接口　71
4．1．4　Hadoop序列化機(jī)制　72
4．2　MapReduce架構(gòu)　72
4．2．1　數(shù)據(jù)分片　72
4．2．2　MapReduce執(zhí)行過程　73
4．2．3　Mapper執(zhí)行過程　73
4．2．4　Reducer執(zhí)行過程　74
4．2．5　Shuffle過程　75
4．3　第一個(gè)MapReduce案例　75
4．4　MapReduce接口類　79
4．4．1　MapReduce輸入的處理類　79
4．4．2　MapReduce輸出的處理類　80
本章小結(jié)　87
習(xí)題　87
第5章　計(jì)算模型Yarn　88
5．1　Yarn概述　88
5．1．1　Yarn簡介　88
5．1．2　Yarn的組成　89
5．2　Yarn的執(zhí)行過程　89
5．3　新舊MapReduce的對比　90
本章小結(jié)　101
習(xí)題　101
第6章　數(shù)據(jù)云盤　102
6．1　項(xiàng)目概述　102
6．2　功能需求　102
6．3　軟件開發(fā)需求　102
6．4　效果展示　103
6．5　系統(tǒng)開發(fā)　104
本章小結(jié)　125
習(xí)題　125
提高篇
第7章　協(xié)調(diào)系統(tǒng)Zookeeper　126
7．1　Zookeeper概述　126
7．1．1　Zookeeper簡介　126
7．1．2　Zookeeper數(shù)據(jù)模型　127
7．1．3　Zookeeper特征　127
7．1．4　Zookeeper工作原理　128
7．2　Zookeeper術(shù)語　129
7．2．1　節(jié)點(diǎn)　129
7．2．2　角色　129
7．2．3　順序號　129
7．2．4　觀察　129
7．2．5　Leader選舉　129
7．3　事件　130
7．4　Zookeeper Shell操作　130
7．4．1　Zookeeper服務(wù)命令　130
7．4．2　Zookeeper客戶端命令　134
7．5　Zookeeper API操作　137
本章小結(jié)　156
習(xí)題　156
第8章　Hadoop數(shù)據(jù)庫Hbase　157
8．1　Hbase概述　157
8．1．1　Hbase簡介　157
8．1．2　Hbase優(yōu)勢和特點(diǎn)　158
8．1．3　Hbase專業(yè)術(shù)語　158
8．2　Hbase架構(gòu)　158
8．2．1　角色　159
8．2．2　Hbase物理存儲和邏輯視圖　160
8．3　Hbase Shell操作　163
8．4　Hbase API操作　168
8．5　Hbase 過濾器　182
8．5．1　過濾器的含義　182
8．5．2　過濾器的比較操作符　182
8．5．3　過濾器的比較器　183
本章小結(jié)　193
習(xí)題　193
第9章　Hadoop數(shù)據(jù)倉庫Hive　194
9．1　Hive概述　194
9．1．1　Hive簡介　194
9．1．2　Hive數(shù)據(jù)類型　194
9．1．3　Hive Metastore　195
9．1．4　Hive存儲和壓縮　195
9．1．5　Hive與傳統(tǒng)數(shù)據(jù)庫對比　195
9．2　Hive的系統(tǒng)架構(gòu)　196
9．3　Hive的數(shù)據(jù)模型　200
9．3．1　內(nèi)部表　200
9．3．2　外部表　200
9．3．3　分區(qū)表　201
9．3．4　桶表　201
9．4　Hive Shell操作　201
9．5　Hive API操作　208
9．6　Hive內(nèi)置函數(shù)和UDF　215
9．6．1　內(nèi)置函數(shù)　215
9．6．2　UDF函數(shù)　215
本章小結(jié)　222
習(xí)題　222
第10章　Hadoop數(shù)據(jù)采集Flume　223
10．1　Flume概述　223
10．1．1　Flume簡介　223
10．1．2　Flume核心概念　223
10．1．3　Flume 系統(tǒng)要求　224
10．2　Flume架構(gòu)　224
10．3　Flume常見操作命令　225
10．4　Flume環(huán)境搭建　226
10．4．1　設(shè)置一個(gè)Agent　226
10．4．2　啟動(dòng)Agent　226
本章小結(jié)　231
習(xí)題　231
第11章　OTA離線數(shù)據(jù)分析平臺　232
11．1　項(xiàng)目概述　232
11．2　功能需求　233
11．3　軟件開發(fā)關(guān)鍵技術(shù)　233
11．4　效果展示　233
11．5　平臺搭建與測試　233
11．5．1　配置ssh免密碼登錄　233
11．5．2　配置JDK　234
11．5．3　配置Hadoop　236
11．5．4　配置Hive　242
11．6　數(shù)據(jù)收集　247
11．6．1　解壓Flume　247
11．6．2　修改配置文件　248
11．6．3　啟動(dòng)Flume　248
11．6．4　校驗(yàn)數(shù)據(jù)　248
11．7　數(shù)據(jù)分析　249
11．7．1　數(shù)據(jù)清洗　249
11．7．2　ETL編程　256
11．7．3　業(yè)務(wù)分析　261
11．7．4　配置Sqoop　264
11．7．5　從HDFS導(dǎo)出數(shù)據(jù)至MySQL　267
11．8　數(shù)據(jù)展示　268
11．8．1　搭建Web開發(fā)環(huán)境　268
11．8．2　添加代碼　272
11．8．3　項(xiàng)目結(jié)構(gòu)　282
11．8．4　啟動(dòng)Tomcat　283
11．8．5　訪問Web頁面　283
本章小結(jié)　283
習(xí)題　284