Hadoop大數(shù)據(jù)分析

第1部分 Hadoop核心基礎(chǔ)
第1章 Hadoop簡(jiǎn)介 2
1.1 Hadoop產(chǎn)生背景 2
1.2 Hadoop簡(jiǎn)要?dú)v史 3
1.3 Hadoop生態(tài)系統(tǒng)組件 3
1.4 Hadoop版本和商用支持 5
1.5 Hadoop的基礎(chǔ)環(huán)境配置 6
1.6 Hadoop的安裝 7
1.7 Hadoop的配置 11
1.8 Hadoop的運(yùn)行 14
小結(jié) 19
習(xí)題 19
第2章 HDFS文件系統(tǒng) 20
2.1 HDFS簡(jiǎn)介 20
2.2 HDFS架構(gòu) 20
2.3 HDFS文件塊 21
2.4 HDFS常用操作 22
小結(jié) 24
習(xí)題 24
第3章 YARN資源管理 25
3.1 YARN架構(gòu) 25
3.2 YARN調(diào)度策略 26
3.3 YARN常用操作 28
小結(jié) 30
習(xí)題 31
第4章 MapReduce計(jì)算框架 32
4.1 MapReduce原理 32
4.2 MapReduce作業(yè)數(shù)據(jù)流 33
4.3 Hadoop流處理 35
4.4 MapReduce程序?qū)崿F(xiàn)詞頻
統(tǒng)計(jì) 35
4.5 MapReduce程序的Reducer
數(shù)量 40
4.6 MapReduce程序的Combiner 41
4.7 MapReduce程序?qū)崿F(xiàn)數(shù)據(jù)
連接 43
小結(jié) 49
習(xí)題 49
第2部分 Hive數(shù)據(jù)倉(cāng)庫(kù)
第5章 Hive簡(jiǎn)介 52
5.1 Hive概述 52
5.2 Hive的安裝 53
5.3 Hive的運(yùn)行 56
小結(jié) 59
習(xí)題 59
第6章 Hive數(shù)據(jù)定義 60
6.1 數(shù)據(jù)庫(kù)操作 60
6.2 數(shù)據(jù)表基本操作 62
6.3 存儲(chǔ)格式和行格式 65
6.4 數(shù)據(jù)類型 67
6.5 外部表 70
6.6 分區(qū)表 72
小結(jié) 74
習(xí)題 74

第7章 Hive數(shù)據(jù)操作 75
7.1 數(shù)據(jù)導(dǎo)入 75
7.2 數(shù)據(jù)插入 78
7.3 數(shù)據(jù)導(dǎo)出 82
小結(jié) 84
習(xí)題 84
第8章 Hive數(shù)據(jù)查詢 85
8.1 基本查詢 85
8.2 數(shù)據(jù)聚合 87
8.3 數(shù)據(jù)連接 90
小結(jié) 92
習(xí)題 93
第3部分 Spark數(shù)據(jù)分析
第9章 Spark簡(jiǎn)介 96
9.1 Spark概述 96
9.2 Spark原理 97
9.3 Spark的安裝 98
9.4 Spark運(yùn)行方式 99
9.5 Spark運(yùn)行位置 101
9.6 Spark運(yùn)行參數(shù) 104
小結(jié) 104
習(xí)題 104
第10章 Spark大數(shù)據(jù)處理 105
10.1 數(shù)據(jù)框的創(chuàng)建 105
10.2 數(shù)據(jù)框的選擇 107
10.3 數(shù)據(jù)框的運(yùn)算和聚合 110
10.4 數(shù)據(jù)框的增加、刪除
和修改 114
10.5 數(shù)據(jù)框的連接 116
10.6 數(shù)據(jù)框的變形 119
小結(jié) 120
習(xí)題 120
第11章 Spark機(jī)器學(xué)習(xí)流程 121
11.1 數(shù)據(jù)探索 122
11.2 數(shù)據(jù)劃分 123
11.3 數(shù)據(jù)填充 124
11.4 類別變量處理 125
11.5 特征選擇 128
11.6 建模與調(diào)優(yōu) 131
11.7 測(cè)試與評(píng)估 133
小結(jié) 135
習(xí)題 135
第12章 Spark有監(jiān)督學(xué)習(xí)模型 136
12.1 線性回歸模型 140
12.2 邏輯回歸模型 142
12.3 決策樹(shù)模型 145
12.4 隨機(jī)森林模型 152
12.5 神經(jīng)網(wǎng)絡(luò) 158
12.6 協(xié)同過(guò)濾 163
小結(jié) 166
習(xí)題 166
第13章 Spark無(wú)監(jiān)督學(xué)習(xí)模型 167
13.1 k均值聚類模型 168
13.2 主成分分析模型 172
13.3 關(guān)聯(lián)分析模型 173
小結(jié) 176
習(xí)題 176