Hadoop大數(shù)據(jù)挖掘從入門到進(jìn)階實(shí)戰(zhàn)（視頻教學(xué)版）

目錄
前言
第1章 集群及開(kāi)發(fā)環(huán)境搭建1
1.1 環(huán)境準(zhǔn)備1
1.1.1 基礎(chǔ)軟件下載1
1.1.2 準(zhǔn)備Linux操作系統(tǒng)2
1.2 安裝Hadoop4
1.2.1 基礎(chǔ)環(huán)境配置4
1.2.2 Zookeeper部署7
1.2.3 Hadoop部署9
1.2.4 效果驗(yàn)證21
1.2.5 集群架構(gòu)詳解24
1.3 Hadoop版Hello World25
1.3.1 Hadoop Shell介紹25
1.3.2 WordCount初體驗(yàn)27
1.4 開(kāi)發(fā)環(huán)境28
1.4.1 搭建本地開(kāi)發(fā)環(huán)境28
1.4.2 運(yùn)行及調(diào)試預(yù)覽31
1.5 小結(jié)34
第2章 實(shí)戰(zhàn)：快速構(gòu)建一個(gè)Hadoop項(xiàng)目并線上運(yùn)行35
2.1 構(gòu)建一個(gè)簡(jiǎn)單的項(xiàng)目工程35
2.1.1 構(gòu)建Java Project結(jié)構(gòu)工程35
2.1.2 構(gòu)建Maven結(jié)構(gòu)工程36
2.2 操作分布式文件系統(tǒng)（HDFS）39
2.2.1 基本的應(yīng)用接口操作39
2.2.2 在高可用平臺(tái)上的使用方法42
2.3 利用IDE提交MapReduce作業(yè)43
2.3.1 在單點(diǎn)上的操作43
2.3.2 在高可用平臺(tái)上的操作46
2.4 編譯應(yīng)用程序并打包51
2.4.1 編譯Java Project工程并打包51
2.4.2 編譯Maven工程并打包55
2.5 部署與調(diào)度58
2.5.1 部署應(yīng)用58
2.5.2 調(diào)度任務(wù)59
2.6 小結(jié)60
第3章 Hadoop套件實(shí)戰(zhàn)61
3.1 Sqoop——數(shù)據(jù)傳輸工具61
3.1.1 背景概述61
3.1.2 安裝及基本使用62
3.1.3 實(shí)戰(zhàn)：在關(guān)系型數(shù)據(jù)庫(kù)與分布式文件系統(tǒng)之間傳輸數(shù)據(jù)64
3.2 Flume——日志收集工具66
3.2.1 背景概述67
3.2.2 安裝與基本使用67
3.2.3 實(shí)戰(zhàn)：收集系統(tǒng)日志并上傳到分布式文件系統(tǒng)（HDFS）上72
3.3 HBase——分布式數(shù)據(jù)庫(kù)74
3.3.1 背景概述74
3.3.2 存儲(chǔ)架構(gòu)介紹75
3.3.3 安裝與基本使用75
3.3.4 實(shí)戰(zhàn)：對(duì)HBase業(yè)務(wù)表進(jìn)行增、刪、改、查操作79
3.4 Zeppelin——數(shù)據(jù)集分析工具85
3.4.1 背景概述85
3.4.2 安裝與基本使用85
3.4.3 實(shí)戰(zhàn)：使用解釋器操作不同的數(shù)據(jù)處理引擎88
3.5 Drill——低延時(shí)SQL查詢引擎92
3.5.1 背景概述93
3.5.2 安裝與基本使用93
3.5.3 實(shí)戰(zhàn)：對(duì)分布式文件系統(tǒng)（HDFS）使用SQL進(jìn)行查詢95
3.5.4 實(shí)戰(zhàn)：使用SQL查詢HBase數(shù)據(jù)庫(kù)99
3.5.5 實(shí)戰(zhàn)：對(duì)數(shù)據(jù)倉(cāng)庫(kù)（Hive）使用類實(shí)時(shí)統(tǒng)計(jì)、查詢操作101
3.6 Spark——實(shí)時(shí)流數(shù)據(jù)計(jì)算104
3.6.1 背景概述104
3.6.2 安裝部署及使用105
3.6.3 實(shí)戰(zhàn)：對(duì)接Kafka消息數(shù)據(jù)，消費(fèi)、計(jì)算及落地108
3.7 小結(jié)114
第4章 Hive編程——使用SQL提交MapReduce任務(wù)到Hadoop集群115
4.1 環(huán)境準(zhǔn)備與Hive初識(shí)115
4.1.1 背景介紹115
4.1.2 基礎(chǔ)環(huán)境準(zhǔn)備116
4.1.3 Hive結(jié)構(gòu)初識(shí)116
4.1.4 Hive與關(guān)系型數(shù)據(jù)庫(kù)（RDBMS）118
4.2 安裝與配置Hive118
4.2.1 Hive集群基礎(chǔ)架構(gòu)119
4.2.2 利用HAProxy實(shí)現(xiàn)Hive Server負(fù)載均衡120
4.2.3 安裝分布式Hive集群123
4.3 可編程方式126
4.3.1 數(shù)據(jù)類型126
4.3.2 存儲(chǔ)格式128
4.3.3 基礎(chǔ)命令129
4.3.4 Java編程語(yǔ)言操作數(shù)據(jù)倉(cāng)庫(kù)（Hive）131
4.3.5 實(shí)踐Hive Streaming134
4.4 運(yùn)維和監(jiān)控138
4.4.1 基礎(chǔ)命令138
4.4.2 監(jiān)控工具Hive Cube140
4.5 小結(jié)143
第5章 游戲玩家的用戶行為分析——特征提取144
5.1 項(xiàng)目應(yīng)用概述144
5.1.1 場(chǎng)景介紹144
5.1.2 平臺(tái)架構(gòu)與數(shù)據(jù)采集145
5.1.3 準(zhǔn)備系統(tǒng)環(huán)境和軟件147
5.2 分析與設(shè)計(jì)148
5.2.1 整體分析148
5.2.2 指標(biāo)與數(shù)據(jù)源分析149
5.2.3 整體設(shè)計(jì)151
5.3 技術(shù)選型153
5.3.1 套件選取簡(jiǎn)述154
5.3.2 套件使用簡(jiǎn)述154
5.4 編碼實(shí)踐157
5.4.1 實(shí)現(xiàn)代碼157
5.4.2 統(tǒng)計(jì)結(jié)果處理163
5.4.3 應(yīng)用調(diào)度169
5.5 小結(jié)174
第6章 Hadoop平臺(tái)管理與維護(hù)175
6.1 Hadoop分布式文件系統(tǒng)（HDFS）175
6.1.1 HDFS特性175
6.1.2 基礎(chǔ)命令詳解176
6.1.3 解讀NameNode Standby179
6.2 Hadoop平臺(tái)監(jiān)控182
6.2.1 Hadoop日志183
6.2.2 常用分布式監(jiān)控工具187
6.3 平臺(tái)維護(hù)196
6.3.1 安全模式196
6.3.2 節(jié)點(diǎn)管理198
6.3.3 HDFS快照200
6.4 小結(jié)203
第7章 Hadoop異常處理解決方案204
7.1 定位異常204
7.1.1 跟蹤日志204
7.1.2 分析異常信息208
7.1.3 閱讀開(kāi)發(fā)業(yè)務(wù)代碼209
7.2 解決問(wèn)題的方式210
7.2.1 搜索關(guān)鍵字211
7.2.2 查看Hadoop JIRA212
7.2.3 閱讀相關(guān)源碼213
7.3 實(shí)戰(zhàn)案例分析216
7.3.1 案例分析1：?jiǎn)?dòng)HBase失敗216
7.3.2 案例分析2：HBase表查詢失敗219
7.3.3 案例分析3：Spark的臨時(shí)數(shù)據(jù)不自動(dòng)清理222
7.4 小結(jié)223
第8章 初識(shí)Hadoop核心源碼224
8.1 基礎(chǔ)準(zhǔn)備與源碼編譯224
8.1.1 準(zhǔn)備環(huán)境224
8.1.2 加載源碼228
8.1.3 編譯源碼230
8.2 初識(shí)Hadoop 2233
8.2.1 Hadoop的起源233
8.2.2 Hadoop 2源碼結(jié)構(gòu)圖234
8.2.3 Hadoop模塊包235
8.3 MapReduce框架剖析236
8.3.1 第一代MapReduce框架236
8.3.2 第二代MapReduce框架238
8.3.3 兩代MapReduce框架的區(qū)別239
8.3.4 第二代MapReduce框架的重構(gòu)思路240
8.4 序列化241
8.4.1 序列化的由來(lái)242
8.4.2 Hadoop序列化243
8.4.3 Writable實(shí)現(xiàn)類245
8.5 小結(jié)247
第9章 Hadoop通信機(jī)制和內(nèi)部協(xié)議248
9.1 Hadoop RPC概述248
9.1.1 通信模型248
9.1.2 Hadoop RPC特點(diǎn)250
9.2 Hadoop R