Hadoop+Spark+Python大數(shù)據(jù)處理從算法到實戰(zhàn)

第1篇 入門篇
第 1 章 初識大數(shù)據(jù) 002
1.2 如何處理與分析大數(shù)據(jù) 004
1.3 大數(shù)據(jù)的產(chǎn)業(yè)應(yīng)用 008
第2篇 準備篇
第 2 章 萬丈高樓平地起，使用 Docker 作地基 011
2.1 初識 Docker 011
2.2 搭建 Docker 運行環(huán)境 016
2.3 Docker 操作鏡像 029
2.4 Docker 操作容器 036
2.5 Docker 私有倉庫 045
2.6 Docker Compose 編排容器046
2.7 Portainer 可視化工具 053
2.8 實訓(xùn)：構(gòu)建 Nginx 鏡像并創(chuàng)建容器 055
第 3 章 　團隊合作好，使用 Kubernetes 來協(xié)調(diào) 057
3.1 初識 Kubernetes057
3.2 搭建集群 063
3.4 Kubernetes Dashboard 管理工具 079
3.5 實訓(xùn)：在集群中部署 Nginx 服務(wù)器集群 084
第3篇 技法篇
第 4 章 　筑高樓，需利器，使用 Hadoop 做核心 088
4.1 Hadoop 簡介 088
4.2 HDFS 分布式文件系統(tǒng) 092
4.3 任務(wù)調(diào)度與資源管理器 YARN 097
4.4 MapReduce 分布式計算框架104
4.5 Hadoop 環(huán)境搭建 113
4.6 Hadoop 常用操作命令 127
4.7 實訓(xùn)：在容器中部署 Hadoop集群 130
第 5 章 　空間要靈活，使用 HBase 來管理 136
5.1 初識 HBase 136
5.2 HBase 環(huán)境搭建144
5.3 HBase Shell 操作 152
5.4 HBase Thrift 編程接口 160
5.5 Region 的拆分與合并 162
5.6 實訓(xùn)：構(gòu)建訂單管理表 165
第 6 章 　數(shù)據(jù)需要規(guī)劃，使用 Hive 建倉庫169
6.1 初識 Hive 169
6.2 Hive 環(huán)境搭建 171
6.3 Hive 數(shù)據(jù)庫與表 176
6.4 表的類型 183
6.5　分桶查詢與排序 188
6.6 Sqoop 數(shù)據(jù)的導(dǎo)入導(dǎo)出 190
6.7 Hive Thrift 編程接口192
6.8　實訓(xùn)：構(gòu)建訂單分析數(shù)據(jù)倉庫 193
第 7 章 　處理要夠快，使用 Spark 196
7.1 Spark 概述 196
7.2 Spark 核心原理 199
7.3 Spark 環(huán)境搭建 202
7.4　提交 Spark 應(yīng)用 206
7.5　實訓(xùn)：在容器中部署 Spark集群 209
第 8 章 　數(shù)據(jù)無結(jié)構(gòu)，使用 RDD 212
8.1 RDD 設(shè)計原理 212
8.2 RDD 編程 216
8.3　鍵值對 RDD 224
8.4　讀寫文件 230
8.5　集成 HBase 232
8.6　編程進階 234
8.7　實訓(xùn)：分析商品銷售情況 240
第 9 章 　數(shù)據(jù)有結(jié)構(gòu)，使用 SQL 語句 245
9.1 Spark SQL 概述 245
9.2　創(chuàng)建 DataFrame 對象 249
9.3 DataFrame 常用的 API 254
9.4　保存 DataFrame 262
9.5　實訓(xùn)：分析公司銷售業(yè)績 264
第 10 章 　Spark 流式計算編程 268
10.1　流計算簡介 268
10.2 Discretized Stream 271
10.3 Structured Streaming 278
10.4　實訓(xùn)：實時統(tǒng)計貸款金額 293
第4篇 算法篇
第 11 章 　發(fā)掘數(shù)據(jù)價值，使用機器學(xué)習(xí)技術(shù)297
11.1　什么是機器學(xué)習(xí) 297
11.2 scikit-learn 機器學(xué)習(xí)庫303
11.3 Spark 機器學(xué)習(xí)庫 308
11.4　實訓(xùn)：簡單的情感分析 310
第 12 章 　處理分類問題313
12.1　分類問題概述 313
12.2　決策樹 .315
12.3　隨機森林 320
12.4 Logistic 回歸 325
12.5　支持向量機 329
12.6　貝葉斯 334
12.7　實訓(xùn)：判斷用戶是否購買該商品 337
第 13 章 　處理回歸問題 340
13.1　回歸問題概述 340
13.2　線性回歸與多項式回歸 342
13.3　決策樹回歸 347
13.4　實訓(xùn)：預(yù)測房價 352
第 14 章 　處理聚類問題 355
14.1　聚類問題概述 355
14.2　基于劃分聚類 356
14.3　基于模型聚類 359
14.4　實訓(xùn)：對客戶進行聚類 363
第 15 章 　關(guān)聯(lián)規(guī)則與協(xié)同過濾 365
15.1　關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘 365
15.2　協(xié)同過濾 368
15.3　實訓(xùn)：使用 Spark ALS 推薦菜單 371
第 16 章 　建立智能應(yīng)用 374
16.1　構(gòu)建簡單模型 374
16.2　自定義模型和自定義層 384
16.3　回調(diào) 386
16.4　保存與恢復(fù)模型 388
16.5　識別手寫字 391
16.6　實訓(xùn)：貓狗識別 394
第5篇 實戰(zhàn)篇
第 17 章 　綜合實戰(zhàn)：猜你喜歡401
17.1　項目背景與解決方案介紹 401
17.2　數(shù)據(jù)庫設(shè)計 403
17.3　推薦模型 404
17.4　前端網(wǎng)站 406
第 18 章 　綜合實戰(zhàn)：人臉識別416
18.1　項目背景與解決方案介紹 416
18.2　圖像采集 418
18.3　訓(xùn)練模型與識別人臉 422