Hadoop大數(shù)據(jù)技術(shù)基礎(chǔ)與應(yīng)用

前言 \n
第1章 Hadoop技術(shù)概述1 \n
1.1 Hadoop的前世今生1 \n
1.1.1 Hadoop概述1 \n
1.1.2 Hadoop項(xiàng)目起源1 \n
1.1.3 Hadoop發(fā)展歷程2 \n
1.1.4 Hadoop名字起源2 \n
1.2 Hadoop生態(tài)系統(tǒng)簡介2 \n
1.3 Hadoop的優(yōu)勢及應(yīng)用領(lǐng)域4 \n
1.3.1 Hadoop的優(yōu)勢4 \n
1.3.2 Hadoop的應(yīng)用領(lǐng)域4 \n
1.4 Hadoop與云計(jì)算5 \n
1.4.1 云計(jì)算的概念及特點(diǎn)5 \n
1.4.2 Hadoop與云計(jì)算的關(guān)系6 \n
1.5 Hadoop與Spark6 \n
1.5.1 Spark的概念及特點(diǎn)6 \n
1.5.2 Hadoop與Spark的關(guān)系7 \n
1.6 Hadoop與傳統(tǒng)關(guān)系型數(shù)據(jù)庫7 \n
1.6.1 RDBMS的概念及特點(diǎn)7 \n
1.6.2 Hadoop與RDBMS的關(guān)系8 \n
1.7 案例實(shí)踐：搭建Hadoop運(yùn)行環(huán)境8 \n
1.7.1 搭建IDEA開發(fā)環(huán)境9 \n
1.7.2 搭建Linux虛擬機(jī)11 \n
1.7.3 搭建Hadoop偽分布式集群環(huán)境15 \n
1.8 本章小結(jié)21 \n
1.9 習(xí)題21 \n
第2章 Hadoop分布式文件系統(tǒng)（HDFS）22 \n
2.1 HDFS架構(gòu)設(shè)計(jì)與工作原理22 \n
2.1.1 HDFS概述22 \n
2.1.2 HDFS產(chǎn)生背景22 \n
2.1.3 HDFS設(shè)計(jì)理念23 \n
2.1.4 HDFS架構(gòu)23 \n
2.1.5 HDFS優(yōu)缺點(diǎn)26 \n
2.1.6 HDFS讀數(shù)據(jù)流程27 \n
2.1.7 HDFS寫數(shù)據(jù)流程28 \n
2.1.8 HDFS副本存放策略29 \n
2.2 HDFS的高可用31 \n
2.2.1 HA機(jī)制產(chǎn)生背景31 \n
2.2.2 HDFS的HA架構(gòu)32 \n
2.2.3 HDFS的HA機(jī)制33 \n
2.3 HDFS聯(lián)邦機(jī)制33 \n
2.4 HDFS Shell操作34 \n
2.4.1 HDFS Shell基本操作命令34 \n
2.4.2 HDFS Shell管理員操作命令35 \n
2.5 案例實(shí)踐：Shell定時(shí)上傳文件至HDFS37 \n
2.5.1 項(xiàng)目需求37 \n
2.5.2 實(shí)現(xiàn)思路37 \n
2.5.3 具體實(shí)現(xiàn)流程37 \n
2.6 本章小結(jié)38 \n
2.7 習(xí)題39 \n
第3章 Hadoop資源管理系統(tǒng)（YARN）40 \n
3.1 YARN的架構(gòu)設(shè)計(jì)與工作原理40 \n
3.1.1 YARN概述40 \n
3.1.2 YARN的作用41 \n
3.1.3 YARN的基本架構(gòu)41 \n
3.1.4 YARN的工作原理42 \n
3.2 MapReduce on YARN工作流程43 \n
3.3 YARN的容錯(cuò)性44 \n
3.4 YARN的高可用45 \n
3.5 YARN的調(diào)度器46 \n
3.5.1 先進(jìn)先出調(diào)度器46 \n
3.5.2 容量調(diào)度器47 \n
3.5.3 公平調(diào)度器47 \n
3.6 案例實(shí)踐：YARN調(diào)度器的配置與使用48 \n
3.6.1 啟用公平調(diào)度器48 \n
3.6.2 隊(duì)列配置48 \n
3.6.3 同步配置文件49 \n
3.6.4 重啟YARN集群49 \n
3.6.5 提交任務(wù)50 \n
3.6.6 查看任務(wù)50 \n
3.6.7 查看運(yùn)行結(jié)果50 \n
3.7 本章小結(jié)51 \n
3.8 習(xí)題51 \n
第4章 Hadoop分布式計(jì)算框架（MapReduce）52 \n
4.1 初識(shí)MapReduce52 \n
4.1.1 MapReduce概述52 \n
4.1.2 MapReduce基本設(shè)計(jì)思想53 \n
4.1.3 MapReduce的優(yōu)缺點(diǎn)54 \n
4.2 MapReduce編程模型55 \n
4.2.1 MapReduce編程模型簡介55 \n
4.2.2 深入剖析MapReduce編程模型56 \n
4.3 MapReduce運(yùn)行機(jī)制60 \n
4.3.1 剖析MapReduce作業(yè)運(yùn)行機(jī)制60 \n
4.3.2 作業(yè)失敗與容錯(cuò)63 \n
4.3.3 Shuffle過程詳解65 \n
4.4 案例實(shí)踐：氣象大數(shù)據(jù)離線分析67 \n
4.5 本章小結(jié)70 \n
4.6 習(xí)題71 \n
第5章 ZooKeeper分布式協(xié)調(diào)服務(wù)72 \n
5.1 ZooKeeper架構(gòu)設(shè)計(jì)與工作原理72 \n
5.1.1 ZooKeeper定義72 \n
5.1.2 ZooKeeper的特點(diǎn)73 \n
5.1.3 ZooKeeper的基本架構(gòu)73 \n
5.1.4 ZooKeeper的工作原理74 \n
5.1.5 ZooKeeper的數(shù)據(jù)模型74 \n
5.2 ZooKeeper集群安裝前的準(zhǔn)備工作75 \n
5.2.1 配置Hosts文件76 \n
5.2.2 時(shí)鐘同步76 \n
5.2.3 集群SSH免密登錄77 \n
5.2.4 JDK安裝78 \n
5.3 ZooKeeper集群的安裝部署79 \n
5.3.1 下載并解壓ZooKeeper79 \n
5.3.2 修改zoo.cfg配置文件79 \n
5.3.3 同步ZooKeeper安裝目錄80 \n
5.3.4 創(chuàng)建數(shù)據(jù)和日志目錄80 \n
5.3.5 創(chuàng)建各節(jié)點(diǎn)服務(wù)編號(hào)80 \n
5.3.6 啟動(dòng)ZooKeeper集群服務(wù)80 \n
5.4 ZooKeeper Shell操作81 \n
5.5 案例實(shí)踐：ZooKeeper分布式爬蟲監(jiān)控81 \n
5.5.1 項(xiàng)目需求81 \n
5.5.2 實(shí)現(xiàn)思路82 \n
5.5.3 具體實(shí)現(xiàn)流程82 \n
5.6 本章小結(jié)86 \n
5.7 習(xí)題86 \n
第6章 Hadoop分布式集群搭建與管理87 \n
6.1 集群規(guī)劃87 \n
6.1.1 主機(jī)規(guī)劃87 \n
6.1.2 軟件規(guī)劃87 \n
6.1.3 用戶規(guī)劃88 \n
6.1.4 目錄規(guī)劃88 \n
6.2 HDFS分布式集群搭建88 \n
6.2.1 HDFS集群配置88 \n
6.2.2 啟動(dòng)HDFS集群服務(wù)91 \n
6.2.3 HDFS集群測試92 \n
6.3 YARN分布式集群搭建93 \n
6.3.1 YARN 集群配置93 \n
6.3.2 啟動(dòng)YARN集群服務(wù)96 \n
6.3.3 YARN集群測試96 \n
6.4 Hadoop集群運(yùn)維管理97 \n
6.4.1 Hadoop集群進(jìn)程管理98 \n
6.4.2 Hadoop集群運(yùn)維技巧99 \n
6.5 案例實(shí)踐：Hadoop集群動(dòng)態(tài)擴(kuò)縮容99 \n
6.5.1 項(xiàng)目需求99 \n
6.5.2 動(dòng)態(tài)擴(kuò)容原理99 \n
6.5.3 動(dòng)態(tài)縮容原理100 \n
6.5.4 原Hadoop集群配置與啟動(dòng)100 \n
6.5.5 Hadoop集群動(dòng)態(tài)擴(kuò)容102 \n
6.5.6 Hadoop集群動(dòng)態(tài)縮容104 \n
6.6 本章小結(jié)106 \n
6.7 習(xí)題 106 \n
第7章 Hive數(shù)據(jù)倉庫工具107 \n
7.1 Hive概述107 \n
7.1.1 Hive定義107 \n
7.1.2 Hive產(chǎn)生的背景107 \n
7.1.3 Hive的優(yōu)缺點(diǎn)108 \n
7.1.4 Hive在Hadoop生態(tài)系統(tǒng)中的位置108 \n
7.1.5 Hive與Hadoop的關(guān)系108 \n
7.2 Hive原理及架構(gòu)109 \n
7.2.1 Hive的設(shè)計(jì)原理109 \n
7.2.2 Hive的體系架構(gòu)109 \n
7.2.3 Hive的運(yùn)行機(jī)制110 \n
7.2.4 HQL的轉(zhuǎn)換過程111 \n
7.2.5 Hive的數(shù)據(jù)類型112 \n
7.2.6 Hive的數(shù)據(jù)存儲(chǔ)112 \n
7.3 Hive的安裝部署113 \n
7.3.1 安裝MySQL113 \n
7.3.2 安裝Hive114 \n
7.4 Hive詳解116 \n
7.4.1 Hive對數(shù)據(jù)庫的操作116 \n
7.4.2 Hive對數(shù)據(jù)表的操作119 \n
7.4.3 Hive數(shù)據(jù)相關(guān)操作122 \n
7.4.4 Hive查詢相關(guān)操作126 \n
7.4.5 Hive表連接相關(guān)操作129 \n
7.4.6 Hive內(nèi)部表和外部表相關(guān)操作130 \n
7.4.7 Hive分區(qū)與分桶相關(guān)操作131 \n
7.5 案例實(shí)踐：B站用戶行為大數(shù)據(jù)分析133 \n
7.5.1 項(xiàng)目需求133 \n
7.5.2 表結(jié)構(gòu)133 \n
7.5.3 準(zhǔn)備工作134 \n
7.5.4 統(tǒng)計(jì)分析137 \n
7.6 本章小結(jié)138 \n
7.7 習(xí)題138 \n
第8章 HBase分布式數(shù)據(jù)庫139 \n
8.1 HBase概述139 \n
8.1.1 HBase定義139 \n
8.1.2 HBase的特點(diǎn)139 \n
8.2 HBase模型及架構(gòu)140 \n
8.2.1 HBase邏輯模型140 \n
8.2.2 HBase數(shù)據(jù)模型141 \n
8.2.3 HBase物理模型141 \n
8.2.4 HBase基本架構(gòu)143 \n
8.3 搭建HBase分布式集群144 \n
8.3.1 HBase集群規(guī)劃144 \n
8.3.2 HBase集群安裝配置145 \n
8.3.3 啟動(dòng)HBase集群服務(wù)147 \n
8.4 HBase Shell操作149 \n
8.4.1 HBase Shell命令分類149 \n
8.4.2 HBase Shell基本操作150 \n
8.5 HBase Java客戶端152 \n
8.5.1 引入HBase依賴152 \n
8.5.2 連接HBase數(shù)據(jù)庫152 \n
8.5.3 創(chuàng)建HBase表153 \n
8.5.4 HBase插入數(shù)據(jù)153 \n
8.5.5 HBase查詢數(shù)據(jù)154 \n
8.5.6 HBase 過濾查詢155 \n
8.5.7 刪除HBase表156 \n
8.6 案例實(shí)踐：MapReduce批量寫入HBase156 \n
8.6.1 需求分析156 \n
8.6.2 數(shù)據(jù)集準(zhǔn)備156 \n
8.6.3 代碼實(shí)現(xiàn)157 \n
8.6.4 測試運(yùn)行158 \n
8.7 本章小結(jié)159 \n
8.8 習(xí)題159 \n
第9章 Hadoop生態(tài)圈其他常用開發(fā)技術(shù)160 \n
9.1 Sqoop數(shù)據(jù)遷移工具160 \n
9.1.1 Sqoop概述160 \n
9.1.2 Sqoop的優(yōu)勢161 \n
9.1.3 Sqoop的架構(gòu)與工作機(jī)制161 \n
9.1.4 Sqoop Import 流程161 \n
9.1.5 Sqoop Export 流程162 \n
9.1.6 Sqoop安裝部署162 \n
9.1.7 案例實(shí)踐：Sqoop遷移Hive倉庫數(shù)據(jù)163 \n
9.2 Flume日志采集系統(tǒng)166 \n
9.2.1 Flume概述166 \n
9.2.2 Flume架構(gòu)設(shè)計(jì)166 \n
9.2.3 Flume安裝部署169 \n
9.2.4 案例實(shí)踐：Flume集群搭建170 \n
9.3 Kafka分布式消息系統(tǒng)172 \n
9.3.1 Kafka概述172 \n
9.3.2 Kafka架構(gòu)設(shè)計(jì)173 \n
9.3.3 Kafka分布式集群搭建175 \n
9.3.4 案例實(shí)踐：Flume與Kafka集成178 \n
9.4 Spark實(shí)時(shí)分析系統(tǒng)179 \n
9.4.1 Spark快速入門179 \n
9.4.2 Spark Core的核心功能181 \n
9.4.3 Spark分布式集群搭建186 \n
9.4.4 Spark Streaming實(shí)時(shí)計(jì)算189 \n
9.4.5 案例實(shí)踐：廣告點(diǎn)擊實(shí)時(shí)分析193 \n
9.5 Flink實(shí)時(shí)分析系統(tǒng)199 \n
9.5.1 Flink快速入門199 \n
9.5.2 Flink分布式集群搭建203 \n
9.5.3 Flink DataStream實(shí)時(shí)計(jì)算210 \n
9.5.4 案例實(shí)踐：新聞熱搜實(shí)時(shí)分析214 \n
9.6 Davinci大數(shù)據(jù)可視化分析217 \n
9.6.1 Davinci架構(gòu)設(shè)計(jì)217 \n
9.6.2 Davinci安裝部署220 \n
9.6.3 案例實(shí)踐：Davinci制作數(shù)據(jù)可視化大屏224 \n
9.7 本章小結(jié)229 \n
9.8 習(xí)題229 \n
第10章 項(xiàng)目實(shí)戰(zhàn)—互聯(lián)網(wǎng)金融項(xiàng)目離線分析230 \n
10.1 項(xiàng)目需求分析230 \n
10.2 系統(tǒng)架構(gòu)設(shè)計(jì)230 \n
10.3 數(shù)據(jù)流程設(shè)計(jì)231 \n
10.4 系統(tǒng)集群規(guī)劃231 \n
10.5 項(xiàng)目開發(fā)步驟232 \n
10.5.1 準(zhǔn)備MySQL數(shù)據(jù)源232 \n
10.5.2 Sqoop采集MySQL數(shù)據(jù)庫234 \n
10.5.3 Hive對金融項(xiàng)目進(jìn)行離線分析237 \n
10.5.4 創(chuàng)建MySQL業(yè)務(wù)表240 \n
10.5.5 統(tǒng)計(jì)結(jié)果入庫MySQL242 \n
10.5.6 Davinci數(shù)據(jù)可視化分析245 \n
10.6 本章小結(jié)247 \n
第11章 項(xiàng)目實(shí)戰(zhàn)—互聯(lián)網(wǎng)直播項(xiàng)目實(shí)時(shí)分析248 \n
11.1 項(xiàng)目需求分析248 \n
11.2 系統(tǒng)架構(gòu)設(shè)計(jì)248 \n
11.3 數(shù)據(jù)流程設(shè)計(jì)249 \n
11.4 系統(tǒng)集群規(guī)劃249 \n
11.5 項(xiàng)目開發(fā)步驟250 \n
11.5.1 模擬實(shí)時(shí)產(chǎn)生數(shù)據(jù)250 \n
11.5.2 MySQL建表存儲(chǔ)統(tǒng)計(jì)結(jié)果252 \n
11.5.3 Flink Streaming業(yè)務(wù)代碼實(shí)現(xiàn)252 \n
11.5.4 打通互聯(lián)網(wǎng)直播項(xiàng)目整個(gè)流程254 \n
11.5.5 Davinci數(shù)據(jù)可視化分析256 \n
11.6 本章小結(jié)256 \n
參考文獻(xiàn)257 \n