大數(shù)據(jù)導(dǎo)論

第1章 大數(shù)據(jù)概述
1．1 大數(shù)據(jù)概念及價值
1．2 大數(shù)據(jù)數(shù)據(jù)源
1．3 大數(shù)據(jù)技術(shù)應(yīng)用場景
1．4 大數(shù)據(jù)處理流程及技術(shù)
1．5 大數(shù)據(jù)與云計算的關(guān)系
1．6 大數(shù)據(jù)與人工智能的關(guān)系
本章小結(jié)
習(xí)題一
第2章 Hadoop介紹
2．1 Hadoop簡介
2．1．1 Hadoop由來
2．1．2 Hadoop發(fā)展歷程
2．1．3 Hadoop生態(tài)系統(tǒng)
2．2 Hadoop的體系架構(gòu)
2．2．1 分布式文件系統(tǒng)HDFS
2．2．2 分布式計算框架MapReduce
2．2．3 分布式資源調(diào)度系統(tǒng)YARN
2．3 Hadoop依賴的技術(shù)基礎(chǔ)
2．3．1 Java編程基礎(chǔ)
2．3．2 Web可視化技術(shù)基礎(chǔ)
2．3．3 關(guān)系數(shù)據(jù)庫基礎(chǔ)
2．3．4 Linux基礎(chǔ)
2．4 Hadoop2．0集群搭建
2．4．1 偽分布式安裝部署
2．4．2 全分布式安裝部署
本章小結(jié)
習(xí)題二
第3章 分布式文件系統(tǒng)HDFS
3．1 HDFS簡介
3．2 HDFS的設(shè)計目標(biāo)
3．3 HDFS的體系架構(gòu)
3．3．1 主從架構(gòu)
3．3．2 HDFS高可用性架構(gòu)
3．4 HDFS的核心設(shè)計
3．4．1 數(shù)據(jù)復(fù)制
3．4．2 健壯性設(shè)計
3．4．3 數(shù)據(jù)組織
3．4．4 存儲空間回收機(jī)制
3．4．5 可訪問性
3．5 HDFS中數(shù)據(jù)流的讀寫
3．5．1 RPC實現(xiàn)流程
3．5．2 文件的讀取
3．5．3 文件的寫入
3．5．4 一致性模型
3．6 HDFS的聯(lián)邦機(jī)制
本章小結(jié)
習(xí)題三
第4章 訪問HDFS的常用接口
4．1 HDFS常用命令接口
4．2 HDFS編程環(huán)境準(zhǔn)備
4．2．1 IDEA的安裝配置及特性
4．2．2 Maven的安裝配置
4．3 Java接口
4．3．1 在本地Windows機(jī)器上配置Hadoop環(huán)境變量
4．3．2 編寫Java客戶端程序
本章小結(jié)
習(xí)題四
第5章 分布式計算框架MapReduce
5．1 MapReduce編程模型簡介
5．1．1 產(chǎn)生背景
5．1．2 MapReduce編程模型
5．1．3 MapReduce工作流程
5．1．4 MapReduce兩個版本比較
5．2 MapReduce入門編程
5．2．1 認(rèn)識Map和Reduce
5．2．2 MapTask階段
5．2．3 ReduceTask階段
本章小結(jié)
習(xí)題五
第6章 MapReduce基礎(chǔ)編程
6．1 MapReduce編程設(shè)計
6．1．1 MapReduce分布式計算模型
6．1．2 MapReduce分布式編程框架
6．2 MapReduce編程實例wordcount
6．2．1 wordcount開發(fā)需求分析
6．2．2 編程環(huán)境準(zhǔn)備
6．2．3 編寫Mapper類
6．2．4 編寫Reducer類
6．2．5 MapReduce程序在YARN集群的運行機(jī)制
6．2．6 編寫YARN的客戶端
6．2．7 YARN集群的配置、作業(yè)打包和啟動
本章小結(jié)
習(xí)題六
第7章 分布式資源管理系統(tǒng)YARN
7．1 YARN簡介
7．2 發(fā)展史
7．2．1 Hadoop1．
7．2．2 Hadoop2．0和Hadoop1．0的區(qū)別
7．2．3 MapReduce計算框架的演變
7．3 YARN的架構(gòu)
7．4 YARN集群執(zhí)行應(yīng)用程序的工作流程
7．5 Hadoop如何使用YARN運行一個Job
7．6 YARN的調(diào)度策略
7．7 YARN的重要概念總結(jié)
本章小結(jié)
習(xí)題七
第8章 MapReduce高級編程
8．1 Combiner
8．2 Partitioner
8．3 計數(shù)器
8．4 排序
8．5 Join連接
8．6 倒排索引
8．7 求平均值和數(shù)據(jù)去重
本章小結(jié)
習(xí)題八
第9章 分布式鎖服務(wù)ZooKeeper
9．1 ZooKeeper基本概念介紹
9．1．1 ZooKeeper的定義
9．1．2 ZooKeeper的基本原理和應(yīng)用場景
9．1．3 ZooKeeper的選舉機(jī)制
9．1．4 ZooKeeper的存儲機(jī)制
9．2 ZooKeeper集群部署
9．3 ZooKeeper編程實例
9．3．1 ZooKeeper API基礎(chǔ)知識
9．3．2 ZooKeeper API介紹及編程實例
本章小結(jié)
習(xí)題九
第10章 Hadoop高可用集群搭建
10．1 HDFS高可用的工作機(jī)制
10．2 集群規(guī)劃
10．3 Hadoop HA集群搭建
10．3．1 前期準(zhǔn)備
10．3．2 安裝ZooKeeper集群
10．3．3 安裝Hadoop集群
10．3．4 啟動集群
10．3．5 測試
本章小結(jié)
習(xí)題十
參考文獻(xiàn)