Hadoop簡明教程

前言第1章Hadoop概述1.1大數(shù)據(jù)簡介1.2Hadoop簡介1.3Hadoop特性1.4Hadoop核心組件1.4.1HDFS1.4.2MapReduce1.4.3YARN1.5Hadoop生態(tài)系統(tǒng)1.5.1HBase1.5.2Hive1.5.3Pig1.5.4Spark1.5.5ZooKeeper1.5.6Sqoop1.5.7Flume1.5.8Mahout1.5.9Ambari1.6本章小結習題第2章Hadoop偽分布式安裝2.1Linux操作系統(tǒng)2.1.1概述2.1.2Linux的組成2.1.3Linux的內核版本與發(fā)行版本2.1.4Linux基本命令2.2CentOS的安裝2.2.1安裝VMware Workstation2.2.2在VMware上安裝CentOS 72.2.3配置CentOS 72.3Hadoop偽分布式安裝與配置2.3.1安裝WinSCP2.3.2安裝JDK2.3.3安裝Hadoop2.4本章小結習題實驗Hadoop偽分布式安裝與配置第3章Hadoop分布式文件系統(tǒng)HDFS3.1HDFS的架構和原理3.1.1計算機集群結構3.1.2HDFS的假設前提和設計目標3.1.3HDFS的相關概念3.1.4HDFS體系結構3.1.5HDFS存儲原理3.2HDFS Shell3.3HDFS Java API3.3.1搭建Linux操作系統(tǒng)下的Eclipse開發(fā)環(huán)境3.3.2HDFS Java API常用的類3.3.3HDFS Java API 編程3.4本章小結習題實驗HDFS基本命令的使用和HDFS的Java編程第4章分布式計算框架MapReduce4.1認識MapReduce4.1.1分布式并行編程4.1.2MapReduce核心思想4.1.3MapReduce運行環(huán)境4.1.4Hadoop內置數(shù)據(jù)類型4.2MapReduce工作流程4.2.1MapReduce工作流程概述4.2.2Shuffle過程分析4.3MapReduce入門示例：WordCount4.3.1WordCount程序任務4.3.2準備被統(tǒng)計的文件4.3.3WordCount執(zhí)行過程分析4.3.4WordCount編程實踐4.4MapReduce應用實例4.4.1求平均值4.4.2簡單查詢功能的實現(xiàn)4.5本章小結習題實驗簡單排序的實現(xiàn)第5章分布式數(shù)據(jù)庫HBase5.1概述5.1.1BigTable簡介5.1.2HBase簡介5.1.3HBase具有的特點5.2HBase數(shù)據(jù)模型5.2.1數(shù)據(jù)模型概述5.2.2數(shù)據(jù)模型的相關概念5.3HBase系統(tǒng)架構5.4HBase偽分布式安裝5.4.1安裝并配置環(huán)境變量5.4.2配置HBase參數(shù)5.4.3驗證HBase5.5HBase Shell5.5.1HBase Shell常用命令5.5.2HBase Shell應用實例5.6HBase Java API5.6.1HBase Java API 簡介5.6.2HBase Java API 編程5.7本章小結習題實驗HBase編程實踐第6章數(shù)據(jù)倉庫Hive6.1概述6.1.1數(shù)據(jù)倉庫簡介6.1.2Hive簡介6.1.3Hive與關系型數(shù)據(jù)庫的區(qū)別6.1.4Hive系統(tǒng)架構6.2Hive偽分布式安裝6.2.1MySQL的安裝和配置6.2.2Hive的安裝和配置6.3Hive編程基礎6.3.1Hive的數(shù)據(jù)類型6.3.2數(shù)據(jù)庫相關操作6.3.3表相關操作6.3.4表中數(shù)據(jù)的加載6.3.5HiveQL基本查詢6.3.6Hive函數(shù)6.4Hive編程實例6.4.1雇員表統(tǒng)計6.4.2詞頻統(tǒng)計6.5本章小結習題實驗Hive的編程實踐第7章內存計算框架Spark7.1Spark基礎知識7.1.1Spark簡介7.1.2Spark生態(tài)系統(tǒng)7.1.3Spark運行架構7.2Scala基礎知識7.2.1Scala簡介7.2.2Scala安裝7.2.3Scala編程7.3Spark偽分布式安裝7.3.1Spark的安裝模式7.3.2Spark的安裝7.4RDD編程基礎7.4.1Spark Shell的啟動和退出7.4.2RDD創(chuàng)建7.4.3常用的RDD操作7.4.4RDD編程實例7.5IDEA的安裝和使用7.5.1IDEA的安裝7.5.2IDEA的使用7.5.3獨立應用程序實例7.6本章小結習題實驗Spark Shell交互式編程參考文獻