Hadoop大數(shù)據(jù)平臺構建與應用

第1章 大數(shù)據(jù)與Hadoop平臺技術\t1
1．1 大數(shù)據(jù)時代\t1
1．2 大數(shù)據(jù)關鍵技術\t2
1．3 大數(shù)據(jù)涉及的主要軟件\t3
1．4 Hadoop平臺技術的生態(tài)\t4
第2章 Ubuntu系統(tǒng)的安裝與使用\t7
2．1 Linux系統(tǒng)簡介\t7
2．2 Ubuntu系統(tǒng)安裝\t8
2．2．1 下載虛擬機軟件VMware并安裝\t8
2．2．2 在虛擬機中安裝Ubuntu系統(tǒng)\t14
2．2．3 切換中英文輸入法\t27
2．2．4 安裝VMware Tools\t28
2．2．5 apt更新與更新源更換\t30
2．2．6 安裝vim編輯器并使用\t32
2．3 虛擬機聯(lián)網問題及其他\t34
第3章 Linux基礎知識及相關軟件的基本使用\t39
3．1 Linux基礎知識\t39
3．1．1 Linux目錄結構\t39
3．1．2 Shell介紹\t40
3．1．3 超級用戶――root用戶\t41
3．1．4 sudo命令和su命令\t41
3．1．5 創(chuàng)建與刪除普通用戶\t42
3．1．6 目錄標記規(guī)則\t43
3．1．7 目錄權限\t43
3．1．8 安裝SSH\t44
3．2 Linux常用軟件與命令\t45
3．2．1 修改主機名\t45
3．2．2 目錄操作\t45
3．2．3 查看文件內容和清屏\t46
3．2．4 文件操作\t46
3．2．5 文件解壓\t47
3．2．6 進程與端口查看命令\t48
3．2．7 系統(tǒng)管理命令\t49
3．2．8 數(shù)據(jù)流重定向和管道的使用\t50
3．2．9 其他使用技巧介紹\t51
3．3 在Ubuntu中安裝Eclipse\t51
3．3．1 通過軟件中心下載安裝Eclipse\t51
3．3．2 在桌面創(chuàng)建Eclipse快捷方式\t52
第4章 Hadoop的偽分布式安裝與使用\t54
4．1 深入了解Hadoop\t54
4．1．1 Hadoop發(fā)行版本介紹\t54
4．1．2 Hadoop核心架構\t55
4．1．3 Hadoop的主要應用場景\t56
4．2 安裝Java環(huán)境\t57
4．2．1 離線安裝\t57
4．2．2 在線安裝\t58
4．3 安裝Hadoop\t59
4．3．1 下載Hadoop安裝文件并解壓\t59
4．3．2 配置Hadoop環(huán)境變量\t60
4．3．3 偽分布式模式配置\t61
4．3．4 Hadoop無法正常啟動和使用的解決方法\t63
第5章 HDFS\t65
5．1 HDFS基本知識\t65
5．1．1 DFS簡介\t65
5．1．2 HDFS\t65
5．1．3 HDFS存儲數(shù)據(jù)\t66
5．2 Shell命令與HDFS交互操作\t67
5．2．1 Hadoop Shell命令方式\t67
5．2．2 目錄操作\t68
5．2．3 文件操作\t69
5．2．4 利用Web界面管理HDFS\t70
5．3 Java編程與HDFS實現(xiàn)交互\t71
5．3．1 在Eclipse中創(chuàng)建HDFS交互Java項目\t71
5．3．2 在Java項目中編寫Java應用程序代碼\t75
5．3．3 編譯運行程序與打包\t77
5．3．4 練習中使用的代碼文件\t81
第6章 HBase偽分布部署與使用\t85
6．1 HBase介紹\t85
6．2 安裝HBase\t86
6．3 偽分布HBase環(huán)境搭建\t87
6．4 HBase Shell常用操作命令實踐\t90
6．4．1 HBase表結構舉例說明和常用的表操作命令\t90
6．4．2 在HBase中創(chuàng)建表和刪除表\t91
6．4．3 HBase數(shù)據(jù)庫基本操作\t92
第7章 MapReduce原理與基礎編程\t94
7．1 MapReduce介紹與基本原理\t94
7．1．1 MapReduce在現(xiàn)實生活中的運用\t94
7．1．2 通過案例拆解MapReduce的工作過程\t95
7．1．3 MapReduce工作流程概括\t98
7．2 MapReduce編程思路\t98
7．3 MapReduce編程實例1：WordCount\t99
7．4 MapReduce編程實例2：計算學生的平均成績\t109
第8章 數(shù)據(jù)倉庫Hive偽分布式部署與使用\t113
8．1 Hive的特點\t113
8．2 Hive偽分布式部署\t114
8．2．1 安裝配置Hive\t114
8．2．2 安裝配置MySQL，連接Hive元數(shù)據(jù)庫\t115
8．3 MySQL數(shù)據(jù)庫操作\t118
8．3．1 常用命令介紹\t118
8．3．2 無法登錄MySQL Shell的解決方法\t120
第9章 數(shù)據(jù)分析與Hive數(shù)據(jù)庫操作\t121
9．1 Hive操作命令介紹\t121
9．2 HQL中的Case命令用法介紹\t122
9．3 電商網站日志數(shù)據(jù)分析與達成目標\t124
9．4 數(shù)據(jù)分析實現(xiàn) \t126
9．4．1 將網站日志文件集加載到Hive中\(zhòng)t126
9．4．2 統(tǒng)計分析網站日志數(shù)據(jù)\t127
9．4．3 統(tǒng)計詞頻\t131
第10章 Spark的安裝與基礎編程\t133
10．1 Spark的安裝（Python版）\t133
10．1．1 下載Spark安裝軟件\t134
10．1．2 安裝與配置Spark\t134
10．1．3 在PySpark中運行代碼\t135
10．1．4 Spark獨立應用程序編程示例\t136
10．2 Spark的一些基本概念\t137
10．3 RDD編程操作\t137
10．3．1 RDD操作的兩種類型\t137
10．3．2 創(chuàng)建RDD\t139
10．3．3 創(chuàng)建鍵值對RDD\t142
10．4 從RDD到DataFrame\t145
10．4．1 Spark SQL和DataFrame\t145
10．4．2 創(chuàng)建樣例數(shù)據(jù)文件\t146
10．4．3 讀取json和csv文件生成DataFrame\t147
10．4．4 普通文本文件生成DataFrame\t148
10．5 Spark綜合編程與Python可視化\t151
10．5．1 Spark綜合編程\t151
10．5．2 Python可視化呈現(xiàn)\t154
第11章 Hadoop集群環(huán)境搭建\t160
11．1 克隆Linux虛擬機\t160
11．2 橋接模式與NAT模式\t163
11．2．1 橋接模式\t163
11．2．2 NAT模式\t164
11．3 VMware Workstation橋接網絡配置\t164
11．3．1 集群網絡配置實現(xiàn)的目標\t164
11．3．2 設置網絡橋接模式\t165
11．3．3 驗證\t169
11．4 大數(shù)據(jù)集群環(huán)境配置與搭建\t170
11．4．1 修改主機名，并將主機名與IP地址建立映射\t170
11．4．2 集群SSH免密登錄\t171
11．4．3 時間同步\t173
第12章 Zookeeper與集群Hadoop安裝應用\t174
12．1 Zookeeper介紹\t174
12．1．1 Zookeeper的作用\t174
12．1．2 Zookeeper選舉機制\t175
12．2 安裝Zookeeper\t175
12．2．1 為安裝Zookeeper的目錄賦權\t175
12．2．2 下載、解壓Zookeeper安裝包\t175
12．2．3 修改Zookeeper配置文件zoo．cfg\t176
12．2．4 創(chuàng)建zkdata和zkdatalog文件夾\t177
12．2．5 創(chuàng)建文件myid\t177
12．2．6 配置環(huán)境變量\t177
12．2．7 遠程復制分發(fā)\t178
12．2．8 啟動Zookeeper集群\t179
12．2．9 Zookeeper啟動錯誤及解決方法\t179
12．3 在集群上安裝Hadoop\t180
12．4 在集群上安裝HBase\t185
第13章 構建集群數(shù)據(jù)倉庫\t189
13．1 在slave2節(jié)點上安裝MySQL Server\t189
13．2 在slave1節(jié)點上安裝Hive服務器\t191
13．3 將master節(jié)點作為Hive客戶端\t194
13．4 啟動Hive\t195
第14章 Hadoop從完全分布式到HA的安裝與使用\t197
14．1 Hadoop HA\t197
14．1．1 HDFS HA背景\t197
14．1．2 HDFS HA架構\t197
14．2 安裝虛擬機系統(tǒng)\t199
14．2．1 在VMware中創(chuàng)建虛擬機\t199
14．2．2 安裝CentOS 7\t206
14．2．3 設置網絡靜態(tài)IP地址\t208
14．2．4 克隆3臺虛擬機\t211
14．3 使用XShell 6登錄CentOS虛擬機\t212
14．4 修改各節(jié)點主機名稱并配置SSH免密\t215
14．4．1 修改各節(jié)點的虛擬機主機名\t215
14．4．2 主機名與IP地址映射\t215
14．4．3 SSH免密設置\t216
14．5 安裝JDK\t218
14．6 安裝并配置Zookeeper\t219
14．6．1 安裝Zookeeper\t220
14．6．2 啟動和停止Zookeeper\t222
14．7 安裝并配置為完全分布式Hadoop集群\t223
14．7．1 上傳、解壓文件并配置環(huán)境變量\t223
14．7．2 將Hadoop配置為完全分布式集群\t224
14．8 部署配置Hadoop HA模式\t227
14．8．1 編輯Hadoop HA配置文件\t227
14．8．2 分發(fā)文件\t230
14．8．3 第一次啟動HA\t231
14．8．4 常規(guī)啟動HA\t234
14．8．5 Hadoop HA部署完成之后的常規(guī)啟停順序\t236
14．8．6 在HA集群上測試WordCount程序\t236