大數(shù)據(jù)開發(fā)基礎(chǔ)與實(shí)踐（微課版）

　　
項(xiàng)目1 大數(shù)據(jù)集群環(huán)境搭建 1
【項(xiàng)目知識】 2
知識1.1 大數(shù)據(jù)處理框架 2
1.1.1 大數(shù)據(jù)的基本概念 2
1.1.2 大數(shù)據(jù)處理框架分類 3
1.1.3 大數(shù)據(jù)處理框架的選擇 3
知識1.2 組件介紹 4
1.2.1 Hadoop分布式系統(tǒng)框架 4
1.2.2 Hadoop生態(tài)圈 4
1.2.3 Hadoop典型應(yīng)用架構(gòu) 5
【項(xiàng)目實(shí)施】 6
任務(wù)1 安裝Linux系統(tǒng) 6
【1】任務(wù)簡介 6
【2】相關(guān)知識 6
【3】任務(wù)實(shí)施 6
【4】任務(wù)拓展 16
任務(wù)2 安裝JDK 1.8 16
【1】任務(wù)簡介 16
【2】相關(guān)知識 16
【3】任務(wù)實(shí)施 16
【4】任務(wù)拓展 18
任務(wù)3 安裝Zookeeper 19
【1】任務(wù)簡介 19
【2】相關(guān)知識 19
【3】任務(wù)實(shí)施 20
【4】任務(wù)拓展 22
任務(wù)4 安裝Hadoop 23
【1】任務(wù)簡介 23
【2】相關(guān)知識 23
【3】任務(wù)實(shí)施 25
【4】任務(wù)拓展 29
任務(wù)5 安裝HBase 30
【1】任務(wù)簡介 30
【2】相關(guān)知識 30
【3】任務(wù)實(shí)施 36
【4】任務(wù)拓展 40
任務(wù)6 安裝Spark 40
【1】任務(wù)簡介 40
【2】相關(guān)知識 40
【3】任務(wù)實(shí)施 40
【4】任務(wù)拓展 43
任務(wù)7 安裝Sqoop 43
【1】任務(wù)簡介 43
【2】相關(guān)知識 43
【3】任務(wù)實(shí)施 44
【4】任務(wù)拓展 46
任務(wù)8 安裝Flume 46
【1】任務(wù)簡介 46
【2】相關(guān)知識 47
【3】任務(wù)實(shí)施 47
【4】任務(wù)拓展 48
項(xiàng)目2 數(shù)據(jù)倉庫構(gòu)建 49
【項(xiàng)目知識】 50
知識2.1 數(shù)據(jù)倉庫 50
2.1.1 數(shù)據(jù)倉庫的基本概念 50
2.1.2 數(shù)據(jù)倉庫的特點(diǎn) 50
2.1.3 數(shù)據(jù)倉庫的建立過程 51
知識2.2 Hadoop環(huán)境下數(shù)據(jù)倉庫的組件介紹 51
2.2.1 Hadoop MySQL Hive數(shù)據(jù)倉庫的架構(gòu) 51
2.2.2 MySQL介紹 52
2.2.3 Hive介紹 52
【項(xiàng)目實(shí)施】 54
任務(wù)1 安裝MySQL數(shù)據(jù)庫 54
【1】任務(wù)簡介 54
【2】相關(guān)知識 54
【3】任務(wù)實(shí)施 54
【4】任務(wù)拓展 56
任務(wù)2 安裝Hive 57
【1】任務(wù)簡介 57
【2】相關(guān)知識 57
【3】任務(wù)實(shí)施 57
【4】任務(wù)拓展 59
項(xiàng)目3 Java訪問Hadoop實(shí)踐 61
【項(xiàng)目知識】 62
知識3.1 HDFS基礎(chǔ)知識 62
3.1.1 HDFS的基本概念 62
3.1.2 HDFS的Java訪問接口 62
3.1.3 Java訪問HDFS主要編程步驟 63
知識3.2 MapReduce基礎(chǔ)知識 63
3.2.1 MapReduce概述 63
3.2.2 MapReduce編程模型 63
3.2.3 MapReduce編程組件 64
【項(xiàng)目實(shí)施】 64
任務(wù)1 基礎(chǔ)開發(fā)環(huán)境準(zhǔn)備 64
【1】任務(wù)簡介 64
【2】相關(guān)知識 65
【3】任務(wù)實(shí)施 65
任務(wù)2 HDFS Java程序開發(fā) 66
【1】任務(wù)簡介 66
【2】相關(guān)知識 66
【3】任務(wù)實(shí)施 66
【4】任務(wù)拓展 69
任務(wù)3 基于HDFS實(shí)現(xiàn)網(wǎng)絡(luò)云盤開發(fā) 70
【1】任務(wù)簡介 70
【2】相關(guān)知識 70
【3】任務(wù)實(shí)施 71
【4】任務(wù)拓展 83
任務(wù)4 MapReduce離線計(jì)算之詞頻統(tǒng)計(jì) 83
【1】任務(wù)簡介 83
【2】相關(guān)知識 83
【3】任務(wù)實(shí)施 84
【4】任務(wù)拓展 89
任務(wù)5 MapReduce離線計(jì)算之排序 90
【1】任務(wù)簡介 90
【2】相關(guān)知識 90
【3】任務(wù)實(shí)施 90
【4】任務(wù)拓展 96

項(xiàng)目4 大數(shù)據(jù)采集實(shí)踐 97
【項(xiàng)目知識】 98
知識4.1 數(shù)據(jù)采集基礎(chǔ)知識 98
4.1.1 數(shù)據(jù)采集技術(shù)綜述 98
4.1.2 數(shù)據(jù)采集的方式 98
知識4.2 網(wǎng)絡(luò)爬蟲基礎(chǔ)知識 98
4.2.1 網(wǎng)絡(luò)爬蟲的定義 98
4.2.2 網(wǎng)絡(luò)爬蟲的原理 99
4.2.3 網(wǎng)絡(luò)爬蟲的分類 99
4.2.4 網(wǎng)絡(luò)爬取策略分類 100
4.2.5 簡單網(wǎng)絡(luò)爬蟲的架構(gòu) 100
4.2.6 網(wǎng)頁內(nèi)容解析技術(shù) 100
【項(xiàng)目實(shí)施】 101
任務(wù)1 Python開發(fā)環(huán)境配置 101
【1】任務(wù)簡介 101
【2】相關(guān)知識 101
【3】任務(wù)實(shí)施 101
【4】任務(wù)拓展 107
任務(wù)2 利用urllib獲取新聞信息 107
【1】任務(wù)簡介 107
【2】相關(guān)知識 107
【3】任務(wù)實(shí)施 108
【4】任務(wù)拓展 111
任務(wù)3 利用Requests進(jìn)行圖片爬取 111
【1】任務(wù)簡介 111
【2】相關(guān)知識 111
【3】任務(wù)實(shí)施 111
【4】任務(wù)拓展 112
任務(wù)4 瀏覽器偽裝與XPath解析 113
【1】任務(wù)介紹 113
【2】相關(guān)知識 113
【3】任務(wù)實(shí)施 113
【4】任務(wù)拓展 114
項(xiàng)目5 大數(shù)據(jù)清洗實(shí)踐 115
【項(xiàng)目知識】 116
知識5.1 大數(shù)據(jù)清洗的概念 116
知識5.2 大數(shù)據(jù)清洗的目的 117
知識5.3 大數(shù)據(jù)清洗的技術(shù) 118
知識5.4 大數(shù)據(jù)清洗的路徑 121
【項(xiàng)目實(shí)施】 122
任務(wù)1 基于Web信息的清洗 122
【1】任務(wù)簡介 122
【2】相關(guān)知識 122
【3】任務(wù)實(shí)施 126
【4】任務(wù)拓展 136
任務(wù)2 基于Kettle的數(shù)據(jù)清洗 136
【1】任務(wù)簡介 136
【2】相關(guān)知識 136
【3】任務(wù)實(shí)施 137
【4】任務(wù)拓展 140
項(xiàng)目6 大數(shù)據(jù)分析實(shí)踐 141
【項(xiàng)目知識】 142
知識6.1 大數(shù)據(jù)分析的概念 142
知識6.2 大數(shù)據(jù)分析的工具 142
知識6.3 大數(shù)據(jù)分析的方法 142
知識6.4 大數(shù)據(jù)分析的范疇 144
知識6.5 大數(shù)據(jù)分析的步驟 144
【項(xiàng)目實(shí)施】 145
任務(wù)1 利用Hive對電商數(shù)據(jù)進(jìn)行分析 145
【1】任務(wù)簡介 145
【2】相關(guān)知識 146
【3】任務(wù)實(shí)施 148
【4】任務(wù)拓展 150
任務(wù)2 利用Spark SQL對MySQL數(shù)據(jù)進(jìn)行分析 150
【1】任務(wù)簡介 150
【2】相關(guān)知識 150
【3】任務(wù)實(shí)施 152
【4】任務(wù)拓展 156
項(xiàng)目7 大數(shù)據(jù)可視化實(shí)踐 157
【項(xiàng)目知識】 158
知識7.1 大數(shù)據(jù)可視化的概念 158
知識7.2 大數(shù)據(jù)可視化常用工具 159
【項(xiàng)目實(shí)施】 172
任務(wù)1 利用Excel對數(shù)據(jù)進(jìn)行可視化 172
【1】任務(wù)簡介 172
【2】相關(guān)知識 172
【3】任務(wù)實(shí)施 172
【4】任務(wù)拓展 176
任務(wù)2 利用ECharts對數(shù)據(jù)進(jìn)行可視化 176
【1】任務(wù)簡介 176
【2】相關(guān)知識 176
【3】任務(wù)實(shí)施 179
【4】任務(wù)拓展 184
任務(wù)3 大數(shù)據(jù)分析處理可視化綜合實(shí)踐 184
【1】任務(wù)簡介 184
【2】相關(guān)知識 185
【3】任務(wù)實(shí)施 185
【4】任務(wù)拓展 201
參考文獻(xiàn) 202