大數(shù)據(jù)技術(shù)導(dǎo)論

目 錄

前言
第1章 概論1
1.1 揭秘大數(shù)據(jù)1
1.1.1 大數(shù)據(jù)產(chǎn)生歷史必然1
1.1.2 大數(shù)據(jù)概念和特征2
1.1.3 大數(shù)據(jù)生命周期3
1.1.4 大數(shù)據(jù)與物聯(lián)網(wǎng)、云計(jì)算、人工智能5
1.1.5 大數(shù)據(jù)時代的八個重大變革5
1.2 Linux系統(tǒng)概述7
1.2.1 Linux版本7
1.2.2 Linux系統(tǒng)目錄結(jié)構(gòu)7
1.2.3 文本編輯器vi9
1.2.4 文件權(quán)限解讀10
1.2.5 Linux系統(tǒng)常用命令11
習(xí)題112
實(shí)驗(yàn)報告1 Linux實(shí)驗(yàn)13
第2章 大數(shù)據(jù)生態(tài)系統(tǒng)15
2.1 認(rèn)識Hadoop15
2.2 HDFS16
2.2.1 HDFS體系結(jié)構(gòu)16
2.2.2 HDFS存儲原理17
2.2.3 HDFS常用操作20
2.3 MapReduce21
2.3.1 MapReduce邏輯結(jié)構(gòu)21
2.3.2 MapReduce操作案例23
*2.4 Zookeeper24
習(xí)題225
實(shí)驗(yàn)報告2 Hadoop實(shí)驗(yàn)27
第3章 大數(shù)據(jù)采集與預(yù)處理29
3.1 數(shù)據(jù)29
3.1.1 數(shù)據(jù)是什么29
3.1.2 數(shù)據(jù)分類29
3.1.3 度量和維度31
3.2 數(shù)據(jù)采集32
3.2.1 數(shù)據(jù)采集分類32
3.2.2 數(shù)據(jù)采集方法32
3.2.3 數(shù)據(jù)采集工具32
3.3 數(shù)據(jù)清洗34
3.3.1 數(shù)據(jù)清洗任務(wù)34
3.3.2 數(shù)據(jù)清洗過程34
3.4 數(shù)據(jù)變換35
3.4.1 規(guī)范化36
3.4.2 函數(shù)變換36
3.5 網(wǎng)絡(luò)爬蟲37
3.5.1 爬蟲簡介37
*3.5.2 論壇爬蟲源代碼分析38
習(xí)題340
*實(shí)驗(yàn)報告3 網(wǎng)絡(luò)爬蟲41
第4章 大數(shù)據(jù)管理42
4.1 NoSQL42
4.1.1 NoSQL概述42
4.1.2 鍵值數(shù)據(jù)庫43
4.1.3 圖數(shù)據(jù)庫44
4.1.4 文檔數(shù)據(jù)庫45
4.1.5 列式數(shù)據(jù)庫47
4.1.6 云數(shù)據(jù)庫47
4.2 HBase47
4.2.1 HBase模型47
4.2.2 HBase與傳統(tǒng)關(guān)系數(shù)據(jù)庫的對比分析49
4.2.3 HBase系統(tǒng)架構(gòu)49
4.2.4 HBase常用Shell命令51
習(xí)題452
實(shí)驗(yàn)報告4 HBase實(shí)驗(yàn)53
第5章 大數(shù)據(jù)分析54
5.1 大數(shù)據(jù)分析概述54
5.1.1 數(shù)據(jù)分析原則54
5.1.2 大數(shù)據(jù)分析特點(diǎn)54
5.1.3 大數(shù)據(jù)分析流程55
5.1.4 數(shù)據(jù)分析師基本技能和素質(zhì)57
*5.1.5 大數(shù)據(jù)分析難點(diǎn)58
*5.2 業(yè)務(wù)理解59
5.2.1 什么是業(yè)務(wù)理解59
5.2.2 如何理解業(yè)務(wù)60
5.2.3 數(shù)據(jù)業(yè)務(wù)化61
5.3 數(shù)據(jù)認(rèn)知63
5.3.1 數(shù)據(jù)預(yù)處理63
5.3.2 概率分析63
*5.3.3 對比分析67
*5.3.4 細(xì)分分析68
*5.3.5 交叉分析69
5.3.6 相關(guān)分析69
5.4 特征工程72
5.4.1 特征工程面臨的挑戰(zhàn)72
5.4.2 特征選擇72
5.4.3 特征提取72
5.4.4 指標(biāo)設(shè)計(jì)73
5.5 數(shù)據(jù)建模76
5.5.1 模型分類76
5.5.2 決策樹77
5.5.3 關(guān)聯(lián)分析81
5.5.4 回歸分析82
5.5.5 聚類分析85
*5.5.6 k-鄰近分類算法KNN86
*5.6 通用計(jì)算引擎Spark86
5.6.1 Spark簡介86
5.6.2 Spark與Hadoop差異88
5.6.3 Spark適用場景88
5.6.4 Spark運(yùn)行模式89
5.6.5 Spark常用術(shù)語89
5.7 大數(shù)據(jù)分析引擎Hive89
5.7.1 數(shù)據(jù)倉庫概念89
5.7.2 傳統(tǒng)數(shù)據(jù)倉庫的問題90
5.7.3 Hive特征90
5.7.4 Hive系統(tǒng)架構(gòu)90
5.7.5 Hive應(yīng)用案例91
習(xí)題595
實(shí)驗(yàn)報告5 Hive實(shí)驗(yàn)101
第6章 大數(shù)據(jù)可視化102
6.1 數(shù)據(jù)可視化基本概念102
6.1.1 為什么要數(shù)據(jù)可視化102
6.1.2 什么是數(shù)據(jù)可視化103
6.1.3 數(shù)據(jù)可視化的作用104
6.1.4 數(shù)據(jù)可視化術(shù)語104
6.1.5 數(shù)據(jù)可視化三要素105
6.2 常用圖形105
6.2.1 餅圖（扇形圖）105
6.2.2 堆積柱形圖106
6.2.3 風(fēng)玫瑰圖106
6.2.4 柱狀圖107
6.2.5 直方圖107
6.2.6 氣泡圖108
6.2.7 散點(diǎn)圖矩陣108
6.2.8 折線圖109
6.2.9 面積圖109
6.2.10 相關(guān)系數(shù)圖110
6.2.11 雷達(dá)圖110
6.2.12 箱線圖110
6.3 數(shù)據(jù)可視化設(shè)計(jì)111
6.3.1 數(shù)據(jù)可視化設(shè)計(jì)原則111
6.3.2 數(shù)據(jù)可視化=數(shù)據(jù)+設(shè)計(jì)+故事113
6.3.3 數(shù)據(jù)可視化圖形選擇建議113
6.4 數(shù)據(jù)可視化工具114
6.4.1 基本工具114
6.4.2 進(jìn)階工具114
6.5 基于R語言可視化基礎(chǔ)117
6.5.1 基本繪圖命令117
6.5.2 ggplot2繪圖121
習(xí)題6128
*實(shí)驗(yàn)報告6 可視化實(shí)驗(yàn)129
第7章 大數(shù)據(jù)應(yīng)用131
7.1 零售行業(yè)大數(shù)據(jù)131
7.1.1 沃爾瑪?shù)馁徫锘@分析131
7.1.2 農(nóng)夫山泉用海量照片提升銷量132
7.2 交通大數(shù)據(jù)134
7.2.1 交通擁堵大數(shù)據(jù)分析134
7.2.2 預(yù)測起飛時間142
7.3 醫(yī)療大數(shù)據(jù)143
7.3.1 移動醫(yī)療與個人健康143
7.3.2 基因測序——精準(zhǔn)治癌正在成為現(xiàn)實(shí)146
第8章 大數(shù)據(jù)安全150
8.1 大數(shù)據(jù)安全的重要意義150
8.2 大數(shù)據(jù)面臨的挑戰(zhàn)151
8.3 大數(shù)據(jù)的安全威脅152
8.3.1 大數(shù)據(jù)基礎(chǔ)設(shè)施安全威脅152
8.3.2 大數(shù)據(jù)存儲安全威脅152
8.3.3 大數(shù)據(jù)的隱私泄露153
8.3.4 大數(shù)據(jù)的其他安全威脅155
8.4 大數(shù)據(jù)與網(wǎng)絡(luò)攻擊監(jiān)測155
8.5 大數(shù)據(jù)安全分析155
8.6 大數(shù)據(jù)安全標(biāo)準(zhǔn)157
8.6.1 基礎(chǔ)標(biāo)準(zhǔn)類158
8.6.2 平臺和技術(shù)類158
8.6.3 數(shù)據(jù)安全類159
8.6.4 服務(wù)安全類159
8.6.5 應(yīng)用安全類160
附錄 大數(shù)據(jù)軟件安裝161
A.1 基礎(chǔ)環(huán)境準(zhǔn)備161
A.2 安裝JDK162
A.3 安裝Hadoop162
A.4 安裝Zookeeper167
A.5 安裝HBase169
A.6 安裝Hive170
A.7 安裝Spark172
參考文獻(xiàn)175