大數(shù)據技術導論（第2版）

第2版前言
第1版前言

第1章 緒論1
1.1 認識大數(shù)據1
1.1.1 大數(shù)據產生的歷史必然1
1.1.2 大數(shù)據概念和特征2
1.1.3 大數(shù)據生命周期4
1.1.4 大數(shù)據、物聯(lián)網與云計算之間的
關系6
1.2 大數(shù)據時代帶來的變化6
1.2.1 決策方式6
1.2.2 計算方式6
1.2.3 思維方式7
1.3 大數(shù)據價值8
1.3.1 增加額外收入9
1.3.2 減少支出9
1.3.3 降低風險9
1.3.4 參照系9
1.4 大數(shù)據產業(yè)及崗位10
1.4.1 大數(shù)據產業(yè)鏈條10
1.4.2 大數(shù)據產業(yè)分析11
1.4.3 大數(shù)據崗位12
1.5 虛擬機13
1.5.1 安裝虛擬機13
1.5.2 安裝CentOS15
1.5.3 安裝虛擬機常見問題20
1.5.4 大數(shù)據實驗平臺概述21
1.6 Linux操作系統(tǒng)22
1.6.1 Linux版本22
1.6.2 Linux 系統(tǒng)目錄結構23
1.6.3 文本編輯器vi24
1.6.4 文件權限解讀24
1.6.5 Linux系統(tǒng)常用命令25
習題127
實驗：Linux實驗29
第2章 大數(shù)據生態(tài)30
2.1 認識Hadoop30
2.2 部署Hadoop30
2.2.1 Hadoop安裝模式30
2.2.2 單節(jié)點偽分布模式安裝31
2.2.3 多節(jié)點偽分布模式安裝32
2.3 HDFS38
2.3.1 HDFS體系結構39
2.3.2 HDFS存儲原理41
2.3.3 HDFS實戰(zhàn)41
2.4 MapReduce44
2.4.1 MapReduce邏輯結構44
2.4.2 MapReduce實戰(zhàn)45
2.5 Zookeeper47
2.5.1 Zookeeper集群47
2.5.2 部署Zookeeper47
習題249
實驗：HDFS操作52
第3章 大數(shù)據采集與預處理53
3.1 數(shù)據53
3.1.1 數(shù)據是什么53
3.1.2 數(shù)據分類54
3.1.3 度量和維度55
3.2 數(shù)據采集56
3.2.1 數(shù)據采集概述56
3.2.2 數(shù)據采集工具56
3.3 日志采集組件Flume60
3.3.1 Flume結構60
3.3.2 Flume部署62
3.3.3 Flume實戰(zhàn)63
3.4 數(shù)據清洗68
3.4.1 缺失值處理68
3.4.2 異常值處理69
3.4.3 數(shù)據清洗實戰(zhàn)71
3.5 數(shù)據變換74
3.5.1 規(guī)范化74
3.5.2 數(shù)據透視表76
3.5.3 列聯(lián)表78
3.5.4 聚合表78
3.5.5 特征編碼79
習題379
第4章 大數(shù)據管理82
4.1 數(shù)據管理概述82
4.2 大數(shù)據管理NoSQL83
4.2.1 NoSQL概述83
4.2.2 NoSQL分類及主要產品83
4.3 列式數(shù)據庫HBase85
4.3.1 HBase模型85
4.3.2 HBase系統(tǒng)架構85
4.3.3 HBase應用場景88
4.4 HBase實戰(zhàn)89
4.4.1 HBase部署89
4.4.2 HBase Shell基本操作91
4.4.3 HBase Shell應用案例94
習題496
實驗：HBase基本操作97
第5章 數(shù)據可視化98
5.1 數(shù)據可視化概述98
5.2 常用圖形99
5.3 可視化設計\\105
5.3.1 數(shù)據可視化圖形選擇建議106
5.3.2 用數(shù)據講故事106
5.4 數(shù)據可視化工具111
5.4.1 FineReport111
5.4.2 ECharts113
5.4.3 Tableau114
習題5115
第6章 大數(shù)據分析117
6.1 大數(shù)據分析概述117
6.1.1 數(shù)據分析概念117
6.1.2 數(shù)據分析流程118
6.1.3 數(shù)據分析師的基本技能和素養(yǎng)119
6.2 業(yè)務理解124
6.2.1 業(yè)務理解概述124
6.2.2 數(shù)據業(yè)務化125
6.3 數(shù)據認知126
6.3.1 描述性分析126
6.3.2 對比分析126
6.3.3 細分分析128
6.3.4 交叉分析129
6.3.5 相關分析129
6.4 分析指標設計131
6.4.1 設計指標技巧131
6.4.2 如何設計指標131
6.5 數(shù)據建模133
6.6 內存計算引擎Spark134
6.6.1 Spark概述134
6.6.2 Spark結構135
6.6.3 Spark部署137
6.6.4 Spark實戰(zhàn)140
6.7 數(shù)據倉庫Hive143
6.7.1 數(shù)據倉庫概述143
6.7.2 Hive設計特點143
6.7.3 Hive系統(tǒng)架構143
6.7.4 Hive部署144
6.7.5 Hive實戰(zhàn)146
習題6149
實驗：Hive實驗151
第7章 大數(shù)據應用153
7.1 零售業(yè)大數(shù)據153
7.1.1 市場營銷153
7.1.2 商品管理156
7.1.3 運營管理157
7.1.4 供應鏈管理158
7.1.5 商業(yè)模式159
7.2 交通大數(shù)據159
7.2.1 道路運輸安全事故預警160
7.2.2 城市道路交通信號燈智能調時160
7.2.3 繪制實時路況信息圖161
7.2.4 停車管理161
7.3 醫(yī)療大數(shù)據162
7.3.1 大數(shù)據電子病歷162
7.3.2 大數(shù)據與流行病防控163
7.3.3 基因測序—精準治癌正在成為
現(xiàn)實164
7.4 農業(yè)大數(shù)據164
7.4.1 農業(yè)大數(shù)據構成165
7.4.2 農業(yè)大數(shù)據應用167
7.4.3 智慧畜牧業(yè)170
7.4.4 水產養(yǎng)殖環(huán)境監(jiān)測172
7.4.5 食品溯源172
7.5 環(huán)保大數(shù)據173
7.5.1 多維度的環(huán)保數(shù)據整合173
7.5.2 環(huán)保數(shù)據服務接口174
7.5.3 環(huán)保數(shù)據可視化175
7.6 教育大數(shù)據175
7.6.1 教育大數(shù)據特點175
7.6.2 教育大數(shù)據作用176
7.6.3 大數(shù)據應用于教育行業(yè)十大
案例177
7.6.4 教育大數(shù)據技術179
7.7 政府大數(shù)據180
7.7.1 政府主要部門的數(shù)據內容及
數(shù)據應用開發(fā)價值180
7.7.2 政府大數(shù)據應用案例181
7.8 工業(yè)大數(shù)據184
7.8.1 工業(yè)大數(shù)據概述184
7.8.2 工業(yè)大數(shù)據架構185
7.8.3 工業(yè)大數(shù)據的價值創(chuàng)造185
7.8.4 工業(yè)大數(shù)據應用案例186
習題7187
第8章 大數(shù)據安全188
8.1 大數(shù)據安全的重要意義188
8.2 大數(shù)據面臨的挑戰(zhàn)189
8.3 大數(shù)據安全技術190
8.4 大數(shù)據安全保障體系194
習題8195
附錄196
附錄A 大數(shù)據運維“1+X”
考證樣卷（初級）196
附錄B 數(shù)據分析“1+X”
考證樣