大數(shù)據(jù)導論

第1章 大數(shù)據(jù)與數(shù)據(jù)科學 / 1
1.1 大數(shù)據(jù)概述 / 1
1.1.1 大數(shù)據(jù)的概念 / 2
1.1.2 大數(shù)據(jù)的特征 / 2
1.1.3 大數(shù)據(jù)的結(jié)構(gòu)類型 / 3
1.2 大數(shù)據(jù)的發(fā)展 / 4
1.3 大數(shù)據(jù)處理的挑戰(zhàn) / 5
1.4 數(shù)據(jù)科學的概念 / 6
1.5 數(shù)據(jù)科學的由來 / 7
1.6 數(shù)據(jù)科學的應(yīng)用場景 / 9
1.6.1 行業(yè)數(shù)據(jù) / 9
1.6.2 數(shù)據(jù)服務(wù) / 10
小結(jié) / 11
習題 / 11
第2章 數(shù)據(jù)采集與數(shù)據(jù)預處理 / 12
2.1 數(shù)據(jù)采集和數(shù)據(jù)預處理概述 / 12
2.1.1 數(shù)據(jù)采集概述 / 12
2.1.2 數(shù)據(jù)預處理概述 / 13
2.2 數(shù)據(jù)采集技術(shù) / 15
2.2.1 網(wǎng)絡(luò)數(shù)據(jù)采集技術(shù) / 15
2.2.2 日志數(shù)據(jù)采集技術(shù) / 23
2.3 數(shù)據(jù)預處理技術(shù) / 28
2.3.1 數(shù)據(jù)清洗 / 28
2.3.2 數(shù)據(jù)集成 / 30
2.3.3 數(shù)據(jù)變換 / 30
2.3.4 數(shù)據(jù)規(guī)約 / 32
小結(jié) / 33
習題 / 33
第3章 數(shù)據(jù)存儲 / 34
3.1 數(shù)據(jù)存儲概述 34
3.1.1 數(shù)據(jù)存儲的發(fā)展歷程 / 34
3.1.2 數(shù)據(jù)存儲模型 / 36
3.2 大數(shù)據(jù)存儲 / 36
3.2.1 海量數(shù)據(jù)存儲關(guān)鍵技術(shù) / 37
3.2.2 分布式文件系統(tǒng) / 37
3.3 分布式數(shù)據(jù)庫 / 41
3.3.1 HBase 分布式數(shù)據(jù)庫 / 42
3.3.2 MongoDB 分布式 數(shù)據(jù)庫 / 45
3.3.3 Hive 分布式數(shù)據(jù) 倉庫 / 47
小結(jié) / 49
習題 / 49
第4章 大數(shù)據(jù)處理平臺 / 50
4.1 概述 / 50
4.2 大數(shù)據(jù)的處理平臺架構(gòu) / 51
4.2.1 技術(shù)架構(gòu) / 51
4.2.2 開源平臺 / 52
4.3 大數(shù)據(jù)的批量處理 / 54
4.3.1 批量計算的概念 / 54
4.3.2 批量計算的軟件系統(tǒng) / 55
4.4 大數(shù)據(jù)的流式計算 / 63
4.4.1 流式計算的概念 / 63
4.4.2 流式計算的軟件系統(tǒng) / 64
4.5 大數(shù)據(jù)的混合處理計算 / 68
4.5.1 混合處理計算的概念 / 68
4.5.2 混合處理計算的軟件系統(tǒng) / 69
小結(jié) / 78
習題 / 79
第5章 數(shù)據(jù)分析 / 80
5.1 數(shù)據(jù)分析概述 / 80
5.1.1 數(shù)據(jù)分析的概念和作用 / 80
5.1.2 數(shù)據(jù)分析的類型 / 81
5.1.3 數(shù)據(jù)分析的流程 / 81
5.2 統(tǒng)計數(shù)據(jù)分析方法 / 83
5.2.1 描述統(tǒng)計 / 83
5.2.2 相關(guān)分析 / 84
5.2.3 回歸分析 / 88
5.2.4 主成分分析 / 92
5.3 數(shù)據(jù)挖掘算法 / 96
5.3.1 決策樹 / 96
5.3.2 K-Means 算法 / 101
5.3.3 Apriori 算法 / 106
5.3.4 神經(jīng)網(wǎng)絡(luò) / 111
5.4 數(shù)據(jù)分析工具 / 113
小結(jié) / 114
習題 / 114
第6章 數(shù)據(jù)可視化 / 117
6.1 數(shù)據(jù)可視化概述 / 117
6.1.1 數(shù)據(jù)可視化的基本特征 / 119
6.1.2 數(shù)據(jù)可視化的作用 / 120
6.1.3 數(shù)據(jù)可視化的流程 / 123
6.2 數(shù)據(jù)可視化方法 / 126
6.2.1 文本可視化 / 126
6.2.2 網(wǎng)絡(luò)可視化 / 129
6.2.3 時空數(shù)據(jù)可視化 / 131
6.2.4 多維數(shù)據(jù)可視化 / 134
6.3 數(shù)據(jù)可視化軟件與工具 / 136
6.3.1 Excel / 137
6.3.2 NodeXL / 137
6.3.3 Processing / 138
6.3.4 R / 139
6.3.5 ECharts / 139
6.3.6 Wolfram Mathematica / 141
小結(jié) / 141
習題 / 142
第7章 數(shù)據(jù)安全與隱私 / 143
7.1 大數(shù)據(jù)安全概述 / 143
7.1.1 大數(shù)據(jù)安全體系結(jié)構(gòu) / 148
7.1.2 大數(shù)據(jù)安全 / 150
7.2 數(shù)據(jù)安全協(xié)議 / 157
7.3 數(shù)據(jù)隱私 / 159
7.4 數(shù)據(jù)信息共享與隱私信息融合 / 160
7.5 云環(huán)境下的大數(shù)據(jù)安全與隱私保護 / 163
小結(jié) / 165
習題 / 165
第8章 大數(shù)據(jù)應(yīng)用 / 166
8.1 互聯(lián)網(wǎng)商業(yè)應(yīng)用 / 166
8.1.1 用戶畫像 / 166
8.1.2 大數(shù)據(jù)精準營銷 / 169
8.1.3 互聯(lián)網(wǎng)金融 / 171
8.2 行業(yè)大數(shù)據(jù) / 173
8.2.1 教育大數(shù)據(jù) / 173
8.2.2 電力大數(shù)據(jù) / 174
8.2.3 醫(yī)療大數(shù)據(jù) / 177
8.3 人工智能應(yīng)用 / 179
8.3.1 語音識別和機器翻譯 / 179
8.3.2 共享經(jīng)濟 / 180
8.3.3 智慧城市 / 183
小結(jié) / 187
習題 / 188
第9章 數(shù)據(jù)思維 / 189
9.1 大數(shù)據(jù)時代的挑戰(zhàn) / 189
9.2 大數(shù)據(jù)時代的思維變革 / 194
9.2.1 第四范式 / 194
9.2.2 數(shù)據(jù)的混雜性 / 195
9.2.3 樣本與總體 / 196
9.2.4 數(shù)據(jù)的相關(guān)關(guān)系與因果關(guān)系 / 197
9.2.5 大數(shù)據(jù)與幸存者偏差 / 198
9.3 大數(shù)據(jù)激發(fā)創(chuàng)造力 / 199
9.3.1 大數(shù)據(jù)預測電影票房 / 199
9.3.2 利用大數(shù)據(jù)治理紐約 / 200
9.3.3 大數(shù)據(jù)助力總統(tǒng)競選 / 202
9.4 數(shù)據(jù)科學展望 / 204
9.4.1 開放數(shù)據(jù)運動 / 204
9.4.2 數(shù)據(jù)科學家所需的專業(yè)技能 / 206
9.4.3 數(shù)據(jù)科學的發(fā)展前景 / 208
小結(jié) 210
習題 210
參考文獻 / 211