數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)導(dǎo)論

第1章 什么是大數(shù)據(jù) 1
1.1 數(shù)據(jù)、大數(shù)據(jù)及數(shù)據(jù)挖掘 1
1.1.1 數(shù)據(jù) 1
1.1.2 大數(shù)據(jù) 2
1.1.3 數(shù)據(jù)挖掘 3
1.1.4 數(shù)據(jù)挖掘的技術(shù)基礎(chǔ) 4
1.2 大數(shù)據(jù)與統(tǒng)計(jì)學(xué) 6
1.3 機(jī)器學(xué)習(xí)與人工智能 7
1.3.1 機(jī)器學(xué)習(xí)與人工智能 7
1.3.2 機(jī)器學(xué)習(xí)的定義 8
1.4 相關(guān)領(lǐng)域應(yīng)用 9
1.4.1 數(shù)據(jù)挖掘的相關(guān)案例 9
1.4.2 大數(shù)據(jù)應(yīng)用領(lǐng)域 12
1.5 小結(jié) 15
1.6 習(xí)題 16
第2章 Python基礎(chǔ)知識(shí) 17
2.1 Python概述 17
2.1.1 Python簡(jiǎn)介 17
2.1.2 Python的特點(diǎn) 18
2.1.3 Python集成開(kāi)發(fā)環(huán)境的搭建 19
2.2 Python數(shù)據(jù)類型 22
2.2.1 數(shù)字 22
2.2.2 字符串 27
2.2.3 索引與分片 33
2.2.4 列表 35
2.2.5 元組 41
2.2.6 可變與不可變類型 44
2.2.7 字典 46
2.2.8 集合與不可變集合 50
2.3 判斷與循環(huán) 56
2.3.1 判斷語(yǔ)句 56
2.3.2 循環(huán)語(yǔ)句 62
2.3.3 一些簡(jiǎn)單實(shí)例 69
2.4 函數(shù)與模塊 72
2.4.1. Python函數(shù) 72
2.4.2 內(nèi)置函數(shù) 77
2.4.3 模塊 81
2.4.4 階段案例—學(xué)生管理系統(tǒng) 86
2.5 文件讀寫(xiě) 91
2.5.1 讀文件 91
2.5.2 寫(xiě)文件 92
2.5.3 中文文件的讀寫(xiě) 94
2.6 異常與警告 95
2.6.1 異常 95
2.6.2 警告 103
2.7 本章小結(jié) 104
2.8 習(xí)題 105
第3章 數(shù)據(jù)分析與可視化 107
3.1 Python數(shù)據(jù)分析包 107
3.1.1 Pandas 107
3.1.2 Numpy 108
3.1.3 SciPy 108
3.1.4 Matplotlib 109
3.2 數(shù)據(jù)準(zhǔn)備 110
3.2.1 數(shù)據(jù)類型 110
3.2.2 數(shù)據(jù)結(jié)構(gòu) 110
3.2.3 數(shù)據(jù)導(dǎo)入 119
3.2.4 數(shù)據(jù)導(dǎo)出 122
3.3 數(shù)據(jù)處理 125
3.3.1 數(shù)據(jù)清洗 125
3.3.2 數(shù)據(jù)抽取 130
3.3.3 排名索引 141
3.3.4 數(shù)據(jù)合并 145
3.3.5 數(shù)據(jù)計(jì)算 150
3.3.6 數(shù)據(jù)分組 151
3.3.7 日期處理 153
3.4 數(shù)據(jù)分析 159
3.4.1 基本統(tǒng)計(jì) 159
3.4.2 分組分析 161
3.4.3 分布分析 162
3.4.4 交叉分析 165
3.4.5 結(jié)構(gòu)分析 167
3.4.6 相關(guān)分析 169
3.5 數(shù)據(jù)可視化 171
3.5.1 餅圖 171
3.5.2 散點(diǎn)圖 172
3.5.3 折線圖 174
3.5.4 柱形圖 179
3.5.5 直方圖 182
3.6 本章小結(jié) 183
3.7 習(xí)題 184
第4章 數(shù)據(jù)挖掘（SQL/Python） 186
4.1 數(shù)據(jù)挖掘緒論 186
4.1.1 數(shù)據(jù)挖掘定義 186
4.1.2 數(shù)據(jù)挖掘源起 187
4.1.3 數(shù)據(jù)挖掘研究目標(biāo) 188
4.1.4 數(shù)據(jù)挖掘開(kāi)源工具 190
4.2數(shù)據(jù)存儲(chǔ) 194
4.2.1 數(shù)據(jù)庫(kù)數(shù)據(jù) 194
4.2.2 數(shù)據(jù)倉(cāng)庫(kù) 195
4.2.3 數(shù)據(jù)倉(cāng)庫(kù)建模和實(shí)現(xiàn) 197
4.2.4 非關(guān)系型數(shù)據(jù)庫(kù) 201
4.2.5 實(shí)時(shí)流數(shù)據(jù)與框架 203
4.3 數(shù)據(jù)挖掘技術(shù) 204
4.3.1 分類與預(yù)測(cè) 204
4.3.2 聚類分析 207
4.3.3 關(guān)聯(lián)規(guī)則 212
4.3.4 離群點(diǎn)檢測(cè) 215
4.3.5 時(shí)間序列分析 218
4.4 數(shù)據(jù)挖掘應(yīng)用 220
4.4.1 系統(tǒng)日志和時(shí)間挖掘 220
4.4.2 社交媒體挖掘 222
4.4.3 文本挖掘 225
4.4.4 推薦系統(tǒng) 227
4.4.5 數(shù)據(jù)挖掘與智慧城市 228
4.5 習(xí)題 232
第5章 機(jī)器學(xué)習(xí) 241
5.1機(jī)器學(xué)習(xí)概述 241
5.1.1 機(jī)器學(xué)習(xí)的概念 241
5.1.2 機(jī)器學(xué)習(xí)的歷史 242
5.1.3 機(jī)器學(xué)習(xí)的發(fā)展 243
5.2 回歸分析 243
5.2.1 線性回歸介紹 243
5.2.2 線性回歸相關(guān)性 247
5.2.3 多項(xiàng)式回歸數(shù)據(jù)擬合 250
5.2.4 非線性回歸 250
5.3 分類算法 251
5.3.1 k近鄰算法 251
5.3.2 決策樹(shù)算法 253
5.3.3 支持向量機(jī)算法 255
5.3.4 樸素貝葉斯算法 256
5.4 聚類算法 259
5.4.1 k-means算法 259
5.4.2 層次聚類算法 262
5.5 深度學(xué)習(xí) 263
5.5.1 人工神經(jīng)網(wǎng)絡(luò) 263
5.5.2 感知機(jī)和深度神經(jīng)網(wǎng)絡(luò) 264
5.5.3 循環(huán)網(wǎng)絡(luò) 265
5.5.4 卷積神經(jīng)網(wǎng)絡(luò) 266
5.5.5 自編碼器 267
5.6 機(jī)器學(xué)習(xí)的應(yīng)用 268
5.7 本章小結(jié) 270
5.8 習(xí)題 271
第6章 大數(shù)據(jù)處理 273
6.1 Hadoop概述 273
6.1.1 Hadoop簡(jiǎn)介 273
6.1.2 Hadoop的特性 274
6.1.3 Hadoop的發(fā)展 274
6.2 Hadoop生態(tài)系統(tǒng) 275
6.2.1 HDFS 276
6.2.2 MapReduce 276
6.2.3 HBase 277
6.2.4 Hive 277
6.2.5 Pig 277
6.2.6 Zookeeper 277
6.2.7 Mahout 277
6.2.8 Sqoop 277
6.2.9 Flume 278
6.2.10 Ambari 278
6.3 Hadoop集群的安裝與配置 278
6.3.1 操作系統(tǒng)CentOS的安裝 279
6.3.2 創(chuàng)建Hadoop用戶與系統(tǒng)設(shè)置 279
6.3.3 安裝Java 280
6.3.4 安裝Hadoop 281
6.3.5 克隆虛擬機(jī)與網(wǎng)絡(luò)設(shè)置 284
6.3.6 SSH無(wú)密碼登錄設(shè)置 285
6.3.7 啟停和驗(yàn)證集群 286
6.4 分布式文件系統(tǒng)HDFS 288
6.4.1 HDFS相關(guān)概念 288
6.4.2 HDFS體系結(jié)構(gòu) 289
6.4.3 HDFS的數(shù)據(jù)讀寫(xiě)過(guò)程 290
6.4.4 HDFS文件訪問(wèn)與控制 293
6.4.5 編程實(shí)踐：HDFS文件上傳、下載與讀寫(xiě) 294
6.5 MapReduce編程模型 295
6.5.1 MapReduce基本原理 295
6.5.2 MapReduce的工作機(jī)制 297
6.5.3 編程實(shí)踐：統(tǒng)計(jì)日志 299
6.6 資源管理調(diào)度框架YARN 303
6.6.1 YARN設(shè)計(jì)思路 303
6.6.2 YARN體系結(jié)構(gòu) 304
6.6.3 YARN工作流程 306
6.6.4 編程實(shí)踐：在YARN上運(yùn)行WordCount程序 307
6.7 Spark 310
6.7.1 Spark簡(jiǎn)介 310
6.7.2 Spark生態(tài)系統(tǒng) 311
6.7.3 Spark運(yùn)行架構(gòu) 312
6.7.4 Spark的部署和應(yīng)用架構(gòu) 316
6.7.5 Spark集群的安裝與配置 317
6.7.6 Pyspark安裝與配置 321
6.7.7 編程實(shí)踐：統(tǒng)計(jì)素?cái)?shù)數(shù)量 326
6.8 本章小結(jié) 328
6.9 習(xí)題 329