Spark MLlib機(jī)器學(xué)習(xí)實(shí)踐（第2版）

目 錄第1章 星星之火 11.1 大數(shù)據(jù)時(shí)代 11.2 大數(shù)據(jù)分析時(shí)代 21.3 簡單、優(yōu)雅、有效——這就是Spark31.4 核心——MLlib 41.5 星星之火，可以燎原 61.6 小結(jié) 6第2章 Spark安裝和開發(fā)環(huán)境配置 72.1 Windows單機(jī)模式Spark安裝和配置 72.1.1 Windows 7安裝Java 72.1.2 Windows 7安裝Scala 102.1.3 Intellij IDEA下載和安裝 132.1.4 Intellij IDEA中Scala插件的安裝 142.1.5 HelloJava——使用Intellij IDEA創(chuàng)建Java程序 182.1.6 HelloScala——使用Intellij IDEA創(chuàng)建Scala程序 212.1.7 最后一腳——Spark單機(jī)版安裝 262.2 經(jīng)典的WordCount292.2.1 Spark實(shí)現(xiàn)WordCount 292.2.2 MapReduce實(shí)現(xiàn)WordCount 312.3 小結(jié) 34第3章 RDD詳解 353.1 RDD是什么 353.1.1 RDD名稱的秘密 353.1.2 RDD特性 363.1.3 與其他分布式共享內(nèi)存的區(qū)別 373.1.4 RDD缺陷 373.2 RDD工作原理 383.2.1 RDD工作原理圖 383.2.2 RDD的相互依賴 383.3 RDD應(yīng)用API詳解 393.3.1 使用aggregate方法對(duì)給定的數(shù)據(jù)集進(jìn)行方法設(shè)定 393.3.2 提前計(jì)算的cache方法 423.3.3 笛卡爾操作的cartesian方法 433.3.4 分片存儲(chǔ)的coalesce方法 443.3.5 以value計(jì)算的countByValue方法 453.3.6 以key計(jì)算的countByKey方法 453.3.7 除去數(shù)據(jù)集中重復(fù)項(xiàng)的distinct方法 463.3.8 過濾數(shù)據(jù)的filter方法 473.3.9 以行為單位操作數(shù)據(jù)的flatMap方法 473.3.10 以單個(gè)數(shù)據(jù)為目標(biāo)進(jìn)行操作的map方法 483.3.11 分組數(shù)據(jù)的groupBy方法 483.3.12 生成鍵值對(duì)的keyBy方法 493.3.13 同時(shí)對(duì)兩個(gè)數(shù)據(jù)進(jìn)行處理的reduce方法 503.3.14 對(duì)數(shù)據(jù)進(jìn)行重新排序的sortBy方法 513.3.15 合并壓縮的zip方法 523.4 小結(jié) 53第4章 MLlib基本概念 544.1 MLlib基本數(shù)據(jù)類型 544.1.1 多種數(shù)據(jù)類型 544.1.2 從本地向量集起步 554.1.3 向量標(biāo)簽的使用 564.1.4 本地矩陣的使用 584.1.5 分布式矩陣的使用 594.2 MLlib數(shù)理統(tǒng)計(jì)基本概念 624.2.1 基本統(tǒng)計(jì)量 624.2.2 統(tǒng)計(jì)量基本數(shù)據(jù) 634.2.3 距離計(jì)算 644.2.4 兩組數(shù)據(jù)相關(guān)系數(shù)計(jì)算 654.2.5 分層抽樣 674.2.6 假設(shè)檢驗(yàn) 694.2.7 隨機(jī)數(shù) 704.3 小結(jié) 71第5章 協(xié)同過濾算法 725.1 協(xié)同過濾 725.1.1 協(xié)同過濾概述 725.1.2 基于用戶的推薦 735.1.3 基于物品的推薦 745.1.4 協(xié)同過濾算法的不足 755.2 相似度度量 755.2.1 基于歐幾里得距離的相似度計(jì)算 755.2.2 基于余弦角度的相似度計(jì)算 765.2.3 歐幾里得相似度與余弦相似度的比較 775.2.4 第一個(gè)例子——余弦相似度實(shí)戰(zhàn) 775.3 MLlib中的交替最小二乘法（ALS算法） 805.3.1 最小二乘法（LS算法）詳解 815.3.2 MLlib中交替最小二乘法（ALS算法）詳解 825.3.3 ALS算法實(shí)戰(zhàn) 835.4 小結(jié) 85第6章 MLlib線性回歸理論與實(shí)戰(zhàn) 866.1 隨機(jī)梯度下降算法詳解 866.1.1 道士下山的故事 876.1.2 隨機(jī)梯度下降算法的理論基礎(chǔ) 886.1.3 隨機(jī)梯度下降算法實(shí)戰(zhàn) 886.2 MLlib回歸的過擬合 896.2.1 過擬合產(chǎn)生的原因 906.2.2 lasso回歸與嶺回歸 916.3 MLlib線性回歸實(shí)戰(zhàn) 916.3.1 MLlib線性回歸基本準(zhǔn)備 916.3.2 MLlib線性回歸實(shí)戰(zhàn)：商品價(jià)格與消費(fèi)者收入之間的關(guān)系 946.3.3 對(duì)擬合曲線的驗(yàn)證 956.4 小結(jié) 97第7章 MLlib分類實(shí)戰(zhàn) 987.1 邏輯回歸詳解 987.1.1 邏輯回歸不是回歸算法 987.1.2 邏輯回歸的數(shù)學(xué)基礎(chǔ) 997.1.3 一元邏輯回歸示例 1007.1.4 多元邏輯回歸示例 1017.1.5 MLlib邏輯回歸驗(yàn)證 1037.1.6 MLlib邏輯回歸實(shí)例：腎癌的轉(zhuǎn)移判斷 1047.2 支持向量機(jī)詳解 1067.2.1 三角還是圓 1067.2.2 支持向量機(jī)的數(shù)學(xué)基礎(chǔ) 1087.2.3 支持向量機(jī)使用示例 1097.2.4 使用支持向量機(jī)分析腎癌轉(zhuǎn)移 1107.3 樸素貝葉斯詳解 1117.3.1 穿褲子的男生or女生 1117.3.2 貝葉斯定理的數(shù)學(xué)基礎(chǔ)和意義 1127.3.3 樸素貝葉斯定理 1137.3.4 MLlib樸素貝葉斯使用示例 1147.3.5 MLlib樸素貝葉斯實(shí)戰(zhàn)：“僵尸粉”的鑒定 1157.4 小結(jié) 117第8章 決策樹與保序回歸 1188.1 決策樹詳解 1188.1.1 水晶球的秘密 1198.1.2 決策樹的算法基礎(chǔ)：信息熵 1198.1.3 決策樹的算法基礎(chǔ)——ID3算法 1218.1.4 MLlib中決策樹的構(gòu)建 1228.1.5 MLlib中決策樹示例 1238.1.6 隨機(jī)雨林與梯度提升算法（GBT） 1258.2 保序回歸詳解 1278.2.1 何為保序回歸 1288.2.2 保序回歸示例 1288.3 小結(jié) 129第9章 MLlib中聚類詳解 1309.1 聚類與分類 1309.1.1 什么是分類 1309.1.2 什么是聚類 1319.2 MLlib中的Kmeans算法 1319.2.1 什么是kmeans算法 1319.2.2 MLlib中Kmeans算法示例 1339.2.3 Kmeans算法中細(xì)節(jié)的討論 1349.3 高斯混合聚類 1359.3.1 從高斯分布聚類起步 1359.3.2 混合高斯聚類 1379.3.3 MLlib高斯混合模型使用示例 1379.4 快速迭代聚類 1389.4.1 快速迭代聚類理論基礎(chǔ) 1389.4.2 快速迭代聚類示例 1399.5 小結(jié) 140第10章 MLlib中關(guān)聯(lián)規(guī)則 14110.1 Apriori頻繁項(xiàng)集算法 14110.1.1 啤酒與尿布 14110.1.2 經(jīng)典的Apriori算法 14210.1.3 Apriori算法示例 14410.2 FP-growth算法 14510.2.1 Apriori算法的局限性 14510.2.2 FP-growth算法 14510.2.3 FP樹示例 14810.3 小結(jié) 149第11章 數(shù)據(jù)降維 15011.1 奇異值分解（SVD） 15011.1.1 行矩陣（RowMatrix）詳解 15011.1.2 奇異值分解算法基礎(chǔ) 15111.1.3 MLlib中奇異值分解示例 15211.2 主成分分析（PCA） 15311.2.1 主成分分析（PCA）的定義 15411.2.2 主成分分析（PCA）的數(shù)學(xué)基礎(chǔ) 15411.2.3 MLlib中主成分分析（PCA）示例 15511.3 小結(jié) 156第12章 特征提取和轉(zhuǎn)換 15712.1 TF-IDF 15712.1.1 如何查找所要的新聞 15712.1.2 TF-IDF算法的數(shù)學(xué)計(jì)算 15812.1.3 MLlib中TF-IDF示例 15912.2 詞向量化工具 16012.2.1 詞向量化基礎(chǔ) 16012.2.2 詞向量化使用示例 16112.3 基于卡方檢驗(yàn)的特征選擇 16212.3.1 “吃貨”的苦惱 16212.3.2 MLlib中基于卡方檢驗(yàn)的特征選擇示例 16312.4 小結(jié) 164第13章 MLlib實(shí)戰(zhàn)演練——鳶尾花分析16613.1 建模說明 16613.1.1 數(shù)據(jù)的描述與分析目標(biāo) 16613.1.2 建模說明 16813.2 數(shù)據(jù)預(yù)處理和分析 17113.2.1 微觀分析——均值與方差的對(duì)比分析 17113.2.2 宏觀分析——不同種類特性的長度計(jì)算 17413.2.3 去除重復(fù)項(xiàng)——相關(guān)系數(shù)的確定 17613.3 長與寬之間的關(guān)系——數(shù)據(jù)集的回歸分析 18013.3.1 使用線性回歸分析長與寬之間的關(guān)系 18013.3.2 使用邏輯回歸分析長與寬之間的關(guān)系 18313.4 使用分類和聚類對(duì)鳶尾花數(shù)據(jù)集進(jìn)行處理 18413.4.1 使用聚類分析對(duì)數(shù)據(jù)集進(jìn)行聚類處理 18413.4.2 使用分類分析對(duì)數(shù)據(jù)集進(jìn)行分類處理 18713.5 最終的判定——決策樹測試 18813.5.1 決定數(shù)據(jù)集的歸類——決策樹 18813.5.2 決定數(shù)據(jù)集歸類的分布式方法——隨機(jī)雨林 19013.6 小結(jié) 191