Spark機(jī)器學(xué)習(xí)進(jìn)階實(shí)戰(zhàn)

前　言
第一篇　基礎(chǔ)篇
第1章　機(jī)器學(xué)習(xí)概述 2
1.1　機(jī)器學(xué)習(xí)概述 2
1.1.1　理解大數(shù)據(jù) 2
1.1.2　機(jī)器學(xué)習(xí)發(fā)展過(guò)程 4
1.1.3　大數(shù)據(jù)生態(tài)環(huán)境 5
1.2　機(jī)器學(xué)習(xí)算法 6
1.2.1　傳統(tǒng)機(jī)器學(xué)習(xí) 6
1.2.2　深度學(xué)習(xí) 8
1.2.3　其他機(jī)器學(xué)習(xí) 8
1.3　機(jī)器學(xué)習(xí)分類(lèi) 9
1.3.1　監(jiān)督學(xué)習(xí) 9
1.3.2　無(wú)監(jiān)督學(xué)習(xí) 10
1.3.3　半監(jiān)督學(xué)習(xí) 10
1.3.4　強(qiáng)化學(xué)習(xí) 10
1.4　機(jī)器學(xué)習(xí)綜合應(yīng)用 11
1.4.1　異常檢測(cè) 12
1.4.2　用戶畫(huà)像 12
1.4.3　廣告點(diǎn)擊率預(yù)估 12
1.4.4　企業(yè)征信大數(shù)據(jù)應(yīng)用 12
1.4.5　智慧交通大數(shù)據(jù)應(yīng)用 13
1.5　本章小結(jié) 13
第2章　數(shù)據(jù)分析流程和方法 14
2.1　數(shù)據(jù)分析概述 14
2.2　數(shù)據(jù)分析流程 15
2.2.1　業(yè)務(wù)調(diào)研 16
2.2.2　明確目標(biāo) 16
2.2.3　數(shù)據(jù)準(zhǔn)備 16
2.2.4　特征處理 17
2.2.5　模型訓(xùn)練與評(píng)估 21
2.2.6　輸出結(jié)論 23
2.3　數(shù)據(jù)分析的基本方法 24
2.3.1　匯總統(tǒng)計(jì) 24
2.3.2　相關(guān)性分析 25
2.3.3　分層抽樣 26
2.3.4　假設(shè)檢驗(yàn) 26
2.4　簡(jiǎn)單的數(shù)據(jù)分析實(shí)踐 27
2.4.1　環(huán)境準(zhǔn)備 27
2.4.2　準(zhǔn)備數(shù)據(jù) 28
2.4.3　數(shù)據(jù)分析 29
2.5　本章小結(jié) 30
第二篇　算法篇
第3章　構(gòu)建分類(lèi)模型 32
3.1　分類(lèi)模型概述 32
3.2　分類(lèi)模型算法 34
3.2.1　邏輯回歸 34
3.2.2　樸素貝葉斯模型 36
3.2.3　SVM模型 37
3.2.4　決策樹(shù)模型 39
3.2.5　K-近鄰 40
3.3　分類(lèi)效果評(píng)估 40
3.3.1　正確率 41
3.3.2　準(zhǔn)確率、召回率和F1值 41
3.3.3　ROC和AUC 42
3.4　App數(shù)據(jù)的分類(lèi)實(shí)現(xiàn) 44
3.4.1　選擇分類(lèi)器 44
3.4.2　準(zhǔn)備數(shù)據(jù) 45
3.4.3　訓(xùn)練模型 46
3.4.4　模型性能評(píng)估 48
3.4.5　模型參數(shù)調(diào)優(yōu) 49
3.5　其他分類(lèi)模型 50
3.5.1　隨機(jī)森林 50
3.5.2　梯度提升樹(shù) 51
3.5.3　因式分解機(jī)模型 51
3.6　本章小結(jié) 52
第4章　構(gòu)建聚類(lèi)模型 53
4.1　聚類(lèi)概述 53
4.2　聚類(lèi)模型 54
4.2.1　KMeans聚類(lèi) 54
4.2.2　DBSCAN聚類(lèi) 55
4.2.3　主題聚類(lèi) 56
4.3　聚類(lèi)效果評(píng)價(jià) 58
4.3.1　集中平方誤差和 58
4.3.2　Purity評(píng)價(jià)法 59
4.4　使用KMeans對(duì)鳶尾花卉數(shù)據(jù)集聚類(lèi) 59
4.4.1　準(zhǔn)備數(shù)據(jù) 59
4.4.2　特征處理 60
4.4.3　聚類(lèi)分析 60
4.4.4　模型性能評(píng)估 62
4.5　使用DBSCAN對(duì)GPS數(shù)據(jù)進(jìn)行聚類(lèi) 62
4.5.1　準(zhǔn)備數(shù)據(jù) 63
4.5.2　特征處理 64
4.5.3　聚類(lèi)分析 64
4.5.4　模型參數(shù)調(diào)優(yōu) 65
4.6　其他模型 66
4.6.1　層次聚類(lèi) 66
4.6.2　基于圖的聚類(lèi) 67
4.6.3　混合聚類(lèi)模型 67
4.7　本章小結(jié) 68
第5章　構(gòu)建回歸模型 69
5.1　常用回歸模型 69
5.1.1　線性回歸模型 70
5.1.2　回歸樹(shù)模型 70
5.1.3　其他回歸模型 71
5.2　評(píng)估指標(biāo) 73
5.3　回歸模型優(yōu)化 74
5.3.1　特征選擇 74
5.3.2　特征變換 74
5.4　構(gòu)建UCI裙子銷(xiāo)售數(shù)據(jù)回歸模型 75
5.4.1　準(zhǔn)備數(shù)據(jù) 75
5.4.2　訓(xùn)練模型 78
5.4.3　評(píng)估效果 79
5.4.4　模型優(yōu)化 79
5.5　其他回歸模型案例 80
5.5.1　GDP影響因素分析 81
5.5.2　大氣污染分析 81
5.5.3　大數(shù)據(jù)比賽中的回歸問(wèn)題 81
5.6　本章小結(jié) 82
第6章　構(gòu)建關(guān)聯(lián)規(guī)則模型 83
6.1　關(guān)聯(lián)規(guī)則概述 83
6.2　常用關(guān)聯(lián)規(guī)則算法 84
6.2.1　Apriori算法 84
6.2.2　FP-Growth算法 85
6.3　效果評(píng)估和優(yōu)化 86
6.3.1　效果評(píng)估 86
6.3.2　效果優(yōu)化 87
6.4　使用FP-Growth對(duì)豆瓣評(píng)分?jǐn)?shù)據(jù)進(jìn)行挖掘 88
6.4.1　準(zhǔn)備數(shù)據(jù) 89
6.4.2　訓(xùn)練模型 89
6.4.3　觀察規(guī)則 91
6.4.4　參數(shù)調(diào)優(yōu) 91
6.4.5　使用算法 92
6.5　其他應(yīng)用場(chǎng)景 94
6.6　本章小結(jié) 96
第7章　協(xié)同過(guò)濾 97
7.1　協(xié)同過(guò)濾概述 97
7.2　常用的協(xié)同過(guò)濾算法 98
7.2.1　基于用戶的協(xié)同過(guò)濾 99
7.2.2　基于物品的協(xié)同過(guò)濾 100
7.2.3　矩陣分解技術(shù) 101
7.2.4　推薦算法的選擇 102
7.3　評(píng)估標(biāo)準(zhǔn) 103
7.3.1　準(zhǔn)確率 103
7.3.2　覆蓋率 103
7.3.3　多樣性 104
7.3.4　其他指標(biāo) 104
7.4　使用電影評(píng)分?jǐn)?shù)據(jù)進(jìn)行協(xié)同過(guò)濾實(shí)踐 104
7.4.1　準(zhǔn)備數(shù)據(jù) 105
7.4.2　訓(xùn)練模型 106
7.4.3　測(cè)試模型 109
7.4.4　使用ALS結(jié)果 111
7.5　本章小結(jié) 112
第8章　數(shù)據(jù)降維 113
8.1　降維概述 113
8.2　常用降維算法 114
8.2.1　主成分分析 114
8.2.2　奇異值分解 116
8.2.3　廣義降維 117
8.2.4　文本降維 118
8.3　降維評(píng)估標(biāo)準(zhǔn) 121
8.4　使用PCA對(duì)Digits數(shù)據(jù)集進(jìn)行降維 122
8.4.1　準(zhǔn)備數(shù)據(jù) 122
8.4.2　訓(xùn)練模型 123
8.4.3　分析降維結(jié)果 124
8.5　其他降維方法 124
8.5.1　線性判別分析 124
8.5.2　局部線性嵌入 125
8.5.3　拉普拉斯特征映射 125
8.6　本章小結(jié) 126
第三篇　綜合應(yīng)用篇
第9章　異常檢測(cè) 128
9.1　異常概述 128
9.1.1　異常的產(chǎn)生 129
9.1.2　異常檢測(cè)的分類(lèi) 129
9.2　異常檢測(cè)方法 130
9.2.1　基于模型的方法 130
9.2.2　基于鄰近度的方法 131
9.2.3　基于密度的方法 132
9.2.4　基于聚類(lèi)的方法 133
9.3　異常檢測(cè)系統(tǒng) 133
9.3.1　異常檢測(cè)過(guò)程 133
9.