Python機器學(xué)習(xí)實踐

第1章 機器學(xué)習(xí)基礎(chǔ) 1
1.1 機器學(xué)習(xí)概述 1
1.1.1 什么是機器學(xué)習(xí) 1
1.1.2 機器學(xué)習(xí)發(fā)展史 3
1.1.3 機器學(xué)習(xí)、人工智能、深度學(xué)習(xí)的關(guān)系 5
1.2 機器學(xué)習(xí)相關(guān)概念 6
1.3 機器學(xué)習(xí)的任務(wù) 8
1.3.1 監(jiān)督學(xué)習(xí) 8
1.3.2 無監(jiān)督學(xué)習(xí) 8
1.3.3 半監(jiān)督學(xué)習(xí) 9
1.4 機器學(xué)習(xí)的一般步驟 9
1.5 機器學(xué)習(xí)Python基礎(chǔ) 10
1.5.1 Python開發(fā)環(huán)境 10
1.5.2 Python基本語法 11
1.5.3 Python列表、元組、字典、集合 13
1.6 本章小結(jié) 18
1.7 習(xí)題 18
第2章 k近鄰算法 19
2.1 k近鄰算法原理 19
2.1.1 非參數(shù)估計與參數(shù)估計 20
2.1.2 非參數(shù)估計的一般推導(dǎo) 22
2.2 基于k近鄰算法的實現(xiàn) 23
2.2.1 利用直方圖估計概率密度、分類 23
2.2.2 利用Parzen矩形窗估計概率密度、分類 28
2.2.3 利用Parzen正態(tài)核估計概率密度、分類 29
2.3 k近鄰算法應(yīng)用─鳶尾花的分類 31
2.4 本章小結(jié) 35
2.5 習(xí)題 35


第3章 貝葉斯分類器 37
3.1 貝葉斯定理相關(guān)概念 37
3.1.1 先驗概率、條件概率、后驗概率與類條件概率 37
3.1.2 貝葉斯決策理論 38
3.1.3 極大似然估計 39
3.2 樸素貝葉斯分類器 42
3.2.1 手工設(shè)計貝葉斯分類器 43
3.2.2 貝葉斯分類器的實現(xiàn) 44
3.2.3 平滑方法 46
3.3 樸素貝葉斯分類算法實現(xiàn)─三文魚和鱸魚的分類 48
3.3.1 算法實現(xiàn) 48
3.3.2 調(diào)用系統(tǒng)函數(shù)實現(xiàn) 55
3.4 正態(tài)貝葉斯分類器 56
3.5 本章小結(jié) 57
3.6 習(xí)題 57
第4章 聚類 59
4.1 聚類算法簡介 59
4.1.1 聚類算法分類 59
4.1.2 距離度量方法 60
4.2 K-means聚類 62
4.3 基于密度的聚類─DBSCAN聚類 68
4.3.1 DBSCAN算法原理及相關(guān)概念 68
4.3.2 DBSCAN聚類算法 69
4.4 基于層次的聚類─AGNES聚類 72
4.4.1 AGNES聚類算法思想 72
4.4.2 AGNES算法實現(xiàn) 74
4.5 聚類應(yīng)用舉例 76
4.6 各種聚類算法的比較 79
4.7 本章小結(jié) 80
4.8 習(xí)題 80
第5章 EM算法 82
5.1 EM算法原理及推導(dǎo)過程 82
5.1.1 EM算法思想 82
5.1.2 EM算法推導(dǎo)過程 83
5.2 高斯混合聚類 85
5.2.1 概率密度函數(shù) 85
5.2.2 高斯混合聚類算法推導(dǎo)過程 86
5.2.3 高斯混合聚類算法思想 87
5.2.4 高斯混合聚類應(yīng)用舉例 88
5.3 服從0-1二項分布的EM算法 92
5.3.1 服從0-1二項分布的EM算法思想 93
5.3.2 服從0-1二項分布的EM算法過程模擬 94
5.3.3 服從0-1二項分布的EM算法實現(xiàn) 96
5.4 本章小結(jié) 98
5.5 習(xí)題 98
第6章 支持向量機 100
6.1 SVM簡介 100
6.1.1 線性可分與感知機 101
6.1.2 間隔最大化及線性SVM 104
6.2 線性SVM算法實現(xiàn) 108
6.3 非線性SVM與核函數(shù) 111
6.3.1 線性不可分 111
6.3.2 對偶問題與核函數(shù) 111
6.3.3 非線性SVM算法實現(xiàn) 115
6.4 SVM回歸 118
6.5 SVM算法實現(xiàn)─鳶尾花的分類 120
6.5.1 sklearn中的SVC參數(shù)介紹 120
6.5.2 使用SVC對鳶尾花數(shù)據(jù)進行分類 121
6.6 本章小結(jié) 124
6.7 習(xí)題 125
第7章 決策樹 126
7.1 決策樹構(gòu)造基本原理 126
7.2 決策樹構(gòu)造過程 127
7.3 決策樹學(xué)習(xí)算法思想及實現(xiàn) 131
7.4 決策樹算法實現(xiàn)─泰坦尼克號幸存者預(yù)測 133
7.5 本章小結(jié) 139
7.6 習(xí)題 139
第8章 線性回歸 141
8.1 回歸分析概述 141
8.2 單變量線性回歸 142
8.2.1 梯度下降法求解線性回歸原理與實現(xiàn) 142
8.2.2 牛頓法求解線性回歸原理與實現(xiàn) 146
8.3 多變量回歸分析 150
8.3.1 多變量回歸分析原理 150
8.3.2 多變量線性回歸算法實現(xiàn) 151
8.4 多項式回歸分析 155
8.5 本章小結(jié) 157
8.6 習(xí)題 157
第9章 邏輯回歸 160
9.1 sigmoid函數(shù)與邏輯回歸模型 160
9.2 梯度下降與推導(dǎo)過程 161
9.3 參數(shù)學(xué)習(xí)向量化 163
9.4 邏輯回歸的Python實現(xiàn)─乳腺良性與惡性腫瘤的預(yù)測 164
9.5 評估方法 169
9.6 本章小結(jié) 173
9.7 習(xí)題 174
第10章 人工神經(jīng)網(wǎng)絡(luò) 175
10.1 從感知機到多層感知機 175
10.2 神經(jīng)網(wǎng)絡(luò)模型 178
10.3 BP神經(jīng)網(wǎng)絡(luò)算法思想及實現(xiàn) 180
10.3.1 BP神經(jīng)算法模型參數(shù)學(xué)習(xí)過程 180
10.3.2 BP神經(jīng)網(wǎng)絡(luò)算法實現(xiàn) 183
10.4 BP神經(jīng)網(wǎng)絡(luò)算法實現(xiàn)─鳶尾花分類 186
10.5 本章小結(jié) 193
10.6 習(xí)題 193
第11章 綜合案例分析：垃圾郵件分類 194
11.1 文本預(yù)處理 194
11.1.1 中文分詞 194
11.1.2 文本向量化 202
11.2 中文垃圾郵件分類算法及實現(xiàn) 204
11.3 本章小結(jié) 208
11.4 習(xí)題 209
第12章 綜合案例分析：手寫數(shù)字識別 210
12.1 圖像的存儲表示 210
12.2 數(shù)據(jù)預(yù)處理 213
12.2.1 將圖像轉(zhuǎn)換為文本 213
12.2.2 將矩陣轉(zhuǎn)換為向量 215
12.3 基于kNN的手寫數(shù)字識別 215
12.3.1 劃分訓(xùn)練集和測試集 215
12.3.2 kNN分類模型 216
12.3.3 kNN分類模型評估 216
12.4 基于神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別 218
12.4.1 定義神經(jīng)網(wǎng)絡(luò)模型 218
12.4.2 主函數(shù) 219
12.5 本章小結(jié) 220
12.6 習(xí)題 221
第13章 綜合案例分析：零售商品銷售額分析與預(yù)測 222
13.1 問題描述與分析 222
13.2 數(shù)據(jù)探索與預(yù)處理 223
13.2.1 數(shù)據(jù)探索 223
13.2.2 屬性特征的數(shù)值化 227
13.2.3 缺失值處理 228
13.3 特征選擇 231
13.4 建立回歸模型 232
13.4.1 線性回歸模型 232
13.4.2 嶺回歸模型 233
13.4.3 Lasso回歸模型 235
13.4.4 多項式回歸模型 236
13.4.5 隨機森林回歸模型 237
13.5 超參數(shù)選擇 239
13.6 本章小結(jié) 240
13.7 習(xí)題 241
第14章 綜合案例分析：基于協(xié)同過濾的推薦系統(tǒng) 242
14.1 推薦系統(tǒng)簡介 242
14.1.1 信息檢索與推薦系統(tǒng) 242
14.1.2 推薦系統(tǒng)的前世今生 243
14.1.3 推薦系統(tǒng)的原理與分類 244
14.1.4 推薦系統(tǒng)的評估方法 245
14.2 基于最近鄰的協(xié)同過濾推薦算法原理與實現(xiàn) 247
14.2.1 基于近鄰用戶的協(xié)同過濾推薦 247
14.2.2 基于近鄰項目的協(xié)同過濾推薦 255
14.3 基于隱語義分析的推薦模型 260
14.4 基于標(biāo)簽的推薦算法 266
14.5 本章小結(jié) 266
14.6 習(xí)題 267
參考文獻 268