機(jī)器學(xué)習(xí)

 
Contents
目錄
 
緒論  1
 
第 1章   機(jī)器學(xué)習(xí) 7
1.1    什么是機(jī)器學(xué)習(xí)?  8
1.2    回歸：找到自變量與因變量關(guān)系   10
1.3    分類(lèi)：針對(duì)有標(biāo)簽數(shù)據(jù)   14
1.4    降維：降低數(shù)據(jù)維度，提取主要特征  16
1.5    聚類(lèi)：針對(duì)無(wú)標(biāo)簽數(shù)據(jù)  20
1.6    機(jī)器學(xué)習(xí)流程 21
1.7    下一步學(xué)什么？ 24
 
第 2章    回歸分析 27
2.1    線(xiàn)性回歸：一個(gè)表格、一條直線(xiàn)  29
2.2    方差分析 (ANOVA)  32
2.3    總離差平方和 (SST) 35
2.4    回歸平方和 (SSR) 37
2.5    殘差平方和 (SSE)  38
2.6    幾何視角：勾股定理  40
2.7    擬合優(yōu)度：評(píng)價(jià)擬合程度  42
2.8    F 檢驗(yàn)：模型參數(shù)不全為 0 44
2.9    t 檢驗(yàn)：某個(gè)回歸系數(shù)是否為 0 46
2.10    置信區(qū)間：因變量均值的區(qū)間 50
2.11    預(yù)測(cè)區(qū)間：因變量特定值的區(qū)間 51
2.12    對(duì)數(shù)似然函數(shù)：用在最大似然估計(jì) (MLE)  51
2.13    信息準(zhǔn)則：選擇模型的標(biāo)準(zhǔn) 52
2.14    殘差分析：假設(shè)殘差服從均值為 0 的正態(tài)分布  53
2.15     自相關(guān)檢測(cè)：Durbin-Watson  54
2.16    條件數(shù)：多重共線(xiàn)性  55
第 3章    多元線(xiàn)性回歸   57
3.1    多元線(xiàn)性回歸 58
3.2    優(yōu)化問(wèn)題：OLS  60
3.3    幾何解釋?zhuān)和队?63
3.4    二元線(xiàn)性回歸實(shí)例 65
3.5    多元線(xiàn)性回歸實(shí)例 68
3.6    正交關(guān)系 72
3.7    三個(gè)平方和 75
3.8    t 檢驗(yàn) 77
3.9    多重共線(xiàn)性 78
3.10    條件概率視角看多元線(xiàn)性回歸  80
第4章    非線(xiàn)性回歸   85
4.1    線(xiàn)性回歸  86
4.2    線(xiàn)性對(duì)數(shù)模型 88
4.3    非線(xiàn)性回歸 90
4.4    多項(xiàng)式回歸 92
4.5    邏輯回歸  97
4.6    邏輯函數(shù)完成分類(lèi)問(wèn)題  102
第 5章    正則化回歸   109
5.1    正則化：抑制過(guò)擬合  110
5.2    嶺回歸  113
5.3    幾何角度看嶺回歸 119
5.4    套索回歸  121
5.5    幾何角度看套索回歸  123
5.6    彈性網(wǎng)絡(luò)回歸 127
第 6章    貝葉斯回歸   133
6.1    回顧貝葉斯推斷 134
6.2    貝葉斯回歸：無(wú)信息先驗(yàn)  137
6.3    使用 PyMC 完成貝葉斯回歸  137
6.4    貝葉斯視角理解嶺正則化  142
6.5    貝葉斯視角理解套索正則化  144
第 7章    高斯過(guò)程   149
7.1    高斯過(guò)程原理 150
7.2    解決回歸問(wèn)題 156
7.3    解決分類(lèi)問(wèn)題 157
 
第8章   k最近鄰分類(lèi)  163
8.1    k 最近鄰分類(lèi)原理：近朱者赤，近墨者黑  164
8.2    二分類(lèi)：非紅，即藍(lán)  166
8.3    三分類(lèi)：非紅，要么藍(lán)，要么灰  168
8.4    近鄰數(shù)量 k 影響投票結(jié)果  170
8.5    投票權(quán)重：越近，影響力越高  173
8.6    最近質(zhì)心分類(lèi)：分類(lèi)邊界為中垂線(xiàn)  174
8.7    k-NN 回歸：非參數(shù)回歸 177
第 9章   樸素貝葉斯分類(lèi)   181
9.1    重逢貝葉斯 182
9.2    樸素貝葉斯的“樸素 ”之處  186
9.3    高斯，你好 198
第 10章    高斯判別分析   213
10.1    又見(jiàn)高斯 214
10.2    六類(lèi)協(xié)方差矩陣  217
10.3    決策邊界解析解  219
10.4    第一類(lèi) 221
10.5    第二類(lèi) 224
10.6    第三類(lèi) 226
10.7    第四類(lèi) 227
10.8    第五類(lèi) 228
10.9    第六類(lèi) 229
10.10    線(xiàn)性和二次判別分析 230
第 11章   支持向量機(jī)  235
11.1    支持向量機(jī) 236
11.2    硬間隔：處理線(xiàn)性可分  240
11.3    構(gòu)造優(yōu)化問(wèn)題  245
11.4    支持向量機(jī)處理二分類(lèi)問(wèn)題 248
11.5    軟間隔：處理線(xiàn)性不可分  252
第 12章   核技巧  257
12.1    映射函數(shù)：實(shí)現(xiàn)升維  258
12.2    核技巧 SVM 優(yōu)化問(wèn)題 261
12.3    線(xiàn)性核：最基本的核函數(shù)  266
12.4    多項(xiàng)式核 268
12.5    二次核：二次曲面  271
12.6    三次核：三次曲面  273
12.7    高斯核：基于徑向基函數(shù)  275
12.8    Sigmoid 核  280
第 13章   決策樹(shù)  285
13.1    決策樹(shù)：可以分類(lèi)，也可以回歸  286
13.2    信息熵：不確定性度量  288
13.3    信息增益：通過(guò)劃分，提高確定度 290
13.4    基尼指數(shù)：指數(shù)越大，不確定性越高 292
13.5    最大葉節(jié)點(diǎn)：影響決策邊界 293
13.6    最大深度：控制樹(shù)形大小  297
 
第 14章    主成分分析  303
14.1    主成分分析 304
14.2    原始數(shù)據(jù) 307
14.3    特征值分解 310
14.4    正交空間 312
14.5    投影結(jié)果 316
14.6    還原 320
14.7    雙標(biāo)圖 323
14.8    陡坡圖 327
第 15章   截?cái)嗥娈愔捣纸?331
15.1    幾何視角看奇異值分解  332
15.2    四種 SVD 分解 334
15.3    幾何視角看截?cái)嘈?SVD 336
15.4    優(yōu)化視角看截?cái)嘈?SVD 339
15.5    分析鳶尾花照片  343
第 16章    主成分分析進(jìn)階  351
16.1    從“六條技術(shù)路線(xiàn) ”說(shuō)起  352
16.2    協(xié)方差矩陣：中心化數(shù)據(jù)  355
16.3    格拉姆矩陣：原始數(shù)據(jù)  363
16.4    相關(guān)性系數(shù)矩陣：標(biāo)準(zhǔn)化數(shù)據(jù) 368
第 17章    主成分分析與回歸 375
17.1    正交回歸 376
17.2    一元正交回歸  378
17.3    幾何角度看正交回歸  382
17.4    二元正交回歸  385
17.5    多元正交回歸  389
17.6    主元回歸 393
17.7    偏最小二乘回歸  405
第 18章   核主成分分析   413
18.1    核主成分分析  414
18.2    從主成分分析說(shuō)起  415
18.3    用核技巧完成核主成分分析 418
第 19章   典型相關(guān)分析   427
19.1    典型相關(guān)分析原理  428
19.2    從一個(gè)協(xié)方差矩陣考慮  432
19.3    以鳶尾花數(shù)據(jù)為例  434
 
第 20章   K均值聚類(lèi)  443
20.1    K 均值聚類(lèi) 444
20.2    優(yōu)化問(wèn)題 445
20.3    迭代過(guò)程 448
20.4    肘部法則：選定聚類(lèi)簇值  450
20.5    輪廓圖：選定聚類(lèi)簇值  452
20.6    沃羅諾伊圖 454
第 21章    高斯混合模型   457
21.1    高斯混合模型  458
21.2    四類(lèi)協(xié)方差矩陣  464
21.3    分量數(shù)量 469
21.4    硬聚類(lèi)和軟聚類(lèi)  471
第 22章    最大期望算法   475
22.1    最大期望 476
22.2    E 步：最大化期望 477
22.3    M 步：最大化似然概率 480
22.4    迭代過(guò)程 482
22.5    多元 GMM 迭代 486
第 23章   層次聚類(lèi)   495
23.1    層次聚類(lèi) 496
23.2    樹(shù)形圖 497
23.3    簇間距離 503
23.4    親近度層次聚類(lèi)  509
第 24章    密度聚類(lèi)   511
24.1    DBSCAN 聚類(lèi)  512
24.2    調(diào)節(jié)參數(shù) 515
第 25章   譜聚類(lèi)   519
25.1    譜聚類(lèi) 520
25.2    距離矩陣 521
25.3    相似度 524
25.4    無(wú)向圖 525
25.5    拉普拉斯矩陣  527
25.6    特征值分解 530
參考文獻(xiàn)  535