機(jī)器學(xué)習(xí)導(dǎo)論（原書第2版）

目　錄
Introduction to Machine Learning,Second Edition
出版者的話
中文版序
譯者序
前言
致謝
關(guān)于第2版
符號(hào)表
第1章　緒論1
1.1　什么是機(jī)器學(xué)習(xí)1
1.2　機(jī)器學(xué)習(xí)的應(yīng)用實(shí)例3
1.2.1　學(xué)習(xí)關(guān)聯(lián)性3
1.2.2　分類3
1.2.3　回歸6
1.2.4　非監(jiān)督學(xué)習(xí)7
1.2.5　增強(qiáng)學(xué)習(xí)8
1.3　注釋8
1.4　相關(guān)資源10
1.5　習(xí)題11
1.6　參考文獻(xiàn)12
第2章　監(jiān)督學(xué)習(xí)13
2.1　由實(shí)例學(xué)習(xí)類13
2.2　VC維15
2.3　概率逼近正確學(xué)習(xí)16
2.4　噪聲17
2.5　學(xué)習(xí)多類18
2.6　回歸19
2.7　模型選擇與泛化21
2.8　監(jiān)督機(jī)器學(xué)習(xí)算法的維23
2.9　注釋24
2.10　習(xí)題25
2.11　參考文獻(xiàn)25
第3章　貝葉斯決策定理27
3.1　引言27
3.2　分類28
3.3　損失與風(fēng)險(xiǎn)29
3.4　判別式函數(shù)31
3.5　效用理論31
3.6　關(guān)聯(lián)規(guī)則32
3.7　注釋33
3.8　習(xí)題33
3.9　參考文獻(xiàn)34
第4章　參數(shù)方法35
4.1　引言35
4.2　最大似然估計(jì)35
4.2.1　伯努利密度36
4.2.2　多項(xiàng)密度36
4.2.3　高斯(正態(tài))密度37
4.3　評(píng)價(jià)估計(jì)：偏倚和方差37
4.4　貝葉斯估計(jì)38
4.5　參數(shù)分類40
4.6　回歸43
4.7　調(diào)整模型的復(fù)雜度：偏倚/方差兩難選擇45
4.8　模型選擇過程47
4.9　注釋50
4.10　習(xí)題50
4.11　參考文獻(xiàn)51
第5章　多元方法52
5.1　多元數(shù)據(jù)52
5.2　參數(shù)估計(jì)52
5.3　缺失值估計(jì)53
5.4　多元正態(tài)分布54
5.5　多元分類56
5.6　調(diào)整復(fù)雜度59
5.7　離散特征61
5.8　多元回歸62
5.9　注釋63
5.10　習(xí)題63
5.11　參考文獻(xiàn)64
第6章　維度歸約65
6.1　引言65
6.2　子集選擇65
6.3　主成分分析67
6.4　因子分析71
6.5　多維定標(biāo)75
6.6　線性判別分析77
6.7　等距特征映射80
6.8　局部線性嵌入81
6.9　注釋83
6.10　習(xí)題84
6.11　參考文獻(xiàn)85
第7章　聚類86
7.1　引言86
7.2　混合密度86
7.3　k-均值聚類87
7.4　期望最大化算法90
7.5　潛在變量混合模型93
7.6　聚類后的監(jiān)督學(xué)習(xí)94
7.7　層次聚類95
7.8　選擇簇個(gè)數(shù)96
7.9　注釋96
7.10　習(xí)題97
7.11　參考文獻(xiàn)97
第8章　非參數(shù)方法99
8.1　引言99
8.2　非參數(shù)密度估計(jì)99
8.2.1　直方圖估計(jì)100
8.2.2　核估計(jì)101
8.2.3　k最近鄰估計(jì)102
8.3　到多元數(shù)據(jù)的推廣103
8.4　非參數(shù)分類104
8.5　精簡的最近鄰105
8.6　非參數(shù)回歸：光滑模型106
8.6.1　移動(dòng)均值光滑106
8.6.2　核光滑108
8.6.3　移動(dòng)線光滑108
8.7　如何選擇光滑參數(shù)109
8.8　注釋110
8.9　習(xí)題111
8.10　參考文獻(xiàn)112
第9章　決策樹113
9.1　引言113
9.2　單變量樹114
9.2.1　分類樹114
9.2.2　回歸樹118
9.3　剪枝119
9.4　由決策樹提取規(guī)則120
9.5　由數(shù)據(jù)學(xué)習(xí)規(guī)則121
9.6　多變量樹124
9.7　注釋125
9.8　習(xí)題126
9.9　參考文獻(xiàn)127
第10章　線性判別式129
10.1　引言129
10.2　推廣線性模型130
10.3　線性判別式的幾何意義131
10.3.1　兩類問題131
10.3.2　多類問題132
10.4　逐對(duì)分離132
10.5　參數(shù)判別式的進(jìn)一步討論133
10.6　梯度下降135
10.7　邏輯斯諦判別式135
10.7.1　兩類問題135
10.7.2　多類問題138
10.8　回歸判別式141
10.9　注釋142
10.10　習(xí)題143
10.11　參考文獻(xiàn)143
第11章　多層感知器144
11.1　引言144
11.1.1　理解人腦144
11.1.2　神經(jīng)網(wǎng)絡(luò)作為并行處理的典范145
11.2　感知器146
11.3　訓(xùn)練感知器148
11.4　學(xué)習(xí)布爾函數(shù)150
11.5　多層感知器151
11.6　作為普適近似的MLP153
11.7　后向傳播算法154
11.7.1　非線性回歸154
11.7.2　兩類判別式157
11.7.3　多類判別式158
11.7.4　多個(gè)隱藏層158
11.8　訓(xùn)練過程158
11.8.1　改善收斂性158
11.8.2　過分訓(xùn)練159
11.8.3　構(gòu)造網(wǎng)絡(luò)161
11.8.4　線索162
11.9　調(diào)整網(wǎng)絡(luò)規(guī)模163
11.10　學(xué)習(xí)的貝葉斯觀點(diǎn)164
11.11　維度歸約165
11.12　學(xué)習(xí)時(shí)間167
11.12.1　時(shí)間延遲神經(jīng)網(wǎng)絡(luò)167
11.12.2　遞歸網(wǎng)絡(luò)168
11.13　注釋169
11.14　習(xí)題170
11.15　參考文獻(xiàn)170
第12章　局部模型173
12.1　引言173
12.2　競爭學(xué)習(xí)173
12.2.1　在線k-均值173
12.2.2　自適應(yīng)共鳴理論176
12.2.3　自組織映射177
12.3　徑向基函數(shù)178
12.4　結(jié)合基于規(guī)則的知識(shí)182
12.5　規(guī)范化基函數(shù)182
12.6　競爭的基函數(shù)184
12.7　學(xué)習(xí)向量量化186
12.8　混合專家模型186
12.8.1　協(xié)同專家模型188
12.8.2　競爭專家模型188
12.9　層次混合專家模型189
12.10　注釋189
12.11　習(xí)題190
12.12　參考文獻(xiàn)190
第13章　核機(jī)器192
13.1　引言192
13.2　最佳分離超平面193
13.3　不可分情況：軟邊緣超平面195
13.4　v-SVM197
13.5　核技巧198
13.6　向量核199
13.7　定義核200
13.8　多核學(xué)習(xí)201
13.9　多類核機(jī)器202
13.10　用于回歸的核機(jī)器203
13.11　一類核機(jī)器206
13.12　核維度歸約208
13.13　注釋209
13.14　習(xí)題209
13.15　參考文獻(xiàn)210
第14章　貝葉斯估計(jì)212
14.1　引言212
14.2　分布參數(shù)的估計(jì)213
14.2.1　離散變量213
14.2.2　連續(xù)變量215
14.3　函數(shù)參數(shù)的貝葉斯估計(jì)216
14.3.1　回歸216
14.3.2　基函數(shù)或核函數(shù)的使用218
14.3.3　貝葉斯分類219
14.4　高斯過程221
14.5　注釋223
14.6　習(xí)題224
14.7　參考文獻(xiàn)224
第15章　隱馬爾可夫模型225
15.1　引言225
15.2　離散馬爾可夫過程225
15.3　隱馬爾可夫模型227
15.4　HMM的三個(gè)基本問題229
15.5　估值問題229
15.6　尋找狀態(tài)序列231
15.7　學(xué)習(xí)模型參數(shù)233
15.8　連續(xù)觀測(cè)235
15.9　帶輸入的HMM236
15.10　HMM中的模型選擇236
15.11　注釋237
15.12　習(xí)題238
15.13　參考文獻(xiàn)239
第16章　圖方法240
16.1　引言240
16.2　條件獨(dú)立的典型情況241
16.3　圖模型實(shí)例245
16.3.1　樸素貝葉斯分類245
16.3.2　隱馬爾可夫模型246
16.3.3　線性回歸248
16.4　d-分離248
16.5　信念傳播249
16.5.1　鏈249
16.5.2　樹250
16.5.3　多樹251
16.5.4　結(jié)樹252
16.6　無向圖：馬爾可夫隨機(jī)場253
16.7　學(xué)習(xí)圖模型的結(jié)構(gòu)254
16.8　影響圖255
16.9　注釋255
16.10　習(xí)題256
16.11　參考文獻(xiàn)256
第17章　組合多學(xué)習(xí)器258
17.1　基本原理258
17.2　產(chǎn)生有差異的學(xué)習(xí)器258
17.3　模型組合方案260
17.4　投票法261
17.5　糾錯(cuò)輸出碼263
17.6　裝袋265
17.7　提升265
17.8　重溫混合專家模型267
17.9　層疊泛化268
17.10　調(diào)整系綜268
17.11　級(jí)聯(lián)269
17.12　注釋270
17.13　習(xí)題271
17.14　參考文獻(xiàn)272
第18章　增強(qiáng)學(xué)習(xí)275
18.1　引言275
18.2　單狀態(tài)情況：K臂賭博機(jī)問題276
18.3　增強(qiáng)學(xué)習(xí)基礎(chǔ)277
18.4　基于模型的學(xué)習(xí)278
18.4.1　價(jià)值迭代279
18.4.2　策略迭代279
18.5　時(shí)間差分學(xué)習(xí)280
18.5.1　探索策略280
18.5.2　確定性獎(jiǎng)勵(lì)和動(dòng)作280
18.5.3　非確定性獎(jiǎng)勵(lì)和動(dòng)作282
18.5.4　資格跡283
18.6　推廣285
18.7　部分可觀測(cè)狀態(tài)286
18.7.1　場景286
18.7.2　例子：老虎問題287
18.8　注釋290
18.9　習(xí)題291
18.10　參考文獻(xiàn)292
第19章　機(jī)器學(xué)習(xí)實(shí)驗(yàn)的設(shè)計(jì)與分析294
19.1　引言294
19.2　因素、響應(yīng)和實(shí)驗(yàn)策略296
19.3　響應(yīng)面設(shè)計(jì)297
19.4　隨機(jī)化、重復(fù)和阻止298
19.5　機(jī)器學(xué)習(xí)實(shí)驗(yàn)指南298
19.6　交叉驗(yàn)證和再抽樣方法300
19.6.1　K-折交叉驗(yàn)證300
19.6.2　5×2交叉驗(yàn)證301
19.6.3　自助法302
19.7　度量分類器的性能302
19.8　區(qū)間估計(jì)304
19.9　假設(shè)檢驗(yàn)307
19.10　評(píng)估分類算法的性能308
19.10.1　二項(xiàng)檢驗(yàn)308
19.10.2　近似正態(tài)檢驗(yàn)309
19.10.3　t檢驗(yàn)309
19.11　比較兩個(gè)分類算法309
19.11.1　McNemar檢驗(yàn)310
19.11.2　K-折交叉驗(yàn)證配對(duì)t檢驗(yàn)310
19.11.3　5×2交叉驗(yàn)證配對(duì)t檢驗(yàn)311
19.11.4　5×2交叉驗(yàn)證配對(duì)F檢驗(yàn)311
19.12　比較多個(gè)算法：方差分析312
19.13　在多個(gè)數(shù)據(jù)集上比較315
19.13.1　比較兩個(gè)算法315
19.13.2　比較多個(gè)算法317
19.14　注釋317
19.15　習(xí)題318
19.16　參考文獻(xiàn)319
附錄A　概率論320
索引328