機(jī)器學(xué)習(xí)：算法視角（原書第2版）

第2版前言
第1版前言
第1章　緒論1
1.1　如果數(shù)據(jù)有質(zhì)量，地球?qū)⒊蔀楹诙?
1.2　學(xué)習(xí)3
1.2.1　機(jī)器學(xué)習(xí)3
1.3　機(jī)器學(xué)習(xí)的類別4
1.4　監(jiān)督學(xué)習(xí)5
1.4.1　回歸5
1.4.2　分類6
1.5　機(jī)器學(xué)習(xí)過程7
1.6　關(guān)于編程的注意事項(xiàng)8
1.7　本書的學(xué)習(xí)路線 9
拓展閱讀10
第2章　預(yù)備知識(shí)11
2.1　專業(yè)術(shù)語11
2.1.1　權(quán)重空間11
2.1.2　維度災(zāi)難12
2.2　知你所知：測試機(jī)器學(xué)習(xí)算法13
2.2.1　過擬合14
2.2.2　訓(xùn)練集、測試集和驗(yàn)證集14
2.2.3　混淆矩陣15
2.2.4　精度指標(biāo)16
2.2.5　受試者工作特征曲線17
2.2.6　不平衡數(shù)據(jù)集17
2.2.7　度量精度18
2.3　數(shù)據(jù)與概率的轉(zhuǎn)換19
2.3.1　最小化風(fēng)險(xiǎn)20
2.3.2　樸素貝葉斯分類21
2.4　基本統(tǒng)計(jì)概念22
2.4.1　平均值22
2.4.2　方差與協(xié)方差22
2.4.3　高斯分布24
2.5　權(quán)衡偏差與方差24
拓展閱讀26
習(xí)題26
第3章　神經(jīng)元、神經(jīng)網(wǎng)絡(luò)和線性判別27
3.1　大腦和神經(jīng)元27
3.1.1　Hebb法則27
3.1.2　McCulloch和Pitts神經(jīng)元28
3.1.3　McCulloch和Pitts神經(jīng)元模型的局限性29
3.2　神經(jīng)網(wǎng)絡(luò)30
3.3　感知器31
3.3.1　學(xué)習(xí)速率η32
3.3.2　輸入偏置32
3.3.3　感知器學(xué)習(xí)算法33
3.3.4　感知器學(xué)習(xí)示例34
3.3.5　具體實(shí)現(xiàn)35
3.4　線性可分性39
3.4.1　感知器收斂定理40
3.4.2　XOR函數(shù)41
3.4.3　有用的領(lǐng)悟42
3.4.4　另一個(gè)示例：皮馬印第安人數(shù)據(jù)集43
3.4.5　數(shù)據(jù)預(yù)處理44
3.5　線性回歸45
3.5.1　示例46
拓展閱讀47
習(xí)題48
第4章　多層感知器49
4.1　前向50
4.1.1　偏置50
4.2　后向：誤差的反向傳播50
4.2.1　多層感知器算法53
4.2.2　初始化權(quán)重55
4.2.3　不同的輸出激活函數(shù)56
4.2.4　順序和批量訓(xùn)練57
4.2.5　局部最小57
4.2.6　利用沖量58
4.2.7　小批量和隨機(jī)梯度下降58
4.2.8　其他改善方法59
4.3　實(shí)踐中的MLP59
4.3.1　訓(xùn)練數(shù)據(jù)的量59
4.3.2　隱藏層的數(shù)目59
4.3.3　什么時(shí)候停止學(xué)習(xí)60
4.4　MLP應(yīng)用示例61
4.4.1　回歸問題61
4.4.2　使用MLP分類63
4.4.3　分類示例：iris數(shù)據(jù)集64
4.4.4　時(shí)間序列預(yù)測66
4.4.5　數(shù)據(jù)壓縮：自動(dòng)關(guān)聯(lián)網(wǎng)絡(luò)68
4.5　MLP使用指南69
4.6　反向傳播的推導(dǎo)70
4.6.1　網(wǎng)絡(luò)輸出70
4.6.2　網(wǎng)絡(luò)誤差70
4.6.3　激活函數(shù)的要求71
4.6.4　誤差的后向傳播72
4.6.5　輸出激活函數(shù)74
4.6.6　誤差函數(shù)的另一種形式75
拓展閱讀75
習(xí)題76
第5章　徑向基函數(shù)和樣條函數(shù)77
5.1　感受野77
5.2　徑向基函數(shù)網(wǎng)絡(luò)79
5.2.1　訓(xùn)練RBF網(wǎng)絡(luò)80
5.3　插值和基函數(shù)82
5.3.1　基和基擴(kuò)展83
5.3.2　三次樣條函數(shù)84
5.3.3　用樣條擬合數(shù)據(jù)84
5.3.4　平滑樣條85
5.3.5　更高維度86
5.3.6　邊界之外86
拓展閱讀87
習(xí)題87
第6章　維度約簡88
6.1　線性判別分析89
6.2　主成分分析91
6.2.1　PCA算法與多層感知器的關(guān)系94
6.2.2　核PCA94
6.3　因素分析96
6.4　獨(dú)立成分分析97
6.5　局部線性嵌入98
6.6　ISOMAP算法100
6.6.1　多維標(biāo)度法101
拓展閱讀102
習(xí)題103
第7章　概率學(xué)習(xí)104
7.1　高斯混合模型104
7.1.1　期望最大化算法105
7.1.2　信息準(zhǔn)則107
7.2　最近鄰法108
7.2.1　近鄰平滑109
7.2.2　有效的距離計(jì)算：KD-Tree110
7.2.3　距離度量112
拓展閱讀114
習(xí)題114
第8章　支持向量機(jī)115
8.1　最優(yōu)分割115
8.1.1　間隔和支持向量116
8.1.2　約束優(yōu)化問題117
8.1.3　非線性可分問題的松弛變量119
8.2　核120
8.2.1　選擇核121
8.2.2　示例：XOR122
8.3　支持向量機(jī)算法122
8.3.1　實(shí)現(xiàn)123
8.3.2　示例125
8.4　支持向量機(jī)的拓展126
8.4.1　多類分類126
8.4.2　支持向量機(jī)回歸127
8.4.3　其他優(yōu)勢128
拓展閱讀128
習(xí)題128
第9章　優(yōu)化和搜索130
9.1　下山法130
9.1.1　泰勒展開132
9.2　最小二乘優(yōu)化133
9.2.1　Levenberg-Marquardt算法133
9.3　共軛梯度法137
9.3.1　示例139
9.3.2　共軛梯度和MLP139
9.4　搜索：三種基本方法141
9.4.1　窮舉法141
9.4.2　貪婪搜索142
9.4.3　爬山法142
9.5　開發(fā)和探索143
9.6　模擬退火法143
9.6.1　算法比較144
拓展閱讀145
習(xí)題145
第10章　進(jìn)化學(xué)習(xí)146
10.1　遺傳算法147
10.1.1　字符串表示147
10.1.2　評(píng)價(jià)適應(yīng)度148
10.1.3　種群148
10.1.4　產(chǎn)生后代：選擇父母149
10.2　產(chǎn)生后代：遺傳算子150
10.2.1　交叉150
10.2.2　變異151
10.2.3　精英法、比賽法和小生境151
10.3　使用遺傳算法153
10.3.1　圖著色153
10.3.2　間斷平衡154
10.3.3　示例：背包問題155
10.3.4　示例：四峰問題155
10.3.5　遺傳算法的缺陷156
10.3.6　用遺傳算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)156
10.4　遺傳程序157
10.5　與采樣結(jié)合的進(jìn)化學(xué)習(xí)158
拓展閱讀159
習(xí)題160
第11章　強(qiáng)化學(xué)習(xí)161
11.1　概述161
11.2　示例：迷路162
11.2.1　狀態(tài)和動(dòng)作空間163
11.2.2　胡蘿卜和棍子：獎(jiǎng)賞函數(shù)164
11.2.3　折扣165
11.2.4　動(dòng)作選擇165
11.2.5　策略166
11.3　馬爾可夫決策過程166
11.3.1　馬爾可夫性166
11.3.2　馬爾可夫決策過程中的概率167
11.4　值167
11.5　回到迷路的示例：利用強(qiáng)化學(xué)習(xí)170
11.6　sarsa和Q-learning的不同171
11.7　強(qiáng)化學(xué)習(xí)的用處172
拓展閱讀172
習(xí)題173
第12章　樹的學(xué)習(xí)174
12.1　使用決策樹174
12.2　構(gòu)建決策樹175
12.2.1　快速入門：信息論中的熵175
12.2.2　ID3176
12.2.3　基于Python的樹和圖的實(shí)現(xiàn)178
12.2.4　決策樹的實(shí)現(xiàn)178
12.2.5　處理連續(xù)變量180
12.2.6　計(jì)算復(fù)雜度180
12.3　分類和回歸樹181
12.3.1　基尼不純度181
12.3.2　樹回歸182
12.4　分類示例182
拓展閱讀184
習(xí)題184
第13章　委員會(huì)決策：集成學(xué)習(xí)186
13.1　boosting187
13.1.1　AdaBoost187
13.1.2　掘根190
13.2　bagging190
13.2.1　subagging191
13.3　隨機(jī)森林192
13.3.1　與boosting方法比較193
13.4　組合分類器的不同方法194
拓展閱讀195
習(xí)題196
第14章　無監(jiān)督學(xué)習(xí)197
14.1　k-means算法197
14.1.1　處理噪點(diǎn)200
14.1.2　k-means神經(jīng)網(wǎng)絡(luò)200
14.1.3　歸一化201
14.1.4　一個(gè)更好的權(quán)重更新規(guī)則202
14.1.5　示例：iris數(shù)據(jù)203
14.1.6　使用競爭學(xué)習(xí)來聚類203
14.2　向量量化204
14.3　自組織特征映射204
14.3.1　SOM算法206
14.3.2　近鄰連接207
14.3.3　自組織208
14.3.4　網(wǎng)絡(luò)維度和邊界條件208
14.3.5　SOM應(yīng)用示例209
拓展閱讀211
習(xí)題211
第15章　馬爾可夫鏈蒙特卡羅方法213
15.1　采樣213
15.1.1　隨機(jī)數(shù)213
15.1.2　高斯隨機(jī)數(shù)214
15.2　蒙特卡羅216
15.3　建議分布216
15.4　馬爾可夫鏈蒙特卡羅219
15.4.1　馬爾可夫鏈219
15.4.2　Metropolis-Hastings算法220
15.4.3　模擬退火222
15.4.4　Gibbs采樣223
拓展閱讀224
習(xí)題225
第16章　圖模型226
16.1　貝葉斯網(wǎng)絡(luò)227
16.1.1　示例：考試恐懼227
16.1.2　近似推斷230
16.1.3　創(chuàng)建貝葉斯網(wǎng)絡(luò)232
16.2　馬爾可夫隨機(jī)場233
16.3　隱馬爾可夫模型234
16.3.1　前向算法236
16.3.2　Viterbi算法238
16.3.3　Baum-Welch或前向后向算法239
16.4　跟蹤方法242
16.4.1　卡爾曼濾波242
16.4.2　粒子濾波247
拓展閱讀249
習(xí)題250
第17章　對(duì)稱權(quán)重與深度置信網(wǎng)絡(luò)251
17.1　積極學(xué)習(xí):Hopfield網(wǎng)絡(luò)252
17.1.1　聯(lián)想記憶252
17.1.2　實(shí)現(xiàn)聯(lián)想記憶252
17.1.3　能量函數(shù)255
17.1.4　Hopfield網(wǎng)絡(luò)的容量256
17.1.5　連續(xù)Hopfield網(wǎng)絡(luò)257
17.2　隨機(jī)神經(jīng)元：玻爾茲曼機(jī)257
17.2.1　受限玻爾茲曼機(jī)259
17.2.2　CD算法的推導(dǎo)262
17.2.3　監(jiān)督學(xué)習(xí)265
17.2.4　RBM作為定向置信網(wǎng)絡(luò)267
17.3　深度學(xué)習(xí)268
17.3.1　深度置信網(wǎng)絡(luò)270
拓展閱讀273
習(xí)題273
第18章　高斯過程274
18.1　高斯過程回歸275
18.1.1　添加噪聲276
18.1.2　高斯過程回歸的實(shí)現(xiàn)（一）278
18.1.3　學(xué)習(xí)參數(shù)279
18.1.4　高斯過程回歸的實(shí)現(xiàn)（二）280
18.1.5　選擇（一組）協(xié)方差函數(shù)282
18.2　高斯過程分類282
18.2.1　拉普拉斯近似283
18.2.2　計(jì)算后驗(yàn)283
18.2.3　高斯過程分類的實(shí)現(xiàn)285
拓展閱讀286
習(xí)題287
附錄　Python入門288