機(jī)器學(xué)習(xí)基礎(chǔ)

目　錄
Foundations of Machine Learning

譯者序
前言
第1章　引言1
　1.1　應(yīng)用與問(wèn)題1
　1.2　定義與術(shù)語(yǔ)2
　1.3　交叉驗(yàn)證4
　1.4　學(xué)習(xí)情境5
　1.5　本書(shū)概覽6
第2章　PAC學(xué)習(xí)框架8
　2.1　PAC學(xué)習(xí)模型8
　2.2　對(duì)有限假設(shè)集的學(xué)習(xí)保證——一致的情況12
　2.3　對(duì)有限假設(shè)集的學(xué)習(xí)保證——不一致的情況16
　2.4　泛化性18
　　2.4.1　確定性與隨機(jī)性情境18
　　2.4.2　貝葉斯誤差與噪聲19
　　2.4.3　估計(jì)誤差與近似誤差19
　　2.4.4　模型選擇20
　2.5　文獻(xiàn)評(píng)注21
　2.6　習(xí)題22
第3章　Rademacher復(fù)雜度和VC-維25
　3.1　Rademacher復(fù)雜度25
　3.2　生長(zhǎng)函數(shù)29
　3.3　VC-維31
　3.4　下界36
　3.5　文獻(xiàn)評(píng)注41
　3.6　習(xí)題42
第4章　支持向量機(jī)47
　4.1　線性分類(lèi)47
　4.2　可分情況下的支持向量機(jī)48
　　4.2.1　原始優(yōu)化問(wèn)題48
　　4.2.2　支持向量49
　　4.2.3　對(duì)偶優(yōu)化問(wèn)題50
　　4.2.4　留一法51
　4.3　不可分情況下的支持向量機(jī)52
　　4.3.1　原始優(yōu)化問(wèn)題53
　　4.3.2　支持向量54
　　4.3.3　對(duì)偶優(yōu)化問(wèn)題55
　4.4　間隔理論56
　4.5　文獻(xiàn)評(píng)注62
　4.6　習(xí)題62
第5章　核方法65
　5.1　引言65
　5.2　正定對(duì)稱(chēng)核67
　　5.2.1　定義67
　　5.2.2　再生核希爾伯特空間69
　　5.2.3　性質(zhì)70
　5.3　基于核的算法73
　　5.3.1　具有PDS核的SVM73
　　5.3.2　表示定理74
　　5.3.3　學(xué)習(xí)保證75
　5.4　負(fù)定對(duì)稱(chēng)核76
　5.5　序列核78
　　5.5.1　加權(quán)轉(zhuǎn)換器79
　　5.5.2　有理核82
　5.6　文獻(xiàn)評(píng)注85
　5.7　習(xí)題85
第6章　boosting89
　6.1　引言89
　6.2　AdaBoost算法90
　　6.2.1　經(jīng)驗(yàn)誤差的界92
　　6.2.2　與坐標(biāo)下降的關(guān)系93
　　6.2.3　與邏輯回歸的關(guān)系94
　　6.2.4　實(shí)踐中的標(biāo)準(zhǔn)使用方式95
　6.3　理論結(jié)果95
　　6.3.1　基于VC-維的分析96
　　6.3.2　基于間隔的分析96
　　6.3.3　間隔最大化100
　　6.3.4　博弈論解釋101
　6.4　討論103
　6.5　文獻(xiàn)評(píng)注104
　6.6　習(xí)題105
第7章　在線學(xué)習(xí)108
　7.1　引言108
　7.2　有專(zhuān)家建議的預(yù)測(cè)109
　　7.2.1　錯(cuò)誤界和折半算法109
　　7.2.2　加權(quán)多數(shù)算法110
　　7.2.3　隨機(jī)加權(quán)多數(shù)算法111
　　7.2.4　指數(shù)加權(quán)平均算法114
　7.3　線性分類(lèi)117
　　7.3.1　感知機(jī)算法117
　　7.3.2　Winnow算法122
　7.4　在線到批處理的轉(zhuǎn)換124
　7.5　與博弈論的聯(lián)系127
　7.6　文獻(xiàn)評(píng)注127
　7.7　習(xí)題128
第8章　多分類(lèi)133
　8.1　多分類(lèi)問(wèn)題133
　8.2　泛化界134
　8.3　直接型多分類(lèi)算法139
　　8.3.1　多分類(lèi)SVM139
　　8.3.2　多分類(lèi)boosting算法140
　　8.3.3　決策樹(shù)141
　8.4　類(lèi)別分解型多分類(lèi)算法144
　　8.4.1　一對(duì)多144
　　8.4.2　一對(duì)一145
　　8.4.3　糾錯(cuò)編碼146
　8.5　結(jié)構(gòu)化預(yù)測(cè)算法148
　8.6　文獻(xiàn)評(píng)注149
　8.7　習(xí)題150
第9章　排序152
　9.1　排序問(wèn)題152
　9.2　泛化界153
　9.3　使用SVM進(jìn)行排序155
　9.4　RankBoost156
　　9.4.1　經(jīng)驗(yàn)誤差界158
　　9.4.2　與坐標(biāo)下降的關(guān)系159
　　9.4.3　排序問(wèn)題集成算法的間隔界160
　9.5　二部排序161
　　9.5.1　二部排序中的boosting算法162
　　9.5.2　ROC曲線下面積164
　9.6　基于偏好的情境165
　　9.6.1　兩階段排序問(wèn)題166
　　9.6.2　確定性算法167
　　9.6.3　隨機(jī)性算法168
　　9.6.4　關(guān)于其他損失函數(shù)的擴(kuò)展168
　9.7　討論169
　9.8　文獻(xiàn)評(píng)注170
　9.9　習(xí)題171
第10章　回歸172
　10.1　回歸問(wèn)題172
　10.2　泛化界173
　　10.2.1　有限假設(shè)集173
　　10.2.2　Rademacher復(fù)雜度界174
　　10.2.3　偽維度界175
　10.3　回歸算法177
　　10.3.1　線性回歸178
　　10.3.2　核嶺回歸179
　　10.3.3　支持向量回歸182
　　10.3.4　Lasso186
　　10.3.5　組范數(shù)回歸算法188
　　10.3.6　在線回歸算法189
　10.4　文獻(xiàn)評(píng)注190
　10.5　習(xí)題190
第11章　算法穩(wěn)定性193
　11.1　定義193
　11.2　基于穩(wěn)定性的泛化保證194
　11.3　基于核的正則化算法的穩(wěn)定性196
　　11.3.1　應(yīng)用于回歸算法：SVR和KRR198
　　11.3.2　應(yīng)用于分類(lèi)算法：SVM200
　　11.3.3　討論200
　11.4　文獻(xiàn)評(píng)述201
　11.5　習(xí)題201
第12章　降維203
　12.1　主成分分析204
　12.2　核主成分分析205
　12.3　KPCA和流形學(xué)習(xí)206
　　12.3.1　等距映射206
　　12.3.2　拉普拉斯特征映射207
　　12.3.3　局部線性嵌入207
　12.4　Johnson-Lindenstrauss引理208
　12.5　文獻(xiàn)評(píng)注210
　12.6　習(xí)題210
第13章　學(xué)習(xí)自動(dòng)機(jī)和語(yǔ)言212
　13.1　引言212
　13.2　有限自動(dòng)機(jī)213
　13.3　高效精確學(xué)習(xí)214
　　13.3.1　被動(dòng)學(xué)習(xí)214
　　13.3.2　通過(guò)查詢學(xué)習(xí)215
　　13.3.3　通過(guò)查詢學(xué)習(xí)自動(dòng)機(jī)216
　13.4　極限下的識(shí)別220
　13.5　文獻(xiàn)評(píng)注224
　13.6　習(xí)題225
第14章　強(qiáng)化學(xué)習(xí)227
　14.1　學(xué)習(xí)情境227
　14.2　馬爾可夫決策過(guò)程模型228
　14.3　策略229
　　14.3.1　定義229
　　14.3.2　策略值229
　　14.3.3　策略評(píng)估230
　　14.3.4　最優(yōu)策略230
　14.4　規(guī)劃算法231
　　14.4.1　值迭代231
　　14.4.2　策略迭代233
　　14.4.3　線性規(guī)劃235
　14.5　學(xué)習(xí)算法235
　　14.5.1　隨機(jī)逼近236
　　14.5.2　TD（0）算法239
　　14.5.3　Q-學(xué)習(xí)算法240
　　14.5.4　SARSA242
　　14.5.5　TD（λ）算法242
　　14.5.6　大狀態(tài)空間243
　14.6　文獻(xiàn)評(píng)注244
結(jié)束語(yǔ)245
附錄A　線性代數(shù)回顧246
附錄B　凸優(yōu)化251
附錄C　概率論回顧257
附錄D　集中不等式264
附錄E　符號(hào)273
索引274
參考文獻(xiàn)
　參考文獻(xiàn)為網(wǎng)絡(luò)資源，請(qǐng)?jiān)L問(wèn)華章網(wǎng)站www.hzbook.com下載。——編輯注