機器學習：從公理到算法

第 1章引言 .............................................................................................1 1.1機器學習的目的：從數據到知識 .....................................................1 1.2機器學習的基本框架 .....................................................................2 1.2.1數據集合與對象特性表示 .....................................................3 1.2.2學習判據 ............................................................................4 1.2.3學習算法 ............................................................................5 1.3機器學習思想簡論 .........................................................................5延伸閱讀 ..............................................................................................7習題 ....................................................................................................8參考文獻 ..............................................................................................9 第 2章歸類理論..................................................................................... 11 2.1類表示公理 ................................................................................. 13 2.2歸類公理 .................................................................................... 17 2.3歸類結果分類 ............................................................................. 20 2.4歸類方法設計準則 ....................................................................... 22 2.4.1類一致性準則 ................................................................... 23 2.4.2類緊致性準則 ................................................................... 23 2.4.3類分離性準則 ................................................................... 25 2.4.4奧卡姆剃刀準則 ................................................................ 25討論 .................................................................................................. 27延伸閱讀 ............................................................................................ 29習題 .................................................................................................. 30參考文獻 ............................................................................................ 31 第 3章密度估計..................................................................................... 33 3.1密度估計的參數方法 ................................................................... 33 3.1.1最大似然估計 ................................................................... 33 3.1.2貝葉斯估計 ....................................................................... 35 3.2密度估計的非參數方法 ................................................................ 39 3.2.1直方圖 ............................................................................. 39 3.2.2核密度估計 ....................................................................... 39 3.2.3 K近鄰密度估計法 ............................................................ 40延伸閱讀 ............................................................................................ 40習題 .................................................................................................. 41參考文獻 ............................................................................................ 41 第 4章回歸 ........................................................................................... 43 4.1線性回歸 .................................................................................... 43 4.2嶺回歸 ....................................................................................... 47 4.3 Lasso回歸 .................................................................................. 48討論 .................................................................................................. 51習題 .................................................................................................. 52參考文獻 ............................................................................................ 52 第 5章單類數據降維 .............................................................................. 53 5.1主成分分析 ................................................................................. 54 5.2非負矩陣分解 ............................................................................. 56 5.3字典學習與稀疏表示 ................................................................... 57 5.4局部線性嵌入 ............................................................................. 59 5.5典型關聯分析 ............................................................................. 62 5.6多維度尺度分析與等距映射 ......................................................... 63討論 .................................................................................................. 65習題 .................................................................................................. 66參考文獻 ............................................................................................ 66 第 6章聚類理論..................................................................................... 69 6.1聚類問題表示及相關定義 ............................................................. 69 6.2聚類算法設計準則 ....................................................................... 70 6.2.1類緊致性準則和聚類不等式 ............................................... 70 6.2.2類分離性準則和重合類非穩(wěn)定假設 ..................................... 72 6.2.3類一致性準則和迭代型聚類算法 ......................................... 73 6.3聚類有效性 ................................................................................. 73 6.3.1外部方法 .......................................................................... 73 6.3.2內蘊方法 .......................................................................... 75延伸閱讀 ............................................................................................ 76習題 .................................................................................................. 77參考文獻 ............................................................................................ 77 第 7章聚類算法..................................................................................... 81 7.1樣例理論：層次聚類算法 ............................................................. 81 7.2原型理論：點原型聚類算法 .......................................................... 83 7.2.1 C均值算法 ...................................................................... 84 7.2.2模糊 C均值 ...................................................................... 86 7.3基于密度估計的聚類算法 ............................................................. 88 7.3.1基于參數密度估計的聚類算法 ............................................ 88 7.3.2基于無參數密度估計的聚類算法 ......................................... 97延伸閱讀 .......................................................................................... 106習題 ................................................................................................ 107參考文獻 .......................................................................................... 108 第 8章分類理論................................................................................... 111 8.1分類及相關定義 ........................................................................ 111 8.2從歸類理論到經典分類理論 ....................................................... 112 8.2.1 PAC理論 ....................................................................... 113 8.2.2統(tǒng)計機器學習理論 ........................................................... 115 8.3分類測試公理 ........................................................................... 118討論 ................................................................................................ 119習題 ................................................................................................ 119參考文獻 .......................................................................................... 120 第 9章基于單類的分類算法：神經網絡 .................................................. 121 9.1分類問題的回歸表示 ................................................................. 121 9.2人工神經網絡 ........................................................................... 122 9.2.1人工神經網絡相關介紹 .................................................... 122 9.2.2前饋神經網絡 ................................................................. 124 9.3從參數密度估計到受限玻耳茲曼機 ............................................. 129 9.4深度學習 .................................................................................. 131 9.4.1自編碼器 ........................................................................ 132 9.4.2卷積神經網絡 ................................................................. 132討論 ................................................................................................ 133習題 ................................................................................................ 134參考文獻 .......................................................................................... 134 第 10章 K近鄰分類模型 ...................................................................... 137 10.1 K近鄰算法 ............................................................................. 138 10.1.1 K近鄰算法問題表示 .................................................... 138 10.1.2 K近鄰分類算法 .......................................................... 139 10.1.3 K近鄰分類算法的理論錯誤率 ...................................... 140 10.2距離加權最近鄰算法 ................................................................ 141 10.3 K近鄰算法加速策略 ............................................................... 142 10.4 kd樹 ...................................................................................... 143 10.5 K近鄰算法中的參數問題 ......................................................... 144延伸閱讀 .......................................................................................... 145習題 ................................................................................................ 145參考文獻 .......................................................................................... 145 第 11章線性分類模型 .......................................................................... 147 11.1判別函數和判別模型 ................................................................ 147 11.2線性判別函數 .......................................................................... 148 11.3線性感知機算法 ...................................................................... 151 11.3.1感知機數據表示 ........................................................... 151 11.3.2感知機算法的歸類判據 ................................................. 152 11.3.3感知機分類算法 ........................................................... 153 11.4支持向量機 ............................................................................. 156 11.4.1線性可分支持向量機 .................................................... 156 11.4.2近似線性可分支持向量機 ............................................. 159 11.4.3多類分類問題 .............................................................. 162討論 ................................................................................................ 164習題 ................................................................................................ 165參考文獻 .......................................................................................... 166 第 12章對數線性分類模型 ................................................................... 167 12.1 Softmax回歸 .......................................................................... 167 12.2 Logistic回歸 ........................................................................... 170討論 ................................................................................................ 172習題 ................................................................................................ 173參考文獻 .......................................................................................... 173 第 13章貝葉斯決策 ............................................................................. 175 13.1貝葉斯分類器 .......................................................................... 175 13.2樸素貝葉斯分類 ...................................................................... 176 13.2.1最大似然估計 .............................................................. 178 13.2.2貝葉斯估計 ................................................................. 181 13.3最小化風險分類 ...................................................................... 183 13.4效用最大化分類 ...................................................................... 185討論 ................................................................................................ 185習題 ................................................................................................ 186參考文獻 .......................................................................................... 186 第 14章決策樹 .................................................................................... 187 14.1決策樹的類表示 ...................................................................... 187 14.2信息增益與 ID3算法 ............................................................... 192 14.3增益比率與 C4.5算法 .............................................................. 194 14.4 Gini指數與 CART算法 ........................................................... 195 14.5決策樹的剪枝 .......................................................................... 196討論 ................................................................................................ 197習題 ................................................................................................ 197參考文獻 .......................................................................................... 198 第 15章多類數據降維 .......................................................................... 199 15.1有監(jiān)督特征選擇模型 ................................................................ 199 15.1.1過濾式特征選擇 ........................................................... 200 15.1.2包裹式特征選擇 ........................................................... 201 15.1.3嵌入式特征選擇 ........................................................... 201 15.2有監(jiān)督特征提取模型 ................................................................ 202 15.2.1線性判別分析 .............................................................. 202 15.2.2二分類線性判別分析問題 ............................................. 202 15.2.3二分類線性判別分析 .................................................... 203 15.2.4二分類線性判別分析優(yōu)化算法 ....................................... 205 15.2.5多分類線性判別分析 .................................................... 205延伸閱讀 .......................................................................................... 207習題 ................................................................................................ 207參考文獻 .......................................................................................... 207 第 16章多類數據升維：核方法 ............................................................. 209 16.1核方法 .................................................................................... 209 16.2非線性支持向量機 ................................................................... 210 16.2.1特征空間 ..................................................................... 210 16.2.2核函數 ........................................................................ 210 16.2.3常用核函數 ................................................................. 212 16.2.4非線性支持向量機 ....................................................... 212 16.3多核方法 ................................................................................ 213討論 ................................................................................................ 215習題 ................................................................................................ 215參考文獻 .......................................................................................... 216 第 17章多源數據學習 .......................................................................... 217 17.1多源數據學習的分類 ................................................................ 217 17.2單類多源數據學習 ................................................................... 217 17.2.1完整視角下的單類多源數據學習 ................................... 218 17.2.2不完整視角下的單類多源數據學習 ................................ 220 17.3多類多源數據學習 ................................................................... 221 17.4多源數據學習中的基本假設 ...................................................... 222討論 ................................................................................................ 222習題 ................................................................................................ 223參考文獻 .......................................................................................... 223 后記 ........................................................................................................ 225 索引 ........................................................................................................ 229