機(jī)器學(xué)習(xí)基礎(chǔ)：原理、算法與實(shí)踐

目錄
第1章 機(jī)器學(xué)習(xí)介紹 1
1.1 機(jī)器學(xué)習(xí)簡(jiǎn)介 2
1.1.1 什么是機(jī)器學(xué)習(xí) 2
1.1.2 機(jī)器學(xué)習(xí)與日常生活 3
1.1.3 如何學(xué)習(xí)機(jī)器學(xué)習(xí) 4
1.1.4 MATLAB優(yōu)勢(shì) 5
1.2 基本概念 5
1.2.1 機(jī)器學(xué)習(xí)的種類 6
1.2.2 有監(jiān)督學(xué)習(xí) 6
1.2.3 無(wú)監(jiān)督學(xué)習(xí) 7
1.2.4 機(jī)器學(xué)習(xí)術(shù)語(yǔ) 7
1.2.5 預(yù)處理 9
1.3 MATLAB數(shù)據(jù)格式 10
1.3.1 標(biāo)稱數(shù)據(jù) 10
1.3.2 序數(shù)數(shù)據(jù) 11
1.3.3 分類數(shù)據(jù) 11
1.4 示例數(shù)據(jù)集 12
1.4.1 天氣問(wèn)題 12
1.4.2 鳶尾花 15
1.4.3 其他數(shù)據(jù)集 16
1.5 了解你的數(shù)據(jù) 16
習(xí)題 20
第2章 線性回歸 21
2.1 從一個(gè)實(shí)際例子說(shuō)起 22
2.1.1 模型定義 23
2.1.2 模型假設(shè) 23
2.1.3 模型評(píng)估 24
2.2 最小二乘法 24
2.2.1 最小二乘法求解參數(shù) 25
2.2.2 用最小二乘法來(lái)擬合奧運(yùn)會(huì)數(shù)據(jù) 26
2.2.3 預(yù)測(cè)比賽結(jié)果 27
2.3 梯度下降 27
2.3.1 基本思路 28
2.3.2 梯度下降算法 29
2.3.3 梯度下降求解線性回歸問(wèn)題 30
2.4 多變量線性回歸 32
2.4.1 多變量線性回歸問(wèn)題 33
2.4.2 多變量梯度下降 34
2.4.3 隨機(jī)梯度下降 38
2.4.4 正規(guī)方程 40
2.5 多項(xiàng)式回歸 42
2.5.1 多項(xiàng)式回歸算法 42
2.5.2 正則化 45
習(xí)題 47
第3章 邏輯回歸 49
3.1 邏輯回歸介紹 50
3.1.1 線性回歸用于分類 50
3.1.2 假設(shè)函數(shù) 51
3.1.3 決策邊界 52
3.2 邏輯回歸算法 53
3.2.1 代價(jià)函數(shù) 53
3.2.2 梯度下降算法 54
3.2.3 MATLAB優(yōu)化函數(shù) 56
3.2.4 多項(xiàng)式邏輯回歸 58
3.3 多元分類 60
3.3.1 一對(duì)多 60
3.3.2 一對(duì)一 62
3.3.3 Softmax回歸 64
習(xí)題 66
第4章 貝葉斯分類器 67
4.1 簡(jiǎn)介 68
4.1.1 概述 68
4.1.2 判別模型和生成模型 68
4.1.3 極大似然估計(jì) 69
4.2 高斯判別分析 72
4.2.1 多元高斯分布 72
4.2.2 高斯判別模型 73
4.3 樸素貝葉斯 75
4.3.1 樸素貝葉斯算法 76
4.3.2 文本分類 81
習(xí)題 86
第5章 模型評(píng)估與選擇 87
5.1 簡(jiǎn)介 88
5.1.1 訓(xùn)練誤差與泛化誤差 88
5.1.2 偏差和方差 89
5.2 評(píng)估方法 90
5.2.1 訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分 91
5.2.2 交叉驗(yàn)證 92
5.3 性能度量 95
5.3.1 常用性能度量 95
5.3.2 查準(zhǔn)率和查全率 96
5.3.3 ROC和AUC 98
5.4 偏差與方差折中 100
5.4.1 偏差與方差診斷 101
5.4.2 正則化與偏差方差 102
5.4.3 學(xué)習(xí)曲線 103
習(xí)題 104
第6章 K-均值算法和EM算法 107
6.1 聚類分析 108
6.1.1 K-means算法描述 108
6.1.2 K-means算法應(yīng)用 112
6.1.3 注意事項(xiàng) 113
6.2 EM算法 114
6.2.1 基本EM算法 114
6.2.2 EM算法的一般形式 115
6.2.3 混合高斯模型 118
習(xí)題 123
第7章 決策樹(shù) 125
7.1 決策樹(shù)介紹 126
7.2 ID3算法 127
7.2.1 信息熵 127
7.2.2 信息增益計(jì)算示例 127
7.2.3 ID3算法描述 132
7.2.4 ID3算法實(shí)現(xiàn) 134
7.3 C4.5算法 134
7.3.1 基本概念 135
7.3.2 剪枝處理 139
7.3.3 C4.5算法描述 140
7.3.4 C4.5算法實(shí)現(xiàn) 142
7.4 CART算法 144
7.4.1 CART算法介紹 144
7.4.2 CART算法描述 147
7.4.3 CART算法實(shí)現(xiàn) 149
習(xí)題 150
第8章 神經(jīng)網(wǎng)絡(luò) 151
8.1 神經(jīng)網(wǎng)絡(luò)介紹 152
8.1.1 從一個(gè)實(shí)例說(shuō)起 152
8.1.2 神經(jīng)元 153
8.1.3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 154
8.1.4 簡(jiǎn)化的神經(jīng)網(wǎng)絡(luò)模型 157
8.1.5 細(xì)節(jié)說(shuō)明 160
8.2 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 161
8.2.1 代價(jià)函數(shù) 161
8.2.2 BP算法 162
8.2.3 BP算法實(shí)現(xiàn) 166
8.2.4 平方代價(jià)函數(shù)的情形 171
習(xí)題 171
第9章 隱馬爾科夫模型 173
9.1 隱馬爾科夫模型基本概念 174
9.1.1 離散馬爾科夫過(guò)程 174
9.1.2 擴(kuò)展至隱馬爾科夫模型 176
9.1.3 HMM的組成和序列生成 179
9.1.4 三個(gè)基本問(wèn)題 181
9.2 求解HMM三個(gè)基本問(wèn)題 182
9.2.1 評(píng)估問(wèn)題 183
9.2.2 解碼問(wèn)題 187
9.2.3 學(xué)習(xí)問(wèn)題 190
習(xí)題 196
第10章 支持向量機(jī) 197
10.1 支持向量機(jī)介紹 198
10.2 最大間隔超平面 198
10.2.1 SVM問(wèn)題的形式化描述 199
10.2.2 函數(shù)間隔和幾何間隔 199
10.2.3 最優(yōu)間隔分類器 201
10.2.4 使用優(yōu)化軟件求解SVM 203
10.3 對(duì)偶算法 204
10.3.1 SVM對(duì)偶問(wèn)題 204
10.3.2 使用優(yōu)化軟件求解對(duì)偶 SVM 206
10.4 非線性支持向量機(jī) 208
10.4.1 核技巧 208
10.4.2 常用核函數(shù) 210
10.5 軟間隔支持向量機(jī) 213
10.5.1 動(dòng)機(jī)及原問(wèn)題 213
10.5.2 對(duì)偶問(wèn)題 214
10.5.3 使用優(yōu)化軟件求解軟間隔 對(duì)偶SVM 215
10.6 SMO算法 218
10.6.1 SMO算法描述 218
10.6.2 簡(jiǎn)化SMO算法實(shí)現(xiàn) 221
10.7 LibSVM 226
10.7.1 LibSVM的安裝 226
10.7.2 LibSVM函數(shù) 228
10.7.3 LibSVM實(shí)踐指南 230
習(xí)題 232
第11章 推薦系統(tǒng) 233
11.1 推薦系統(tǒng)介紹 234
11.1.1 什么是推薦系統(tǒng) 234
11.1.2 數(shù)據(jù)集描述 235
11.1.3 推薦系統(tǒng)符號(hào) 236
11.2 基于用戶的協(xié)同過(guò)濾 236
11.2.1 相似性度量 237
11.2.2 算法描述 239
11.2.3 算法實(shí)現(xiàn) 240
11.3 基于物品的協(xié)同過(guò)濾 241
11.3.1 調(diào)整余弦相似度和預(yù)測(cè) 241
11.3.2 Slope One算法描述 與實(shí)現(xiàn) 243
11.4 基于內(nèi)容的協(xié)同過(guò)濾算法與實(shí)現(xiàn) 247
11.4.1 算法描述 247
11.4.2 算法實(shí)現(xiàn) 250
習(xí)題 251
第12章 主成分分析 253
12.1 主成分分析介紹 254
12.2 本征值與奇異值分解 255
12.2.1 本征值分解 255
12.2.2 奇異值分解 256
12.3 PCA算法描述 256
12.3.1 PCA算法 257
12.3.2 從壓縮表示中重建 258
12.3.3 確定主成分?jǐn)?shù)量 258
12.4 PCA實(shí)現(xiàn) 260
12.4.1 假想實(shí)例 260
12.4.2 MNIST實(shí)例 264
習(xí)題 265
習(xí)題參考答案 267
符號(hào)表 294
參考文獻(xiàn) 295