統(tǒng)計機器學(xué)習(xí)理論和方法及Python實現(xiàn)

目錄
前言
第1章 引言 1
1.1 問題驅(qū)動 1
1.2 統(tǒng)計機器學(xué)習(xí)的基本任務(wù) 2
1.3 統(tǒng)計機器學(xué)習(xí)的總體目標(biāo)和樣本策略 3
1.3.1 監(jiān)督學(xué)習(xí) 4
1.3.2 無監(jiān)督學(xué)習(xí) 8
1.3.3 基于樣本的統(tǒng)計機器學(xué)習(xí)方法 9
1.4 Anaconda、TensorFlow 2.0和PyTorch的安裝 10
1.4.1 Anaconda的安裝 10
1.4.2 TensorFlow 2.0的安裝 11
1.4.3 PyTorch的安裝 11
第2章 線性回歸 13
2.1 一般線性回歸模型 13
2.1.1 基本框架 13
2.1.2 梯度下降法 14
2.1.3 性能度量 15
2.2 多項式回歸 15
2.3 線性回歸的正則化方法 18
2.3.1 線性嶺回歸 19
2.3.2 LASSO回歸 21
2.4 線性回歸Python實現(xiàn) 24
第3章 線性分類器 37
3.1 概率生成模型 37
3.2 二分類概率生成模型 38
3.3 邏輯回歸 39
3.4 Softmax回歸 40
3.5 邏輯回歸的限制 41
3.6 分類任務(wù)的Python實現(xiàn) 43
第4章 支持向量機 48
4.1 線性SVM分類器 48
4.2 線性支持向量回歸 51
4.3 SVM的Python實現(xiàn) 52
4.3.1 軟間隔分類 52
4.3.2 非線性SVM分類 55
4.3.3 支持向量回歸的實現(xiàn) 58
第5章 核方法 61
5.1 特征映射 61
5.2 核函數(shù) 63
5.3 核方法的數(shù)學(xué)基礎(chǔ) 64
5.3.1 希爾伯特空間 65
5.3.2 Riesz表示定理 67
5.3.3 再生核希爾伯特空間 67
5.4 核技巧 70
5.5 核方法的Python實現(xiàn) 73
5.5.1 基于核方法的嶺回歸和支持向量回歸 73
5.5.2 基于核方法的支持向量分類 76
第6章 集成學(xué)習(xí) 78
6.1 決策樹 78
6.1.1 決策樹的基本概念 78
6.1.2 決策樹的訓(xùn)練 80
6.2 學(xué)習(xí)器集成 81
6.3 Bagging和隨機森林 81
6.3.1 Bagging 81
6.3.2 隨機森林 83
6.4 Boosting 83
6.4.1 AdaBoost基本算法 84
6.4.2 AdaBoost算法的解釋 87
6.4.3 多分類AdaBoost 91
6.4.4 Boosting的一般梯度下降算法 96
6.5 集成學(xué)習(xí)的Python實現(xiàn) 98
6.5.1 決策樹的Python實現(xiàn) 98
6.5.2 Bagging的Python實現(xiàn) 100
6.5.3 隨機森林的Python實現(xiàn) 101
6.5.4 Boosting的Python實現(xiàn) 102
第7章 深度學(xué)習(xí)的基礎(chǔ) 104
7.1 前饋神經(jīng)網(wǎng)絡(luò) 104
7.1.1 感知器模型 104
7.1.2 多層感知器及其變體 107
7.1.3 BP算法 110
7.1.4 回歸和分類任務(wù)中的MLP 114
7.2 利用Keras和TensorFlow實施MLP 115
7.2.1 使用Sequential API建立分類器 116
7.2.2 使用Functional API構(gòu)建復(fù)雜模型 123
7.2.3 使用Subclassing API構(gòu)建動態(tài)模型 123
7.2.4 保存和恢復(fù)模型 124
第8章 卷積神經(jīng)網(wǎng)絡(luò) 126
8.1 簡介 126
8.2 CNN的網(wǎng)絡(luò)架構(gòu) 126
第9章 循環(huán)神經(jīng)網(wǎng)絡(luò) 132
9.1 框架 132
9.2 循環(huán)層 132
9.3 長短期記憶網(wǎng)絡(luò) 136
9.4 基于RNN的時間序列預(yù)測 139
第10章 無監(jiān)督學(xué)習(xí) 148
10.1 無監(jiān)督學(xué)習(xí)的主要任務(wù) 148
10.2 自編碼器 149
10.2.1 棧式自編碼器 150
10.2.2 變分自編碼器 152
10.3 GAN 163
10.3.1 經(jīng)典GAN的基本思想 164
10.3.2 經(jīng)典GAN的推廣 168
10.3.3 WGAN 170
10.3.4 條件GAN 175
10.4 無監(jiān)督學(xué)習(xí)的Python實現(xiàn) 181
10.4.1 PyTorch實戰(zhàn)基礎(chǔ) 181
10.4.2 圖像分類的PyTorch實現(xiàn) 191
10.4.3 VAE的PyTorch實現(xiàn) 196
10.4.4 GAN的PyTorch實現(xiàn) 201
第11章 深度強化學(xué)習(xí) 205
11.1 深度強化學(xué)習(xí)的主要任務(wù) 205
11.2 強化學(xué)習(xí)的基本概念 205
11.2.1 強化學(xué)習(xí)的基本模型 206
11.2.2 價值函數(shù) 207
11.3 基于策略梯度的深度強化學(xué)習(xí) 207
11.4 基于值函數(shù)的深度強化學(xué)習(xí) 213
11.4.1 值函數(shù)的估計方法 213
11.4.2 Q-Learning 214
11.5 Actor-Critic方法 216
11.5.1 A2C和A3C方法 216
11.5.2 路徑導(dǎo)數(shù)策略梯度方法 218
11.6 強化學(xué)習(xí)的PyTorch實現(xiàn) 220
11.6.1 導(dǎo)入必需的包 220
11.6.2 回放內(nèi)存設(shè)置 222
11.6.3 獲取狀態(tài)輸入 224
11.6.4 訓(xùn)練 230
參考文獻(xiàn) 235