Python機器學習（原書第2版）

譯者序

關于作者

關于審校人員

前言

第1章　賦予計算機從數(shù)據(jù)中學習的能力 1

1.1　構建把數(shù)據(jù)轉(zhuǎn)換為知識的智能機器 1

1.2　三種不同類型的機器學習 1

1.2.1　用有監(jiān)督學習預測未來 2

1.2.2　用強化學習解決交互問題 3

1.2.3　用無監(jiān)督學習發(fā)現(xiàn)隱藏結構 4

1.3　基本術語與符號 4

1.4　構建機器學習系統(tǒng)的路線圖 6

1.4.1　預處理—整理數(shù)據(jù) 6

1.4.2　訓練和選擇預測模型 7

1.4.3　評估模型和預測新樣本數(shù)據(jù) 7

1.5　用Python進行機器學習 7

1.5.1　從Python包索引安裝Python和其他包 8

1.5.2　采用Anaconda Python和軟件包管理器 8

1.5.3　科學計算、數(shù)據(jù)科學和機器學習軟件包 8

1.6　小結 9

第2章　訓練簡單的機器學習分類算法 10

2.1　人工神經(jīng)元—機器學習早期歷史一瞥 10

2.1.1　人工神經(jīng)元的正式定義 11

2.1.2　感知器學習規(guī)則 12

2.2　在Python中實現(xiàn)感知器學習算法 14

2.2.1　面向?qū)ο蟮母兄鰽PI 14

2.2.2　在鳶尾花數(shù)據(jù)集上訓練感知器模型 16

2.3　自適應神經(jīng)元和學習收斂 20

2.3.1　梯度下降為最小代價函數(shù) 21

2.3.2　用Python實現(xiàn)Adaline 22

2.3.3　通過調(diào)整特征大小改善梯度下降 25

2.3.4　大規(guī)模機器學習與隨機梯度下降 27

2.4　小結 30

第3章　scikit-learn機器學習分類器一覽 32

3.1　選擇分類算法 32

3.2　了解scikit-learn軟件庫的第一步—訓練感知器 32

3.3　基于邏輯回歸的分類概率建模 37

3.3.1　邏輯回歸的直覺與條件概率 37

3.3.2　學習邏輯代價函數(shù)的權重 39

3.3.3　把轉(zhuǎn)換的Adaline用于邏輯回歸算法 41

3.3.4　用scikit-learn訓練邏輯回歸模型 44

3.3.5　通過正則化解決過擬合問題 45

3.4　支持向量機的最大余量分類 47

3.4.1　最大邊際的直覺 48

3.4.2　用松弛變量處理非線性可分 48

3.4.3　其他的scikit-learn 實現(xiàn) 50

3.5　用核支持向量機求解非線性問題 50

3.5.1　處理線性不可分數(shù)據(jù)的核方法 50

3.5.2　利用核技巧，發(fā)現(xiàn)高維空間的分離超平面 52

3.6　決策樹學習 55

3.6.1　最大限度地獲取信息—獲得最大收益 55

3.6.2　構建決策樹 58

3.6.3　通過隨機森林組合多個決策樹 61

3.7　K-近鄰—一種懶惰的學習算法 63

3.8　小結 65

第4章　構建良好的訓練集——預處理 66

4.1　處理缺失數(shù)據(jù) 66

4.1.1　識別數(shù)據(jù)中的缺失數(shù)值 66

4.1.2　刪除缺失的數(shù)據(jù) 67

4.1.3　填補缺失的數(shù)據(jù) 68

4.1.4　了解scikit-learn評估器API 68

4.2　處理分類數(shù)據(jù) 69

4.2.1　名詞特征和序數(shù)特征 69

4.2.2　映射序數(shù)特征 70

4.2.3　分類標簽編碼 70

4.2.4　為名詞特征做熱編碼 71

4.3　分裂數(shù)據(jù)集為獨立的訓練集和測試集 73

4.4　把特征保持在同一尺度上 75

4.5　選擇有意義的特征 76

4.5.1　L1和L2正則化對模型復雜度的懲罰 76

4.5.2　L2正則化的幾何解釋 77

4.5.3　L1正則化的稀疏解決方案 78

4.5.4　為序數(shù)特征選擇算法 80

4.6　用隨機森林評估特征的重要性 84

4.7　小結 87

第5章　通過降維壓縮數(shù)據(jù) 88

5.1　用主成分分析實現(xiàn)無監(jiān)督降維 88

5.1.1　主成分分析的主要步驟 88

5.1.2　逐步提取主成分 89

5.1.3　總方差和解釋方差 91

5.1.4　特征變換 92

5.1.5　scikit-learn的主成分分析 93

5.2　基于線性判別分析的有監(jiān)督數(shù)據(jù)壓縮 96

5.2.1　主成分分析與線性判別分析 96

5.2.2　線性判別分析的內(nèi)部邏輯 97

5.2.3　計算散布矩陣 97

5.2.4　在新的特征子空間選擇線性判別式 99

5.2.5　將樣本投影到新的特征空間 101

5.2.6　用scikit-learn實現(xiàn)的LDA 101

5.3　非線性映射的核主成分分析 102

5.3.1　核函數(shù)與核技巧 103

5.3.2　用Python實現(xiàn)核主成分分析 106

5.3.3　投影新的數(shù)據(jù)點 111

5.3.4　scikit-learn的核主成分分析 113

5.4　小結 114

第6章　模型評估和超參數(shù)調(diào)優(yōu)的最佳實踐 115

6.1　用管道方法簡化工作流 115

6.1.1　加載威斯康星乳腺癌數(shù)據(jù)集 115

6.1.2　集成管道中的轉(zhuǎn)換器和評估器 116

6.2　使用k折交叉驗證評估模型的性能 118

6.2.1　抵抗方法 118

6.2.2　k折交叉驗證 119

6.3　用學習和驗證曲線調(diào)試算法 122

6.3.1　用學習曲線診斷偏差和方差問題 122

6.3.2　用驗證曲線解決過擬合和欠擬合問題 124

6.4　通過網(wǎng)格搜索為機器學習模型調(diào)優(yōu) 126

６.4.1　通過網(wǎng)格搜索為超參數(shù)調(diào)優(yōu) 126

6.4.2　以嵌套式交叉驗證來選擇算法 127

6.5　比較不同的性能評估指標 128

6.5.1　含混矩陣分析 128

6.5.2　優(yōu)化分類模型的準確度和召回率 129

6.5.3　繪制受試者操作特性圖 130

6.5.4　多元分類評分指標 133

6.6　處理類的不平衡問題 133

6.7　小結 135

第7章　綜合不同模型的組合學習 136

7.1　集成學習 136

7.2　采用多數(shù)票機制的集成分類器 139

7.2.1　實現(xiàn)基于多數(shù)票的簡單分類器 139

7.2.2　用多數(shù)票原則進行預測 143

7.2.3　評估和優(yōu)化集成分類器 145

7.3　套袋—基于導引樣本構建分類器集成 149

7.3.1　套袋簡介 150

7.3.2　應用套袋技術對葡萄酒數(shù)據(jù)集中的樣本分類 151

7.4　通過自適應增強來利用弱學習者 153

7.4.1　增強是如何實現(xiàn)的 154

7.4.2　用scikit-learn實現(xiàn)AdaBoost 156

7.5　小結 158

第8章　應用機器學習于情感分析 159

8.1　為文本處理預備好IMDb電影評論數(shù)據(jù) 159

8.1.1　獲取電影評論數(shù)據(jù)集 159

8.1.2　把電影評論數(shù)據(jù)預處理成更方便格式的數(shù)據(jù) 160

8.2　詞袋模型介紹 161

8.2.1　把詞轉(zhuǎn)換成特征向量 161

8.2.2　通過詞頻逆反文檔頻率評估單詞相關性 162

8.2.3　清洗文本數(shù)據(jù) 164

8.2.4　把文檔處理為令牌 165

8.3　訓練文檔分類的邏輯回歸模型 166

8.4　處理更大的數(shù)據(jù)集—在線算法和核心學習 168

8.5　具有潛在狄氏分配的主題建模 171

8.5.1　使用LDA分解文本文檔 171

8.5.2　LDA與scikit-learn 172

8.6　小結 174

第9章　將機器學習模型嵌入網(wǎng)絡應用 175

9.1　序列化擬合scikit-learn評估器 175

9.2　搭建SQLite數(shù)據(jù)庫存儲數(shù)據(jù) 177

9.3　用Flask開發(fā)網(wǎng)絡應用 179

9.3.1　第一個Flask網(wǎng)絡應用 179

9.3.2　表單驗證與渲染 181

9.4　將電影評論分類器轉(zhuǎn)換為網(wǎng)絡應用 184

9.4.1　文件與文件夾—研究目錄樹 185

9.4.2　實現(xiàn)主應用app.py 186

9.4.3　建立評論表單 188

9.4.4　創(chuàng)建一個結果頁面的模板 189

9.5　在面向公眾的服務器上部署網(wǎng)絡應用 190

9.5.1　創(chuàng)建PythonAnywhere賬戶 190

9.5.2　上傳電影分類應用 191

9.5.3　更新電影分類器 191

9.6　小結 193

第10章　用回歸分析預測連續(xù)目標變量 194

10.1　線性回歸簡介 194

10.1.1　簡單線性回歸 194

10.1.2　多元線性回歸 195

10.2　探索住房數(shù)據(jù)集 196

10.2.1　加載住房數(shù)據(jù) 196

10.2.2　可視化數(shù)據(jù)集的重要特點 197

10.2.3　用關聯(lián)矩陣查看關系 198

10.3　普通最小二乘線性回歸模型的實現(xiàn) 200

10.3.1　用梯度下降方法求解回歸參數(shù) 200

10.3.2　通過scikit-learn估計回歸模型的系數(shù) 203

10.4　利用RANSAC擬合穩(wěn)健的回歸模型 205

10.5　評估線性回歸模型的性能 206

10.6　用正則化方法進行回歸 209

10.7　將線性回歸模型轉(zhuǎn)換為曲線—多項式回歸 210

10.7.1　用scikit-learn增加多項式的項 210

10.7.2　為住房數(shù)據(jù)集中的非線性關系建模 211

10.8　用隨機森林處理非線性關系 214

10.8.1　決策樹回歸 214

10.8.2　隨機森林回歸 215

10.9　小結 217

第11章　用聚類分析處理無標簽數(shù)據(jù) 218

11.1　用k-均值進行相似性分組 218

11.1.1　scikit-learn的k-均值聚類 218

11.1.2　k-均值++—更聰明地設置初始聚類中心的方法 221

11.1.3　硬聚類與軟聚類 222

11.1.4　用肘法求解最佳聚類數(shù) 223

11.1.5　通過輪廓圖量化聚類質(zhì)量 224

11.2　把集群組織成有層次的樹 228

......