現(xiàn)代決策樹模型及其編程實踐：從傳統(tǒng)決策樹到深度決策樹

贊譽
推薦序一
推薦序二
推薦序三
前言
第1章決策樹與人工智能1
1.1決策與智能1
1.2決策樹算法的起源2
1.3決策樹的核心術(shù)語4
1.4決策樹的可解釋性5
1.5作為決策分析工具的決策樹7
1.5.1決策分析8
1.5.2基于決策分析流程的決策樹9
1.6作為機器學習算法的決策樹15
1.6.1機器學習算法的類型15
1.6.2基于數(shù)據(jù)的決策樹18
1.6.3決策樹算法面臨的基本問題24
1.6.4基于規(guī)則的機器學習27
1.7作為特征學習與決策融合的決策樹30
1.8參考文獻31
第2章經(jīng)典決策樹算法33
2.1經(jīng)典決策樹應用的一般流程33
2.1.1缺失值的處理33
2.1.2連續(xù)數(shù)值屬性的離散化處理34
2.2CART算法34
2.2.1基尼不純度、基尼增益與基尼指數(shù)34
2.2.2CART分類決策樹的原理38
2.2.3CART分類決策樹的編程實踐43
2.2.4回歸問題與回歸算法55
2.2.5CART回歸決策樹的特征和分割點選擇準則65
2.2.6CART回歸決策樹的原理66
2.2.7CART回歸決策樹的編程實踐70
2.3ID3算法75
2.3.1信息熵與信息增益75
2.3.2ID3算法示例78
2.3.3ID3算法的編程實踐84
2.4C4.5算法87
2.4.1信息增益率88
2.4.2連續(xù)屬性的處理88
2.4.3缺失值的處理88
2.4.4基于C4.5算法處理連續(xù)屬性生成分類決策樹的示例91
2.4.5C4.5算法的后續(xù)改進——C5.0算法96
2.5決策樹的評估98
2.6決策樹的5種可視化方法100
2.7小結(jié)107
2.8參考文獻107
第3章決策樹的剪枝109
3.1代價復雜度剪枝110
3.1.1CCP算法的基本原理110
3.1.2CCP算法的編程實踐113
3.1.3基于sklearn的CCP示例121
3.2錯誤率降低剪枝127
3.2.1REP算法的基本原理127
3.2.2REP算法的編程實踐128
3.3悲觀錯誤剪枝133
3.3.1PEP算法的基本原理133
3.3.2PEP算法的編程實踐135
3.4最小錯誤剪枝139
3.4.1MEP算法的基本原理139
3.4.2MEP算法的編程實踐140
3.5其他決策樹剪枝算法簡介145
3.6小結(jié)147
3.7參考文獻147
第4章隨機森林149
4.1隨機森林的基本原理149
4.1.1構(gòu)造隨機森林的步驟150
4.1.2隨機森林的簡單示例151
4.1.3基于sklearn的隨機森林編程示例152
4.1.4選擇最優(yōu)的隨機特征屬性數(shù)量153
4.2套袋法156
4.2.1套袋法的算法流程157
4.2.2套袋法的偏差和方差157
4.2.3套袋法的優(yōu)缺點159
4.3隨機森林的參數(shù)設置與調(diào)優(yōu)159
4.3.1sklearn隨機森林的參數(shù)159
4.3.2調(diào)參示例161
4.3.3OOB錯誤率與交叉驗證166
4.4隨機森林的優(yōu)缺點174
4.5使用隨機森林進行特征屬性的重要性區(qū)分的示例175
4.5.1基于基尼指數(shù)的特征屬性重要性評估175
4.5.2基于袋外數(shù)據(jù)錯誤率的特征屬性重要性評估177
4.6使用隨機森林進行無監(jiān)督聚類的示例179
4.7使用隨機森林進行回歸分析的示例182
4.8隨機森林與核方法的結(jié)合184
4.9小結(jié)186
4.10參考文獻186
第5章集成學習方法188
5.1提升法188
5.1.1AdaBoost算法原理189
5.1.2AdaBoost算法實現(xiàn)199
5.1.3AdaBoost算法的編程實踐——基于sklearn解決分類問題203
5.1.4AdaBoost算法的編程實踐——基于sklearn解決回歸問題205
5.1.5提升法的分類、優(yōu)點和挑戰(zhàn)207
5.2梯度提升法208
5.2.1梯度提升法的原理和示例208
5.2.2梯度提升決策樹211
5.2.3梯度提升分類決策樹213
5.2.4梯度提升回歸決策樹223
5.2.5隨機梯度提升樹227
5.2.6基于梯度提升法的機器學習庫228
5.3堆疊法233
5.3.1簡單的二階段堆疊算法234
5.3.2基于K折交叉驗證的二階段堆疊法237
5.3.3基于sklearn的K折交叉驗證的二階段堆疊法的編程實踐238
5.3.4多階段堆疊模型247
5.4套袋法、提升法、堆疊法的比較250
5.5小結(jié)252
5.6參考文獻253
第6章并行決策樹256
6.1隨機森林的并行化256
6.2XGBoost基礎259
6.2.1XGBoost核心原理260
6.2.2XGBoost系統(tǒng)設計及其并行化加速270
6.2.3XGBoost編程基礎272
6.2.4XGBoost回歸問題編程275
6.2.5XGBoost分類問題編程277
6.2.6XGBoost隨機森林編程278
6.2.7XGBoost特征篩選編程281
6.2.8XGBoost與傳統(tǒng)提升樹的比較283
6.2.9XGBoost的缺點284
6.3LightGBM基礎284
6.3.1LightGBM核心原理285
6.3.2LightGBM系統(tǒng)設計及其并行化加速291
6.3.3LigthGBM編程基礎294
6.3.4LightGBM與sklearn結(jié)合的示例300
6.3.5LightGBM回歸問題編程302
6.3.6LightGBM分類問題編程303
6.3.7LightGBM的優(yōu)缺點305
6.4CatBoost基礎306
6.4.1CatBoost核心原理306
6.4.2CatBoost系統(tǒng)設計及其并行化加速313
6.4.3CatBoost編程基礎313
6.4.4CatBoost分類問題編程（不帶分類特征屬性）317
6.4.5CatBoost回歸問題編程（不帶分類特征屬性）319
6.4.6CatBoost回歸問題編程（帶分類特征屬性）321
6.4.7CatBoost的優(yōu)缺點323
6.4.8XGBoost、LightGBM、CatBoost的比較324
6.5NGBoost簡介325
6.6小結(jié)326
6.7參考文獻326
第7章蟻群決策樹329
7.1蟻群元啟發(fā)式算法329
7.1.1典型蟻群算法330
7.1.2MMAS算法331
7.1.3ACS算法332
7.2基于蟻群的分類規(guī)則提取333
7.2.1Ant-Miner規(guī)則提取方法334
7.2.2Ant-Miner算法實現(xiàn)339
7.2.3Ant-Miner算法的早期變種345
7.2.4MYRA——開源實現(xiàn)349
7.2.5Ant-MinerMA G算法350
7.2.6AMclr算法353
7.3蟻群