人工智能數(shù)學(xué)基礎(chǔ)與Python機(jī)器學(xué)習(xí)實戰(zhàn)

第1章 走進(jìn)機(jī)器學(xué)習(xí)的世界 1
1.1　機(jī)器學(xué)習(xí)概述 2
1.1.1　什么是機(jī)器學(xué)習(xí) 2
1.1.2　機(jī)器學(xué)習(xí)的分類 2
1.1.3　常用的機(jī)器學(xué)習(xí)算法 3
1.1.4　機(jī)器學(xué)習(xí)的流程 5
1.2　Python編程語言 6
1.2.1　Python環(huán)境搭建 6
1.2.2　機(jī)器學(xué)習(xí)相關(guān)軟件包介紹 8
1.3　機(jī)器學(xué)習(xí)的數(shù)學(xué)知識 9
1.3.1　導(dǎo)數(shù) 9
1.3.2　基本函數(shù)的求導(dǎo)公式 9
1.3.3　求導(dǎo)法則 10
1.3.4　Python實現(xiàn)求導(dǎo) 10
1.3.5　泰勒展開式 12
1.3.6　微積分基本定理 14
1.3.7　基本函數(shù)的積分公式 14
1.3.8　Python實現(xiàn)積分 16
第2章 人工智能數(shù)學(xué)基礎(chǔ) 18
2.1　線性代數(shù) 19
2.1.1　向量及其線性運算 19
2.1.2　矩陣及其線性運算 20
2.2　隨機(jī)變量 26
2.2.1　離散型隨機(jī)變量 26
2.2.2　連續(xù)型隨機(jī)變量 27
2.3　隨機(jī)變量概率分布 28
2.3.1　伯努利分布 28
2.3.2　泊松分布 29
2.3.3　指數(shù)分布 30
2.3.4　二項分布 31
2.3.5　正態(tài)分布 32
2.3.6　伽馬分布 33
2.3.7　貝塔分布 34
2.3.8　卡方分布 35
2.3.9　t分布 37
2.3.10　F分布 40
第3章 數(shù)據(jù)獲取和預(yù)處理 42
3.1　數(shù)據(jù)獲取 43
3.1.1　自帶和下載數(shù)據(jù)集 43
3.1.2　創(chuàng)建數(shù)據(jù)集 45
3.1.3　數(shù)據(jù)集 49
3.2　標(biāo)準(zhǔn)化 50
3.2.1　Z?score標(biāo)準(zhǔn)化 50
3.2.2　Min?Max標(biāo)準(zhǔn)化 51
3.3　二值化 52
3.3.1　特征二值化 52
3.3.2　標(biāo)簽二值化 53
3.4　特征處理 54
3.4.1　獨熱編碼 54
3.4.2　多項式特征 56
3.4.3　PCA降維 57
3.5　數(shù)據(jù)清洗 59
3.5.1　Pandas數(shù)據(jù)清洗 59
3.5.2　sklearn處理缺失值 62
3.6　文本特征提取 64
3.6.1　字典提取器 64
3.6.2　詞袋模型 65
3.6.3　權(quán)重向量 67
3.7　圖像特征提取 69
3.7.1　提取像素矩陣 69
3.7.2　提取角點 71
3.7.3　提取輪廓 74
3.7.4　提取局部特征點 74
3.8　特征選擇 76
3.8.1　Filter過濾法 76
3.8.2　Wrapper包裝法 78
3.8.3　Embedded嵌入法 79
第4章 線性回歸和邏輯回歸 81
4.1　線性回歸 82
4.1.1　最小二乘法 82
4.1.2　梯度下降法 84
4.1.3　線性回歸實現(xiàn) 86
4.1.4　Lasso回歸和嶺回歸 90
4.1.5　回歸模型評估 93
4.1.6　多項式回歸 94
4.2　邏輯回歸 96
4.2.1　邏輯回歸算法 96
4.2.2　邏輯回歸實現(xiàn) 98
4.2.3　分類模型評估 100
第5章 KNN和貝葉斯分類算法 107
5.1　KNN算法 108
5.1.1　KNN算法的距離度量 108
5.1.2　KNN算法代碼實現(xiàn) 112
5.1.3　交叉驗證 113
5.1.4　KD樹 115
5.2　貝葉斯分類算法 118
5.2.1　貝葉斯定理 118
5.2.2　高斯樸素貝葉斯 119
5.2.3　多項式樸素貝葉斯 121
5.2.4　伯努利樸素貝葉斯 123
第6章 決策樹和隨機(jī)森林 125
6.1　決策樹 126
6.1.1　熵 126
6.1.2　決策樹算法 129
6.1.3　剪枝算法 131
6.2　決策樹代碼實現(xiàn) 133
6.2.1　可視化決策樹 133
6.2.2　分類樹 136
6.2.3　回歸樹 143
6.3　隨機(jī)森林 144
6.3.1　集成學(xué)習(xí)算法 144
6.3.2　隨機(jī)森林分類 145
6.3.3　隨機(jī)森林回歸 148
第7章 支持向量機(jī) 150
7.1　SVM核心概念 151
7.1.1　線性可分 151
7.1.2　核函數(shù) 153
7.2　SVM代碼實現(xiàn) 154
7.2.1　SVC 154
7.2.2　SVM人臉識別 158
7.2.3　SVR 161
第8章 聚類算法 163
8.1　K?means聚類算法 164
8.1.1　K?means聚類算法原理 164
8.1.2　模型評估 166
8.1.3　圖像處理 167
8.1.4　K?means聚類算法實例 169
8.2　層次聚類算法 173
8.2.1　層次聚類算法原理 173
8.2.2　層次聚類算法實例 174
8.3　密度聚類算法 176
8.3.1　密度聚類算法原理 176
8.3.2　密度聚類算法實例 177
第9章 EM和HMM聚類算法 179
9.1　EM聚類算法 180
9.1.1　最大似然估計 180
9.1.2　詹森不等式 181
9.1.3　EM算法原理 182
9.2　EM算法代碼實現(xiàn) 183
9.3　HMM聚類算法 186
9.3.1　馬爾可夫過程 186
9.3.2　隱馬爾可夫模型 187
第10章 主題模型 190
10.1　LDA主題模型 191
10.1.1　Dirichlet分布 191
10.1.2　LDA貝葉斯模型 192
10.2　自然語言處理常用工具包 193
10.2.1　NLTK 193
10.2.2　spaCy 196
10.2.3　Gensim 197
10.2.4　jieba 201
10.2.5　Stanford NLP 202
10.2.6　FuzzyWuzzy 203
10.2.7　HanLP 204
10.3　LDA主題模型實例 207
第11章 推薦算法 212
11.1　關(guān)聯(lián)規(guī)則 213
11.1.1　置信度 213
11.1.2　支持度 213
11.1.3　提升度 214
11.1.4　關(guān)聯(lián)規(guī)則代碼實現(xiàn) 214
11.2　基于用戶行為的推薦算法 217
11.2.1　矩陣分解 217
11.2.2　SVD算法代碼實現(xiàn) 219
11.3　基于評分的推薦算法 221
11.3.1　SlopeOne算法 221
11.3.2　SlopeOne算法代碼實現(xiàn) 222
11.4　協(xié)同過濾 222
第12章 數(shù)據(jù)建模 226
12.1　監(jiān)督學(xué)習(xí) 227
12.1.1　監(jiān)督學(xué)習(xí)回歸 227
12.1.2　監(jiān)督學(xué)習(xí)分類 228
12.2　半監(jiān)督學(xué)習(xí) 235
12.2.1　標(biāo)簽傳播算法 235
12.2.2　半監(jiān)督學(xué)習(xí)分類 236
12.3　保存模型 239
12.3.1　pickle 239
12.3.2　joblib 240
12.3.3　sklearn2pmml 240
第13章 Spark機(jī)器學(xué)習(xí) 244
13.1　Spark分布式集群搭建 245
13.1.1　創(chuàng)建CentOS 7虛擬機(jī) 245
13.1.2　設(shè)置靜態(tài)IP 247
13.1.3　配置SSH服務(wù) 248
13.1.4　安裝Java 248
13.1.5　搭建三臺CentOS 7主機(jī) 249
13.1.6　修改hosts文件 250
13.1.7　配置SSH免密碼登錄 251
13.1.8　搭建Hadoop集群 252
13.1.9　搭建ZooKeeper集群 255
13.1.10　啟動Hadoop和ZooKeeper集群 257
13.1.11　搭建Spark集群 260
13.2　Hadoop和Spark的基礎(chǔ)知識 262
13.2.1　HDFS 262
13.2.2　Spark Shell 264
13.2.3　RDD編程 268
13.2.4　Spark SQL 273
13.3　Spark MLlib 279
13.3.1　回歸模型 279
13.3.2　分類模型 281