機器學(xué)習(xí)入門之道

第 1章 數(shù)據(jù)科學(xué)和機器學(xué)習(xí)\t1
1．1　數(shù)據(jù)科學(xué)在商業(yè)領(lǐng)域中的作用　2
1．2　機器學(xué)習(xí)算法的分類　8
1．2．1　分類：產(chǎn)生類判定的算法　8
1．2．2　回歸分析：預(yù)測數(shù)值的算法　9
1．2．3　聚類分析：對數(shù)據(jù)進行無監(jiān)督群組化的算法　10
1．2．4　其他算法　12
1．3　本書使用的例題　13
1．3．1　基于回歸分析的觀測值推斷　13
1．3．2　基于線性判別的新數(shù)據(jù)分類　17
1．3．3　圖像文件的褪色處理（提取代表色）　18
1．3．4　識別手寫文字　19
1．4　分析工具的準備　20
1．4．1　本書使用的數(shù)據(jù)分析工具　21
1．4．2　運行環(huán)境設(shè)置步驟（以CentOS 6為例）　22
1．4．3　運行環(huán)境設(shè)置步驟（以Mac OS X為例）　25
1．4．4　運行環(huán)境設(shè)置步驟（以Windows 7/8．1為例）　27
1．4．5　IPython的使用方法　30
第　2章 最小二乘法：機器學(xué)習(xí)理論第 一步　35
2．1　基于近似多項式和最小二乘法的推斷　36
2．1．1　訓(xùn)練集的特征變量和目標變量　36
2．1．2　近似多項式和誤差函數(shù)的設(shè)置　38
2．1．3　誤差函數(shù)最小化條件　39
2．1．4　示例代碼的確認　42
2．1．5　統(tǒng)計模型的最小二乘法　46
2．2　過度擬合檢出　49
2．2．1　訓(xùn)練集和測試集　49
2．2．2　測試集的驗證結(jié)果　50
2．2．3　基于交叉檢查的泛化能力驗證　52
2．2．4　基于數(shù)據(jù)的過度擬合變化　54
2．3　附錄：Hessian矩陣的特性　56
第3章　最優(yōu)推斷法：使用概率的推斷理論　59
3．1　概率模型的利用　60
3．1．1　“數(shù)據(jù)的產(chǎn)生概率”設(shè)置　60
3．1．2　基于似然函數(shù)的參數(shù)評價　65
3．1．3　示例代碼的確認　69
3．2　使用簡化示例的解釋說明　73
3．2．1　正態(tài)分布的參數(shù)模型　74
3．2．2　示例代碼的確認　76
3．2．3　推斷量的評價方法（一致性和無偏性）　78
3．3　附錄：樣本均值及樣本方差一致性和無偏性的證明　80
3．3．1　樣本均值及樣本方差一致性和無偏性的證明　81
3．3．2　示例代碼的確認　85
第4章　感知器：分類算法的基礎(chǔ)　89
4．1　概率梯度下降法的算法　91
4．1．1　分割平面的直線方程　91
4．1．2　基于誤差函數(shù)的分類結(jié)果評價　93
4．1．3　基于梯度的參數(shù)修正　95
4．1．4　示例代碼的確認　99
4．2　感知器的幾何學(xué)解釋　100
4．2．1　對角項的任意性和算法的收斂速度　101
4．2．2　感知器的幾何學(xué)解釋　103
4．2．3　對角項的幾何學(xué)意義　104
第5章　Logistic回歸和ROC曲線：學(xué)習(xí)模型的評價方法　107
5．1　對分類問題應(yīng)用最優(yōu)推斷法　108
5．1．1　數(shù)據(jù)發(fā)生概率的設(shè)置　108
5．1．2　基于最優(yōu)推斷法的參數(shù)確定　112
5．1．3　示例代碼的確認　114
5．2　基于ROC曲線的學(xué)習(xí)模型評價　117
5．2．1　Logistic回歸在實際問題中的應(yīng)用　118
5．2．2　基于ROC曲線的性能評價　120
5．2．3　示例代碼的確認　123
5．3　附錄：IRLS法的推導(dǎo)　126
第6章　K均值算法：無監(jiān)督學(xué)習(xí)模型的基礎(chǔ)　133
6．1　基于K均值算法的聚類分析和應(yīng)用實例　134
6．1．1　無監(jiān)督學(xué)習(xí)模型類聚類分析　134
6．1．2　基于K均值算法的聚類分析　135
6．1．3　在圖像數(shù)據(jù)方面的應(yīng)用　138
6．1．4　示例代碼的確認　141
6．1．5　K均值算法的數(shù)學(xué)依據(jù)　143
6．2　“懶惰”學(xué)習(xí)模型K近鄰法　146
6．2．1　基于K近鄰法的分類　146
6．2．2　K近鄰法的問題　148
第7章　EM算法：基于最優(yōu)推斷法的監(jiān)督學(xué)習(xí)　151
7．1　使用伯努利分布的最優(yōu)推斷法　152
7．1．1　手寫文字的合成方法　153
7．1．2　基于圖像生成器的最優(yōu)推斷法應(yīng)用　154
7．2　使用混合分布的最優(yōu)推斷法　157
7．2．1　基于混合分布的概率計算　157
7．2．2　EM算法的過程　158
7．2．3　示例代碼的確認　161
7．2．4　基于聚類分析的探索性數(shù)據(jù)解析　165
7．3　附錄：手寫文字數(shù)據(jù)的采集方法　167
第8章　貝葉斯推斷：以數(shù)據(jù)為基礎(chǔ)提高置信度的手法　169
8．1　貝葉斯推斷模型和貝葉斯定理　170
8．1．1　貝葉斯推斷的思路　171
8．1．2　貝葉斯定理入門　172
8．1．3　使用貝葉斯推斷確定正態(tài)分布：推斷參數(shù)　178
8．1．4　使用貝葉斯推斷確定正態(tài)分布：推斷觀測值分布　185
8．1．5　示例代碼的確認　188
8．2　貝葉斯推斷回歸分析的應(yīng)用　190
8．2．1　參數(shù)后期分布的計算　190
8．2．2　觀測值分布的推斷　194
8．2．3　示例代碼的確認　195
8．3　附錄：最優(yōu)推斷法和貝葉斯推斷的關(guān)系　198
后記　201