機器學習精講

第 1章　緒論1
1．1 什么是機器學習1
1．2 不同類型的學習1
1．2．1 監(jiān)督學習1
1．2．2 非監(jiān)督學習2
1．2．3 半監(jiān)督學習3
1．2．4 強化學習3
1．3 監(jiān)督學習是如何工作的4
1．4 為什么模型可以應用于新數(shù)據(jù)9
第　2章 符號和定義10
2．1 符號10
2．1．1 數(shù)據(jù)結構10
2．1．2 大寫西格瑪符號12
2．1．3 大寫派符號12
2．1．4 集合運算13
2．1．5 向量運算13
2．1．6 函數(shù)14
2．1．7 max和argmax16
2．1．8 賦值運算符16
2．1．9 導數(shù)和梯度16
2．2 隨機變量18
2．3 無偏估計值20
2．4 貝葉斯準則21
2．5 參數(shù)估計21
2．6 參數(shù)與超參數(shù)23
2．7 分類vs．回歸23
2．8 基于模型學習vs．基于實例學習24
2．9 淺層學習vs．深度學習24
第3章　基本算法26
3．1 線性回歸26
3．1．1 問題陳述26
3．1．2 解決方案28
3．2 對數(shù)幾率回歸30
3．2．1 問題陳述31
3．2．2 解決方案32
3．3 決策樹學習34
3．3．1 問題陳述34
3．3．2 解決方案34
3．4 支持向量機37
3．4．1 處理噪聲38
3．4．2 處理固有非線性39
3．5 k近鄰42
第4章　算法剖析43
4．1 一個算法的組成部分43
4．2 梯度下降44
4．3 機器學習工程師如何工作50
4．4 學習算法的特性51
第5章　基本實踐53
5．1 特征工程53
5．1．1 獨熱編碼54
5．1．2 裝箱55
5．1．3 歸一化56
5．1．4 標準化56
5．1．5 處理特征缺失值57
5．1．6 數(shù)據(jù)補全技術58
5．2 選擇學習算法59
5．3 3個數(shù)據(jù)集61
5．4 欠擬合與過擬合63
5．5 正則化66
5．6 模型效果評估67
5．6．1 混淆矩陣69
5．6．2 查準率/查全率70
5．6．3 準確率71
5．6．4 代價敏感準確率71
5．6．5 ROC曲線下面積72
5．7 超參數(shù)調(diào)試73
交叉驗證75
第6章　神經(jīng)網(wǎng)絡和深度學習77
6．1 神經(jīng)網(wǎng)絡77
6．1．1 多層感知機例子78
6．1．2 前饋神經(jīng)網(wǎng)絡80
6．2 深度學習81
6．2．1 卷軸神經(jīng)網(wǎng)絡83
6．2．2 循環(huán)神經(jīng)網(wǎng)絡90
第7章　問題與解決方案96
7．1 核回歸96
7．2 多類別分類98
7．3 單類別分類99
7．4 多標簽分類102
7．5 集成學習104
7．5．1 提升法與裝袋法105
7．5．2 隨機森林105
7．5．3 梯度提升106
7．6 學習標注序列109
7．7 序列到序列學習111
7．8 主動學習113
7．9 半監(jiān)督學習115
7．10 單樣本學習118
7．11 零樣本學習120
第8章　進階操作122
8．1 處理不平衡的數(shù)據(jù)集122
8．2 組合模型124
8．3 訓練神經(jīng)網(wǎng)絡125
8．4 進階正則化127
8．5 處理多輸入128
8．6 處理多輸出129
8．7 遷移學習130
8．8 算法效率131
第9章　非監(jiān)督學習135
9．1 密度預估135
9．2 聚類138
9．2．1 k均值138
9．2．2 DBSCAN和HDBSCAN140
9．2．3 決定聚類簇個數(shù)141
9．2．4 其他聚類算法145
9．3 維度降低148
9．3．1 主要成分分析149
9．3．2 UMAP151
9．4 異常值檢測153
第　10章 其他學習形式154
10．1 質(zhì)量學習154
10．2 排序學習156
10．3 推薦學習159
10．3．1 因子分解機161
10．3．2 去噪自編碼器163
10．4 自監(jiān)督學習：詞嵌入164
第　11章 結論167
11．1 主題模型167
11．2 高斯過程168
11．3 廣義線性模型168
11．4 概率圖模型168
11．5 馬爾可夫鏈蒙特卡洛算法169
11．6 基因算法170
11．7 強化學習170
術語表172