深入理解神經網絡：從邏輯回歸到CNN

第 一部分　線性模型
第 1章　邏輯回歸 2
1．1　作為一個神經元的邏輯回歸 2
1．2　基礎向量幾何 4
1．2．1　向量 4
1．2．2　向量的和、數(shù)乘與零向量 6
1．2．3　向量的內積、模與投影 8
1．2．4　線性空間、基與線性函數(shù) 11
1．2．5　直線、超平面與仿射函數(shù) 14
1．3　從幾何角度理解邏輯回歸的能力 和局限 17
1．4　實例：根據(jù)鳥類骨骼判斷生態(tài)類群 20
1．5　小結 24
第 2章　模型評價與損失函數(shù) 25
2．1　訓練集與測試集 25
2．2　分類模型的評價 26
2．2．1　混淆矩陣 26
2．2．2　正確率 27
2．2．3　查準率 27
2．2．4　查全率 27
2．2．5　ROC曲線 28
2．3　損失函數(shù) 29
2．3．1　K-L散度與交叉熵 29
2．3．2　最大似然估計 31
2．3．3　從幾何角度理解交叉熵損失 33
2．4　小結 35
第3章　梯度下降法 36
3．1　多元函數(shù)的微分 36
3．1．1　梯度 37
3．1．2　方向導數(shù) 40
3．1．3　偏導數(shù) 43
3．1．4　駐點 43
3．1．5　局部極小點 44
3．2　梯度下降法 46
3．2．1　反梯度場 47
3．2．2　梯度下降法 49
3．2．3　梯度下降法的問題 50
3．3　梯度下降法的改進 52
3．3．1　學習率調度 52
3．3．2　沖量法 54
3．3．3　AdaGrad 55
3．3．4　RMSProp 56
3．3．5　Adam 57
3．4　運用梯度下降法訓練邏輯回歸 59
3．5　梯度下降法訓練邏輯回歸的Python 實現(xiàn) 61
3．6　小結 67
第4章　超越梯度下降 68
4．1　矩陣 68
4．1．1　矩陣基礎 68
4．1．2　矩陣的逆 71
4．1．3　特征值與特征向量 73
4．1．4　對稱矩陣的譜分解 74
4．1．5　奇異值分解 76
4．1．6　二次型 77
4．2　多元函數(shù)的局部二階特性 79
4．2．1　赫森矩陣 79
4．2．2　二階泰勒展開 79
4．2．3　駐點的類型 82
4．2．4　赫森矩陣的條件數(shù) 84
4．3　基于二階特性的優(yōu)化 87
4．3．1　牛頓法 87
4．3．2　共軛方向法 92
4．4　運用牛頓法訓練邏輯回歸 95
4．5　牛頓法訓練邏輯回歸的Python實現(xiàn) 98
4．6　小結 100
第5章　正則化 102
5．1　概率論回顧 102
5．1．1　隨機變量 102
5．1．2　多元隨機變量 105
5．1．3　多元隨機變量的期望和協(xié)方差 矩陣 106
5．1．4　樣本均值和樣本協(xié)方差矩陣 106
5．1．5　主成分 108
5．1．6　正態(tài)分布 111
5．2　模型自由度與偏置 方差權衡 115
5．2．1　最小二乘線性回歸 116
5．2．2　模型自由度 118
5．2．3　偏置 方差權衡 119
5．3　正則化 122
5．3．1　嶺回歸與L2正則化 122
5．3．2　L2正則化的貝葉斯視角 125
5．3．3　L1正則化 126
5．4　過擬合與欠擬合 127
5．5　運用L2正則化訓練邏輯回歸 130
5．6　運用L2正則化訓練邏輯回歸的 Python實現(xiàn) 132
5．7　小結 135
第二部分　神經網絡
第6章　神經網絡 138
6．1　合作的神經元 138
6．2　多層全連接神經網絡 142
6．3　激活函數(shù) 145
6．3．1　Linear 145
6．3．2　Logistic 146
6．3．3　Tanh 148
6．3．4　ReLU 150
6．3．5　Leaky ReLU以及PReLU 151
6．3．6　SoftPlus 153
6．4　多分類與SoftMax 154
6．5　小結 157
第7章　反向傳播 158
7．1　映射 158
7．1．1　仿射映射 158
7．1．2　雅可比矩陣 159
7．1．3　鏈式法則 160
7．2　反向傳播 162
7．2．1　網絡的符號表示 162
7．2．2　原理 163
7．2．3　實現(xiàn) 166
7．3　相關問題 169
7．3．1　計算量 169
7．3．2　梯度消失 170
7．3．3　正則化 170
7．3．4　權值初始化 171
7．3．5　提前停止 171
7．4　多層全連接神經網絡的Python實現(xiàn) 173
7．5　小結 182
第8章　計算圖 183
8．1　計算圖模型 183
8．1．1　簡介 183
8．1．2　多層全連接神經網絡的計算 圖 187
8．1．3　其他神經網絡結構的計算圖 188
8．2　自動求導 190
8．3　自動求導的實現(xiàn) 192
8．4　計算圖的Python實現(xiàn) 195
8．5　小結 214
第9章　卷積神經網絡 215
9．1　卷積 215
9．1．1　一元函數(shù)的卷積 215
9．1．2　多元函數(shù)的卷積 219
9．1．3　濾波器 223
9．2　卷積神經網絡的組件 228
9．2．1　卷積層 228
9．2．2　激活層 230
9．2．3　池化層 231
9．2．4　全連接層 233
9．2．5　跳躍連接 234
9．3　深度學習的正則化方法 236
9．3．1　權值衰減 236
9．3．2　Dropout 237
9．3．3　權值初始化 237
9．3．4　批標準化 238
9．3．5　數(shù)據(jù)增強 239
9．4　小結 239
第 10章　經典CNN 241
10．1　LeNet-5 241
10．2　AlexNet 245
10．3　VGGNet 248
10．4　GoogLeNet 251
10．5　ResNet 255
10．6　小結 257
第 11章　TensorFlow實例 258
11．1　多分類邏輯回歸 258
11．2　多層全連接神經網絡 266
11．3　LeNet-5 269
11．4　AlexNet 273
11．5　VGG16 277
11．4　小結 280
附錄A　CNN與元胞自動機 281
參考文獻 311