人工智能算法 卷3 深度學習和神經(jīng)網(wǎng)絡（全彩印刷）

第 1 章 神經(jīng)網(wǎng)絡基礎 1
1．1 神經(jīng)元和層 2
1．2 神經(jīng)元的類型 5
1．2．1 輸入和輸出神經(jīng)元 6
1．2．2 隱藏神經(jīng)元 7
1．2．3 偏置神經(jīng)元 7
1．2．4 上下文神經(jīng)元 8
1．2．5 其他神經(jīng)元類型 10
1．3 激活函數(shù) 10
1．3．1 線性激活函數(shù) 10
1．3．2 階躍激活函數(shù) 11
1．3．3 S 型激活函數(shù)12
1．3．4 雙曲正切激活函數(shù) 13
1．4 修正線性單元（ReLU）13
1．4．1 Softmax 激活函數(shù) 14
1．4．2 偏置扮演什么角色？ 17
1．5 神經(jīng)網(wǎng)絡邏輯 19
1．6 本章小結(jié) 22
第 2 章 自組織映射 23
2．1 自組織映射 24
2．1．1 理解鄰域函數(shù) 27
2．1．2 墨西哥帽鄰域函數(shù) 30
2．1．3 計算 SOM 誤差 32
2．2 本章小結(jié) 33
第 3 章 Hopfield 網(wǎng)絡和玻爾茲曼機34
3．1 Hopfield 神經(jīng)網(wǎng)絡 34
3．1．1 訓練 Hopfield 網(wǎng)絡 37
3．2 Hopfield-Tank 網(wǎng)絡 41
3．3 玻爾茲曼機 42
3．3．1 玻爾茲曼機概率 44
3．4 應用玻爾茲曼機 45
3．4．1 旅行商問題 45
3．4．2 優(yōu)化問題 48
3．4．3 玻爾茲曼機訓練 51
3．5 本章小結(jié) 51
第 4 章 前饋神經(jīng)網(wǎng)絡 53
4．1 前饋神經(jīng)網(wǎng)絡結(jié)構(gòu) 54
4．1．1 用于回歸的單輸出神經(jīng)網(wǎng)絡 54
4．2 計算輸出 56
4．3 初始化權(quán)重 60
4．4 徑向基函數(shù)網(wǎng)絡 63
4．4．1 徑向基函數(shù) 64
4．4．2 徑向基函數(shù)網(wǎng)絡 65
4．5 規(guī)范化數(shù)據(jù) 67
4．5．1 1-of-N 編碼 68
4．5．2 范圍規(guī)范化 69
4．5．3 Z 分數(shù)規(guī)范化70
4．5．4 復雜規(guī)范化 73
4．6 本章小結(jié) 75
第 5 章 訓練與評估 77
5．1 評估分類 78
5．1．1 二值分類 79
5．1．2 多類分類 84
5．1．3 對數(shù)損失 86
5．1．4 多類對數(shù)損失 88
5．2 評估回歸 88
5．3 模擬退火訓練 89
5．4 本章小結(jié) 92
第 6 章 反向傳播訓練 93
6．1 理解梯度 93
6．1．1 什么是梯度 94
6．1．2 計算梯度 96
6．2 計算輸出節(jié)點增量 98
6．2．1 二次誤差函數(shù) 98
6．2．2 交叉熵誤差函數(shù) 99
6．3 計算剩余節(jié)點增量 99
6．4 激活函數(shù)的導數(shù) 100
6．4．1 線性激活函數(shù)的導數(shù) 100
6．4．2 Softmax 激活函數(shù)的導數(shù) 100
6．4．3 S 型激活函數(shù)的導數(shù) 101
6．4．4 雙曲正切激活函數(shù)的導數(shù) 102
6．4．5 ReLU 激活函數(shù)的導數(shù) 102
6．5 應用反向傳播 103
6．5．1 批量訓練和在線訓練 104
6．5．2 隨機梯度下降 105
6．5．3 反向傳播權(quán)重更新 105
6．5．4 選擇學習率和動量 106
6．5．5 Nesterov 動量 107
6．6 本章小結(jié) 108
第 7 章 其他傳播訓練 110
7．1 彈性傳播 110
7．2 RPROP 參數(shù) 111
7．3 數(shù)據(jù)結(jié)構(gòu) 113
7．4 理解 RPROP 114
7．4．1 確定梯度的符號變化 114
7．4．2 計算權(quán)重變化 115
7．4．3 修改更新值 115
7．5 Levenberg-Marquardt 算法 116
7．6 Hessian 矩陣的計算 119
7．7 具有多個輸出的 LMA 120
7．8 LMA 過程概述 122
7．9 本章小結(jié) 122
第 8 章 NEAT，CPPN 和 HyperNEAT 124
8．1 NEAT 網(wǎng)絡 125
8．1．1 NEAT 突變 128
8．1．2 NEAT 交叉 129
8．1．3 NEAT 物種形成 133
8．2 CPPN 網(wǎng)絡 134
8．2．1 CPPN 表型 135
8．3 HyperNEAT 網(wǎng)絡 138
8．3．1 HyperNEAT 基板 139
8．3．2 HyperNEAT 計算機視覺 140
8．4 本章小結(jié) 142
第 9 章 深度學習 143
9．1 深度學習組件 143
9．2 部分標記的數(shù)據(jù) 144
9．3 修正線性單元 145
9．4 卷積神經(jīng)網(wǎng)絡 145
9．5 神經(jīng)元 Dropout 146
9．6 GPU 訓練 147
9．7 深度學習工具 149
9．7．1 H2O 149
9．7．2 Theano 150
9．7．3 Lasagne 和 NoLearn 150
9．7．4 ConvNetJS 152
9．8 深度信念神經(jīng)網(wǎng)絡 152
9．8．1 受限玻爾茲曼機 154
9．8．2 訓練 DBNN 155
9．8．3 逐層采樣 157
9．8．4 計算正梯度 157
9．8．5 吉布斯采樣 159
9．8．6 更新權(quán)重和偏置 160
9．8．7 DBNN 反向傳播 161
9．8．8 深度信念應用 162
9．9 本章小結(jié) 164
第 10 章 卷積神經(jīng)網(wǎng)絡 165
10．1 LeNET-5 166
10．2 卷積層 168
10．3 最大池層 170
10．4 稠密層 172
10．5 針對 MNIST 數(shù)據(jù)集的 ConvNets 172
10．6 本章小結(jié) 174
第 11 章 剪枝和模型選擇 175
11．1 理解剪枝 176
11．1．1 剪枝連接 176
11．1．2 剪枝神經(jīng)元 176
11．1．3 改善或降低表現(xiàn) 177
11．2 剪枝算法 177
11．3 模型選擇 179
11．3．1 網(wǎng)格搜索模型選擇 180
11．3．2 隨機搜索模型選擇 183
11．3．3 其他模型選擇技術(shù) 184
11．4 本章小結(jié) 185
第 12 章 Dropout 和正則化 186
12．1 L1 和 L2 正則化 187
12．1．1 理解 L1 正則化 188
12．1．2 理解 L2 正則化 189
12．2 Dropout 層 190
12．2．1 Dropout 層 191
12．2．2 實現(xiàn) Dropout 層 191
12．3 使用 Dropout 194
12．4 本章小結(jié) 195
第 13 章 時間序列和循環(huán)網(wǎng)絡 197
13．1 時間序列編碼 198
13．1．1 為輸入和輸出神經(jīng)元編碼數(shù)據(jù) 199
13．1．2 預測正弦波 200
13．2 簡單循環(huán)神經(jīng)網(wǎng)絡 204
13．2．1 Elman 神經(jīng)網(wǎng)絡 206
13．2．2 Jordan 神經(jīng)網(wǎng)絡 207
13．2．3 通過時間的反向傳播 208
13．2．4 門控循環(huán)單元 211
13．3 本章小結(jié) 213
第 14 章 架構(gòu)神經(jīng)網(wǎng)絡 214
14．1 評估神經(jīng)網(wǎng)絡 215
14．2 訓練參數(shù) 215
14．2．1 學習率 216
14．2．2 動量 218
14．2．3 批次大小 219
14．3 常規(guī)超參數(shù) 220
14．3．1 激活函數(shù) 220
14．3．2 隱藏神經(jīng)元的配置 222
14．4 LeNet-5 超參數(shù) 223
14．5 本章小結(jié) 224
第 15 章 可視化 226
15．1 混淆矩陣 227
15．1．1 讀取混淆矩陣 227
15．1．2 生成混淆矩陣 228
15．2 t-SNE 降維 229
15．2．1 t-SNE 可視化 231
15．2．2 超越可視化的 t-SNE 235
15．3 本章小結(jié) 236
第 16 章 用神經(jīng)網(wǎng)絡建模 237
16．0．1 挑戰(zhàn)賽的經(jīng)驗 241
16．0．2 挑戰(zhàn)賽取勝的方法 242
16．0．3 我們在挑戰(zhàn)賽中的方法 244
16．1 用深度學習建模 245
16．1．1 神經(jīng)網(wǎng)絡結(jié)構(gòu) 245
16．1．2 裝袋多個神經(jīng)網(wǎng)絡 249
16．2 本章小結(jié) 250
附錄 A 示例代碼使用說明 252
A．1 系列圖書簡介 252
A．2 保持更新 252
A．3 獲取示例代碼 253
A．3．1 下載壓縮文件 253
A．3．2 克隆 Git 倉庫 254
A．4 示例代碼的內(nèi)容 255
A．5 如何為項目做貢獻 257
參考資料 259