神經網絡與深度學習應用實戰(zhàn)

基礎篇
第1章 時代崛起 2
1．1 概要 2
1．1．1 基本概念 2
1．1．2 深度學習與機器學習的關系 4
1．1．3 深度學習與人工智能的關系 5
1．2 歷史發(fā)展 5
1．2．1 神經網絡發(fā)展歷史 5
1．2．2 人工智能發(fā)展歷史 7
1．3 應用領域 8
1．3．1 智能個人助理 8
1．3．2 智能安防 9
1．3．3 無人駕駛 9
1．3．4 電商零售 11
1．3．5 智慧醫(yī)療 11
1．3．6 金融服務 12
1．3．7 智能教育 13
1．4 未來猜想 14
1．4．1 人文的快速發(fā)展 14
1．4．2 人類也是“機器人” 14
1．4．3 新的不平等現(xiàn)象 15
1．5 本章小結 16
第2章 數學理論基礎 17
2．1 向量 17
2．1．1 相關概念 17
2．1．2 向量的線性相關性 18
2．1．3 向量的外積 18
2．1．4 向量夾角與余弦相似性 18
2．1．5 實例：基于向量夾角的文本相似性分析 19
2．2 矩陣 20
2．2．1 矩陣乘法 20
2．2．2 克羅內克積 21
2．3 導數 22
2．3．1 概述 22
2．3．2 一般運算法則 22
2．3．3 鏈式求導法則 23
2．4 數值計算 23
2．4．1 誤差 23
2．4．2 距離 24
2．4．3 數值歸一化 26
2．5 概率分布 26
2．5．1 二項分布 26
2．5．2 超幾何分布 27
2．5．3 泊松分布 27
2．5．4 指數分布 28
2．5．5 正態(tài)分布 29
2．6 參數估計 29
2．6．1 概率 29
2．6．2 貝葉斯估計 30
2．6．3 最大似然估計 31
2．6．4 最大后驗估計 32
2．7 回歸分析 33
2．7．1 線性回歸 33
2．7．2 邏輯回歸 36
2．8 判定問題 39
2．8．1 P問題 39
2．8．2 NP問題 39
2．8．3 NP-Complete問題 40
2．8．4 NP-Hard問題 40
2．9 本章小結 41
第3章 機器學習概要 42
3．1 機器學習的類型 42
3．1．1 有監(jiān)督學習 42
3．1．2 無監(jiān)督學習 43
3．1．3 強化學習 43
3．2 機器學習中常見的函數 44
3．2．1 激活函數 44
3．2．2 損失函數 47
3．2．3 核函數 48
3．3 機器學習中的重要參數 49
3．3．1 學習速率 49
3．3．2 動量系數 50
3．3．3 偏置項 50
3．4 擬合問題 51
3．4．1 過擬合現(xiàn)象 51
3．4．2 欠擬合現(xiàn)象 52
3．4．3 解決過擬合問題的一般方法 52
3．4．4 實例：擬合與二元一次方程求解 55
3．5 交叉檢驗 55
3．5．1 數據類型種類 55
3．5．2 留一交叉驗證 57
3．5．3 K折交叉驗證 57
3．6 線性可分與不可分 58
3．7 機器學習的學習特征 59
3．8 產生式模型與判別式模型 60
3．9 機器學習效果的一般評價指標 61
3．10 本章小結 63
第4章 神經網絡基礎 64
4．1 概述 64
4．1．1 神經網絡模型 64
4．1．2 經典的神經網絡結構 65
4．1．3 一般業(yè)務場景中神經網絡適應性 66
4．1．4 神經網絡的深度 67
4．2 常見學習方法 67
4．2．1 誤差修正學習 67
4．2．2 赫布學習規(guī)則 68
4．2．3 最小均方規(guī)則 69
4．2．4 競爭學習規(guī)則 70
4．2．5 其他學習規(guī)則 71
4．3 優(yōu)化方法：梯度下降 72
4．3．1 概述 72
4．3．2 梯度下降法 72
4．3．3 梯度下降的優(yōu)化算法 74
4．3．4 梯度消失問題 76
4．3．5 示例：利用梯度下降法求函數極值 77
4．4 常見的神經網絡類型 78
4．4．1 前饋型神經網絡 78
4．4．2 反饋型神經網絡 79
4．4．3 自組織競爭型神經網絡 79
4．5 深度學習中常見的網絡類型 80
4．5．1 卷積神經網絡 80
4．5．2 循環(huán)神經網絡 80
4．5．3 深度信念網絡 80
4．5．4 生成對抗網絡 81
4．5．5 深度強化學習 81
4．6 其他神經網絡與深度學習 82
4．6．1 隨機神經網絡 82
4．6．2 量子神經網絡 82
4．6．3 遷移學習 82
4．7 深度學習與多層神經網絡的關系 83
4．8 調參技巧 84
4．9 本章小結 85
進階篇
第5章 前饋型神經網絡 88
5．1 概述 88
5．2 常見結構 88
5．3 單層感知器網絡 89
5．3．1 原理 89
5．3．2 網絡結構 90
5．3．3 實例一：基于單層感知器“與”運算 90
5．3．4 實例二：利用感知器判定零件是否合格 91
5．4 BP神經網絡 93
5．4．1 概述 93
5．4．2 反向傳播算法 93
5．4．3 異或問題的解決 96
5．4．4 避免病態(tài)結果 98
5．4．5 實例：基于多層感知器的手寫體數字識別 99
5．5 徑向基函數神經網絡 101
5．5．1 原理介紹 101
5．5．2 中心選擇方法 102
5．5．3 訓練過程 103
5．5．4 徑向基函數神經網絡與BP神經網絡的差異 104
5．6 本章小結 105
第6章 反饋型神經網絡 107
6．1 概述 107
6．1．1 基本原理 107
6．1．2 與前饋型神經網絡的差異 108
6．2 Hopfield神經網絡 109
6．3 Elman神經網絡 112
6．3．1 結構組成 112
6．3．2 學習算法 112
6．4 遞歸神經網絡 113
6．4．1 產生背景 114
6．4．2 基本結構 115
6．4．3 前向計算過程 116
6．4．4 反向傳播：BPTS算法 117
6．4．5 應用場景 118
6．4．6 遞歸神經網絡的結構改進 118
6．4．7 應用實例 121
6．5 本章小結 124
第7章 自組織競爭型神經網絡 125
7．1 概述 125
7．1．1 一般網絡模型 125
7．1．2 工作原理 126
7．1．3 實例：用競爭學習規(guī)則進行模式分類 127
7．2 常見的聚類方法 129
7．2．1 系統(tǒng)聚類法 129
7．2．2 基于劃分的聚類算法 130
7．2．3 基于密度的聚類算法 131
7．2．4 基于層次的聚類算法 132
7．3 自組織映射網絡 134
7．3．1 概述 134
7．3．2 訓練算法 134
7．3．3 實例：利用自組織映射網絡劃分城市群 135
7．3．4 優(yōu)劣勢分析 136
7．4 其他自組織競爭型神經網絡 137
7．4．1 自適應共振理論 137
7．4．2 對偶傳播神經網絡 138
7．5 本章小結 139
高階篇
第8章 卷積神經網絡 142
8．1 概述 142
8．1．1 發(fā)展背景 142
8．1．2 基本概念 143
8．1．3 基本網絡結構 144
8．2 卷積 145
8．2．1 卷積的物理意義 145
8．2．2 卷積的理解 145
8．2．3 卷積的實例 147
8．3 卷積核 148
8．3．1 卷積核的含義 148
8．3．2 卷積操作 150
8．3．3 卷積核的特征 150
8．4 卷積神經網絡中各層工作原理 151
8．4．1 卷積層 151
8．4．2 下采樣層 151
8．4．3 Softmax層 152
8．5 卷積神經網絡的逆向過程 153
8．6 常見卷積神經網絡結構 154
8．6．1 LeNet-5 154
8．6．2 AlexNet 155
8．7 應用場景與效果評估 157
8．7．1 場景1：圖像分類 157
8．7．2 場景2：目標檢測 158
8．7．3 場景3：實例分割 159
8．8 Maxout Networks 160
8．9 本章小結 162
第9章 循環(huán)神經網絡 163
9．1 概述 163
9．2 一般循環(huán)神經網絡 164
9．2．1 概述 164
9．2．2 單向循環(huán)神經網絡 165
9．2．3 雙向循環(huán)神經網絡 166
9．2．4 深度循環(huán)神經網絡 167
9．3 訓練算法：BPTT算法 168
9．3．1 前向計算 168
9．3．2 誤差項計算 169
9．3．3 權值梯度計算 169
9．3．4 梯度爆炸與梯度消失問題 170
9．4 長短時記憶網絡 170
9．4．1 背景 170
9．4．2 核心思想 171
9．4．3 詳細結構 172
9．4．4 訓練過程 176
9．4．5 相關變種簡介 181
9．5 常見循環(huán)神經網絡結構 182
9．5．1 N比N結構 182
9．5．2 N比1結構 183
9．5．3 1比N結構 183
9．5．4 N比M結構 184
9．6 與自然語言處理結合 185
9．7 實例：文本自動生成 186
9．8 本章小結 187
第10章 深度信念網絡 188
10．1 概要 188
10．1．1 背景 188
10．1．2 基本結構 188
10．2 受限玻爾茲曼機 190
10．2．1 概述 190
10．2．2 邏輯結構 192
10．2．3 對比分歧算法 194
10．3 訓練過程 194
10．3．1 工作流程 194
10．3．2 調優(yōu)過程 195
10．4 本章小結 196
第11章 生成對抗網絡 197
11．1 概述 197
11．1．1 背景概要 197
11．1．2 核心思想 198
11．1．3 基本工作流程 199
11．2 樸素生成對抗網絡 201
11．2．1 網絡結構 201
11．2．2 實例：基于樸素生成對抗網絡生成手寫體數字 203
11．3 深度卷積生成對抗網絡 206
11．3．1 產生背景 206
11．3．2 模型改進 206
11．3．3 網絡結構 207
11．3．4 實例：基于深度卷積對抗網絡生成手寫體數字 208
11．4 條件生成對抗網絡 212
11．4．1 網絡結構 212
11．4．2 實例：CGAN結合DCGAN生成手寫體數字 213
11．5 瓦瑟斯坦生成對抗網絡 214
11．5．1 概述 214
11．5．2 差異化 215
11．5．3 實例：WGAN結合DCGAN生成手寫體數字 216
11．6 生成對抗網絡的探索 217
11．6．1 價值與意義 217
11．6．2 面臨的問題 218
11．6．3 應用場景示例 218
11．6．4 未來探索 220
11．7 本章小結 220

第12章 深度強化學習 221
12．1 概述 221
12．1．1 概要 221
12．1．2 基本原理 222
12．2 馬爾科夫決策過程 223
12．2．1 馬爾科夫過程 223
12．2．2 隱馬爾科夫模型 224
12．2．3 馬爾科夫決策過程 225
12．3 深度強化學習算法 229
12．3．1 DQN算法 229
12．3．2 A3C算法 231
12．3．3 UNREAL算法 231
12．4 強化學習的探索 232
12．4．1 應用場景探索 232
12．4．2 面臨的問題 233
12．5 本章小結 234