解析深度學(xué)習(xí)：卷積神經(jīng)網(wǎng)絡(luò)原理與視覺實(shí)踐

第一部分緒論1
0.1 引言 . 2
0.2 什么是深度學(xué)習(xí) 3
0.3 深度學(xué)習(xí)的前世今生 . 6
第二部分基礎(chǔ)理論篇9
1 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識10
1.1 發(fā)展歷程 11
1.2 基本結(jié)構(gòu) 13
1.3 前饋運(yùn)算 16
1.4 反饋運(yùn)算 16
1.5 小結(jié) . 19
2 卷積神經(jīng)網(wǎng)絡(luò)基本部件21
2.1 “端到端”思想 21
2.2 網(wǎng)絡(luò)符號定義 . 23
2.3 卷積層 . 24
2.3.1 什么是卷積 24
2.3.2 卷積操作的作用 27
2.4 匯合層 . 28
2.4.1 什么是匯合 29
2.4.2 匯合操作的作用 30
2.5 激活函數(shù) 31
2.6 全連接層 33
2.7 目標(biāo)函數(shù) 34
2.8 小結(jié) . 34
3 卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典結(jié)構(gòu)35
3.1 CNN 網(wǎng)絡(luò)結(jié)構(gòu)中的重要概念 . 35
3.1.1 感受野 . 35
3.1.2 分布式表示 37
3.1.3 深度特征的層次性 39
3.2 經(jīng)典網(wǎng)絡(luò)案例分析 . 42
3.2.1 Alex-Net 網(wǎng)絡(luò)模型 . 42
3.2.2 VGG-Nets 網(wǎng)絡(luò)模型 46
3.2.3 Network-In-Network 48
3.2.4 殘差網(wǎng)絡(luò)模型 . 49
3.3 小結(jié) . 54
4 卷積神經(jīng)網(wǎng)絡(luò)的壓縮56
4.1 低秩近似 58
4.2 剪枝與稀疏約束 60
4.3 參數(shù)量化 64
4.4 二值網(wǎng)絡(luò) 68
4.5 知識蒸餾 71
4.6 緊湊的網(wǎng)絡(luò)結(jié)構(gòu) 74
4.7 小結(jié) . 76
第三部分實(shí)踐應(yīng)用篇77
5 數(shù)據(jù)擴(kuò)充78
5.1 簡單的數(shù)據(jù)擴(kuò)充方式 . 78
5.2 特殊的數(shù)據(jù)擴(kuò)充方式 . 80
5.2.1 Fancy PCA . 80
5.2.2 監(jiān)督式數(shù)據(jù)擴(kuò)充 80
5.3 小結(jié) . 82
6 數(shù)據(jù)預(yù)處理83
7 網(wǎng)絡(luò)參數(shù)初始化85
7.1 全零初始化 . 86
7.2 隨機(jī)初始化 . 86
7.3 其他初始化方法 90
7.4 小結(jié) . 90
8 激活函數(shù)91
8.1 Sigmoid 型函數(shù) . 92
8.2 tanh(x) 型函數(shù) . 93
8.3 修正線性單元（ReLU） 93
8.4 Leaky ReLU . 94
8.5 參數(shù)化ReLU 95
8.6 隨機(jī)化ReLU 97
8.7 指數(shù)化線性單元（ELU） . 98
8.8 小結(jié) . 99
9 目標(biāo)函數(shù)100
9.1 分類任務(wù)的目標(biāo)函數(shù) . 100
9.1.1 交叉熵?fù)p失函數(shù) 101
9.1.2 合頁損失函數(shù) . 101
9.1.3 坡道損失函數(shù) . 101
9.1.4 大間隔交叉熵?fù)p失函數(shù) 103
9.1.5 中心損失函數(shù) . 105
9.2 回歸任務(wù)的目標(biāo)函數(shù) . 107
9.2.1 ?1 損失函數(shù) 108
9.2.2 ?2 損失函數(shù) 108
9.2.3 Tukey’s biweight 損失函數(shù) 109
9.3 其他任務(wù)的目標(biāo)函數(shù) . 109
9.4 小結(jié) . 111
10 網(wǎng)絡(luò)正則化113
10.1 ?2 正則化 114
10.2 ?1 正則化 115
10.3 最大范數(shù)約束 . 115
10.4 隨機(jī)失活 116
10.5 驗(yàn)證集的使用 . 118
10.6 小結(jié) . 119
11 超參數(shù)設(shè)定和網(wǎng)絡(luò)訓(xùn)練120
11.1 網(wǎng)絡(luò)超參數(shù)設(shè)定 120
11.1.1 輸入數(shù)據(jù)像素大小 120
11.1.2 卷積層參數(shù)的設(shè)定 121
11.1.3 匯合層參數(shù)的設(shè)定 122
11.2 訓(xùn)練技巧 123
11.2.1 訓(xùn)練數(shù)據(jù)隨機(jī)打亂 123
11.2.2 學(xué)習(xí)率的設(shè)定 . 123
11.2.3 批規(guī)范化操作 . 125
11.2.4 網(wǎng)絡(luò)模型優(yōu)化算法選擇 127
11.2.5 微調(diào)神經(jīng)網(wǎng)絡(luò) . 132
11.3 小結(jié) . 133
12 不平衡樣本的處理135
12.1 數(shù)據(jù)層面處理方法 . 136
12.1.1 數(shù)據(jù)重采樣 136
12.1.2 類別平衡采樣 . 137
12.2 算法層面處理方法 . 138
12.2.1 代價敏感方法 . 139
12.2.2 代價敏感法中權(quán)重的指定方式 140
12.3 小結(jié) . 142
13 模型集成方法143
13.1 數(shù)據(jù)層面的集成方法 . 143
13.1.1 測試階段數(shù)據(jù)擴(kuò)充 143
13.1.2 “簡易集成”法 144
13.2 模型層面的集成方法 . 144
13.2.1 單模型集成 144
13.2.2 多模型集成 146
13.3 小結(jié) . 149
14 深度學(xué)習(xí)開源工具簡介151
14.1 常用框架對比 . 151
14.2 常用框架的各自特點(diǎn) . 153
14.2.1 Caffe 153
14.2.2 Deeplearning4j . 153
14.2.3 Keras 154
14.2.4 MXNet . 155
14.2.5 MatConvNet 155
14.2.6 TensorFlow . 155
14.2.7 Theano . 156
14.2.8 Torch 157
A 向量、矩陣及其基本運(yùn)算158
B 隨機(jī)梯度下降162
C 鏈?zhǔn)椒▌t165
參考文獻(xiàn)167
索引181