深度學習算法與實踐

第 一部分
第　1章 空間幾何與線性代數　3
1．1　多維幾何空間　3
1．1．1　空間、函數和向量　3
1．1．2　空間變換與矩陣　7
1．2　矩陣和運算　9
1．2．1　矩陣基本運算　9
1．2．2　矩陣分塊運算和線性變換　10
1．2．3　矩陣分解　11
1．2．4　方陣的線性變換：特征值分解　12
1．2．5　非方陣線性變換：奇異值分解　13
1．2．6　其他線性變換：字典學習　14
1．3　實踐部分　14
1．3．1　矩陣定義與計算　14
1．3．2　仿射變換實例　16
1．3．3　數據壓縮　18
1．4　小結　20
第　2章 概率與統(tǒng)計　22
2．1　概率基礎概念　22
2．2　隨機變量數字特征　25
2．3　信息熵　28
2．4　概率模型下的線性變換　30
2．5　最大似然估計與最大后驗估計　31
2．6　常見分布　34
2．7　實踐部分　36
2．8　小結　40
第3章　函數建模與優(yōu)化　41
3．1　函數與建模　41
3．1．1　機器學習問題描述　42
3．1．2　函數的展開與建?！?4
3．2　優(yōu)化問題　45
3．2．1　多元函數展開和梯度　45
3．2．2　無約束最優(yōu)化問題　46
3．2．3　約束最優(yōu)化問題提出　49
3．2．4　等式約束的最優(yōu)化問題示例　50
3．2．5　不等式約束的最優(yōu)化問題示例　51
3．2．6　約束最優(yōu)化與最大熵　53
3．3　損失函數的多元函數表示　54
3．3．1　基于梯度的優(yōu)化算法　54
3．3．2　動量加入　55
3．3．3　AdaGrad與Adam算法　55
3．4　過擬合與欠擬合問題　57
3．4．1　問題闡述　57
3．4．2　過擬合與欠擬合判斷　59
3．5　集成學習　61
3．5．1　方差和偏差　61
3．5．2　Bagging和Boosting　62
3．6　實踐部分　63
3．6．1　線性回歸問題　63
3．6．2　使用TensorFlow進行曲線擬合　65
3．6．3　多元線性回歸問題　66
3．7　小結　68
第4章　機器學習庫的使用　69
4．1　TensorFlow執(zhí)行過程　69
4．2　建模與優(yōu)化所需的函數　72
4．2．1　自動求導　72
4．2．2　矩陣以及相關的計算　73
4．2．3　從手寫數字識別例子來完整學習建模和優(yōu)化過程　75
4．3　多個計算圖　80
4．4　變量命名　80
4．5　小結　83
第二部分
第5章　深度學習模型與全連接網絡　87
5．1　多層神經網絡與理解　87
5．1．1　表格類型數據與線性模型　87
5．1．2　多層神經網絡模型引入　90
5．1．3　過擬合問題　94
5．2　鏈式求導與反向傳播　96
5．2．1　矩陣相乘可訓練參數導數與誤差傳播　96
5．2．2　偏置項導數可訓練參數導數與誤差傳播　97
5．2．3　通過函數可訓練參數導數與誤差傳播　97
5．3　實踐部分　98
5．3．1　多層全連接網絡從零實現(xiàn)　98
5．3．2　調用TensorFlow實現(xiàn)全連接網絡　101
5．3．3　空間變換　102
5．3．4　TensorFlow高層API　103
5．4　小結　104
第6章　卷積神經網絡　105
6．1　連續(xù)型數據　105
6．2　信號處理中的卷積　107
6．2．1　滑動互相關與特征提取　107
6．2．2　濾波概念與滑動互相關關系　109
6．3　從神經網絡的角度看待卷積神經網絡　112
6．4　卷積神經網絡　113
6．4．1　輸入數據形式　113
6．4．2　卷積的數學形式　114
6．4．3　感受野　114
6．4．4　加深網絡與調整步長　115
6．4．5　池化層的數學形式　115
6．4．6　空洞卷積　116
6．4．7　圖像金字塔　117
6．5　卷積神經網絡反向傳播算法　117
6．5．1　卷積層反向傳播　118
6．5．2　池化層反向傳播　118
6．5．3　展開層反向傳播　118
6．6　實踐部分　118
6．6．1　卷積結構濾波　118
6．6．2　卷積神經網絡從零實現(xiàn)　121
6．6．3　卷積神經網絡的TensorFlow實現(xiàn)　125
6．6．4　卷積神經網絡其他API　127
6．7　小結　127
第7章　循環(huán)神經網絡基礎　128
7．1　文本數據類型　128
7．1．1　無順序文本　128
7．1．2　順序文本處理　130
7．2　文本問題建模　130
7．2．1　無順序文本建?！?30
7．2．2　順序文本建?！?32
7．3　循環(huán)神經網絡模型　132
7．3．1　基本循環(huán)神經網絡模型　132
7．3．2　循環(huán)神經網絡結構改進　133
7．3．3　卷積神經網絡處理時序數據　134
7．4　反向傳播過程　134
7．5　實踐部分　134
7．5．1　從零實現(xiàn)循環(huán)神經網絡　134
7．5．2　文本分類問題　139
7．5．3　TensorFlow的Embedding示例　141
7．5．4　TensorFlow的RNN輸入與輸出示例　141
7．5．5　中文分詞示例　142
7．6　小結　142
第8章　循環(huán)神經網絡擴展　144
8．1　雙向RNN　144
8．2　聯(lián)結主義時間分類器　146
8．2．1　CTC-Loss　146
8．2．2　CTC解碼　147
8．3　編碼-解碼結構（基于RNN）　149
8．3．1　結構說明　149
8．3．2　序列損失函數（Sequence Loss）　151
8．3．3　預測過程　151
8．4　實踐部分　151
8．4．1　使用RNN進行文本分類　151
8．4．2　使用RNN進行文本生成實例　152
8．4．3　中文文本分詞實踐　155
8．5　小結　162
第9章　深度學習優(yōu)化　163
9．1　網絡結構優(yōu)化　163
9．1．1　Inception結構　163
9．1．2　殘差網絡　164
9．1．3　注意力機制　165
9．2　神經網絡輔助結構　167
9．2．1　批正則化　167
9．2．2　DropOut　168
9．3　深度學習參數優(yōu)化　169
9．3．1　學習率　169
9．3．2　批尺寸　169
9．3．3　Embedding大小與DropOut數值　169
9．3．4　網格搜索方法　169
9．3．5　初始化策略　170
9．3．6　數據預處理　170
9．3．7　梯度剪裁　170
9．4　實踐部分　171
9．5　小結　172
第三部分
第　10章 圖像處理任務　175
10．1　圖像多分類問題　175
10．1．1　人臉識別類任務分析　179
10．1．2　三元損失函數　179
10．1．3　使用分類問題訓練　180
10．1．4　CenterLoss　180
10．1．5　結果　181
10．2　任意大小圖像處理　182
10．2．1　純卷積結構　182
10．2．2　圖像處理任務中的分類與回歸問題　184
10．2．3　預測過程　186
10．3　物體檢測問題　189
10．3．1　RCNN類物體檢測算法　189
10．3．2　Yolo類物體檢測方法　195
10．4　小結　199
第　11章 自然語言處理　200
11．1　語音識別任務　200
11．1．1　語音信號特征　201
11．1．2　語音處理模型　204
11．1．3　結果輸出　205
11．2　自然語言翻譯　205
11．2．1　編碼結構　206
11．2．2　解碼結構　206
11．2．3　Attention機制　211
11．2．4　網絡結構圖像解釋　214
11．2．5　損失函數　214
11．3　文本轉語音（TTS）模型　215
11．3．1　網絡模型　215
11．3．2　自定義RNN結構：ZoneoutLSTM　215
11．3．3　自定義RNN：帶有卷積層的循環(huán)網絡　218
11．3．4　自定義解碼器　219
11．3．5　自定義Helper　221
11．3．6　自定義Attention機制　222
11．3．7　模型描述　223
11．3．8　后處理　225
11．3．9　結果展示　226
11．4　小結　227
第　12章 非監(jiān)督學習模型　228
12．1　對抗生成網絡　228
12．1．1　反卷積結構　229
12．1．2　對抗神經網絡的搭建　230
12．1．3　結果展示　234
12．2　去噪自編碼器　234
12．2．1　去噪自編碼器結構　235
12．2．2　去噪結果　235
12．2．3　與對抗生成網絡對比　236
12．3　增強學習　236
12．3．1　游戲說明　238
12．3．2　網絡模型　239
12．3．3　損失函數構建　240
12．4　小結　242