深度學習原理與應用

目 錄
第1章 深度學習概述\t1
1．1 什么是深度學習\t1
1．2 為什么會出現(xiàn)深度學習\t6
1．3 深度學習方法的分類\t8
1．4 人工神經(jīng)網(wǎng)絡的發(fā)展簡史\t9
思考題\t15
第2章 必備的數(shù)學知識\t16
2．1 線性代數(shù)\t16
2．1．1 矩陣\t16
2．1．2 向量\t21
2．2 微積分\t22
2．2．1 微分\t22
2．2．2 積分\t26
2．3 概率統(tǒng)計\t27
2．3．1 隨機事件\t27
2．3．2 概率的定義\t28
2．3．3 條件概率和貝葉斯公式\t28
2．3．4 常用概率模型\t29
2．3．5 隨機變量與概率分布\t30
2．3．6 隨機變量的數(shù)字特征\t31
2．3．7 典型的概率分布\t33
2．3．8 統(tǒng)計與概率\t36
2．3．9 樣本與總體\t37
2．3．10 統(tǒng)計量與抽樣分布\t37
2．3．11 參數(shù)估計\t38
第3章 神經(jīng)網(wǎng)絡\t40
3．1 生物神經(jīng)元\t40
3．2 M-P模型\t41
3．3 前饋神經(jīng)網(wǎng)絡\t42
3．4 感知器\t43
3．4．1 單層感知器\t43
3．4．2 多層感知器\t45
3．5 神經(jīng)網(wǎng)絡的學習\t46
3．5．1 數(shù)據(jù)驅(qū)動\t46
3．5．2 損失函數(shù)\t47
3．5．3 激活函數(shù)\t50
3．5．4 似然函數(shù)\t55
3．5．5 梯度與梯度下降法\t58
3．5．6 學習率\t61
3．5．7 學習規(guī)則\t62
3．6 誤差反向傳播算法\t63
3．7 隨機梯度下降法\t69
3．8 神經(jīng)網(wǎng)絡學習算法的基本步驟\t70
思考題\t71
第4章 卷積神經(jīng)網(wǎng)絡\t72
4．1 卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)\t72
4．2 輸入層\t76
4．3 卷積層\t76
4．4 池化層\t82
4．5 全連接層\t84
4．6 輸出層\t84
4．7 卷積神經(jīng)網(wǎng)絡的訓練方法\t85
4．8 卷積神經(jīng)網(wǎng)絡的可視化\t88
4．8．1 特征圖可視化\t88
4．8．2 卷積核可視化\t94
4．8．3 類激活圖可視化\t97
4．8．4 可視化工具（Deep Visualization Toolbox）\t98
4．9 典型的卷積神經(jīng)網(wǎng)絡\t99
4．9．1 LeNet神經(jīng)網(wǎng)絡\t99
4．9．2 AlexNet\t103
4．9．3 VGGNet\t104
4．9．4 GoogLeNet\t106
4．9．5 ResNet\t108
4．9．6 基于AlexNet的人臉識別\t108
思考題\t118
第5章 反饋神經(jīng)網(wǎng)絡\t119
5．1 Hopfield神經(jīng)網(wǎng)絡\t119
5．2 離散型Hopfield神經(jīng)網(wǎng)絡\t121
5．2．1 離散型Hopfield神經(jīng)網(wǎng)絡的結(jié)構(gòu)\t121
5．2．2 離散型Hopfield神經(jīng)網(wǎng)絡的狀態(tài)變化規(guī)律\t122
5．2．3 離散型Hopfield神經(jīng)網(wǎng)絡的穩(wěn)態(tài)判別函數(shù)\t123
5．2．4 離散型Hopfield神經(jīng)網(wǎng)絡的聯(lián)想記憶\t126
5．2．5 離散型Hopfield神經(jīng)網(wǎng)絡的模式識別例子\t127
5．2．6 離散型Hopfield神經(jīng)網(wǎng)絡的權(quán)重設置\t128
5．2．7 離散型Hopfield神經(jīng)網(wǎng)絡的不足\t130
5．3 連續(xù)型Hopfield神經(jīng)網(wǎng)絡\t131
5．3．1 連續(xù)型Hopfield神經(jīng)網(wǎng)絡結(jié)構(gòu)及其穩(wěn)定性分析\t131
5．3．2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡解決旅行商問題\t133
5．4 玻爾茲曼機\t135
5．3 受限玻爾茲曼機\t141
5．4 對比散度算法\t146
5．5 深度信念網(wǎng)絡\t148
思考題\t150
第6章 自編碼器\t151
6．1 自編碼器\t151
6．2 降噪自編碼器\t153
6．3 稀疏自編碼器\t155
6．4 棧式自編碼器\t156
6．5 變分自編碼器\t158
思考題\t161
第7章 循環(huán)神經(jīng)網(wǎng)絡\t162
7．1 循環(huán)神經(jīng)網(wǎng)絡概述\t162
7．2 隱馬爾可夫鏈\t163
7．3 循環(huán)神經(jīng)網(wǎng)絡架構(gòu)\t164
7．4 LSTM\t166
7．4．1 基于LSTM預測彩票\t170
7．4．2 基于LSTM生成古詩詞\t180
思考題\t188
第8章 生成對抗網(wǎng)絡\t189
8．1 生成對抗網(wǎng)絡概述\t189
8．2 生成對抗網(wǎng)絡\t190
8．3 條件生成對抗網(wǎng)絡\t193
8．4 深度對抗生成網(wǎng)絡\t195
8．5 基于DCGAN生成人臉圖片\t196
8．5．1 準備數(shù)據(jù)集\t196
8．5．2 構(gòu)建模型\t197
思考題\t204
第9章 學習有關的處理技巧\t205
9．1 訓練樣本\t205
9．2 數(shù)據(jù)預處理\t206
9．3 Dropout與DropConnect\t209
9．4 正則化\t212
9．5 權(quán)重的初值設置\t213
思考題\t214
第10章 深度學習開發(fā)工具\t215
10．1 TensorFlow\t215
10．1．1 安裝TensorFlow\t216
10．1．2 TensorFlow運行環(huán)境\t217
10．1．3 TensorFlow基本要素\t218
10．1．4 TensorFlow運行原理\t219
10．1．5 TensorFlow編程識別手寫數(shù)字實例\t221
10．1．6 TensorBoard可視化工具\t225
10．2 Caffe\t226
10．2．1 Caffe的安裝\t228
10．2．2 Caffe的應用實例\t231
思考題\t232
第11章 自動化機器學習\t233
11．1 AutoML簡介\t234
11．2 AutoML與傳統(tǒng)方法的對比\t234
11．3 現(xiàn)有AutoML平臺產(chǎn)品\t235
11．3．1 谷歌Cloud AutoML\t235
11．3．2 百度EasyDL\t235
11．3．3 阿里云PAI\t238
第12章 深度學習的未來\t242
12．1 物體識別\t242
12．2 物體檢測\t243
12．3 圖像分割\t251
12．4 回歸問題\t253
12．4．1 人體姿態(tài)估計\t253
12．4．2 面部器官檢測\t255
12．5 圖像標注生成\t255
12．6 圖像風格變換\t257
12．7 自動駕駛\t258
12．8 強化學習\t259
12．9 深度學習的最新應用\t260
12．9．1 AlphaGo圍棋機器人\t260
12．9．2 人機對話\t262
12．9．3 視頻換臉\t263
12．9．4 無人機自動控制\t265
12．9．5 機器人行動協(xié)同\t267
12．9．6 醫(yī)療自動診斷\t269
12．10 深度學習的發(fā)展趨勢分析\t271
12．10．1 深度學習技術(shù)現(xiàn)狀\t271
12．10．2 深度學習發(fā)展趨勢\t271
參考答案\t273
參考文獻\t277