深度學習入門與TensorFlow實踐

目　　錄

第　1章 深度學習簡介　1
1．1　什么是深度學習　1
1．1．1　機器學習簡介　1
1．1．2　深度學習與傳統(tǒng)機器學習算法的區(qū)別　4
1．1．3　深度學習與人類神經(jīng)網(wǎng)絡的關系　4
1．2　為什么需要學習深度學習　5
1．3　誰需要學習深度學習　6
1．4　學深度學習之后，你可以做什么　6
1．5　本章小結　6
第　2章 數(shù)學和Python基礎知識　7
2．1　線性代數(shù)　7
2．1．1　數(shù)、向量、矩陣和張量　7
2．1．2　矩陣的轉置　8
2．1．3　矩陣的基本運算　9
2．1．4　向量和矩陣的范數(shù)　10
2．2　微積分　10
2．2．1　導數(shù)的概念　10
2．2．2　求導法則　11
2．3　概率論　11
2．3．1　隨機變量　12
2．3．2　隨機變量的分布　12
2．3．3　常見的概率分布　13
2．3．4　條件概率　14
2．4　Anaconda　14
2．4．1　安裝Anaconda　14
2．4．2　包的管理　15
2．4．3　環(huán)境的管理　15
2．5　Jupyter Notebook　16
2．5．1　安裝Jupyter Notebook　16
2．5．2　打開和關閉Jupyter Notebook　17
2．5．3　代碼框　18
2．5．4　標記框　19
2．6　Python　22
2．6．1　Python基礎　22
2．6．2　Python基本數(shù)據(jù)結構　23
2．6．3　控制結構和函數(shù)　26
2．6．4　NumPy庫　28
2．6．5　Pandas　31
2．6．6　畫圖工具　32
2．7　本章小結　35
第3章　線性模型　36
3．1　線性回歸模型　36
3．1．1　線性回歸模型簡介　36
3．1．2　隨機梯度下降法　41
3．1．3　全數(shù)據(jù)梯度下降法　50
3．1．4　批量隨機梯度下降法　56
3．1．5　學習步長　59
3．1．6　標準化和中心化　61
3．1．7　3種梯度下降法的對比　62
3．2　logistic模型　63
3．2．1　logistic模型簡介　63
3．2．2　估計 和　66
3．3　本章小結　70
習題　70
第4章　深度神經(jīng)網(wǎng)絡　72
4．1　為什么需要深度神經(jīng)網(wǎng)絡　72
4．1．1　簡單神經(jīng)網(wǎng)絡　72
4．1．2　具有隱藏層的神經(jīng)網(wǎng)絡　78
4．2　正向傳播算法　83
4．3　反向傳播算法　87
4．4　深度神經(jīng)網(wǎng)絡的完整訓練流程　96
4．4．1　隨機梯度下降法　96
4．4．2　批量隨機梯度下降法　98
4．5　本章小結　102
習題　103
第5章　激活函數(shù)　104
5．1　激活函數(shù)的基本要求　104
5．2　輸出層的激活函數(shù)　107
5．2．1　因變量為定量數(shù)據(jù)　107
5．2．2　因變量為二分類定性數(shù)據(jù)　108
5．2．3　因變量為多分類定性數(shù)據(jù)　108
5．2．4　識別MNIST數(shù)據(jù)集中的手寫數(shù)字　111
5．3　隱藏層的激活函數(shù)　116
5．3．1　sigmoid函數(shù)　116
5．3．2　tanh函數(shù)　118
5．3．3　ReLU函數(shù)　119
5．3．4　Leaky ReLU函數(shù)　121
5．4　本章小結　125
習題　126
第6章　模型評估和正則化　130
6．1　模型評估　130
6．2　欠擬合和過擬合　133
6．3　正則化　140
6．3．1　早停法　141
6．3．2　懲罰法　141
6．3．3　丟棄法　145
6．3．4　增加觀測點　151
6．4　本章小結　151
習題　152
第7章　基于TensorFlow 2建立深度學習模型　153
7．1　安裝TensorFlow　154
7．2　TensorFlow 2基本用法　154
7．2．1　tf．Tensor　154
7．2．2　TensorFlow 2和NumPy的兼容性　156
7．3　深度神經(jīng)網(wǎng)絡建模基本步驟　156
7．3．1　創(chuàng)建模型結構　157
7．3．2　訓練模型　159
7．3．3　評估和預測模型　160
7．4　基于TensorFlow 2建立線性回歸模型　161
7．5　基于TensorFlow 2建立神經(jīng)網(wǎng)絡分類模型　164
7．5．1　神經(jīng)網(wǎng)絡分類模型　164
7．5．2　神經(jīng)網(wǎng)絡模型的正則化　167
7．6　本章小結　169
習題　170
第8章　卷積神經(jīng)網(wǎng)絡　171
8．1　卷積層　172
8．1．1　卷積運算　172
8．1．2　卷積層運算　173
8．1．3　卷積運算的直觀理解　175
8．1．4　填充　177
8．1．5　卷積層求導　178
8．1．6　用Python實現(xiàn)卷積層的計算　180
8．2　池化層　183
8．2．1　池化運算　183
8．2．2　池化層求導　185
8．2．3　用Python實現(xiàn)池化層的計算　187
8．3　卷積神經(jīng)網(wǎng)絡　189
8．4　本章小結　196
習題　196
第9章　基于TensorFlow 2搭建卷積神經(jīng)網(wǎng)絡模型　198
9．1　卷積層和池化層　199
9．2　CNN實例——MNIST數(shù)據(jù)集和CIFAR-10數(shù)據(jù)集　201
9．2．1　關于MNIST數(shù)據(jù)集的實例　201
9．2．2　關于CIFAR-10數(shù)據(jù)集的實例　207
9．3　CNN建模技巧　214
9．3．1　卷積神經(jīng)網(wǎng)絡的結構　214
9．3．2　卷積層和池化層的超參數(shù)選擇　215
9．3．3　經(jīng)典的卷積神經(jīng)網(wǎng)絡　216
9．4　本章小結　219
習題　219
第　10章 循環(huán)神經(jīng)網(wǎng)絡　221
10．1　分析IMDB的數(shù)據(jù)　221
10．1．1　IMDB的數(shù)據(jù)　221
10．1．2　神經(jīng)網(wǎng)絡模型（IMDB）　225
10．2　詞嵌入　229
10．3　循環(huán)神經(jīng)網(wǎng)絡　231
10．4　從零開始實現(xiàn)循環(huán)神經(jīng)網(wǎng)絡　236
10．4．1　莎士比亞作品應用示例　236
10．4．2　正向傳播算法　239
10．4．3　反向傳播算法　241
10．5　本章小結　246
習題　247
第　11章 搭建深度學習框架　248
11．1　類Tensor和自動求導　248
11．1．1　類　248
11．1．2　類Tensor　250
11．1．3　自動求導　251
11．2　為Tensor類添加運算函數(shù)并建立神經(jīng)網(wǎng)絡模型　258
11．2．1　為Tensor類添加運算函數(shù)　258
11．2．2　使用Tensor類建立神經(jīng)網(wǎng)絡模型　264
11．3　類SGD、類Layer和激活函數(shù)　266
11．3．1　類SGD　266
11．3．2　類Layer　267
11．3．3　激活函數(shù)　270
11．4　詞嵌入和循環(huán)神經(jīng)網(wǎng)絡　278
11．4．1　詞嵌入　278
11．4．2　循環(huán)神經(jīng)網(wǎng)絡　285
11．5　本章小結　291
習題　291
第　12章 長短期記憶模型與門控循環(huán)單元模型　292
12．1　簡單循環(huán)神經(jīng)網(wǎng)絡的主要缺陷　292
12．2　長短期記憶模型　298
12．2．1　LSTM模型的核心思想　299
12．2．2　詳解LSTM模型　299
12．2．3　實現(xiàn)LSTM模型　301
12．3　門控循環(huán)單元模型　306
12．3．1　詳解GRU模型　307
12．3．2　實現(xiàn)GRU模型　308
12．4　本章小結　311
習題　311
第　13章 基于TensorFlow 2搭建循環(huán)神經(jīng)網(wǎng)絡模型　312
13．1　建立LSTM模型　312
13．1．1　預處理數(shù)據(jù)　313
13．1．2　基于TensorFlow建立LSTM模型　315
13．2　基于TensorFlow建立GRU模型　316
13．3　本章小結　325
習題　326