PyTorch編程技術(shù)與深度學習

第1章  PyTorch介紹 1
1.1  深度學習與PyTorch簡介 2
1.1.1  深度學習介紹 2
1.1.2  PyTorch介紹 3
1.2  PyTorch安裝 6
1.2.1  Anaconda下載 6
1.2.2  Windows下安裝PyTorch 7
1.2.3  Linux Ubuntu下安裝PyTorch 8
1.2.4  Anaconda管理 9
1.3  常用數(shù)據(jù)集 12
1.3.1  MNIST數(shù)據(jù)集 12
1.3.2  Fashion-MNIST數(shù)據(jù)集 14
1.3.3  CIFAR-10數(shù)據(jù)集 17
1.3.4  Dogs vs. Cats數(shù)據(jù)集 19
1.3.5  AG_NEWS數(shù)據(jù)集 20
1.3.6  WikiText2數(shù)據(jù)集 22
1.3.7  QIQC數(shù)據(jù)集 23
1.3.8  Multi30k數(shù)據(jù)集 24
習題 25
第2章  PyTorch基礎(chǔ)編程 27
2.1  張量數(shù)據(jù)操作 28
2.1.1  張量簡介 28
2.1.2  張量操作 28
2.1.3  廣播機制 45
2.1.4  在GPU上使用Tensor 48
2.2  自動求導 50
2.2.1  自動求導概念 50
2.2.2  自動求導示例 50
2.3  數(shù)據(jù)集API 53
2.3.1  自定義數(shù)據(jù)集類 53
2.3.2  DataLoader類 55
2.4  torchvision工具示例 57
2.4.1  編寫簡單的圖像數(shù)據(jù)集 57
2.4.2  Transforms模塊 59
2.4.3  Normalize用法 61
2.4.4  ImageFolder用法 62
2.5  torchtext工具示例 64
2.5.1  編寫文本預(yù)處理程序 64
2.5.2  使用torchtext 67
習題 70
第3章  深度學習快速入門 71
3.1  線性回歸 72
3.1.1  線性回歸介紹 72
3.1.2  線性回歸實現(xiàn) 76
3.2  使用nn模塊構(gòu)建線性回歸模型 82
3.2.1  使用nn.Linear訓練線性回歸模型 82
3.2.2  使用nn.Sequential訓練線性回歸模型 85
3.2.3  使用nn.Module訓練線性回歸模型 87
3.3  邏輯回歸 88
3.3.1  邏輯回歸介紹 89
3.3.2  邏輯回歸實現(xiàn) 91
3.4  Softmax回歸 96
3.4.1  Softmax回歸介紹 96
3.4.2  Softmax回歸實現(xiàn) 98
3.5  神經(jīng)網(wǎng)絡(luò) 103
3.5.1  神經(jīng)元 103
3.5.2  激活函數(shù) 104
3.5.3  神經(jīng)網(wǎng)絡(luò)原理 108
3.5.4  PyTorch神經(jīng)網(wǎng)絡(luò)編程 111
習題 116
第4章  神經(jīng)網(wǎng)絡(luò)訓練與優(yōu)化 119
4.1  神經(jīng)網(wǎng)絡(luò)迭代概念 120
4.1.1  訓練誤差與泛化誤差 120
4.1.2  訓練集、驗證集和測試集
劃分 121
4.1.3  偏差與方差 123
4.2  正則化方法 124
4.2.1  提前終止 125
4.2.2  正則化 126
4.2.3  Dropout 127
4.3  優(yōu)化算法 129
4.3.1  小批量梯度下降 130
4.3.2  Momentum算法 131
4.3.3  RMSProp算法 134
4.3.4  Adam算法 137
4.4  PyTorch的初始化函數(shù) 139
4.4.1  普通初始化 139
4.4.2  Xavier初始化 140
4.4.3  He初始化 141
習題 142
第5章  卷積神經(jīng)網(wǎng)絡(luò)原理 145
5.1  CNN介紹 146
5.1.1  CNN與圖像處理 146
5.1.2  卷積的基本原理 146
5.1.3  池化的基本原理 155
5.2  簡單的CNN網(wǎng)絡(luò) 158
5.2.1  定義網(wǎng)絡(luò)模型 158
5.2.2  模型訓練 160
5.2.3  模型評估 160
5.2.4  主函數(shù) 161
5.3  PyTorch實現(xiàn)LeNet-5網(wǎng)絡(luò) 163
5.3.1  LeNet-5介紹 163
5.3.2  LeNet-5實現(xiàn)MNIST手寫數(shù)字識別 164
5.3.3  LeNet-5實現(xiàn)CIFAR-10圖像識別 168
習題 170
第6章  卷積神經(jīng)網(wǎng)絡(luò)示例 171
6.1  經(jīng)典CNN網(wǎng)絡(luò) 172
6.1.1  VGG 172
6.1.2  ResNet 173
6.1.3  Inception 175
6.1.4  Xception 178
6.1.5  ResNet代碼研讀 179
6.2  使用預(yù)訓練的CNN 185
6.2.1  特征抽取 186
6.2.2  微調(diào) 194
6.3  知識蒸餾 197
6.3.1  知識蒸餾原理 197
6.3.2  知識蒸餾示例 199
6.4  CNN可視化 204
6.4.1  中間激活可視化 205
6.4.2  過濾器可視化 212
習題 214
第7章  詞嵌入模型 215
7.1  詞嵌入模型介紹 216
7.1.1  獨熱碼 216
7.1.2  詞嵌入 222
7.2  詞嵌入學習 225
7.2.1  詞嵌入學習的動機 226
7.2.2  Skip-Gram算法 227
7.2.3  CBOW算法 229
7.2.4  負采樣 230
7.2.5  GloVe算法 234
7.3  Word2Vec算法實現(xiàn) 235
7.3.1  Skip-Gram實現(xiàn) 235
7.3.2  CBOW實現(xiàn) 239
7.3.3  負采樣Skip-Gram實現(xiàn) 243
習題 248
第8章  循環(huán)神經(jīng)網(wǎng)絡(luò)原理 251
8.1  RNN介紹 252
8.1.1  有記憶的神經(jīng)網(wǎng)絡(luò) 252
8.1.2  RNN用途 255
8.2  基本RNN模型 259
8.2.1  基本RNN原理 259
8.2.2  基本RNN的訓練問題 263
8.2.3  基本RNN編程 265
8.2.4  基本RNN示例 269
8.3  LSTM 275
8.3.1  LSTM原理 275
8.3.2  LSTM編程 279
8.4  GRU 280
8.4.1  GRU原理 280
8.4.2  GRU編程 282
8.5  注意力機制 283
8.5.1  Seq2Seq模型的缺陷 283
8.5.2  機器翻譯中的注意力機制 284
8.6  Transformer模型 286
8.6.1  編碼器 287
8.6.2  多頭注意力層 288
8.6.3  前向?qū)?289
8.6.4  位置編碼 289
8.6.5  解碼器 290
8.6.6  解碼器層 291
8.6.7  Transformer的PyTorch
實現(xiàn) 291
習題 292
第9章  NLP示例 295
9.1  情感分析 296
9.1.1  AG NEWS示例 296
9.1.2  Quora競賽示例 301
9.2  語言模型 310
9.3  文本序列數(shù)據(jù)生成 316
9.3.1  向莎士比亞學寫詩 316
9.3.2  神經(jīng)機器翻譯 324
習題 333
參考文獻 335