PyTorch深度學(xué)習(xí)簡明實戰(zhàn)

目 錄
第1篇 深度學(xué)習(xí)基礎(chǔ)篇
第1 章 PyTorch 簡介與安裝 ................. 2
1.1 PyTorch 簡介 ................................... 2
1.2 PyTorch 的主要應(yīng)用 ....................... 3
1.3 PyTorch 安裝 ................................... 4
1.3.1 CPU 版本PyTorch 安裝 ..................... 5
1.3.2 GPU 版本PyTorch 安裝 ..................... 6
1.3.3 安裝輔助庫和安裝測試 ...................... 7
1.4 本章小結(jié) ....................................... 10
第2 章 機器學(xué)習(xí)基礎(chǔ)與線性回歸 ....... 11
2.1 機器學(xué)習(xí)基礎(chǔ) ............................... 11
2.2 線性回歸 ....................................... 12
2.3 本章小結(jié) ....................................... 18
第3 章 張量與數(shù)據(jù)類型 ...................... 19
3.1 PyTorch 張量 ................................. 19
3.1.1 初始化張量 ....................................... 19
3.1.2 張量類型 ........................................... 20
3.1.3 創(chuàng)建隨機值張量 ............................... 21
3.1.4 張量屬性 ........................................... 22
3.1.5 將張量移動到顯存 ........................... 22
3.2 張量運算 ....................................... 23
3.2.1 與NumPy 數(shù)據(jù)類型的轉(zhuǎn)換 ............. 24
3.2.2 張量的變形 ....................................... 24
3.3 張量的自動微分 ............................ 25
3.4 本章小結(jié) ........................................ 26
第4 章 分類問題與多層感知器 ........... 27
4.1 torchvision 庫 ................................. 27
4.2 加載內(nèi)置圖片數(shù)據(jù)集 .................... 27
4.3 多層感知器 .................................... 30
4.4 激活函數(shù) ........................................ 33
4.4.1 ReLU 激活函數(shù) ................................ 33
4.4.2 Sigmoid 激活函數(shù) ............................. 34
4.4.3 Tanh 激活函數(shù) .................................. 35
4.4.4 LeakyReLU 激活函數(shù) ....................... 36
4.5 本章小結(jié) ........................................ 37
第5 章 多層感知器模型與模型訓(xùn)練 .... 38
5.1 多層感知器模型 ............................ 38
5.2 損失函數(shù) ........................................ 40
5.3 優(yōu)化器 ............................................ 41
5.4 初始化模型 .................................... 42
5.5 編寫訓(xùn)練循環(huán) ................................ 42
5.6 本章小結(jié) ........................................ 46
第6 章 梯度下降法、反向傳播算法與內(nèi)置優(yōu)化器 ......................... 47
6.1 梯度下降法 .................................... 47
6.2 反向傳播算法 ............................... 49
6.3 PyTorch 內(nèi)置的優(yōu)化器 ................. 50
6.3.1 SGD 優(yōu)化器 ...................................... 51
6.3.2 RMSprop 優(yōu)化器 .............................. 51
6.3.3 Adam 優(yōu)化器 .................................... 51
6.4 本章小結(jié) ........................................ 52
第2 篇 計算機視覺篇
第7 章 計算機視覺與卷積神經(jīng)網(wǎng)絡(luò) .... 54
7.1 什么是卷積神經(jīng)網(wǎng)絡(luò) ................... 54
7.2 池化層 ........................................... 57
7.3 卷積神經(jīng)網(wǎng)絡(luò)的整體架構(gòu) ............ 59
7.4 本章小結(jié) ....................................... 60
第8 章 卷積入門實例 ......................... 61
8.1 數(shù)據(jù)輸入 ....................................... 61
8.2 創(chuàng)建卷積模型并訓(xùn)練 ................... 62
8.3 函數(shù)式API .................................... 66
8.4 超參數(shù)選擇 ................................... 67
8.5 本章小結(jié) ....................................... 68
第9 章 圖像讀取與模型保存 ............... 69
9.1 加載圖片數(shù)據(jù)集 ........................... 69
9.2 創(chuàng)建圖片分類模型 ....................... 74
9.3 模型保存 ....................................... 77
9.3.1 保存和加載模型權(quán)重........................ 77
9.3.2 保存和恢復(fù)檢查點 ........................... 77
9.3.3 保存最優(yōu)參數(shù) ................................... 79
9.4 本章小結(jié) ....................................... 80
第10 章 多分類問題與卷積模型的優(yōu)化 ..................................... 82
10.1 創(chuàng)建自定義Dataset 類 ................ 82
10.2 基礎(chǔ)卷積模型 ............................. 87
10.3 Dropout 抑制過擬合 .................... 89
10.4 批標準化 ...................................... 93
10.5 學(xué)習(xí)速率衰減 .............................. 96
10.6 本章小結(jié) ...................................... 98
第11 章 遷移學(xué)習(xí)與數(shù)據(jù)增強 ............. 99
11.1 什么是遷移學(xué)習(xí) .......................... 99
11.2 數(shù)據(jù)增強 .................................... 103
11.3 微調(diào) ............................................ 109
11.4 本章小結(jié) .................................... 112
第12 章 經(jīng)典網(wǎng)絡(luò)模型與特征提取 ... 113
12.1 VGG ........................................... 113
12.2 ResNet ........................................ 115
12.3 TensorBoard 可視化 .................. 117
12.4 ResNetBasicBlock 結(jié)構(gòu) ............. 120
12.5 Inception ..................................... 123
12.6 DenseNet .................................... 126
12.7 DenseNet 預(yù)訓(xùn)練模型提取特征 .................................... 128
12.8 本章小結(jié) .................................... 131
第13 章 圖像定位基礎(chǔ) ..................... 132
13.1 簡單圖像定位模型 .................... 132
13.2 數(shù)據(jù)集觀察 ................................ 133
13.3 創(chuàng)建模型輸入 ............................ 138
13.4 創(chuàng)建圖像定位模型 ................... 141
13.5 模型保存與測試 ....................... 146
13.6 本章小結(jié) ................................... 147
第14 章 圖像語義分割 ..................... 148
14.1 常見圖像處理任務(wù) ................... 148
14.2 圖像語義分割 ........................... 150
14.3 U-Net 語義分割模型 ................. 152
14.4 創(chuàng)建輸入dataset ........................ 154
14.5 反卷積 ........................................ 158
14.6 U-Net 模型代碼實現(xiàn) ................. 159
14.7 模型訓(xùn)練 .................................... 163
14.8 模型的保存和預(yù)測 .................... 166
14.9 本章小結(jié) .................................... 168
第3 篇 自然語言處理和序列篇
第15 章 文本分類與詞嵌入 .............. 172
15.1 文本的數(shù)值表示 ....................... 172
15.1.1 Word2vec ....................................... 174
15.1.2 Glove ............................................. 174
15.1.3 Embedding Layer ........................... 174
15.2 torchtext 加載內(nèi)置文本數(shù)據(jù)集 .. 175
15.3 創(chuàng)建DataLoader 和文本分類模型 ........................................... 178
15.3.1 Xavier 初始化方法 ........................ 181
15.3.2 kaiming 初始化方法 ..................... 182
15.4 本章小結(jié) ................................... 184
第16 章 循環(huán)神經(jīng)網(wǎng)絡(luò)與一維卷積神經(jīng)網(wǎng)絡(luò) ............................ 185
16.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的概念................ 185
16.2 長短期記憶網(wǎng)絡(luò) ........................ 192
16.3 門控循環(huán)單元 ............................ 194
16.4 LSTM 和GRU 高階API ........... 195
16.5 循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用 ................ 197
16.6 中文文本分類實例 .................... 198
16.7 LSTM 模型的優(yōu)化 .................... 201
16.8 一維卷積神經(jīng)網(wǎng)絡(luò) .................... 203
16.9 本章小結(jié) .................................... 207
第17 章 序列預(yù)測實例 ..................... 208
17.1 時間序列數(shù)據(jù)集準備 ................ 208
17.2 序列預(yù)測模型 ............................ 214
17.3 本章小結(jié) .................................... 215
第4 篇 生成對抗網(wǎng)絡(luò)和目標檢測篇
第18 章 生成對抗網(wǎng)絡(luò) ..................... 218
18.1 GAN 的概念及應(yīng)用 .................. 218
18.1.1 什么是GAN .................................. 218
18.1.2 GAN 的應(yīng)用 .................................. 220
18.2 基本的GAN 實例 ..................... 221
18.3 深度卷積生成對抗網(wǎng)絡(luò) ............ 227
18.4 本章小結(jié) .................................... 231
第19 章 目標檢測 ............................ 232
19.1 什么是目標檢測 ....................... 232
19.2 常用目標檢測算法 ................... 234
19.3 PyTorch 目標檢測模塊 ............. 236
19.4 目標檢測的圖像標注................ 241
19.5 使用自行標注數(shù)據(jù)集訓(xùn)練目標檢測模型 ............................ 242
19.6 本章小結(jié) .................................... 249
參考文獻 ............................................ 250