深度學習理論與應用

第1章緒論與PyTorch基礎(chǔ)/1
1.1人工智能與神經(jīng)網(wǎng)絡(luò)1
1.2深度學習2
1.2.1什么是深度學習2
1.2.2深度學習的發(fā)展過程3
1.2.3深度學習的基礎(chǔ)網(wǎng)絡(luò)4
1.3建立PyTorch的開發(fā)環(huán)境4
1.3.1Anaconda與Python的安裝4
1.3.2PyCharm和PyTorch的安裝5
1.3.3PyTorch的Hello World程序6
1.4張量基礎(chǔ)7
1.4.1張量的定義及其物理含義7
1.4.2張量的切片操作10
1.4.3面向張量的數(shù)學函數(shù)13
1.4.4張量的變形16
1.4.5張量的常用運算17
1.4.6張量的廣播機制21
1.4.7梯度的自動計算22
1.4.8張量與其他對象的相互轉(zhuǎn)換23
1.4.9張量的拼接24
1.5初識PyTorch框架25
1.5.1一個簡單的網(wǎng)絡(luò)模型25
1.5.2訪問網(wǎng)絡(luò)模型的各個網(wǎng)絡(luò)層27
1.5.3訪問模型參數(shù)及模型保存和加載方法29
1.6本章小結(jié)30
1.7習題31
第2章感知器——神經(jīng)元/32
2.1感知器的定義32
2.2激活函數(shù)33深度學習理論與應用目錄2.3感知器的訓練34
2.3.1監(jiān)督學習和無監(jiān)督學習34
2.3.2面向回歸問題的訓練方法35
2.3.3面向分類問題的訓練方法43
2.4使用PyTorch框架46
2.4.1PyTorch框架的作用47
2.4.2使用PyTorch框架實現(xiàn)感知器47
2.5本章小結(jié)52
2.6習題53
第3章全連接神經(jīng)網(wǎng)絡(luò)/54
3.1構(gòu)建一個簡單的全連接神經(jīng)網(wǎng)絡(luò)——解決二分類問題54
3.1.1一個簡單全連接神經(jīng)網(wǎng)絡(luò)的構(gòu)建和訓練54
3.1.2程序代碼解釋及網(wǎng)絡(luò)層的構(gòu)建方法56
3.2全連接神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法59
3.2.1網(wǎng)絡(luò)層的定義59
3.2.2網(wǎng)絡(luò)結(jié)構(gòu)的實現(xiàn)60
3.2.3從網(wǎng)絡(luò)結(jié)構(gòu)判斷網(wǎng)絡(luò)的功能62
3.3幾種主流的損失函數(shù)62
3.3.1nn.CrossEntropyLoss()和nn.NLLLoss()函數(shù)63
3.3.2nn.MSELoss()函數(shù)66
3.3.3nn.BCELoss()和nn.BCEWithLogitsLoss()函數(shù)66
3.3.4nn.L1Loss()函數(shù)67
3.4網(wǎng)絡(luò)模型的訓練與測試68
3.4.1數(shù)據(jù)集分割68
3.4.2數(shù)據(jù)打包69
3.4.3網(wǎng)絡(luò)模型的訓練方法70
3.4.4梯度累加的訓練方法71
3.4.5學習率衰減在訓練中的應用72
3.4.6網(wǎng)絡(luò)模型的測試74
3.4.7應用案例——波士頓房價預測76
3.5正向計算和反向梯度傳播的理論分析81
3.5.1正向計算81
3.5.2梯度反向傳播與參數(shù)更新85
3.6本章小結(jié)89
3.7習題90
第4章卷積神經(jīng)網(wǎng)絡(luò)/91
4.1一個簡單的卷積神經(jīng)網(wǎng)絡(luò)——手寫數(shù)字識別91
4.1.1程序代碼91
4.1.2代碼解釋94
4.2卷積神經(jīng)網(wǎng)絡(luò)的主要操作96
4.2.1單通道卷積96
4.2.2多通道卷積100
4.2.3卷積操作的PyTorch代碼實現(xiàn)103
4.2.4池化操作及其PyTorch代碼實現(xiàn)105
4.2.5relu()激活函數(shù)及其應用107
4.2.6感受野109
4.3卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計方法109
4.3.1基本設(shè)計原則109
4.3.2網(wǎng)絡(luò)結(jié)構(gòu)查看和參數(shù)量計算110
4.3.3一個貓狗圖像分類示例111
4.4過擬合及其解決方法116
4.5本章小結(jié)117
4.6習題117
第5章若干經(jīng)典CNN預訓練模型及其遷移方法/119
5.1一個使用VGG16的圖像識別程序119
5.1.1程序代碼119
5.1.2代碼解釋122
5.2經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)124
5.2.1卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展過程124
5.2.2AlexNet網(wǎng)絡(luò)125
5.2.3VGGNet網(wǎng)絡(luò)126
5.2.4GoogLeNet網(wǎng)絡(luò)與1×1卷積核128
5.2.5ResNet網(wǎng)絡(luò)130
5.2.6EfficientNet網(wǎng)絡(luò)131
5.3預訓練模型的遷移方法132
5.3.1預訓練網(wǎng)絡(luò)遷移的基本原理132
5.3.2VGG16的遷移案例133
5.3.3GoogLeNet的遷移案例136
5.3.4ResNet的遷移案例140
5.3.5EfficientNet的遷移案例142
5.4本章小結(jié)145
5.5習題145
第6章深度卷積神經(jīng)網(wǎng)絡(luò)的應用案例/146
6.1人臉識別146
6.1.1人臉識別的設(shè)計思路146
6.1.2人臉識別程序147
6.2語義分割152
6.2.1從零開始構(gòu)建語義分割網(wǎng)絡(luò)152
6.2.2使用預訓練模型構(gòu)建語義分割網(wǎng)絡(luò)160
6.3目標檢測161
6.3.1從零開始構(gòu)建目標檢測網(wǎng)絡(luò)161
6.3.2使用Fasterrcnn構(gòu)建目標檢測網(wǎng)絡(luò)165
6.4生成對抗網(wǎng)絡(luò)172
6.4.1生成手寫數(shù)字圖片173
6.4.2生成花卉圖片176
6.4.3條件性生成對抗網(wǎng)絡(luò)179
6.5本章小結(jié)182
6.6習題182
第7章循環(huán)神經(jīng)網(wǎng)絡(luò)/183
7.1一個簡單的循環(huán)神經(jīng)網(wǎng)絡(luò)——航空旅客出行人數(shù)預測183
7.1.1程序代碼183
7.1.2代碼解釋187
7.2循環(huán)神經(jīng)網(wǎng)絡(luò)應用188
7.2.1循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)188
7.2.2從“零”開始構(gòu)建一個循環(huán)神經(jīng)網(wǎng)絡(luò)190
7.3長短時記憶網(wǎng)絡(luò)（LSTM）192
7.3.1LSTM的結(jié)構(gòu)和特點192
7.3.2LSTM的使用方法195
7.3.3深度循環(huán)神經(jīng)網(wǎng)絡(luò)199
7.3.4雙向循環(huán)神經(jīng)網(wǎng)絡(luò)199
7.3.5LSTM的變體——GRU200
7.4文本的表示201
7.4.1詞的獨熱表示201
7.4.2Word2Vec詞向量202
7.4.3詞嵌入表示202
7.5基于LSTM的文本分類206
7.6基于LSTM的文本生成210
7.6.1語言模型與文本生成210
7.6.2類不平衡問題211
7.6.3文本生成案例212
7.7本章小結(jié)216
7.8習題216
第8章基于預訓練模型的自然語言處理/217
8.1Seq2Seq結(jié)構(gòu)與注意力機制217
8.1.1Seq2Seq結(jié)構(gòu)217
8.1.2注意力機制221
8.2Transformer及其在NLP中的應用225
8.2.1Transformer中的注意力機制225
8.2.2Transformer的結(jié)構(gòu)226
8.2.3Transformer的位置編碼與嵌入226
8.2.4Transformer的使用方法229
8.2.5Transformer應用案例232
8.3BERT及其在NLP中的應用238
8.3.1關(guān)于BERT238
8.3.2BERT的使用方法240
8.3.3基于BERT的文本分類243
8.3.4基于BERT的閱讀理解247
8.4基于GPT的文本生成254
8.4.1關(guān)于GPT254
8.4.2使用GPT2生成英文文本——直接使用255
8.4.3使用GPT2生成中文文本——微調(diào)方法256
8.5視覺Transformer（ViT）260
8.5.1關(guān)于ViT260
8.5.2ViT預訓練模型的使用方法260
8.5.3基于ViT的圖像分類262
8.6ChatGPT及其使用方法264
8.6.1關(guān)于ChatGPT264
8.6.2ChatGPT的使用方法266
8.7本章小結(jié)269
8.8習題269
第9章面向解釋的深度神經(jīng)網(wǎng)絡(luò)可視化方法/270
9.1CNN各網(wǎng)絡(luò)層輸出的可視化270
9.2CNN模型決策原因的可視化方法274
9.2.1基于類別權(quán)重的類激活圖（CAM）274
9.2.2基于梯度的類激活圖（CAM）277
9.3面向NLP任務(wù)的可視化方法281
9.3.1NLP任務(wù)中注意力機制可視化的一般方法281
9.3.2自注意力機制的可視化282
9.4本章小結(jié)284
9.5習題285
第10章多模態(tài)學習與多模態(tài)數(shù)據(jù)分類/286
10.1多模態(tài)學習286
10.1.1多模態(tài)學習的發(fā)展過程286
10.1.2多模態(tài)學習的主要任務(wù)287
10.2多模態(tài)數(shù)據(jù)分類288
10.2.1文本特征提取方法289
10.2.2圖像特征提取方法289
10.2.3多模態(tài)數(shù)據(jù)融合方法289
10.3多模態(tài)數(shù)據(jù)分類案例291
10.4本章小結(jié)296
10.5習題297
參考文獻/298