深入淺出GAN生成對抗網(wǎng)絡(luò)：原理剖析與TensorFlow實踐

第 1 章 優(yōu)雅Python 1
1．1　Anaconda　1
1．2　Python 基礎(chǔ)　4
1．2．1　常用數(shù)據(jù)類型　5
1．2．2　流程控制　7
1．2．3　函數(shù)定義　8
1．3　Python 進階　8
1．3．1　生成式　9
1．3．2　可迭代對象與迭代器　9
1．3．3　生成器　11
1．3．4　裝飾器　11
1．4　小結(jié)　13
第　2 章 優(yōu)雅的數(shù)學　14
2．1　向量與矩陣　14
2．1．1　向量的概念　14
2．1．2　向量的基本運算　15
2．1．3　矩陣的概念　17
2．1．4　矩陣的運算　19
2．2　微積分　24
2．2．1　圓的面積　24
2．2．2　古典微積分　25
2．2．3　重建微積分　28
2．2．4　常用的公式　29
2．2．5　偏導數(shù)　31
2．2．6　方向?qū)?shù)　31
2．2．7　鏈式法則　33
2．3　概率論　34
2．3．1　隨機變量　34
2．3．2　條件概率　36
2．3．3　貝葉斯定理　38
2．3．4　常見的概率分布　39
2．4　信息論　41
2．4．1　信息熵　41
2．4．2　條件熵　43
2．4．3　互信息　43
2．4．4　相對熵（KL 散度）　44
2．4．5　交叉熵　45
2．5　小結(jié)　46
第3　章 初識神經(jīng)網(wǎng)絡(luò)　47
3．1　什么是神經(jīng)網(wǎng)絡(luò)　47
3．1．1　神經(jīng)網(wǎng)絡(luò)的歷史　47
3．1．2　神經(jīng)網(wǎng)絡(luò)的優(yōu)勢　54
3．2　神經(jīng)網(wǎng)絡(luò)中常見的概念　55
3．2．1　前向傳播算法　55
3．2．2　損失函數(shù)　57
3．2．3　梯度下降算法　58
3．2．4　各種梯度下降算法　63
3．2．5　反向傳播算法　67
3．2．6　過擬合與欠擬合　70
3．3　動手實現(xiàn)深度學習框架TensorPy　71
3．3．1　實現(xiàn)計算圖　71
3．3．2　實現(xiàn)Session 對象　74
3．3．3　實現(xiàn)感知器前向傳播算法　76
3．3．4　實現(xiàn)對數(shù)損失　79
3．3．5　實現(xiàn)梯度下降算法與反向傳播算法　81
3．3．6　實現(xiàn)多層感知器　86
3．4　TensorFlow 簡介　89
3．4．1　TensorFlow 安裝與介紹　89
3．4．2　TensorFlow 基本概念　90
3．4．3　TensorFlow 實現(xiàn)多層感知器　91
3．4．4　TensorBoard 可視化　93
3．4．5　TensorFlow 模型保存方法　98
3．5　小結(jié)　99
第4　章 初識生成對抗網(wǎng)絡(luò)　101
4．1　什么是生成對抗網(wǎng)絡(luò)　101
4．1．1　什么是GAN　101
4．1．2　GAN 使用范圍　103
4．2　GAN 基本原理　104
4．2．1　GAN 模型詳情　104
4．2．2　對抗的本質(zhì)　106
4．3　TensorFlow 實現(xiàn)樸素GAN　108
4．3．1　樸素GAN 生成MNIST
數(shù)據(jù)集　108
4．3．2　訓練與效果展示　114
4．4　關(guān)于GAN 的幾個問題　117
4．4．1　為什么生成器G 生成數(shù)據(jù)需要判別器D 介入　117
4．4．2　為什么判別器D 不自己
生成數(shù)據(jù)　120
4．4．3　為什么選擇GAN　121
4．5　小結(jié)　122
第5　章 生成對抗網(wǎng)絡(luò)的數(shù)學原理　123
5．1　擬合真實分布　123
5．1．1　最大似然估計　123
5．1．2　最大似然估計擬合分布　125
5．1．3　最大似然估計與KL散度的關(guān)系　126
5．2　生成對抗網(wǎng)絡(luò)　127
5．2．1　生成器擬合分布　127
5．2．2　判別器計算分布的差異　128
5．2．3　GAN 的數(shù)學推導　129
5．2．4　GAN 的本質(zhì)　131
5．3　統(tǒng)一框架F-GAN　134
5．3．1　f 散度　134
5．3．2　凸共軛　137
5．3．3　f 散度與GAN 之間的關(guān)系　138
5．4　GAN 訓練過程可視化　139
5．5　小結(jié)　144
第6　章 卷積生成對抗網(wǎng)絡(luò)　145
6．1　初識卷積神經(jīng)網(wǎng)絡(luò)　145
6．1．1　什么是卷積神經(jīng)網(wǎng)絡(luò)　145
6．1．2　CNN 識別圖像過程　147
6．1．3　CNN 核心概念　151
6．2　TensorFlow 實現(xiàn)卷積網(wǎng)絡(luò)　154
6．2．1　構(gòu)建CNN 計算圖　154
6．2．2　訓練CNN 網(wǎng)絡(luò)　160
6．2．3　Dropout 操作　161
6．2．4　DCGAN：CNN 與GAN
有機結(jié)合　162
6．2．5　Batch Normalization　164
6．3　TensorFlow 實現(xiàn)DCGAN 網(wǎng)絡(luò)　166
6．3．1　TensorFlow 實現(xiàn)DCGAN 的生成器 ．167
6．3．2　TensorFlow 實現(xiàn)DCGAN 的
判別器　170
6．3．3　獲得測試樣例　171
6．3．4　構(gòu)建DCGAN 整體　172
6．3．5　訓練DCGAN　173
6．3．6　RussellCould 使用　179
6．3．7　結(jié)果展示　185
6．4　小結(jié)　189
第7　章 條件對抗生成網(wǎng)絡(luò)　190
7．1　如何實現(xiàn)圖像間風格轉(zhuǎn)換　190
7．1．1　傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的缺陷　190
7．1．2　普通GAN 的缺陷　191
7．2　條件對抗生成網(wǎng)絡(luò)　192
7．2．1　GAN 詳解　192
7．2．2　CGAN 訓練流程　193
7．3　ColorGAN 的實現(xiàn)　194
7．3．1　生成器與判別器的構(gòu)建　194
7．3．2　圖像數(shù)據(jù)預處理　197
7．3．3　ColorGAN 訓練學習　200
7．3．4　ColorGAN 訓練結(jié)果　203
7．3．5　圖像轉(zhuǎn)圖像的討論　208
7．4　實現(xiàn)文字轉(zhuǎn)圖像　209
7．4．1　獨熱向量　209
7．4．2　fashion-mnist 數(shù)據(jù)集　210
7．4．3　FashionCGAN 判別器和生成器　211
7．4．4　訓練FashionCGAN　213
7．5　實現(xiàn)句子轉(zhuǎn)圖像　215
7．5．1　word2vec 技術(shù)　215
7．5．2　RNN、LSTM 與GRU　218
7．5．3　Skip-Thought Vector　223
7．5．4　實現(xiàn)Skip-Thought　226
7．5．5　實現(xiàn)句子轉(zhuǎn)圖像　234
7．6　小結(jié)　237
第8　章 循環(huán)一致性　238
8．1　以無監(jiān)督的方式實現(xiàn)風格轉(zhuǎn)換　238
8．2　CycleGAN　240
8．2．1　CycleGAN 的架構(gòu)與目標函數(shù)　241
8．2．2　CycleGAN 做的改變　243
8．2．3　TensorFlow 實現(xiàn)CycleGAN生成器與判別器　251
8．2．4　TensorFlow 搭建與訓練CycleGAN　254
8．2．5　效果展示　258
8．3　StarGAN　262
8．3．1　StarGAN 的結(jié)構(gòu)與目標函數(shù)　262
8．3．2　TensorFlow 構(gòu)建StarGAN模型　265
8．3．3　構(gòu)建StarGAN 的損失　268
8．3．4　效果展示　272
8．4　語義樣式不變的圖像跨域轉(zhuǎn)換　275
8．4．1　Domain Transfer Network介紹　276
8．4．2　DTN 代碼結(jié)構(gòu)　278
8．4．3　XGAN 介紹　283
8．5　小結(jié)　287
第9　章 改進生成對抗網(wǎng)絡(luò)　289
9．1　傳統(tǒng)GAN 存在的問題　289
9．1．1　梯度消失　289
9．1．2　模式崩潰　293
9．2　Wasserstein GAN　295
9．2．1　EM 距離　295
9．2．2　EM 距離使用在GAN 上　298
9．2．3　EM 距離與判別器的關(guān)系　299
9．2．4　TensorFlow 實現(xiàn)WGAN　302
9．3　Improved WGAN（WGAN-GP）　306
9．3．1　WGAN 存在的問題　306
9．3．2　gradient penalty　308
9．3．3　TensorFlow 實現(xiàn)WGAN-GP　310
9．4　SN-GAN　314
9．4．1　SN-GAN 介紹　314
9．4．2　Spectral Normalization方法與SN-GAN　315
9．4．3　TensorFlow 實現(xiàn)SNGAN　321
9．5　小結(jié)　326
第　10 章 漸近增強式生成對抗網(wǎng)絡(luò)　327
10．1　堆疊式生成對抗網(wǎng)絡(luò)StackGAN　327
10．1．1　StackGAN-v1　327
10．1．2　棋盤效應(yīng)　330
10．1．3　StackGAN-v2　333
10．1．4　TensorFlow 實現(xiàn)StackGAN-v2　335
10．2　TensorFlow 數(shù)據(jù)處理　348
10．2．1　placeholder 讀取數(shù)據(jù)　348
10．2．2　Queue 方式讀取數(shù)據(jù)　348
10．2．3　tf．data 讀取數(shù)據(jù)　353
10．3　漸近增長生成對抗網(wǎng)絡(luò)PGGAN ．
10．3．1　PGGAN 介紹　355
10．3．2　PGGAN 的改進點　356
10．3．3　TensorFlow 實現(xiàn)PGGAN　361
10．4　小結(jié)　369
第　11 章 GAN 進行特征學習　370
11．1　近似推斷　370
11．1．1　變分推斷思想　371
11．1．2　平均場　372
11．2　InfoGAN　375
11．2．1　數(shù)據(jù)特征與互信息　376
11．2．2　InfoGAN 數(shù)學原理與模型結(jié)構(gòu)　377
11．2．3　TensorFlow 實現(xiàn)InfoGAN　381
11．2．4　使用InfoGAN 生成圖像　385
11．3　VAE-GAN　390
11．3．1　AutoEncoder 自編碼器　390
11．3．2　變分自編碼器　392
11．3．3　數(shù)學角度看VAE　394
11．3．4　TensorFlow 實現(xiàn)VAE　400
11．3．5　VAE 與GAN 的結(jié)合體VAE-GAN　405
11．3．6　TensorFlow 實現(xiàn)VAE-GAN　407
11．4　小結(jié)　414
第　12 章 GAN 在NLP 中的運用　415
12．1　GAN 在文本生成中遇到的境　415
12．2　GAN 生成離散數(shù)據(jù)的方法　418
12．2．1　判別器直接獲取生成器的輸出　418
12．2．2　Gumbel-softmax　420
12．3　強化學習簡述　422
12．3．1　強化學習算法　423
12．3．2　Policy Gradient　424
12．3．3　GAN+RL 作用于文本生成　428
12．3　SeqGAN　429
12．3．1　SeqGAN 結(jié)構(gòu)與算法　429
12．3．2　Highway Network　432
12．3．3　SeqGAM 生成器與rollout結(jié)構(gòu)的實現(xiàn)　434
12．3．4　SeqGAN 中目標LSTM 與判別器的實現(xiàn)　445
12．3．5　SeqGAN 中生成器與判別器預訓練　453
12．3．6　SeqGAN 對抗訓練　459
12．4　MaskGAN　461
12．4．1　MaskGAN 結(jié)構(gòu)與算法　461
12．4．2　TensorFlow 實現(xiàn)MaskGAN 的生成器與判別器　465
12．4．3　TensorFlow 實現(xiàn)MaskGAN 的Actor-Critic 與目標函數(shù)　472
12．4．4　TensorFlow 實現(xiàn)MaskGAN 的結(jié)構(gòu)與訓練邏輯　476
12．5　小結(jié)　480