TensorFlow 2 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)手冊(cè)

第1章　TensorFlow快速入門 001
1.1　什么是TensorFlow 2.0 002
1.1.1　TensorFlow 2.x平臺(tái) 002
1.1.2　訓(xùn)練 003
1.1.3　模型保存 005
1.1.4　部署 005
1.2　TensorFlow 2.x提供什么 006
1.2.1　TensorFlow中的tf.keras 006
1.2.2　Eager執(zhí)行 006
1.2.3　分布式計(jì)算 007
1.2.4　TensorBoard 007
1.2.5　視覺套件（Vision Kit） 008
1.2.6　語音套件（Voice Kit） 008
1.2.7　邊緣套件（Edge TPU） 008
1.2.8　AIY套件的預(yù)訓(xùn)練模型 009
1.2.9　數(shù)據(jù)管道 009
1.3　安裝 009
1.3.1　安裝步驟 009
1.3.2　Docker安裝 010
1.3.3　無安裝 010
1.4　測試 010
總結(jié) 012

第2章　深入研究TensorFlow 013
2.1　一個(gè)簡單的機(jī)器學(xué)習(xí)應(yīng)用程序 013
2.1.1　創(chuàng)建Colab筆記本 014
2.1.2　導(dǎo)入 015
2.1.3　創(chuàng)建數(shù)據(jù) 016
2.1.4　定義神經(jīng)網(wǎng)絡(luò) 018
2.1.5　編譯模型 018
2.1.6　訓(xùn)練網(wǎng)絡(luò) 018
2.1.7　檢查訓(xùn)練結(jié)果 019
2.1.8　預(yù)測 021
2.1.9　完整源碼 022
2.2　使用TensorFlow解決二分類問題 024
2.2.1　創(chuàng)建項(xiàng)目 024
2.2.2　導(dǎo)入 024
2.2.3　掛載Google云盤 025
2.2.4　加載數(shù)據(jù) 026
2.2.5　數(shù)據(jù)處理 027
2.2.6　定義ANN 030
2.2.7　模型訓(xùn)練 032
2.2.8　完整源碼 036
總結(jié) 039

第3章　深入了解tf.keras 040
3.1　開始 040
3.2　用于模型構(gòu)建的函數(shù)式API 041
3.2.1　序列化模型 041
3.2.2　模型子類 043
3.2.3　預(yù)定義層 044
3.2.4　自定義層 044
3.3　保存模型 046
3.4　卷積神經(jīng)網(wǎng)絡(luò) 049
3.5　使用CNN做圖像分類 050
3.5.1　創(chuàng)建項(xiàng)目 051
3.5.2　圖像數(shù)據(jù) 051
3.5.3　加載數(shù)據(jù) 052
3.5.4　創(chuàng)建訓(xùn)練、測試數(shù)據(jù)集 052
3.5.5　準(zhǔn)備模型訓(xùn)練數(shù)據(jù) 053
3.5.6　模型開發(fā) 055
3.5.7　定義模型 060
3.5.8　保存模型 073
3.5.9　預(yù)測未知圖像 073
總結(jié) 075

第4章　遷移學(xué)習(xí) 076
4.1　知識(shí)遷移 076
4.2　TensorFlow Hub 077
4.2.1　預(yù)訓(xùn)練模型 078
4.2.2　模型的使用 079
4.3　ImageNet分類器 080
4.3.1　創(chuàng)建項(xiàng)目 080
4.3.2　分類器URL 080
4.3.3　創(chuàng)建模型 081
4.3.4　準(zhǔn)備圖像 082
4.3.5　加載標(biāo)簽映射 083
4.3.6　顯示預(yù)測結(jié)果 084
4.3.7　列出所有類別 085
4.3.8　結(jié)果討論 085
4.4　犬種分類器 085
4.4.1　項(xiàng)目簡介 086
4.4.2　創(chuàng)建項(xiàng)目 086
4.4.3　加載數(shù)據(jù) 086
4.4.4　設(shè)置圖像和標(biāo)簽 088
4.4.5　圖像預(yù)處理 091
4.4.6　處理圖像 091
4.4.7　關(guān)聯(lián)圖像與標(biāo)簽 092
4.4.8　創(chuàng)建數(shù)據(jù)批次 093
4.4.9　顯示圖像函數(shù) 094
4.4.10　選擇預(yù)訓(xùn)練模型 095
4.4.11　定義模型 095
4.4.12　創(chuàng)建數(shù)據(jù)集 097
4.4.13　設(shè)置TensorBoard 099
4.4.14　訓(xùn)練模型 100
4.4.15　訓(xùn)練日志 100
4.4.16　驗(yàn)證模型性能 101
4.4.17　預(yù)測測試圖像 101
4.4.18　可視化測試結(jié)果 103
4.4.19　預(yù)測未知圖像 105
4.4.20　使用小數(shù)據(jù)集訓(xùn)練 106
4.4.21　保存、加載模型 107
4.5　提交你的工作 108
4.6　進(jìn)一步工作 108
總結(jié) 109

第5章　使用神經(jīng)網(wǎng)絡(luò)處理回歸問題 110
5.1　回歸 110
5.1.1　定義 110
5.1.2　應(yīng)用 111
5.1.3　回歸問題 111
5.1.4　回歸問題的類型 111
5.2　神經(jīng)網(wǎng)絡(luò)中的回歸問題 112
5.2.1　創(chuàng)建項(xiàng)目 112
5.2.2　提取特征和標(biāo)簽 113
5.2.3　定義、訓(xùn)練模型 113
5.2.4　預(yù)測 114
5.3　分析葡萄酒質(zhì)量 114
5.3.1　創(chuàng)建項(xiàng)目 114
5.3.2　數(shù)據(jù)準(zhǔn)備 114
5.3.3　下載數(shù)據(jù) 115
5.3.4　準(zhǔn)備數(shù)據(jù)集 115
5.3.5　創(chuàng)建數(shù)據(jù)集 115
5.3.6　數(shù)據(jù)歸一化 116
5.3.7　創(chuàng)建模型 119
5.3.8　可視化評(píng)價(jià)函數(shù) 119
5.3.9　小模型 120
5.3.10　中模型 122
5.3.11　大模型 124
5.3.12　解決過擬合 126
5.3.13　結(jié)果討論 129
5.4　損失函數(shù) 130
5.4.1　均方誤差 130
5.4.2　平均絕對(duì)誤差 131
5.4.3　Huber損失 131
5.4.4　Log Cosh損失 131
5.4.5　分位數(shù)損失 131
5.5　優(yōu)化器 132
總結(jié) 132

第6章　Estimators（估算器） 134
6.1　Estimators概述 134
6.1.1　API接口 135
6.1.2　Estimators的優(yōu)點(diǎn) 135
6.1.3　Estimators的類型 136
6.1.4　基于Estimators的項(xiàng)目開發(fā)流程 137
6.2　設(shè)置Estimators 139
6.3　用于分類的DNN分類器 139
6.3.1　加載數(shù)據(jù) 140
6.3.2　準(zhǔn)備數(shù)據(jù) 140
6.3.3　Estimators輸入函數(shù) 141
6.3.4　創(chuàng)建Estimators實(shí)例 142
6.3.5　模型訓(xùn)練 142
6.3.6　模型評(píng)價(jià) 143
6.3.7　預(yù)測未知數(shù)據(jù) 144
6.3.8　實(shí)驗(yàn)不同的ANN結(jié)構(gòu) 144
6.3.9　項(xiàng)目源碼 145
6.4　用于回歸的LinearRegressor 147
6.4.1　項(xiàng)目描述 147
6.4.2　創(chuàng)建項(xiàng)目 147
6.4.3　加載數(shù)據(jù) 148
6.4.4　特征選擇 148
6.4.5　數(shù)據(jù)清洗 149
6.4.6　創(chuàng)建數(shù)據(jù)集 151
6.4.7　建立特征列 152
6.4.8　定義輸入函數(shù) 154
6.4.9　創(chuàng)建Estimators實(shí)例對(duì)象 154
6.4.10　模型訓(xùn)練 155
6.4.11　模型評(píng)估 155
6.4.12　項(xiàng)目源碼 156
6.5　自定義Estimators 158
6.5.1　創(chuàng)建項(xiàng)目 159
6.5.2　加載數(shù)據(jù) 159
6.5.3　創(chuàng)建數(shù)據(jù)集 159
6.5.4　定義模型 159
6.5.5　定義輸入函數(shù) 160
6.5.6　將模型轉(zhuǎn)換為Estimator 160
6.5.7　模型訓(xùn)練 161
6.5.8　模型評(píng)價(jià) 161
6.5.9　項(xiàng)目源碼 161
6.6　為預(yù)訓(xùn)練模型定義Estimators 163
6.6.1　創(chuàng)建項(xiàng)目 163
6.6.2　導(dǎo)入VGG16 163
6.6.3　創(chuàng)建自定義模型 163
6.6.4　編譯模型 165
6.6.5　創(chuàng)建Estimator 165
6.6.6　處理數(shù)據(jù) 165
6.6.7　訓(xùn)練、評(píng)價(jià) 166
6.6.8　項(xiàng)目源碼 166
總結(jié) 167

第7章　文本生成 169
7.1　循環(huán)神經(jīng)網(wǎng)絡(luò) 170
7.1.1　樸素RNN 170
7.1.2　梯度消失和梯度爆炸 171
7.1.3　LSTM（一個(gè)特例） 171
7.2　文本生成 174
7.2.1　模型訓(xùn)練 174
7.2.2　預(yù)測 175
7.2.3　模型定義 176
7.3　生成新生兒名字 176
7.3.1　創(chuàng)建項(xiàng)目 176
7.3.2　下載文本 177
7.3.3　處理文本 177
7.3.4　定義模型 180
7.3.5　編譯 181
7.3.6　創(chuàng)建checkpoints 182
7.3.7　訓(xùn)練 182
7.3.8　預(yù)測 182
7.3.9　項(xiàng)目源碼-TextGeneration BabyNames 184
7.3.10　保存、重用模型 188
7.4　高級(jí)文本生成 188
7.4.1　創(chuàng)建項(xiàng)目 189
7.4.2　加載文本 189
7.4.3　處理數(shù)據(jù) 190
7.4.4　定義模型 191
7.4.5　創(chuàng)建checkpoints 191
7.4.6　自定義回調(diào)類 192
7.4.7　模型訓(xùn)練 193
7.4.8　結(jié)果 193
7.4.9　斷點(diǎn)續(xù)訓(xùn)練 194
7.4.10　過程觀察 195
7.4.11　項(xiàng)目源碼 196
7.5　進(jìn)一步工作 199
總結(jié) 199

第8章　語言翻譯 200
8.1　sequence-to-sequence 模型 200
8.1.1　編碼器、解碼器 201
8.1.2　Seq2seq模型的缺點(diǎn) 203
8.2　注意力模型 203
8.3　英語翻譯為西班牙語 204
8.3.1　創(chuàng)建項(xiàng)目 204
8.3.2　下載數(shù)據(jù)集 205
8.3.3　創(chuàng)建數(shù)據(jù)集 205
8.3.4　數(shù)據(jù)預(yù)處理 207
8.3.5　GloVe詞嵌入 212
8.3.6　定義編碼器 214
8.3.7　定義解碼器 215
8.3.8　注意力網(wǎng)絡(luò) 216
8.3.9　定義模型 221
8.3.10　模型訓(xùn)練 222
8.3.11　預(yù)測 222
8.3.12　項(xiàng)目源碼 229
總結(jié) 237

第9章　自然語言理解 238
9.1　Transformer簡介 238
9.2　Transformer詳解 239
9.2.1　下載原始數(shù)據(jù) 240
9.2.2　創(chuàng)建數(shù)據(jù)集 240
9.2.3　數(shù)據(jù)預(yù)處理 240
9.2.4　構(gòu)建語料庫 240
9.2.5　準(zhǔn)備訓(xùn)練集數(shù)據(jù) 243
9.2.6　Transformer模型 244
9.2.7　多頭注意力（機(jī)制） 245
9.2.8　Scaled Dot-Product 注意力模塊 248
9.2.9　編碼器結(jié)構(gòu) 249
9.2.10　編碼器 252
9.2.11　解碼器結(jié)構(gòu) 254
9.2.12　定義解碼器 257
9.2.13　Transformer模型 259
9.2.14　創(chuàng)建訓(xùn)練模型 261
9.2.15　損失函數(shù) 261
9.2.16　優(yōu)化器 262
9.2.17　編譯 262
9.2.18　訓(xùn)練 262
9.2.19　預(yù)測 263
9.2.20　測試 263
9.2.21　項(xiàng)目源碼 264
9.3　下一步是什么 276
總結(jié) 276

第10章　圖像描述 278
10.1　項(xiàng)目簡介 280
10.2　創(chuàng)建項(xiàng)目 280
10.3　下載數(shù)據(jù) 280
10.4　解析Token文件 282
10.4.1　加載數(shù)據(jù) 282
10.4.2　創(chuàng)建列表 283
10.5　加載InceptionV3模型 284
10.6　準(zhǔn)備數(shù)據(jù)集 285
10.7　提取特征 285
10.8　創(chuàng)建詞匯表 286
10.9　創(chuàng)建輸入序列 286
10.10　創(chuàng)建訓(xùn)練數(shù)據(jù)集 287
10.11　創(chuàng)建模型 288
10.12　創(chuàng)建編碼器 288
10.13　創(chuàng)建解碼器 288
10.13.1　Bahdanau注意力機(jī)制 289
10.13.2　解碼器功能 289
10.13.3　解碼器初始化 289
10.13.4　解碼器調(diào)用方法 290
10.13.5　注意力得分 290
10.13.6　注意力權(quán)重 290
10.13.7　上下文向量 291
10.13.8　解碼器實(shí)現(xiàn) 291
10.14　編碼器、解碼器實(shí)例化 294
10.15　定義優(yōu)化器和損失函數(shù) 294
10.16　創(chuàng)建checkpoints 296
10.17　訓(xùn)練函數(shù) 297
10.18　模型訓(xùn)練 298
10.19　模型預(yù)測 298
10.20　項(xiàng)目源碼 301
總結(jié) 310

第11章　時(shí)間序列預(yù)測 311
11.1　時(shí)間序列預(yù)測簡介 311
11.1.1　什么是時(shí)間序列預(yù)測 311
11.1.2　預(yù)測中的問題 312
11.1.3　時(shí)間序列組成 312
11.1.4　單變量與多變量 312
11.2　單變量時(shí)間序列分析 313
11.2.1　創(chuàng)建項(xiàng)目 313
11.2.2　準(zhǔn)備數(shù)據(jù) 313
11.2.3　創(chuàng)建訓(xùn)練集和測試集 316
11.2.4　創(chuàng)建輸入張量 319
11.2.5　構(gòu)建模型 320
11.2.6　編譯和訓(xùn)練 320
11.2.7　評(píng)估 320
11.2.8　預(yù)測下一個(gè)數(shù)據(jù)點(diǎn) 322
11.2.9　預(yù)測數(shù)據(jù)點(diǎn)區(qū)間 323
11.2.10　項(xiàng)目源碼 325
11.3　多變量時(shí)間序列分析 330
11.3.1　創(chuàng)建項(xiàng)目 330
11.3.2　準(zhǔn)備數(shù)據(jù) 331
11.3.3　檢查平穩(wěn)性 331
11.3.4　探索數(shù)據(jù) 332
11.3.5　準(zhǔn)備數(shù)據(jù) 333
11.3.6　創(chuàng)建模型 335
11.3.7　訓(xùn)練 335
11.3.8　評(píng)估 335
11.3.9　預(yù)測未來點(diǎn) 336
11.3.10　預(yù)測數(shù)據(jù)點(diǎn)區(qū)間 337
11.3.11　項(xiàng)目源碼 339
總結(jié) 343

第12章　風(fēng)格遷移 344
12.1　快速風(fēng)格遷移 345
12.1.1　創(chuàng)建項(xiàng)目 345
12.1.2　下載圖像 345
12.1.3　準(zhǔn)備模型輸入圖像 347
12.1.4　執(zhí)行風(fēng)格遷移 348
12.1.5　顯示輸出 348
12.1.6　更多結(jié)果 348
12.1.7　項(xiàng)目源碼 350
12.2　自定義風(fēng)格遷移 351
12.2.1　VGG16結(jié)構(gòu) 352
12.2.2　創(chuàng)建項(xiàng)目 352
12.2.3　下載圖像 353
12.2.4　顯示圖像 354
12.2.5　圖像預(yù)處理 354
12.2.6　構(gòu)建模型 355
12.2.7　內(nèi)容損失 357
12.2.8　風(fēng)格損失 357
12.2.9　全變分損失 357
12.2.10　計(jì)算內(nèi)容和風(fēng)格損失 358
12.2.11　Evaluator類 359
12.2.12　生成輸出圖像 359
12.2.13　顯示圖像 360
12.2.14　項(xiàng)目源碼 361
總結(jié) 365

第13章　圖像生成 366
13.1　GAN（生成對(duì)抗網(wǎng)絡(luò)） 366
13.2　GAN如何工作 366
13.3　生成器 367
13.4　判別器 367
13.5　數(shù)學(xué)公式 368
13.6　數(shù)字生成 369
13.6.1　創(chuàng)建項(xiàng)目 369
13.6.2　加載數(shù)據(jù)集 369
13.6.3　準(zhǔn)備數(shù)據(jù)集 370
13.6.4　定義生成器模型 370
13.6.5　測試生成器 372
13.6.6　定義判別器模型 373
13.6.7　測試判別器 374
13.6.8　定義損失函數(shù) 375
13.6.9　定義新訓(xùn)練函數(shù) 376
13.6.10　項(xiàng)目源碼 380
13.7　字母生成 385
13.7.1　下載數(shù)據(jù) 385
13.7.2　創(chuàng)建單字母數(shù)據(jù)集 385
13.7.3　輸出結(jié)果 386
13.7.4　項(xiàng)目源碼 387
13.8　印刷體到手寫體 392
13.9　生成彩色卡通圖像 392
13.9.1　下載數(shù)據(jù)集 392
13.9.2　創(chuàng)建數(shù)據(jù)集 392
13.9.3　顯示圖像 393
13.9.4　輸出結(jié)果 394
13.9.5　項(xiàng)目源碼 394
總結(jié) 400

第14章　圖像轉(zhuǎn)換 401
14.1　自動(dòng)編碼器 401
14.2　色彩空間 402
14.3　網(wǎng)絡(luò)配置 402
14.3.1　Vanilla模型 403
14.3.2　Merged模型 403
14.3.3　使用預(yù)訓(xùn)練的Merged模型 403
14.4　自動(dòng)編碼器 404
14.4.1　加載數(shù)據(jù) 405
14.4.2　創(chuàng)建訓(xùn)練、測試數(shù)據(jù)集 406
14.4.3　準(zhǔn)備訓(xùn)練數(shù)據(jù) 406
14.4.4　定義模型 407
14.4.5　模型訓(xùn)練 410
14.4.6　測試 410
14.4.7　未知圖像預(yù)測 412
14.4.8　項(xiàng)目源碼 413
14.5　編碼器的預(yù)訓(xùn)練模型 418
14.5.1　項(xiàng)目簡介 418
14.5.2　定義模型 418
14.5.3　提取特征 418
14.5.4　定義網(wǎng)絡(luò) 419
14.5.5　模型訓(xùn)練 420
14.5.6　預(yù)測 421
14.5.7　未知圖像預(yù)測 421
14.5.8　項(xiàng)目源碼 422
總結(jié) 426