TensorFlow技術(shù)解析與實(shí)戰(zhàn)

第一篇　基礎(chǔ)篇

第1章　人工智能概述 2
1.1　什么是人工智能 2
1.2　什么是深度學(xué)習(xí) 5
1.3　深度學(xué)習(xí)的入門方法 7
1.4　什么是TensorFlow 11
1.5　為什么要學(xué)TensorFlow 12
1.5.1　TensorFlow的特性 14
1.5.2　使用TensorFlow的公司 15
1.5.3　TensorFlow的發(fā)展 16
1.6　機(jī)器學(xué)習(xí)的相關(guān)賽事 16
1.6.1　ImageNet的ILSVRC 17
1.6.2　Kaggle 18
1.6.3　天池大數(shù)據(jù)競(jìng)賽 19
1.7　國(guó)內(nèi)的人工智能公司 20
1.8　小結(jié) 22
第2章　TensorFlow環(huán)境的準(zhǔn)備 23
2.1　下載TensorFlow 1.1.0 23
2.2　基于pip的安裝 23
2.2.1　Mac OS環(huán)境準(zhǔn)備 24
2.2.2　Ubuntu/Linux環(huán)境準(zhǔn)備 25
2.2.3　Windows環(huán)境準(zhǔn)備 25
2.3　基于Java的安裝 28
2.4　從源代碼安裝 29
2.5　依賴的其他模塊 30
2.5.1　numpy 30
2.5.2　matplotlib 31
2.5.3　jupyter 31
2.5.4　scikit-image 32
2.5.5　librosa 32
2.5.6　nltk 32
2.5.7　keras 33
2.5.8　tflearn 33
2.6　小結(jié) 33
第3章　可視化TensorFlow 34
3.1　PlayGround 34
3.1.1　數(shù)據(jù) 35
3.1.2　特征 36
3.1.3　隱藏層 36
3.1.4　輸出 37
3.2　TensorBoard 39
3.2.1　SCALARS面板 40
3.2.2　IMAGES面板 41
3.2.3　AUDIO面板 42
3.2.4　GRAPHS面板 42
3.2.5　DISTRIBUTIONS面板 43
3.2.6　HISTOGRAMS面板 43
3.2.7　EMBEDDINGS面板 44
3.3　可視化的例子 44
3.3.1　降維分析 44
3.3.2　嵌入投影儀 48
3.4　小結(jié) 51
第4章　TensorFlow基礎(chǔ)知識(shí) 52
4.1　系統(tǒng)架構(gòu) 52
4.2　設(shè)計(jì)理念 53
4.3　編程模型 54
4.3.1　邊 56
4.3.2　節(jié)點(diǎn) 57
4.3.3　其他概念 57
4.4　常用API 60
4.4.1　圖、操作和張量 60
4.4.2　可視化 61
4.5　變量作用域 62
4.5.1　variable_scope示例 62
4.5.2　name_scope示例 64
4.6　批標(biāo)準(zhǔn)化 64
4.6.1　方法 65
4.6.2　優(yōu)點(diǎn) 65
4.6.3　示例 65
4.7　神經(jīng)元函數(shù)及優(yōu)化方法 66
4.7.1　激活函數(shù) 66
4.7.2　卷積函數(shù) 69
4.7.3　池化函數(shù) 72
4.7.4　分類函數(shù) 73
4.7.5　優(yōu)化方法 74
4.8　模型的存儲(chǔ)與加載 79
4.8.1　模型的存儲(chǔ)與加載 79
4.8.2　圖的存儲(chǔ)與加載 82
4.9　隊(duì)列和線程 82
4.9.1　隊(duì)列 82
4.9.2　隊(duì)列管理器 85
4.9.3　線程和協(xié)調(diào)器 86
4.10　加載數(shù)據(jù) 87
4.10.1　預(yù)加載數(shù)據(jù) 87
4.10.2　填充數(shù)據(jù) 87
4.10.3　從文件讀取數(shù)據(jù) 88
4.11　實(shí)現(xiàn)一個(gè)自定義操作 92
4.11.1　步驟 92
4.11.2　最佳實(shí)踐 93
4.12　小結(jié) 101
第5章　TensorFlow源代碼解析 102
5.1　TensorFlow的目錄結(jié)構(gòu) 102
5.1.1　contirb 103
5.1.2　core 104
5.1.3　examples 105
5.1.4　g3doc 105
5.1.5　python 105
5.1.6　tensorboard 105
5.2　TensorFlow源代碼的學(xué)習(xí)方法 106
5.3　小結(jié) 108
第6章　神經(jīng)網(wǎng)絡(luò)的發(fā)展及其TensorFlow實(shí)現(xiàn) 109
6.1　卷積神經(jīng)網(wǎng)絡(luò) 109
6.2　卷積神經(jīng)網(wǎng)絡(luò)發(fā)展 110
6.2.1　網(wǎng)絡(luò)加深 111
6.2.2　增強(qiáng)卷積層的功能 115
6.2.3　從分類任務(wù)到檢測(cè)任務(wù) 120
6.2.4　增加新的功能模塊 121
6.3　MNIST的AlexNet實(shí)現(xiàn) 121
6.3.1　加載數(shù)據(jù) 121
6.3.2　構(gòu)建網(wǎng)絡(luò)模型 122
6.3.3　訓(xùn)練模型和評(píng)估模型 124
6.4　循環(huán)神經(jīng)網(wǎng)絡(luò) 125
6.5　循環(huán)神經(jīng)網(wǎng)絡(luò)發(fā)展 126
6.5.1　增強(qiáng)隱藏層的功能 127
6.5.2　雙向化及加深網(wǎng)絡(luò) 129
6.6　TensorFlow Model Zoo 131
6.7　其他研究進(jìn)展 131
6.7.1　強(qiáng)化學(xué)習(xí) 132
6.7.2　深度森林 132
6.7.3　深度學(xué)習(xí)與藝術(shù) 132
6.8　小結(jié) 133
第7章　TensorFlow的高級(jí)框架 134
7.1　TFLearn 134
7.1.1　加載數(shù)據(jù) 134
7.1.2　構(gòu)建網(wǎng)絡(luò)模型 135
7.1.3　訓(xùn)練模型 135
7.2　Keras 135
7.2.1　Keras的優(yōu)點(diǎn) 136
7.2.2　Keras的模型 136
7.2.3　Keras的使用 137
7.3　小結(jié) 141

第二篇　實(shí)戰(zhàn)篇

第8章　第一個(gè)TensorFlow程序 144
8.1　TensorFlow的運(yùn)行方式 144
8.1.1　生成及加載數(shù)據(jù) 144
8.1.2　構(gòu)建網(wǎng)絡(luò)模型 145
8.1.3　訓(xùn)練模型 145
8.2　超參數(shù)的設(shè)定 146
8.3　小結(jié) 147
第9章　TensorFlow在MNIST中的應(yīng)用 148
9.1　MNIST數(shù)據(jù)集簡(jiǎn)介 148
9.1.1　訓(xùn)練集的標(biāo)記文件 148
9.1.2　訓(xùn)練集的圖片文件 149
9.1.3　測(cè)試集的標(biāo)記文件 149
9.1.4　測(cè)試集的圖片文件 150
9.2　MNIST的分類問題 150
9.2.1　加載數(shù)據(jù) 150
9.2.2　構(gòu)建回歸模型 151
9.2.3　訓(xùn)練模型 151
9.2.4　評(píng)估模型 152
9.3　訓(xùn)練過程的可視化 152
9.4　MNIST的卷積神經(jīng)網(wǎng)絡(luò) 156
9.4.1　加載數(shù)據(jù) 157
9.4.2　構(gòu)建模型 157
9.4.3　訓(xùn)練模型和評(píng)估模型 159
9.5　MNIST的循環(huán)神經(jīng)網(wǎng)絡(luò) 161
9.5.1　加載數(shù)據(jù) 161
9.5.2　構(gòu)建模型 161
9.5.3 訓(xùn)練數(shù)據(jù)及評(píng)估模型 163
9.6　MNIST的無監(jiān)督學(xué)習(xí) 164
9.6.1　自編碼網(wǎng)絡(luò) 164
9.6.2　TensorFlow的自編碼網(wǎng)絡(luò)實(shí)現(xiàn) 165
9.7　小結(jié) 169
第10章　人臉識(shí)別 170
10.1　人臉識(shí)別簡(jiǎn)介 170
10.2　人臉識(shí)別的技術(shù)流程 171
10.2.1　人臉圖像采集及檢測(cè) 171
10.2.2　人臉圖像預(yù)處理 171
10.2.3　人臉圖像特征提取 171
10.2.4　人臉圖像匹配與識(shí)別 172
10.3　人臉識(shí)別的分類 172
10.3.1　人臉檢測(cè) 172
10.3.2　人臉關(guān)鍵點(diǎn)檢測(cè) 173
10.3.3　人臉驗(yàn)證 174
10.3.4　人臉屬性檢測(cè) 174
10.4　人臉檢測(cè) 175
10.4.1　LFW數(shù)據(jù)集 175
10.4.2　數(shù)據(jù)預(yù)處理 175
10.4.3　進(jìn)行檢測(cè) 176
10.5　性別和年齡識(shí)別 178
10.5.1　數(shù)據(jù)預(yù)處理 179
10.5.2　構(gòu)建模型 181
10.5.3　訓(xùn)練模型 182
10.5.4　驗(yàn)證模型 184
10.6　小結(jié) 185
第11章　自然語言處理 186
11.1　模型的選擇 186
11.2　英文數(shù)字語音識(shí)別 187
11.2.1　定義輸入數(shù)據(jù)并預(yù)處理數(shù)據(jù) 188
11.2.2　定義網(wǎng)絡(luò)模型 188
11.2.3　訓(xùn)練模型 188
11.2.4　預(yù)測(cè)模型 189
11.3　智能聊天機(jī)器人 189
11.3.1　原理 190
11.3.2　最佳實(shí)踐 191
11.4　小結(jié) 200
第12章　圖像與語音的結(jié)合 201
12.1　看圖說話模型 201
12.1.1　原理 202
12.1.2　最佳實(shí)踐 203
12.2　小結(jié) 205
第13章　生成式對(duì)抗網(wǎng)絡(luò) 206
13.1　生成式對(duì)抗網(wǎng)絡(luò)的原理 206
13.2　生成式對(duì)抗網(wǎng)絡(luò)的應(yīng)用 207
13.3　生成式對(duì)抗網(wǎng)絡(luò)的實(shí)現(xiàn) 208
13.4　生成式對(duì)抗網(wǎng)絡(luò)的改進(jìn) 214
13.5　小結(jié) 214

第三篇　提高篇

第14章　分布式TensorFlow 216
14.1　分布式原理 216
14.1.1　單機(jī)多卡和分布式 216
14.1.2　分布式部署方式 217
14.2　分布式架構(gòu) 218
14.2.1　客戶端、主節(jié)點(diǎn)和工作節(jié)點(diǎn)的關(guān)系 218
14.2.2　客戶端、主節(jié)點(diǎn)和工作節(jié)點(diǎn)的交互過程 220
14.3　分布式模式 221
14.3.1　數(shù)據(jù)并行 221
14.3.2　同步更新和異步更新 222
14.3.3　模型并行 224
14.4　分布式API 225
14.5　分布式訓(xùn)練代碼框架 226
14.6　分布式最佳實(shí)踐 227
14.7　小結(jié) 235
第15章　TensorFlow線性代數(shù)編譯框架XLA 236
15.1　XLA的優(yōu)勢(shì) 236
15.2　XLA的工作原理 237
15.3　JIT編譯方式 238
15.3.1　打開JIT編譯 238
15.3.2　將操作符放在XLA設(shè)備上 238
15.4　JIT編譯在MNIST上的實(shí)現(xiàn) 239
15.5　小結(jié) 240
第16章　TensorFlow Debugger 241
16.1　Debugger的使用示例 241
16.2　遠(yuǎn)程調(diào)試方法 245
16.3　小結(jié) 245
第17章　TensorFlow和Kubernetes結(jié)合 246
17.1　為什么需要Kubernetes 246
17.2　分布式TensorFlow在Kubernetes中的運(yùn)行 247
17.2.1　部署及運(yùn)行 247
17.2.2　其他應(yīng)用 253
17.3　小結(jié) 254
第18章　TensorFlowOnSpark 255
18.1　TensorFlowOnSpark的架構(gòu) 255
18.2　TensorFlowOnSpark在MNIST上的實(shí)踐 257
18.3　小結(jié) 261
第19章　TensorFlow移動(dòng)端應(yīng)用 262
19.1　移動(dòng)端應(yīng)用原理 262
19.1.1　量化 263
19.1.2　優(yōu)化矩陣乘法運(yùn)算 266
19.2　iOS系統(tǒng)實(shí)踐 266
19.2.1　環(huán)境準(zhǔn)備 266
19.2.2　編譯演示程序并運(yùn)行 267
19.2.3　自定義模型的編譯及運(yùn)行 269
19.3　Android系統(tǒng)實(shí)踐 273
19.3.1　環(huán)境準(zhǔn)備 274
19.3.2　編譯演示程序并運(yùn)行 275
19.3.3　自定義模型的編譯及運(yùn)行 277
19.4　樹莓派實(shí)踐 278
19.5　小結(jié) 278
第20章　TensorFlow的其他特性 279
20.1　TensorFlow Serving 279
20.2　TensorFlow Flod 280
20.3　TensorFlow計(jì)算加速 281
20.3.1　CPU加速 281
20.3.2　TPU加速和FPGA加速 282
20.4　小結(jié) 283
第21章　機(jī)器學(xué)習(xí)的評(píng)測(cè)體系 284
21.1　人臉識(shí)別的性能指標(biāo) 284
21.2　聊天機(jī)器人的性能指標(biāo) 284
21.3　機(jī)器翻譯的評(píng)價(jià)方法 286
21.3.1　BLEU 286
21.3.2　METEOR 287
21.4　常用的通用評(píng)價(jià)指標(biāo) 287
21.4.1　ROC和AUC 288
21.4.2　AP和mAP 288
21.5　小結(jié) 288
附錄A　公開數(shù)據(jù)集 289
附錄B　項(xiàng)目管理經(jīng)驗(yàn)小談 292