圖解深度學(xué)習(xí)：可視化、交互式的人工智能指南（英文版 全彩印刷）

I　Introducing Deep Learning / 深度學(xué)習(xí)簡介　　　1
1　Biological and Machine Vision / 生物與機(jī)器視角　3
Biological　Vision / 生物視角　3
Machine　Vision / 機(jī)器視角　8
The　Neocognitron / 新認(rèn)知機(jī)　8
LeNet-5　/ 卷積神經(jīng)網(wǎng)絡(luò) LeNet-5　9
The　Traditional Machine Learning Approach / 傳統(tǒng)機(jī)器學(xué)習(xí)方法　12
ImageNet　and the ILSVRC / 大規(guī)模視覺數(shù)據(jù)庫ImageNet和視覺識別挑戰(zhàn)賽ILSVRC　13
AlexNet　/ 卷積神經(jīng)網(wǎng)絡(luò) AlexNet　14
TensorFlow　Playground/ 開源軟件庫TensorFlow　17
Quick，　Draw! / 涂鴉小游戲Quick， Draw!　19
小結(jié)　19
2　Human and Machine Language / 人機(jī)語言　21
Deep　Learning for Natural Language Processing / 自然語言處理中的深度學(xué)習(xí)　21
Deep　Learning Networks Learn Representations Automatically / 深度學(xué)習(xí)網(wǎng)絡(luò)自動學(xué)習(xí)表示　22
Natural　Language Processing / 自然語言處理　23
A　Brief History of Deep Learning for NLP/自然語言處理深度學(xué)習(xí)簡史24
Computational　Representations of Language / 語言的計(jì)算表示　25
One-Hot　Representations of Words / 單詞的獨(dú)熱表示　25
Word　Vectors / 詞向量　26
Word-Vector　Arithmetic / 詞向量算法　29
word2viz　/ 詞向量工具 word2viz　30
Localist　Versus Distributed Representations / 局部化與分布式表示32
Elements　of Natural Human Language / 自然人類語言要素　33
Google　Duplex / Google Duplex　35
Summary　/ 小結(jié)　37
3　Machine Art / 機(jī)器藝術(shù)　39
A　Boozy All-Nighter / 一個熱鬧的通宵　39
Arithmetic　on Fake Human Faces / 假人臉?biāo)惴ā?1
Style　Transfer： Converting Photos into Monet (and Vice
Versa)　/ 風(fēng)格遷移：照片與莫奈風(fēng)格間的相互轉(zhuǎn)移　44
Make　Your Own Sketches Photorealistic / 讓草圖更加真實(shí)　45
Creating　Photorealistic Images from Text / 基于文本創(chuàng)建真實(shí)圖片　45
Image　Processing Using Deep Learning / 基于深度學(xué)習(xí)的圖像處理　46
Summary　/ 小結(jié)　48
4　Game-Playing Machines / 人機(jī)博弈　49
Deep　Learning， AI， and Other Beasts / 深度學(xué)習(xí)、人工智能和其他技術(shù)49
Artificial　Intelligence / 人工智能　49
Machine　Learning / 機(jī)器學(xué)習(xí)　50
Representation　Learning / 表示學(xué)習(xí)　51
Artificial　Neural Networks / 人工神經(jīng)網(wǎng)絡(luò)　51
Deep　Learning / 深度學(xué)習(xí)　51
Machine　Vision / 機(jī)器視覺　52
Natural　Language Processing / 自然語言處理　53
Three　Categories of Machine Learning Problems / 機(jī)器學(xué)習(xí)問題的3種類型　53
Supervised　Learning / 監(jiān)督學(xué)習(xí)　53
Unsupervised　Learning / 無監(jiān)督學(xué)習(xí)　54
Reinforcement　Learning / 強(qiáng)化學(xué)習(xí)　54
Deep　Reinforcement Learning / 深度強(qiáng)化學(xué)習(xí)　56
Video　Games / 視頻游戲　57
Board　Games / 棋盤游戲　59
AlphaGo　/ AlphaGo　59
AlphaGo　Zero / AlphaGo Zero　62
AlphaZero　/ AlphaZero　65
Manipulation　of Objects / 目標(biāo)操控　67
Popular　Deep Reinforcement Learning Environments /
流行的深度強(qiáng)化學(xué)習(xí)環(huán)境　68
OpenAI　Gym / OpenAI Gym　68
DeepMind　Lab / DeepMind 實(shí)驗(yàn)室　69
Unity　ML-Agents / Unity ML-Agents　71
Three　Categories of AI / 人工智能的3種類型　71
Artificial　Narrow Intelligence / 狹義人工智能　72
Artificial　General Intelligence / 廣義人工智能　72
Artificial　Super Intelligence / 超級人工智能　72
Summary　/ 小結(jié)　72
II　Essential Theory Illustrated / 圖解深度學(xué)習(xí)基本理論　73
5　The (Code) Cart Ahead of the (Theory) Horse / 先代碼后理論　75
Prerequisites　/ 預(yù)備知識　75
Installation　/ 安裝　76
A　Shallow Network in Keras / Keras構(gòu)建淺層網(wǎng)絡(luò)　76
The　MNIST Handwritten Digits / MNIST 手寫數(shù)字　76
A　Schematic Diagram of the Network / 網(wǎng)絡(luò)示意圖　77
Loading　the Data / 加載數(shù)據(jù)　79
Reformatting　the Data / 重新格式化數(shù)據(jù)　81
Designing　a Neural Network Architecture / 設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)架構(gòu)　83
Training　a Deep Learning Model / 訓(xùn)練深度學(xué)習(xí)模型　83
Summary　/ 小結(jié)　84
6　Artificial Neurons Detecting Hot Dogs / 人工神經(jīng)元熱狗感知機(jī)85
Biological　Neuroanatomy 101 / 生物神經(jīng)元　85
The　Perceptron / 感知機(jī)　86
The　Hot Dog / Not Hot Dog Detector / 熱狗感知機(jī)/非熱狗感知機(jī)　86
The　Most Important Equation in This Book / 本書最重要的等式　90
Modern　Neurons and Activation Functions / 現(xiàn)代神經(jīng)元與激活函數(shù)　91
The　Sigmoid Neuron / Sigmoid 神經(jīng)元　92
The　Tanh Neuron / Tanh 神經(jīng)元　94
ReLU：　Rectified Linear Units / ReLU 神經(jīng)元　94
Choosing　a Neuron / 選擇神經(jīng)元　96
Summary　/ 小結(jié)　96
Key　Concepts / 核心概念　97
7　神經(jīng)網(wǎng)絡(luò)　99
The　Input Layer / 輸入層　99
Dense　Layers / 全連接層　99
A　Hot Dog-Detecting Dense Network / 熱狗感知全連接網(wǎng)絡(luò)　101
Forward　Propagation Through the First Hidden Layer /
第　一個隱藏層的正向傳播　102
Forward　Propagation Through Subsequent Layers /
其他層的正向傳播　103
The　Softmax Layer of a Fast Food-Classifying Network /
快餐分類網(wǎng)絡(luò)的Softmax層　106
Revisiting　Our Shallow Network / 回歸淺層網(wǎng)絡(luò)　108
Summary　/ 小結(jié)　109
Key　Concepts / 核心概念　110
8　Training Deep Networks / 深度網(wǎng)絡(luò)訓(xùn)練　110
Cost　Functions / 損失函數(shù)　111
Quadratic　Cost / 二次方損失函數(shù)　112
Saturated　Neurons / 神經(jīng)元飽和　112
Cross-Entropy　Cost / 交叉熵?fù)p失函數(shù)　113
Optimization：　Learning to Minimize Cost / 優(yōu)化：學(xué)習(xí)最小化損失　115
Gradient　Descent / 梯度下降　115
Learning　Rate / 學(xué)習(xí)率　117
Batch　Size and Stochastic Gradient Descent /
批量大小和隨機(jī)梯度下降　119
Escaping　the Local Minimum / 解決局部最小問題　122
Backpropagation　/ 反向傳播　124
Tuning　Hidden-Layer Count and Neuron Count /
調(diào)整隱藏層層數(shù)和神經(jīng)元數(shù)量　125
An　Intermediate Net in Keras / Keras構(gòu)建中等深度的神經(jīng)網(wǎng)絡(luò)　127
Summary　/ 小結(jié)　129
Key　Concepts / 核心概念　130
9　Improving Deep Networks / 深度網(wǎng)絡(luò)改進(jìn)　131
Weight　Initialization / 權(quán)重初始化　131
Xavier　Glorot Distributions / Xavier Glorot 分布　135
Unstable　Gradients / 不穩(wěn)定梯度　137
Vanishing　Gradients / 梯度消失　137
Exploding　Gradients / 梯度爆炸　138
Batch　Normalization / 批量歸一化　138
Model　Generalization (Avoiding Overfitting) /
模型泛化（避免過擬合）140
L1　and L2 Regularization / L1 和 L2 正則化　141
Dropout　/ Dropout　142
Data　Augmentation / 數(shù)據(jù)增強(qiáng)　145
Fancy　Optimizers / 優(yōu)化器　145
Momentum　/ 動量　145
Nesterov　Momentum / Nesterov 動量　146
AdaGrad　/ AdaGrad　146
AdaDelta　and RMSProp / AdaDelta 和 RMSProp　146
Adam　/ Adam　147
A　Deep Neural Network in Keras /
Keras構(gòu)建深度神經(jīng)網(wǎng)絡(luò)　147
Regression　/ 回歸　149
TensorBoard　/ TensorBoard　152
Summary　/ 小結(jié)　154
Key　Concepts / 核心概念　155
III　Interactive Applications of Deep
Learning　/ 深度學(xué)習(xí)的交互應(yīng)用　157
10　Machine Vision / 機(jī)器視覺　159
Convolutional　Neural Networks / 卷積神經(jīng)網(wǎng)絡(luò)　159
The　Two-Dimensional Structure of Visual Imagery /
視覺圖像二維結(jié)構(gòu)　159
Computational　Complexity / 計(jì)算復(fù)雜度　160
Convolutional　Layers / 卷積層　160
Multiple　Filters / 多個卷積核　162
A　Convolutional Example / 卷積示例　163
Convolutional　Filter Hyperparameters /卷積核的超參數(shù)　168
Pooling　Layers / 池化層　169
LeNet-5　in Keras / Keras實(shí)現(xiàn)LeNet-5　171
AlexNet　and VGGNet in Keras /
Keras實(shí)現(xiàn)AlexNet和VGGNet　176
Residual　Networks / 殘差網(wǎng)絡(luò)　179
Vanishing　Gradients： The Bête Noire of Deep CNNs /
梯度消失：深度　CNNs 最大的缺點(diǎn)　179
Residual　Connections / 殘差連接　180
ResNet　/ 殘差網(wǎng)絡(luò)　182
Applications　of Machine Vision / 機(jī)器視角的應(yīng)用　182
Object　Detection / 目標(biāo)檢測　183
Image　Segmentation / 圖像分割　186
Transfer　Learning / 遷移學(xué)習(xí)　188
Capsule　Networks / 膠囊網(wǎng)絡(luò)　192
Summary　/ 小結(jié)　193
Key　Concepts / 核心概念　193
11　Natural Language Processing /
自然語言處理　195
Preprocessing　Natural Language Data /
自然語言數(shù)據(jù)預(yù)處理　195
Tokenization　/ 標(biāo)記化　197
Converting　All Characters to Lowercase /
字符小寫轉(zhuǎn)換　199
Removing　Stop Words and Punctuation /
停用詞和符號的刪除　200
Stemming　/ 詞干提取　201
Handling　n-grams / 處理 n-grams　202
Preprocessing　the Full Corpus / 完整語料庫預(yù)處理　203
Creating　Word Embeddings with word2vec /
word2vec實(shí)現(xiàn)詞嵌入　206
The　Essential Theory Behind word2vec /
word2vec　背后的基本理論　206
Evaluating　Word Vectors / 詞向量評估　209
Running　word2vec / word2vec 的運(yùn)行　209
Plotting　Word Vectors / 詞向量的繪制　213
The　Area under the ROC Curve / ROC曲線下的面積　217
The　Confusion Matrix / 混淆矩陣　218
Calculating　the ROC AUC Metric / 計(jì)算 ROC AUC　219
Natural　Language Classification with Familiar Networks /
常見網(wǎng)絡(luò)實(shí)現(xiàn)自然語言分類　222
Loading　the IMDb Film Reviews /加載 IMDb 電影評論　222
Examining　the IMDb Data / 檢查 IMDb 數(shù)據(jù)　226
Standardizing　the Length of the Reviews /評論長度標(biāo)準(zhǔn)化　228
Dense　Network / 全連接網(wǎng)絡(luò)　229
Convolutional　Networks / 卷積網(wǎng)絡(luò)　235
Networks　Designed for Sequential Data / 序列數(shù)據(jù)的網(wǎng)絡(luò)設(shè)計(jì)　240
Recurrent　Neural Networks / 循環(huán)神經(jīng)網(wǎng)絡(luò)　240
Long　Short-Term Memory Units /
長短期記憶網(wǎng)絡(luò)架構(gòu)　244
Bidirectional　LSTMs / 雙向 LSTM　247
Stacked　Recurrent Models / 堆疊循環(huán)神經(jīng)網(wǎng)絡(luò)　248
Seq2seq　and Attention /
Seq2seq　模型和注意力機(jī)制　250
Transfer　Learning in NLP / 自然語言處理遷移學(xué)習(xí)　251
11．6　Non-sequential Architectures： The Keras Functional
API　/ 非序列架構(gòu)——Keras功能性API　251
11．7　Summary / 小結(jié)　256
11．8　Key Concepts / 核心概念　257
12　Generative Adversarial Networks /
生成式對抗網(wǎng)絡(luò)　259
Essential　GAN Theory / 生成式對抗網(wǎng)絡(luò)基本理論　259
The　Quick， Draw! Dataset /
涂鴉小游戲The　Quick， Draw!數(shù)據(jù)集　263
The　Discriminator Network / 判別器網(wǎng)絡(luò)　266
The　Generator Network / 生成器網(wǎng)絡(luò)　269
The　Adversarial Network / 對抗網(wǎng)絡(luò)　272
GAN　Training / 生成式對抗網(wǎng)絡(luò)訓(xùn)練　275
Summary　/ 小結(jié)　281
Key　Concepts / 核心概念　282
13　Deep Reinforcement Learning /深度強(qiáng)化學(xué)習(xí)　283
Essential　Theory of Reinforcement Learning /
強(qiáng)化學(xué)習(xí)基本理論　283
The　Cart-Pole Game / Cart-Pole 游戲　284
Markov　Decision Processes / 馬爾可夫決策過程　286
The　Optimal Policy / 最優(yōu)策略　288
Essential　Theory of Deep Q-Learning Networks /
深度Q學(xué)習(xí)網(wǎng)絡(luò)基本理論　290
Value　Functions / 值函數(shù)　291
Q-Value　Functions / Q 值函數(shù)　291
Estimating　an Optimal Q-Value / 估計(jì)最優(yōu) Q 值　291
Defining　a DQN Agent / 定義DQN智能體　293
Initialization　Parameters / 初始化參數(shù)　295
Building　the Agent’s Neural Network Model /
構(gòu)建智能體的神經(jīng)網(wǎng)絡(luò)模型　297
Remembering　Gameplay / 記憶游戲　298
Training　via Memory Replay / 記憶重播訓(xùn)練　298
Selecting　an Action to Take / 選擇要采取的行動　299
Saving　and Loading Model Parameters /
保存和加載模型參數(shù)　300
Interacting　with an OpenAI Gym Environment /
OpenAI　Gym環(huán)境交互　300
Hyperparameter　Optimization with SLM Lab /
SLM　Lab超參數(shù)優(yōu)化　303
Agents　Beyond DQN / DQN以外智能體　306
Policy　Gradients and the REINFORCE Algorithm /
策略梯度和強(qiáng)化算法　307
The　Actor-Critic Algorithm / Actor-Critic 算法　307
Summary　/ 小結(jié)　308
Key　Concepts / 核心概念　309
IV　You and AI / 你與人工智能　311
14　Moving Forward with Your Own Deep Learning
Projects　創(chuàng)建和推進(jìn)專屬于你的深度學(xué)習(xí)項(xiàng)目　313
Ideas　for Deep Learning Projects / 深度學(xué)習(xí)項(xiàng)目思想　313
Machine　Vision and GANs /
機(jī)器視覺和生成式對抗網(wǎng)絡(luò)　313
Natural　Language Processing / 自然語言處理　315
Deep　Reinforcement Learning / 深度強(qiáng)化學(xué)習(xí)　316
Converting　an Existing Machine Learning Project /
轉(zhuǎn)換現(xiàn)有的機(jī)器學(xué)習(xí)項(xiàng)目　316
Resources　for Further Projects / 項(xiàng)目源　317
Socially　Beneficial Projects / 社會公益項(xiàng)目　318
The　Modeling Process， Including Hyperparameter Tuning /
建模和超參數(shù)調(diào)優(yōu)　318
Automation　of Hyperparameter Search /
超參數(shù)的自動搜索　321
Deep　Learning Libraries / 深度學(xué)習(xí)庫　321
Keras　and TensorFlow / Keras 和 TensorFlow　321
PyTorch　/ PyTorch　323
MXNet，　CNTK， Caffe， and So On /
MXNet、CNTK、Caffe　等　324
Software　2．0 / 軟件2．0　324
Approaching　Artificial General Intelligence /
走進(jìn)廣義人工智能　326
Summary　/ 小結(jié)　328
V　Appendices / 附錄　331
A　Formal Neural Network Notation /
神經(jīng)網(wǎng)絡(luò)符號　333
B　Backpropagation / 反向傳播　335
C　PyTorch / PyTorch　339
PyTorch　Features / Pytorch特征　339
Autograd　System / AutoGrade 機(jī)制　339
Define-by-Run　Framework / 運(yùn)行定義框架　339
PyTorch　Versus TensorFlow /
PyTorch　與 TensorFlow 對比　340
PyTorch　in Practice / PyTorch的實(shí)踐　341
PyTorch　Installation / PyTorch 的安裝　341
The　Fundamental Units Within PyTorch /
PyTorch　的基本單位　341
Building　a Deep Neural Network in PyTorch /
PyTorch　實(shí)現(xiàn)一個深度神經(jīng)網(wǎng)絡(luò)　343