深度學習基礎教程

譯者序
原書前言
第 1章　為什么進行深度學習 // 1
1.1　什么是人工智能和深度學習 // 1
1.2　深度學習的歷史及其興起 // 2
1.3　為什么進行深度學習 // 7
1.3.1　相比于傳統(tǒng)淺層方法的優(yōu)勢 // 7
1.3.2　深度學習的影響 //8
1.4　深層架構的動機 // 9
1.4.1　神經(jīng)的觀點 // 10
1.4.2　特征表示的觀點 // 10
1.5　應用 //14
1.5.1　盈利性應用 // 14
1.5.2　成功案例 // 14
1.5.3　面向企業(yè)的深度學習 // 19
1.6　未來的潛力和挑戰(zhàn) // 20
1.7　小結 //21
第 2章　為深度學習做準備 // 22
2.1　線性代數(shù)的基礎知識 // 22
2.1.1　數(shù)據(jù)表示 // 22
2.1.2　數(shù)據(jù)操作 // 23
2.1.3　矩陣屬性 // 24
2.2　使用GPU進行深度學習 // 24
2.2.1　深度學習硬件指南 // 26
2.3　深度學習軟件框架 // 27
2.3.1　TensorFlow // 27
2.3.2　Caffe // 27
2.3.3　MXNet // 28
2.3.4　Torch // 28
2.3.5　Theano // 28
2.3.6　CNTK // 29
2.3.7　Keras // 29
2.3.8　框架比較 // 29
2.4　基本亞馬遜網(wǎng)絡服務的深度學習開發(fā)環(huán)境配置 // 30
2.4.1　從零開始配置 // 30
2.4.2　基于Docker的配置 // 33
2.5　小結 //34
第 3章　神經(jīng)網(wǎng)絡入門 // 35
3.1　多層感知機 // 35
3.1.1　輸入層 // 36
3.1.2　輸出層 // 36
3.1.3　隱藏層 // 36
3.1.4　激活函數(shù) // 36
3.2　如何進行網(wǎng)絡學習 // 39
3.2.1　權值初始化 // 39
3.2.2　前向傳播 // 39
3.2.3　反向傳播 // 40
3.2.4　梯度消失與爆炸 // 42
3.2.5　優(yōu)化算法 // 42
3.2.6　正則化 // 43
3.3　深度學習模型 // 43
3.3.1　卷積神經(jīng)網(wǎng)絡 // 43
3.3.2　受限玻耳茲曼機 // 47
3.3.3　循環(huán)神經(jīng)網(wǎng)絡（RNN/LSTM網(wǎng)絡）// 50
3.3.4　RNN中的單元及其展開 // 51
3.3.5　通過時間的反向傳播 // 51
3.3.6　梯度消失與 LSTM網(wǎng)絡 // 51
3.3.7　LSTM網(wǎng)絡中的單元和網(wǎng)關 // 52
3.4　應用示例 //53
3.4.1　TensorFlow設置與關鍵概念 // 53
3.4.2　手寫數(shù)字識別 // 54
3.5　小結 //57
第 4章　計算機視覺中的深度學習 // 58
4.1　卷積神經(jīng)網(wǎng)絡的起源 // 58
4.2　卷積神經(jīng)網(wǎng)絡 // 59
4.2.1　數(shù)據(jù)變換 // 61
4.2.2　網(wǎng)絡層 // 62
4.2.3　網(wǎng)絡初始化 // 65
4.2.4　正則化 // 66
4.2.5　損失函數(shù) // 67
4.2.6　模型可視化 // 68
4.2.7　手寫數(shù)字分類示例 // 69
4.3　微調卷積神經(jīng)網(wǎng)絡 // 71
4.4　主流的卷積神經(jīng)網(wǎng)絡架構 // 72
4.4.1　AlexNet // 72
4.4.2　VGG // 72
4.4.3　GoogLeNet // 73
4.4.4　ResNet // 73
4.5　小結 //74
第 5章　自然語言處理中的向量表示 // 75
5.1　傳統(tǒng)的自然語言處理 // 75
5.1.1　BoW // 75
5.1.2　帶權的 tf-idf // 76
5.2　基于深度學習的自然語言處理 // 77
5.2.1　動機及分散式表示法 // 77
5.2.2　詞嵌入 // 78
5.2.3　Word2Vec // 81
5.2.4　了解 GloVe // 92
5.2.5　FastText // 92
5.3　應用 //93
5.3.1　使用示例 // 93
5.3.2　微調 // 93
5.4　小結 //94
第 6章　高級自然語言處理 // 95
6.1　面向文本的深度學習 // 95
6.1.1　神經(jīng)網(wǎng)絡的局限性 // 95
6.2　循環(huán)神經(jīng)網(wǎng)絡 // 96
6.2.1　RNN架構 // 97
6.2.2　基本的RNN模型 // 98
6.2.3　訓練RNN很難 // 98
6.3　LSTM網(wǎng)絡 //99
6.3.1　使用TensorFlow實現(xiàn)LSTM網(wǎng)絡 // 101
6.4　應用 //103
6.4.1　語言建模 // 103
6.4.2　序列標注 // 104
6.4.3　機器翻譯 // 106
6.4.4　聊天機器人 // 109
6.5　小結 //110
第 7章　多模態(tài) // 111
7.1　什么是多模態(tài)學習 // 111
7.2　多模態(tài)學習的挑戰(zhàn) // 111
7.2.1　模態(tài)表示 // 112
7.2.2　模態(tài)轉換 // 112
7.2.3　模態(tài)對齊 // 112
7.2.4　模態(tài)融合 // 113
7.2.5　協(xié)同學習 // 113
7.3　圖像標注生成 //113
7.3.1　show&tell算法 // 114
7.3.2　其他類型的方法 // 116
7.3.3　數(shù)據(jù)集 // 117
7.3.4　評估方法 // 119
7.3.5　注意力模型 // 121
7.4　視覺問答 //125
7.5　基于多源的自動駕駛 //127
7.6　小結 //130
第 8章　深度強化學習 // 131
8.1　什么是強化學習 // 131
8.1.1　問題設置 // 132
8.1.2　基于值函數(shù)學習的算法 // 132
8.1.3　基于策略搜索的算法 //134
8.1.4　基于Actor-Critic的算法 // 134
8.2　深度強化學習 // 135
8.2.1　深度Q網(wǎng)絡（DQN）// 135
8.2.2　雙DQN // 137
8.2.3　競爭DQN // 138
8.3　強化學習實現(xiàn) // 138
8.3.1　簡單的強化學習示例 // 138
8.3.2　以Q-learning為例的強化學習 // 139
8.4　小結 //141
第 9章　深度學習的技巧 // 142
9.1　處理數(shù)據(jù) //142
9.1.1　數(shù)據(jù)清理 // 142
9.1.2　數(shù)據(jù)擴充 // 142
9.1.3　數(shù)據(jù)歸一化 // 143
9.2　訓練技巧 // 143
9.2.1　權值初始化 // 143
9.2.2　優(yōu)化 // 144
9.2.3　損失函數(shù)選擇 // 146
9.2.4　防止過擬合 // 147
9.2.5　微調 // 148
9.3　模型壓縮 // 149
9.4　小結 // 152
第 10章　深度學習的發(fā)展趨勢 // 153
10.1　深度學習的最新模型 // 153
10.1.1　生成對抗網(wǎng)絡 // 153
10.1.2　Capsule網(wǎng)絡 // 154
10.2　深度學習的新應用 // 155
10.2.1　基因組學 // 155
10.2.2　醫(yī)療預測 // 157
10.2.3　臨床影像學 // 159
10.2.4　唇語 // 160
10.2.5　視覺推理 // 161
10.2.6　代碼合成 // 162
10.3　小結 // 164