深度學(xué)習(xí)基礎(chǔ)教程

譯者序
原書(shū)前言
第 1章　為什么進(jìn)行深度學(xué)習(xí) // 1
1.1　什么是人工智能和深度學(xué)習(xí) // 1
1.2　深度學(xué)習(xí)的歷史及其興起 // 2
1.3　為什么進(jìn)行深度學(xué)習(xí) // 7
1.3.1　相比于傳統(tǒng)淺層方法的優(yōu)勢(shì) // 7
1.3.2　深度學(xué)習(xí)的影響 //8
1.4　深層架構(gòu)的動(dòng)機(jī) // 9
1.4.1　神經(jīng)的觀點(diǎn) // 10
1.4.2　特征表示的觀點(diǎn) // 10
1.5　應(yīng)用 //14
1.5.1　盈利性應(yīng)用 // 14
1.5.2　成功案例 // 14
1.5.3　面向企業(yè)的深度學(xué)習(xí) // 19
1.6　未來(lái)的潛力和挑戰(zhàn) // 20
1.7　小結(jié) //21
第 2章　為深度學(xué)習(xí)做準(zhǔn)備 // 22
2.1　線性代數(shù)的基礎(chǔ)知識(shí) // 22
2.1.1　數(shù)據(jù)表示 // 22
2.1.2　數(shù)據(jù)操作 // 23
2.1.3　矩陣屬性 // 24
2.2　使用GPU進(jìn)行深度學(xué)習(xí) // 24
2.2.1　深度學(xué)習(xí)硬件指南 // 26
2.3　深度學(xué)習(xí)軟件框架 // 27
2.3.1　TensorFlow // 27
2.3.2　Caffe // 27
2.3.3　MXNet // 28
2.3.4　Torch // 28
2.3.5　Theano // 28
2.3.6　CNTK // 29
2.3.7　Keras // 29
2.3.8　框架比較 // 29
2.4　基本亞馬遜網(wǎng)絡(luò)服務(wù)的深度學(xué)習(xí)開(kāi)發(fā)環(huán)境配置 // 30
2.4.1　從零開(kāi)始配置 // 30
2.4.2　基于Docker的配置 // 33
2.5　小結(jié) //34
第 3章　神經(jīng)網(wǎng)絡(luò)入門(mén) // 35
3.1　多層感知機(jī) // 35
3.1.1　輸入層 // 36
3.1.2　輸出層 // 36
3.1.3　隱藏層 // 36
3.1.4　激活函數(shù) // 36
3.2　如何進(jìn)行網(wǎng)絡(luò)學(xué)習(xí) // 39
3.2.1　權(quán)值初始化 // 39
3.2.2　前向傳播 // 39
3.2.3　反向傳播 // 40
3.2.4　梯度消失與爆炸 // 42
3.2.5　優(yōu)化算法 // 42
3.2.6　正則化 // 43
3.3　深度學(xué)習(xí)模型 // 43
3.3.1　卷積神經(jīng)網(wǎng)絡(luò) // 43
3.3.2　受限玻耳茲曼機(jī) // 47
3.3.3　循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN/LSTM網(wǎng)絡(luò)）// 50
3.3.4　RNN中的單元及其展開(kāi) // 51
3.3.5　通過(guò)時(shí)間的反向傳播 // 51
3.3.6　梯度消失與 LSTM網(wǎng)絡(luò) // 51
3.3.7　LSTM網(wǎng)絡(luò)中的單元和網(wǎng)關(guān) // 52
3.4　應(yīng)用示例 //53
3.4.1　TensorFlow設(shè)置與關(guān)鍵概念 // 53
3.4.2　手寫(xiě)數(shù)字識(shí)別 // 54
3.5　小結(jié) //57
第 4章　計(jì)算機(jī)視覺(jué)中的深度學(xué)習(xí) // 58
4.1　卷積神經(jīng)網(wǎng)絡(luò)的起源 // 58
4.2　卷積神經(jīng)網(wǎng)絡(luò) // 59
4.2.1　數(shù)據(jù)變換 // 61
4.2.2　網(wǎng)絡(luò)層 // 62
4.2.3　網(wǎng)絡(luò)初始化 // 65
4.2.4　正則化 // 66
4.2.5　損失函數(shù) // 67
4.2.6　模型可視化 // 68
4.2.7　手寫(xiě)數(shù)字分類示例 // 69
4.3　微調(diào)卷積神經(jīng)網(wǎng)絡(luò) // 71
4.4　主流的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu) // 72
4.4.1　AlexNet // 72
4.4.2　VGG // 72
4.4.3　GoogLeNet // 73
4.4.4　ResNet // 73
4.5　小結(jié) //74
第 5章　自然語(yǔ)言處理中的向量表示 // 75
5.1　傳統(tǒng)的自然語(yǔ)言處理 // 75
5.1.1　BoW // 75
5.1.2　帶權(quán)的 tf-idf // 76
5.2　基于深度學(xué)習(xí)的自然語(yǔ)言處理 // 77
5.2.1　動(dòng)機(jī)及分散式表示法 // 77
5.2.2　詞嵌入 // 78
5.2.3　Word2Vec // 81
5.2.4　了解 GloVe // 92
5.2.5　FastText // 92
5.3　應(yīng)用 //93
5.3.1　使用示例 // 93
5.3.2　微調(diào) // 93
5.4　小結(jié) //94
第 6章　高級(jí)自然語(yǔ)言處理 // 95
6.1　面向文本的深度學(xué)習(xí) // 95
6.1.1　神經(jīng)網(wǎng)絡(luò)的局限性 // 95
6.2　循環(huán)神經(jīng)網(wǎng)絡(luò) // 96
6.2.1　RNN架構(gòu) // 97
6.2.2　基本的RNN模型 // 98
6.2.3　訓(xùn)練RNN很難 // 98
6.3　LSTM網(wǎng)絡(luò) //99
6.3.1　使用TensorFlow實(shí)現(xiàn)LSTM網(wǎng)絡(luò) // 101
6.4　應(yīng)用 //103
6.4.1　語(yǔ)言建模 // 103
6.4.2　序列標(biāo)注 // 104
6.4.3　機(jī)器翻譯 // 106
6.4.4　聊天機(jī)器人 // 109
6.5　小結(jié) //110
第 7章　多模態(tài) // 111
7.1　什么是多模態(tài)學(xué)習(xí) // 111
7.2　多模態(tài)學(xué)習(xí)的挑戰(zhàn) // 111
7.2.1　模態(tài)表示 // 112
7.2.2　模態(tài)轉(zhuǎn)換 // 112
7.2.3　模態(tài)對(duì)齊 // 112
7.2.4　模態(tài)融合 // 113
7.2.5　協(xié)同學(xué)習(xí) // 113
7.3　圖像標(biāo)注生成 //113
7.3.1　show&tell算法 // 114
7.3.2　其他類型的方法 // 116
7.3.3　數(shù)據(jù)集 // 117
7.3.4　評(píng)估方法 // 119
7.3.5　注意力模型 // 121
7.4　視覺(jué)問(wèn)答 //125
7.5　基于多源的自動(dòng)駕駛 //127
7.6　小結(jié) //130
第 8章　深度強(qiáng)化學(xué)習(xí) // 131
8.1　什么是強(qiáng)化學(xué)習(xí) // 131
8.1.1　問(wèn)題設(shè)置 // 132
8.1.2　基于值函數(shù)學(xué)習(xí)的算法 // 132
8.1.3　基于策略搜索的算法 //134
8.1.4　基于Actor-Critic的算法 // 134
8.2　深度強(qiáng)化學(xué)習(xí) // 135
8.2.1　深度Q網(wǎng)絡(luò)（DQN）// 135
8.2.2　雙DQN // 137
8.2.3　競(jìng)爭(zhēng)DQN // 138
8.3　強(qiáng)化學(xué)習(xí)實(shí)現(xiàn) // 138
8.3.1　簡(jiǎn)單的強(qiáng)化學(xué)習(xí)示例 // 138
8.3.2　以Q-learning為例的強(qiáng)化學(xué)習(xí) // 139
8.4　小結(jié) //141
第 9章　深度學(xué)習(xí)的技巧 // 142
9.1　處理數(shù)據(jù) //142
9.1.1　數(shù)據(jù)清理 // 142
9.1.2　數(shù)據(jù)擴(kuò)充 // 142
9.1.3　數(shù)據(jù)歸一化 // 143
9.2　訓(xùn)練技巧 // 143
9.2.1　權(quán)值初始化 // 143
9.2.2　優(yōu)化 // 144
9.2.3　損失函數(shù)選擇 // 146
9.2.4　防止過(guò)擬合 // 147
9.2.5　微調(diào) // 148
9.3　模型壓縮 // 149
9.4　小結(jié) // 152
第 10章　深度學(xué)習(xí)的發(fā)展趨勢(shì) // 153
10.1　深度學(xué)習(xí)的最新模型 // 153
10.1.1　生成對(duì)抗網(wǎng)絡(luò) // 153
10.1.2　Capsule網(wǎng)絡(luò) // 154
10.2　深度學(xué)習(xí)的新應(yīng)用 // 155
10.2.1　基因組學(xué) // 155
10.2.2　醫(yī)療預(yù)測(cè) // 157
10.2.3　臨床影像學(xué) // 159
10.2.4　唇語(yǔ) // 160
10.2.5　視覺(jué)推理 // 161
10.2.6　代碼合成 // 162
10.3　小結(jié) // 164