深度學(xué)習(xí)

第1章引言1
11本書面向的讀者7
12深度學(xué)習(xí)的歷史趨勢8
121神經(jīng)網(wǎng)絡(luò)的眾多名稱和命運(yùn)變遷8
122與日俱增的數(shù)據(jù)量12
123與日俱增的模型規(guī)模13
124與日俱增的精度、復(fù)雜度和對現(xiàn)實世界的沖擊15
第1部分應(yīng)用數(shù)學(xué)與機(jī)器學(xué)習(xí)基礎(chǔ)
第2章線性代數(shù)19
21標(biāo)量、向量、矩陣和張量19
22矩陣和向量相乘21
23單位矩陣和逆矩陣22
24線性相關(guān)和生成子空間23
25范數(shù)24
26特殊類型的矩陣和向量25
27特征分解26
28奇異值分解28
29Moore-Penrose偽逆28
210跡運(yùn)算29
211行列式30
212實例：主成分分析30
第3章概率與信息論34
31為什么要使用概率34
32隨機(jī)變量35
33概率分布36
331離散型變量和概率質(zhì)量函數(shù)36
332連續(xù)型變量和概率密度函數(shù)36
34邊緣概率37
35條件概率37
36條件概率的鏈?zhǔn)椒▌t38
37獨立性和條件獨立性38
38期望、方差和協(xié)方差38
39常用概率分布39
391Bernoulli分布40
392Multinoulli分布40
393高斯分布40
394指數(shù)分布和Laplace分布41
395Dirac分布和經(jīng)驗分布42
396分布的混合42
310常用函數(shù)的有用性質(zhì)43
311貝葉斯規(guī)則45
312連續(xù)型變量的技術(shù)細(xì)節(jié)45
313信息論47
314結(jié)構(gòu)化概率模型49
第4章數(shù)值計算52
41上溢和下溢52
42病態(tài)條件53
43基于梯度的優(yōu)化方法53
431梯度之上：Jacobian和Hessian矩陣56
44約束優(yōu)化60
45實例：線性最小二乘61
第5章機(jī)器學(xué)習(xí)基礎(chǔ)63
51學(xué)習(xí)算法63
511任務(wù)T63
512性能度量P66
513經(jīng)驗E66
514示例：線性回歸68
52容量、過擬合和欠擬合70
521沒有免費午餐定理73
522正則化74
53超參數(shù)和驗證集76
531交叉驗證76
54估計、偏差和方差77
541點估計77
542偏差78
543方差和標(biāo)準(zhǔn)差80
544權(quán)衡偏差和方差以最小化均方誤差81
545一致性82
55最大似然估計82
551條件對數(shù)似然和均方誤差84
552最大似然的性質(zhì)84
56貝葉斯統(tǒng)計85
561最大后驗(MAP)估計87
57監(jiān)督學(xué)習(xí)算法88
571概率監(jiān)督學(xué)習(xí)88
572支持向量機(jī)88
573其他簡單的監(jiān)督學(xué)習(xí)算法90
58無監(jiān)督學(xué)習(xí)算法91
581主成分分析92
582k-均值聚類94
59隨機(jī)梯度下降94
510構(gòu)建機(jī)器學(xué)習(xí)算法96
511促使深度學(xué)習(xí)發(fā)展的挑戰(zhàn)96
5111維數(shù)災(zāi)難97
5112局部不變性和平滑正則化97
5113流形學(xué)習(xí)99
第2部分深度網(wǎng)絡(luò)：現(xiàn)代實踐
第6章深度前饋網(wǎng)絡(luò)105
61實例：學(xué)習(xí)XOR107
62基于梯度的學(xué)習(xí)110
621代價函數(shù)111
622輸出單元113
63隱藏單元119
631整流線性單元及其擴(kuò)展120
632logisticsigmoid與雙曲正切函數(shù)121
633其他隱藏單元122
64架構(gòu)設(shè)計123
641萬能近似性質(zhì)和深度123
642其他架構(gòu)上的考慮126
65反向傳播和其他的微分算法126
651計算圖127
652微積分中的鏈?zhǔn)椒▌t128
653遞歸地使用鏈?zhǔn)椒▌t來實現(xiàn)反向傳播128
654全連接MLP中的反向傳播計算131
655符號到符號的導(dǎo)數(shù)131
656一般化的反向傳播133
657實例：用于MLP訓(xùn)練的反向傳播135
658復(fù)雜化137
659深度學(xué)習(xí)界以外的微分137
6510高階微分138
66歷史小記139
第7章深度學(xué)習(xí)中的正則化141
71參數(shù)范數(shù)懲罰142
711L2參數(shù)正則化142
712L1正則化144
72作為約束的范數(shù)懲罰146
73正則化和欠約束問題147
74數(shù)據(jù)集增強(qiáng)148
75噪聲魯棒性149
751向輸出目標(biāo)注入噪聲150
76半監(jiān)督學(xué)習(xí)150
77多任務(wù)學(xué)習(xí)150
78提前終止151
79參數(shù)綁定和參數(shù)共享156
791卷積神經(jīng)網(wǎng)絡(luò)156
710稀疏表示157
711Bagging和其他集成方法158
712Dropout159
713對抗訓(xùn)練165
714切面距離、正切傳播和流形正切分類器167
第8章深度模型中的優(yōu)化169
81學(xué)習(xí)和純優(yōu)化有什么不同169
811經(jīng)驗風(fēng)險最小化169
812代理損失函數(shù)和提前終止170
813批量算法和小批量算法170
82神經(jīng)網(wǎng)絡(luò)優(yōu)化中的挑戰(zhàn)173
821病態(tài)173
822局部極小值174
823高原、鞍點和其他平坦區(qū)域175
824懸崖和梯度爆炸177
825長期依賴177
826非精確梯度178
827局部和全局結(jié)構(gòu)間的弱對應(yīng)178
828優(yōu)化的理論限制179
83基本算法180
831隨機(jī)梯度下降180
832動量181
833Nesterov動量183
84參數(shù)初始化策略184
85自適應(yīng)學(xué)習(xí)率算法187
851AdaGrad187
852RMSProp188
853Adam189
854選擇正確的優(yōu)化算法190
86二階近似方法190
861牛頓法190
862共軛梯度191
863BFGS193
87優(yōu)化策略和元算法194
871批標(biāo)準(zhǔn)化194
872坐標(biāo)下降196
873Polyak平均197
874監(jiān)督預(yù)訓(xùn)練197
875設(shè)計有助于優(yōu)化的模型199
876延拓法和課程學(xué)習(xí)199
第9章卷積網(wǎng)絡(luò)201
91卷積運(yùn)算201
92動機(jī)203
93池化207
94卷積與池化作為一種無限強(qiáng)的先驗210
95基本卷積函數(shù)的變體211
96結(jié)構(gòu)化輸出218
97數(shù)據(jù)類型219
98高效的卷積算法220
99隨機(jī)或無監(jiān)督的特征220
910卷積網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ)221
911卷積網(wǎng)絡(luò)與深度學(xué)習(xí)的歷史226
第10章序列建模：循環(huán)和遞歸網(wǎng)絡(luò)227
101展開計算圖228
102循環(huán)神經(jīng)網(wǎng)絡(luò)230
1021導(dǎo)師驅(qū)動過程和輸出循環(huán)網(wǎng)絡(luò)232
1022計算循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度233
1023作為有向圖模型的循環(huán)網(wǎng)絡(luò)235
1024基于上下文的RNN序列建模237
103雙向RNN239
104基于編碼-解碼的序列到序列架構(gòu)240
105深度循環(huán)網(wǎng)絡(luò)242
106遞歸神經(jīng)網(wǎng)絡(luò)243
107長期依賴的挑戰(zhàn)244
108回聲狀態(tài)網(wǎng)絡(luò)245
109滲漏單元和其他多時間尺度的策略247
1091時間維度的跳躍連接247
1092滲漏單元和一系列不同時間尺度247
1093刪除連接248
1010長短期記憶和其他門控RNN248
10101LSTM248
10102其他門控RNN250
1011優(yōu)化長期依賴251
10111截斷梯度251
10112引導(dǎo)信息流的正則化252
1012外顯記憶253
第11章實踐方法論256
111性能度量256
112默認(rèn)的基準(zhǔn)模型258
113決定是否收集更多數(shù)據(jù)259
114選擇超參數(shù)259
1141手動調(diào)整超參數(shù)259
1142自動超參數(shù)優(yōu)化算法262
1143網(wǎng)格搜索262
1144隨機(jī)搜索263
1145基于模型的超參數(shù)優(yōu)化264
115調(diào)試策略264
116示例：多位數(shù)字識別267
第12章應(yīng)用269
121大規(guī)模深度學(xué)習(xí)269
1211快速的CPU實現(xiàn)269
1212GPU實現(xiàn)269
1213大規(guī)模的分布式實現(xiàn)271
1214模型壓縮271
1215動態(tài)結(jié)構(gòu)272
1216深度網(wǎng)絡(luò)的專用硬件實現(xiàn)273
122計算機(jī)視覺274
1221預(yù)處理275
1222數(shù)據(jù)集增強(qiáng)277
123語音識別278
124自然語言處理279
1241n-gram280
1242神經(jīng)語言模型281
1243高維輸出282
1244結(jié)合n-gram和神經(jīng)語言模型286
1245神經(jīng)機(jī)器翻譯287
1246歷史展望289
125其他應(yīng)用290
1251推薦系統(tǒng)290
1252知識表示、推理和回答292
第3部分深度學(xué)習(xí)研究
第13章線性因子模型297
131概率PCA和因子分析297
132獨立成分分析298
133慢特征分析300
134稀疏編碼301
135PCA的流形解釋304
第14章自編碼器306
141欠完備自編碼器306
142正則自編碼器307
1421稀疏自編碼器307
1422去噪自編碼器309
1423懲罰導(dǎo)數(shù)作為正則309
143表示能力、層的大小和深度310
144隨機(jī)編碼器和解碼器310
145去噪自編碼器詳解311
1451得分估計312
1452歷史展望314
146使用自編碼器學(xué)習(xí)流形314
147收縮自編碼器317
148預(yù)測稀疏分解319
149自編碼器的應(yīng)用319
第15章表示學(xué)習(xí)321
151貪心逐層無監(jiān)督預(yù)訓(xùn)練322
1511何時以及為何無監(jiān)督預(yù)訓(xùn)練有效有效323
152遷移學(xué)習(xí)和領(lǐng)域自適應(yīng)326
153半監(jiān)督解釋因果關(guān)系329
154分布式表示332
155得益于深度的指數(shù)增益336
156提供發(fā)現(xiàn)潛在原因的線索337
第16章深度學(xué)習(xí)中的結(jié)構(gòu)化概率模型339
161非結(jié)構(gòu)化建模的挑戰(zhàn)339
162使用圖描述模型結(jié)構(gòu)342
1621有向模型342
1622無向模型344
1623配分函數(shù)345
1624基于能量的模型346
1625分離和d-分離347
1626在有向模型和無向模型中轉(zhuǎn)換350
1627因子圖352
163從圖模型中采樣353
164結(jié)構(gòu)化建模的優(yōu)勢353
165學(xué)習(xí)依賴關(guān)系354
166推斷和近似推斷354
167結(jié)構(gòu)化概率模型的深度學(xué)習(xí)方法355
1671實例：受限玻爾茲曼機(jī)356
第17章蒙特卡羅方法359
171采樣和蒙特卡羅方法359
1711為什么需要采樣359
1712蒙特卡羅采樣的基礎(chǔ)359
172重要采樣360
173馬爾可夫鏈蒙特卡羅方法362
174Gibbs采樣365
175不同的峰值之間的混合挑戰(zhàn)365
1751不同峰值之間通過回火來混合367
1752深度也許會有助于混合368
第18章直面配分函數(shù)369
181對數(shù)似然梯度369
182隨機(jī)最大似然和對比散度370
183偽似然375
184得分匹配和比率匹配376
185去噪得分匹配378
186噪聲對比估計378
187估計配分函數(shù)380
1871退火重要采樣382
1872橋式采樣384
第19章近似推斷385
191把推斷視作優(yōu)化問題385
192期望最大化386
193最大后驗推斷和稀疏編碼387
194變分推斷和變分學(xué)習(xí)389
1941離散型潛變量390
1942變分法394
1943連續(xù)型潛變量396
1944學(xué)習(xí)和推斷之間的相互作用397
195學(xué)成近似推斷397
1951醒眠算法398
1952學(xué)成推斷的其他形式398
第20章深度生成模型399
201玻爾茲曼機(jī)399
202受限玻爾茲曼機(jī)400
2021條件分布401
2022訓(xùn)練受限玻爾茲曼機(jī)402
203深度信念網(wǎng)絡(luò)402
204深度玻爾茲曼機(jī)404
2041有趣的性質(zhì)406
2042DBM均勻場推斷406
2043DBM的參數(shù)學(xué)習(xí)408
2044逐層預(yù)訓(xùn)練408
2045聯(lián)合訓(xùn)練深度玻爾茲曼機(jī)410
205實值數(shù)據(jù)上的玻爾茲曼機(jī)413
2051Gaussian-BernoulliRBM413
2052條件協(xié)方差的無向模型414
206卷積玻爾茲曼機(jī)417
207用于結(jié)構(gòu)化或序列輸出的玻爾茲曼機(jī)418
208其他玻爾茲曼機(jī)419
209通過隨機(jī)操作的反向傳播419
2091通過離散隨機(jī)操作的反向傳播420
2010有向生成網(wǎng)絡(luò)422
20101sigmoid信念網(wǎng)絡(luò)422
20102可微生成器網(wǎng)絡(luò)423
20103變分自編碼器425
20104生成式對抗網(wǎng)絡(luò)427
20105生成矩匹配網(wǎng)絡(luò)429
20106卷積生成網(wǎng)絡(luò)430
20107自回歸網(wǎng)絡(luò)430
20108線性自回歸網(wǎng)絡(luò)430
20109神經(jīng)自回歸網(wǎng)絡(luò)431
201010NADE432
2011從自編碼器采樣433
20111與任意去噪自編碼器相關(guān)的馬爾可夫鏈434
20112夾合與條件采樣434
20113回退訓(xùn)練過程435
2012生成隨機(jī)網(wǎng)絡(luò)435
20121判別性GSN436
2013其他生成方案436
2014評估生成模型437
2015結(jié)論438
參考文獻(xiàn)439
索引486