零基礎(chǔ)入門Python深度學(xué)習(xí)

前言
第1章 深度學(xué)習(xí)入門1
1.1 什么是深度學(xué)習(xí)1
1.1.1 深度學(xué)習(xí)是一種特定類型的機(jī)器學(xué)習(xí)2
1.1.2 深度學(xué)習(xí)是數(shù)學(xué)問題3
1.1.3 深度學(xué)習(xí)是一個(gè)黑箱5
1.2 深度學(xué)習(xí)的發(fā)展6
1.3 認(rèn)識(shí)當(dāng)前的深度學(xué)習(xí)7
1.3.1 為什么是現(xiàn)在8
1.3.2 當(dāng)數(shù)據(jù)成為“燃料”8
1.3.3 深度學(xué)習(xí)的突破10
1.4 深度學(xué)習(xí)的應(yīng)用領(lǐng)域12
1.4.1 深度學(xué)習(xí)適合做什么12
1.4.2 深度學(xué)習(xí)的應(yīng)用場(chǎng)景14
1.5 如何入門深度學(xué)習(xí)15
第2章 深度學(xué)習(xí)的環(huán)境準(zhǔn)備17
2.1 選擇Python作為深度學(xué)習(xí)的編程語言17
2.2 深度學(xué)習(xí)常用框架介紹18
2.3 選擇適合自己的框架21
2.4 Python的安裝25
2.4.1 概述25
2.4.2 安裝Anaconda26
2.4.3 使用conda進(jìn)行環(huán)境管理和包管理27
2.5 Keras的安裝29
2.5.1 什么是Keras29
2.5.2 安裝TensorFlow30
2.5.3 安裝Keras31
第3章 深度學(xué)習(xí)的知識(shí)準(zhǔn)備32
3.1 概率論33
3.1.1 什么是概率33
3.1.2 概率分布35
3.1.3 信息論38
3.2 線性代數(shù)40
3.2.1 矩陣40
3.2.2 矩陣的運(yùn)算43
3.2.3 從矩陣中取值45
3.2.4 相關(guān)術(shù)語46
3.3 導(dǎo)數(shù)47
3.3.1 什么是導(dǎo)數(shù)48
3.3.2 鏈?zhǔn)椒▌t49
3.4 機(jī)器學(xué)習(xí)基礎(chǔ)50
3.4.1 監(jiān)督學(xué)習(xí)50
3.4.2 分類和回歸51
3.4.3 訓(xùn)練、驗(yàn)證和預(yù)測(cè)53
第4章 神經(jīng)網(wǎng)絡(luò)56
4.1 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)56
4.1.1 生物學(xué)中的神經(jīng)網(wǎng)絡(luò)56
4.1.2 深度學(xué)習(xí)網(wǎng)絡(luò)58
4.2 前向傳播算法60
4.2.1 神經(jīng)網(wǎng)絡(luò)的表示60
4.2.2 神經(jīng)元的計(jì)算61
4.2.3 激活函數(shù)62
4.2.4 神經(jīng)網(wǎng)絡(luò)的前向傳播64
4.3 反向傳播算法67
4.3.1 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練68
4.3.2 損失函數(shù)69
4.3.3 梯度下降71
4.3.4 神經(jīng)網(wǎng)絡(luò)的反向傳播73
4.4 更好地訓(xùn)練神經(jīng)網(wǎng)絡(luò)75
4.4.1 選擇正確的損失函數(shù)75
4.4.2 選擇通用的激活函數(shù)76
4.4.3 更合適的優(yōu)化算法76
4.4.4 選擇合適的批量77
4.4.5 參數(shù)初始化78
第5章 使用Keras構(gòu)建神經(jīng)網(wǎng)絡(luò)80
5.1 Keras中的模型81
5.2 Keras中的網(wǎng)絡(luò)層82
5.3 模型的編譯83
5.3.1 優(yōu)化器83
5.3.2 損失函數(shù)84
5.3.3 性能評(píng)估85
5.4 訓(xùn)練模型85
5.5 使用訓(xùn)練好的模型86
5.6 實(shí)例：手寫體分類問題86
5.7 Keras批量訓(xùn)練大量數(shù)據(jù)92
5.8 在Keras中重復(fù)使用模型97
第6章 神經(jīng)網(wǎng)絡(luò)的進(jìn)一步優(yōu)化100
6.1 過擬合100
6.2 梯度消失和梯度爆炸106
6.3 局部最優(yōu)110
6.4 批量歸一化111
第7章 卷積神經(jīng)網(wǎng)絡(luò)115
7.1 計(jì)算機(jī)視覺和圖像識(shí)別115
7.2 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)118
7.2.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)118
7.2.2 卷積層119
7.2.3 池化層125
7.2.4 卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)126
7.3 為什么要使用卷積神經(jīng)網(wǎng)絡(luò)128
7.4 圖像處理數(shù)據(jù)集130
7.5 CNN發(fā)展歷程133
7.5.1 AlexNet134
7.5.2 VGG136
7.5.3 Inception138
7.5.4 ResNet139
第8章 使用Keras構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)144
8.1 Keras中的卷積層144
8.2 Keras中的池化層147
8.3 Keras中的全連接層148
8.4 實(shí)例1：使用卷積神經(jīng)網(wǎng)絡(luò)處理手寫體分類問題148
8.5 實(shí)例2：重復(fù)使用已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型152
8.6 圖像的數(shù)據(jù)增強(qiáng)158
8.6.1 使用ImageDataGenerator進(jìn)行數(shù)據(jù)增強(qiáng)158
8.6.2 使用增強(qiáng)數(shù)據(jù)進(jìn)行模型訓(xùn)練163
第9章 卷積神經(jīng)網(wǎng)絡(luò)可視化166
9.1 概述166
9.2 對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行可視化168
9.2.1 可視化神經(jīng)網(wǎng)絡(luò)的中間層168
9.2.2 可視化過濾器173
9.3 對(duì)關(guān)注點(diǎn)進(jìn)行可視化176
9.3.1 顯著圖177
9.3.2 類激活圖180
9.4 自動(dòng)駕駛的應(yīng)用182
第10章 遷移學(xué)習(xí)185
10.1 什么是遷移學(xué)習(xí)185
10.2 為什么要使用遷移學(xué)習(xí)186
10.3 遷移學(xué)習(xí)的適用性187
10.4 在Keras中進(jìn)行遷移學(xué)習(xí)189
10.4.1 在MNIST上遷移學(xué)習(xí)的例子190
10.4.2 遷移學(xué)習(xí)的適用情況193
10.4.3 實(shí)例194
第11章 循環(huán)神經(jīng)網(wǎng)絡(luò)205
11.1 神經(jīng)網(wǎng)絡(luò)中的序列問題205
11.2 循環(huán)神經(jīng)網(wǎng)絡(luò)的使用207
11.2.1 輸入/輸出207
11.2.2 前向傳播209
11.2.3 反向傳播213
11.3 長(zhǎng)短期記憶網(wǎng)絡(luò)215
11.4 應(yīng)用場(chǎng)景217
第12章 使用Keras構(gòu)建循環(huán)神經(jīng)網(wǎng)絡(luò)221
12.1 Keras中的循環(huán)層221
12.2 Keras中的嵌入層224
12.3 IMDB實(shí)例226
12.3.1 全連接網(wǎng)絡(luò)227
12.3.2 SimpleRNN229
12.3.3 LSTM231
12.3.4 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)232
12.3.5 用了卷積層的循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)234
12.4 LSTM實(shí)例237
12.4.1 深度學(xué)習(xí)中的時(shí)間序列問題237
12.4.2 使用更多的歷史信息242
12.4.3 多個(gè)時(shí)間步長(zhǎng)的預(yù)測(cè)244
12.5 有狀態(tài)的循環(huán)神經(jīng)網(wǎng)絡(luò)247
12.5.1 字母預(yù)測(cè)問題248
12.5.2 有狀態(tài)的LSTM252