深度學(xué)習(xí)入門與實(shí)踐

目 錄
前言
第1部分神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)
第1章深度學(xué)習(xí)簡介
1.1神經(jīng)網(wǎng)絡(luò)
1.2神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)應(yīng)用
1.3為什么深度學(xué)習(xí)會興起
第2章神經(jīng)網(wǎng)絡(luò)的編程基礎(chǔ)
2.1二分類
2.2邏輯回歸
2.3邏輯回歸的代價(jià)函數(shù)
2.4梯度下降法
2.5計(jì)算圖
2.6使用計(jì)算圖求導(dǎo)數(shù)
2.7邏輯回歸中的梯度下降
2.8m個(gè)樣本的梯度下降
2.9向量化
2.10向量化邏輯回歸
2.11向量化邏輯回歸的輸出
2.12Python中的廣播
2.13numpy向量
2.14logistic損失函數(shù)的解釋
第3章淺層神經(jīng)網(wǎng)絡(luò)
3.1神經(jīng)網(wǎng)絡(luò)概述
3.2神經(jīng)網(wǎng)絡(luò)的表示
3.3計(jì)算一個(gè)神經(jīng)網(wǎng)絡(luò)的輸出
3.4多樣本向量化
3.5激活函數(shù)
3.6激活函數(shù)的導(dǎo)數(shù)
3.7神經(jīng)網(wǎng)絡(luò)的梯度下降
3.8理解反向傳播
3.9隨機(jī)初始化
第4章深層神經(jīng)網(wǎng)絡(luò)
4.1深層神經(jīng)網(wǎng)絡(luò)概述
4.2前向傳播和反向傳播
4.3深層網(wǎng)絡(luò)中矩陣的維數(shù)
4.4為什么使用深層表示
4.5超參數(shù)
第2部分改善深層神經(jīng)網(wǎng)絡(luò)：超參數(shù)調(diào)試、正則化以及優(yōu)化
第5章深度學(xué)習(xí)的實(shí)踐
5.1訓(xùn)練、驗(yàn)證、測試集
5.2偏差、方差
5.3機(jī)器學(xué)習(xí)基礎(chǔ)
5.4正則化
5.5正則化如何降低過擬合
5.6dropout正則化
5.7理解dropout
5.8其他正則化方法
5.9歸一化輸入
5.10梯度消失/梯度爆炸
5.11梯度的數(shù)值逼近
5.12梯度檢驗(yàn)
第6章優(yōu)化算法
6.1mini-batch梯度下降
6.2理解mini-batch梯度下降法
6.3動量梯度下降法
6.4RMSprop
6.5Adam 優(yōu)化算法
6.6學(xué)習(xí)率衰減
6.7局部問題
第7章超參數(shù)調(diào)試、正則化
7.1調(diào)試處理
7.2超參數(shù)的合適范圍
7.3歸一化網(wǎng)絡(luò)的激活函數(shù)
7.4將batch norm擬合進(jìn)神經(jīng)網(wǎng)絡(luò)
7.5batch歸一化分析
7.6softmax回歸
7.7訓(xùn)練一個(gè)softmax分類器
7.8TensorFlow
第3部分卷積神經(jīng)網(wǎng)絡(luò)及應(yīng)用
第8章卷積神經(jīng)網(wǎng)絡(luò)
8.1計(jì)算機(jī)視覺
8.2邊緣檢測示例
8.3邊緣檢測內(nèi)容
8.4填充
8.5卷積步長
8.6三維卷積
8.7單層卷積網(wǎng)絡(luò)
8.8簡單卷積網(wǎng)絡(luò)示例
8.9池化層
8.10卷積神經(jīng)網(wǎng)絡(luò)示例
8.11為什么使用卷積
第9章深度卷積網(wǎng)絡(luò)：實(shí)例探究
9.1經(jīng)典網(wǎng)絡(luò)
9.2殘差網(wǎng)絡(luò)
9.3殘差網(wǎng)絡(luò)為什么有用
9.4網(wǎng)絡(luò)中的1×1卷積
9.5谷歌Inception網(wǎng)絡(luò)
9.6遷移學(xué)習(xí)
9.7數(shù)據(jù)增強(qiáng)
第10章目標(biāo)檢測
10.1目標(biāo)定位
10.2特征點(diǎn)檢測
10.3目標(biāo)檢測
10.4滑動窗口的卷積實(shí)現(xiàn)
10.5Bounding Box預(yù)測
10.6交并比
10.7非極大值抑制
10.8Anchor Boxes
10.9YOLO算法
第11章特殊應(yīng)用：人臉識別和神經(jīng)風(fēng)格遷移
11.1One-Shot學(xué)習(xí)
11.2Siamese網(wǎng)絡(luò)
11.3Triplet損失
11.4人臉驗(yàn)證與二分類
11.5神經(jīng)風(fēng)格遷移
11.6深度卷積網(wǎng)絡(luò)學(xué)習(xí)什么
11.7代價(jià)函數(shù)
11.8內(nèi)容代價(jià)函數(shù)
11.9風(fēng)格代價(jià)函數(shù)
11.10一維到三維推廣
第4部分序列模型
第12章循環(huán)序列模型
12.1為什么選擇序列模型
12.2數(shù)學(xué)符號
12.3循環(huán)神經(jīng)網(wǎng)絡(luò)模型
12.4通過時(shí)間的反向傳播
12.5不同類型的循環(huán)神經(jīng)網(wǎng)絡(luò)
12.6語言模型和序列生成
12.7對新序列采樣
12.8循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度消失
12.9GRU單元
12.10長短期記憶
12.11雙向循環(huán)神經(jīng)網(wǎng)絡(luò)
12.12深層循環(huán)神經(jīng)網(wǎng)絡(luò)
第13章序列模型和注意力機(jī)制
13.1序列結(jié)構(gòu)的各種序列
13.2選擇可能的句子
13.3集束搜索
13.4改進(jìn)集束搜索
13.5集束搜索的誤差分析
13.6注意力模型直觀理解
13.7注意力模型
附錄
附錄A深度學(xué)習(xí)符號指南
A.1數(shù)據(jù)標(biāo)記與上下標(biāo)
A.2神經(jīng)網(wǎng)絡(luò)模型
A.3正向傳播方程示例
A.4通用激活公式
A.5損失函數(shù)
A.6深度學(xué)習(xí)圖示
附錄B線性代數(shù)
B.1基礎(chǔ)概念和符號
B.2矩陣乘法〖＝（〗