Python深度學習

第 1 章　如何閱讀本書……………………………………………………………………… 1

1.1　獲取Python ………………………………………………………………………　2

1.1.1　學習Python ……………………………………………………………　3

1.1.2　軟件包 ……………………………………………………………………　3

1.2　不需要等待 ………………………………………………………………………　3

1.3　小結(jié) ………………………………………………………………………………　4

附注　………………………………………………………………………………………　5

第　2 章 深度學習入門………………………………………………………………………　6

2.1　為什么要學習深度學習 …………………………………………………………　7

2.1.1　最后一子 …………………………………………………………………　8

2.1.2　一件怪事 …………………………………………………………………　8

2.1.3　兩類人 ……………………………………………………………………　9

2.2　什么是深度學習 …………………………………………………………………10

2.2.1　成功的藍圖 ………………………………………………………………10

2.2.2　有監(jiān)督學習和無監(jiān)督學習 ………………………………………………　11

2.2.3　深度學習的流程 …………………………………………………………　11

2.3　深度學習能解決什么問題 ………………………………………………………　12

2.4　哪些領域使用深度學習 …………………………………………………………14

2.4.1　深度學習能揭開永葆青春的秘密嗎 ……………………………………　15

2.4.2　衰老的挑戰(zhàn) ………………………………………………………………　15

2.4.3　眾多的理論 ………………………………………………………………　16

2.4.4　數(shù)據(jù)科學家的答案 ………………………………………………………　16

2.5　想使用深度學習——卻不知如何開始 …………………………………………　17

2.6　小結(jié) ………………………………………………………………………………18

附注　………………………………………………………………………………………18

第3　章 神經(jīng)網(wǎng)絡基礎………………………………………………………………………27

3.1　歷史備忘錄 ………………………………………………………………………28

3.2　神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu) ……………………………………………………………29

3.3　神經(jīng)元的作用 ……………………………………………………………………30

人工神經(jīng)元　………………………………………………………………………31

3.4　理解激活函數(shù) ……………………………………………………………………31

3.4.1　數(shù)學計算 …………………………………………………………………32

3.4.2　sigmoid 函數(shù) ……………………………………………………………34

3.4.3　運算成本 …………………………………………………………………34

3.5　神經(jīng)網(wǎng)絡如何進行學習 …………………………………………………………35

基本算法　…………………………………………………………………………36

3.6　解釋梯度下降算法 ………………………………………………………………37

3.6.1　誤差曲面 …………………………………………………………………38

3.6.2　隨機梯度下降 …………………………………………………………　39

3.7　小結(jié) ……………………………………………………………………………　39

附注　……………………………………………………………………………………　40

第4　章 深度神經(jīng)網(wǎng)絡簡介…………………………………………………………………42

4.1　深度神經(jīng)網(wǎng)絡簡析 ………………………………………………………………43

4.2　怎樣在一分鐘內(nèi)解釋深度神經(jīng)網(wǎng)絡 …………………………………………　44

4.2.1　如何看待DNN ………………………………………………………　44

4.2.2　統(tǒng)計學家的視角 …………………………………………………………45

4.2.3　一個關(guān)鍵的觀點 …………………………………………………………45

4.3　深度神經(jīng)網(wǎng)絡的3 種使用方式 …………………………………………………45

4.3.1　增強霧天的可視性 ………………………………………………………46

4.3.2　打擊黑客犯罪 ……………………………………………………………50

4.3.3　不可思議的縮略圖 ………………………………………………………　51

4.4　如何快速地近似任何函數(shù) ………………………………………………………54

4.4.1　一個用Python 構(gòu)建深度神經(jīng)網(wǎng)絡的極簡方法 ………………………55

4.4.2　生成示例 …………………………………………………………………56

4.4.3　檢查樣本 …………………………………………………………………57

4.4.4　格式化數(shù)據(jù) ………………………………………………………………58

4.4.5　擬合模型 …………………………………………………………………60

4.4.6　性能表現(xiàn)評估 ……………………………………………………………　61

4.5　有監(jiān)督學習概述 …………………………………………………………………62

4.5.1　有監(jiān)督學習的目標 ………………………………………………………63

4.5.2　無監(jiān)督學習 ………………………………………………………………63

4.5.3　半監(jiān)督學習 ………………………………………………………………64

4.6　小結(jié) ………………………………………………………………………………65

附注　………………………………………………………………………………………65

第5　章 如何構(gòu)建可定制的深度預測模型…………………………………………………70

5.1　一個深度神經(jīng)網(wǎng)絡預測的實際應用 ……………………………………………　71

5.1.1　樣本數(shù)據(jù)和神經(jīng)網(wǎng)絡 ……………………………………………………　71

5.1.2　可靠的性能表現(xiàn) …………………………………………………………72

5.2　明確預測目標 ……………………………………………………………………72

5.3　獲取數(shù)據(jù)的拷貝 …………………………………………………………………74

5.4　標準化的重要性 …………………………………………………………………75

5.5　使用訓練樣本和測試樣本 ………………………………………………………76

5.6　創(chuàng)建深度神經(jīng)網(wǎng)絡回歸模型的極簡方式 ………………………………………78

5.7　學習速率詳解 ……………………………………………………………………79

5.7.1　選擇最佳值 ……………………………………………………………　80

5.7.2　如果將模型擬合到數(shù)據(jù) …………………………………………………81

5.8　評估模型在訓練集性能表現(xiàn)的幾種方式 ………………………………………81

5.8.1　均方差 ……………………………………………………………………82

5.8.2　獲取預測和度量性能 ……………………………………………………83

5.9　小結(jié) ………………………………………………………………………………83

附注　……………………………………………………………………………………　84

第6　章 提高性能的一些技巧 …………………………………………　85

6.1　sigmoid 激活函數(shù)的局限 ………………………………………………………86

6.2　選擇最佳層數(shù)的原則 …………………………………………………………　89

6.3　如何快速改進模型 ………………………………………………………………92

6.4　避免過度擬合 …………………………………………………………………　93

6.5　應該包含多少個神經(jīng)元 …………………………………………………………95

6.6　評估測試數(shù)據(jù)集上的性能 ………………………………………………………96

6.7　凍結(jié)網(wǎng)絡權(quán)重 ……………………………………………………………………97

6.8　保存網(wǎng)絡以供將來使用 ………………………………………………………　98

6.9　小結(jié) ……………………………………………………………………………　99

附注　……………………………………………………………………………………　99

第7　章 二元分類神經(jīng)網(wǎng)絡的奧秘 ……………………………………101

7.1　感人至深——創(chuàng)造奇跡 ………………………………………………………　102

7.1.1　一項二元分類任務 ……………………………………………………　103

7.1.2　有用的結(jié)果 ……………………………………………………………　103

7.2　了解分類目標 …………………………………………………………………　104

7.3　使用Python 從網(wǎng)絡下載數(shù)據(jù) ………………………………………………　105

7.4　處理缺失的觀測值 ……………………………………………………………　107

7.5　保存數(shù)據(jù) ………………………………………………………………………　111

7.6　沖量簡單入門 …………………………………………………………………　112

7.7　留出法的秘密 …………………………………………………………………　113

7.8　如何用Python 快速構(gòu)建一個深度神經(jīng)網(wǎng)絡二元分類器 …………………　115

7.8.1　生成訓練集和測試集 …………………………………………………　117

7.8.2　指定模型 ………………………………………………………………　117

7.8.3　擬合模型 ………………………………………………………………　118

7.8.4　混淆矩陣 ………………………………………………………………　119

7.9　小結(jié) ……………………………………………………………………………　120

附注　……………………………………………………………………………………　120

第8　章 構(gòu)建優(yōu)秀模型之道 ……………………………………………123

8.1　嘗試最簡單的想法提高成功率 ………………………………………………　124

8.2　輟學的威力 ……………………………………………………………………　124

8.3　相似性 …………………………………………………………………………　126

8.4　共適應 …………………………………………………………………………　126

8.5　一個教訓 ………………………………………………………………………　127

8.6　雙曲正切激活函數(shù)的威力以及如何有效地使用 ……………………………　127

8.7　如何從小批量方法中獲益 ……………………………………………………　128

8.8　重建模型 ………………………………………………………………………　129

8.9　關(guān)于不平衡樣本你應該知道的事 ……………………………………………　131

8.9.1　核心問題 ………………………………………………………………　131

8.9.2　查看測試集上的表現(xiàn) …………………………………………………　133

8.10　小結(jié) ……………………………………………………………………………　134

附注　……………………………………………………………………………………　134

第9　章 深度神經(jīng)網(wǎng)絡在多元分類問題的簡單應用 …………………136

9.1　分類問題描述 …………………………………………………………………　138

9.1.1　查看樣本 ………………………………………………………………　139

9.1.2　檢查目標對象 …………………………………………………………　140

9.2　關(guān)于softmax 激活函數(shù)的說明 ………………………………………………　140

9.3　使用rmsprop 算法構(gòu)建多項式模型 ………………………………………　141

9.3.1　關(guān)于rmsprop 算法的說明 …………………………………………　143

9.3.2　模型性能表現(xiàn) …………………………………………………………　144

9.4　Adagrad 學習算法概述 ………………………………………………………　144

9.5　如何嘗試其他學習算法 ………………………………………………………　146

9.5.1　Nesterov 的加速梯度下降算法 ……………………………………　146

9.5.2　嘗試沖量法 ……………………………………………………………　147

9.5.3　常規(guī)隨機梯度下降法 …………………………………………………　148

9.5.4　在模型中使用Adadelta 算法 ………………………………………　149

9.5.5　測試集性能表現(xiàn) ………………………………………………………　150

9.6　小結(jié) ……………………………………………………………………………　152

9.7　結(jié)束語 …………………………………………………………………………　152

附注　……………………………………………………………………………………　152