神經(jīng)網(wǎng)絡與PyTorch實戰(zhàn)

前言 

第1章　初識神經(jīng)網(wǎng)絡1 

1.1　例說神經(jīng)網(wǎng)絡1 

1.1.1　從圍棋和AlphaGo說起1 

1.1.2　人的神經(jīng)系統(tǒng)3 

1.1.3　人工神經(jīng)元3 

1.1.4　人工神經(jīng)網(wǎng)絡5 

1.1.5　神經(jīng)網(wǎng)絡的設計和權重的學習7 

1.2　神經(jīng)網(wǎng)絡與人工智能等概念的關系7 

1.2.1　人工智能和數(shù)據(jù)挖掘7 

1.2.2　機器學習和模式識別9 

1.2.3　人工神經(jīng)網(wǎng)絡和深度學習11 

1.2.4　各概念之間的聯(lián)系11 

1.3　本章小結12 

第2章　初識PyTorch13 

2.1　人工神經(jīng)網(wǎng)絡庫PyTorch13 

2.1.1　PyTorch是什么13 

2.1.2　編寫PyTorch程序14 

2.2　例說PyTorch14 

2.2.1　迷你AlphaGo介紹15 

2.2.2　迷你AlphaGo的完整實現(xiàn)16 

2.3　PyTorch學習路線19 

2.4　本章小結20 

第3章　使用PyTorch進行科學計算21 

3.1　初識張量21 

3.1.1　張量的數(shù)學定義21 

3.1.2　PyTorch里的張量22 

3.2　構造torch.Tensor類實例24 

3.2.1　構造含有特定數(shù)據(jù)的張量24 

3.2.2　構造特定大小的張量25 

3.2.3　構造等比數(shù)列和等差數(shù)列張量26 

3.2.4　構造隨機張量26 

3.3　組織張量的元素28 

3.3.1　重排張量元素28 

3.3.2　選取部分張量元素29 

3.3.3　張量的擴展和拼接31 

3.4　張量的科學計算32 

3.4.1　有理運算和廣播語義32 

3.4.2　逐元素運算33 

3.4.3　張量點積和Einstein求和35 

3.4.4　統(tǒng)計函數(shù)38 

3.4.5　比較和邏輯運算39 

3.5　例子：用蒙特卡洛算法計算圓周率40 

3.5.1　隨機計算與蒙特卡洛算法40 

3.5.2　蒙特卡洛算法求解圓周率的實現(xiàn)41 

3.6　本章小結42 

第4章　求解優(yōu)化問題43 

4.1　梯度及其計算43 

4.1.1　梯度的定義43 

4.1.2　梯度的性質和計算45 

4.1.3　使用PyTorch計算梯度數(shù)值45 

4.2　優(yōu)化算法與torch.optim包46 

4.2.1　梯度下降算法46 

4.2.2　梯度下降算法的缺陷和解決方案48 

4.2.3　各種優(yōu)化算法50 

4.3　例子：Himmelblau函數(shù)的優(yōu)化55 

4.3.1　Himmelblau函數(shù)及可視化55 

4.3.2　求解Himmelblau的最小值57 

4.3.3　求解Himmelblau的局部極大值59 

4.4　本章小結59 

第5章　線性回歸60 

5.1　一元線性回歸60 

5.1.1　最小二乘法60 

5.1.2　正規(guī)方程法62 

5.2　多元線性回歸63 

5.3　其他損失情況下的線性回歸63 

5.3.1　MSE損失、損失和平滑損失64 

5.3.2　torch.nn子包與損失類65 

5.3.3　使用優(yōu)化器求解線性回歸66 

5.3.4　數(shù)據(jù)的歸一化68 

5.4　例子：世界人口的線性回歸70 

5.4.1　從維基百科頁面獲取世界人口數(shù)據(jù)70 

5.4.2　對世界人口做最小二乘法線性回歸71 

5.4.3　用優(yōu)化算法實現(xiàn)最小二乘回歸72 

5.5　本章小結74 

第6章　線性判決與邏輯回歸75 

6.1　線性判決與互熵損失75 

6.1.1　判定問題與準確率75 

6.1.2　線性判決76 

6.1.3　極大似然和互熵損失77 

6.2　邏輯回歸78 

6.2.1　expit()函數(shù)和logit()函數(shù)78 

6.2.2　用優(yōu)化器實現(xiàn)邏輯回歸80 

6.2.3　Newton-Raphson方法81 

6.3　多項邏輯回歸82 

6.4　例子：數(shù)字圖像的識別84 

6.4.1　使用torchvision讀取MNIST數(shù)據(jù)集84 

6.4.2　利用多項邏輯回歸識別MNIST數(shù)據(jù)86 

6.5　例子：股票成交量預測88 

6.5.1　股票數(shù)據(jù)的讀取和可視化88 

6.5.2　成交量變化方向預測89 

6.6　本章小結91 

第7章　全連接神經(jīng)網(wǎng)絡92 

7.1　前饋神經(jīng)網(wǎng)絡92 

7.1.1　前饋神經(jīng)網(wǎng)絡的定義92 

7.1.2　使用torch.nn.Sequential類搭建前饋神經(jīng)網(wǎng)絡93 

7.1.3　權重的確定與反向傳播94 

7.2　全連接層和全連接神經(jīng)網(wǎng)絡95 

7.3　非線性激活96 

7.3.1　逐元素激活97 

7.3.2　非逐元素激活101 

7.4　網(wǎng)絡結構的選擇102 

7.4.1　欠擬合和過擬合102 

7.4.2　訓練集、驗證集和測試集103 

7.5　例子：基于全連接網(wǎng)絡的非線性回歸105 

7.5.1　數(shù)據(jù)的生成和數(shù)據(jù)集分割105 

7.5.2　確定網(wǎng)絡結構并訓練網(wǎng)絡106 

7.5.3　測試性能108 

7.6　本章小結109 

第8章　卷積神經(jīng)網(wǎng)絡110 

8.1　卷積層110 

8.1.1　序列的互相關和卷積110 

8.1.2　一維張量的互相關114 

8.1.3　一維張量的轉置卷積117 

8.1.4　高維張量的互相關和轉置卷積121 

8.1.5　torch.nn包里的卷積層121 

8.2　池化層、視覺層和補全層123 

8.2.1　張量的池化124 

8.2.2　張量的反池化125 

8.2.3　torch.nn包里的池化層126 

8.2.4　張量的上采樣128 

8.2.5　torch.nn包里的視覺層130 

8.2.6　張量的補全運算131 

8.2.7　torch.nn包里的補全層131 

8.3　例子：MNIST圖片分類的改進132 

8.3.1　搭建卷積神經(jīng)網(wǎng)絡133 

8.3.2　卷積神經(jīng)網(wǎng)絡的訓練和測試135 

8.4　本章小結137 

第9章　循環(huán)神經(jīng)網(wǎng)絡138 

9.1　神經(jīng)網(wǎng)絡的循環(huán)結構138 

9.1.1　單向單層循環(huán)結構138 

9.1.2　多層循環(huán)結構139 

9.1.3　雙向循環(huán)結構140 

9.2　循環(huán)神經(jīng)網(wǎng)絡中的循環(huán)單元141 

9.2.1　基本循環(huán)神經(jīng)元141 

9.2.2　長短期記憶單元141 

9.2.3　門控循環(huán)單元144 

9.3　循環(huán)神經(jīng)網(wǎng)絡的實現(xiàn)145 

9.3.1　torch.nn子包中的循環(huán)單元類145 

9.3.2　torch.nn子包中的循環(huán)神經(jīng)網(wǎng)絡類146 

9.4　例子：人均GDP的預測147 

9.4.1　使用pandas-datareader讀取世界銀行數(shù)據(jù)庫147 

9.4.2　搭建LSTM預測模型148 

9.4.3　網(wǎng)絡的訓練和使用149 

9.5　本章小結151 

第10章　生成對抗網(wǎng)絡152 

10.1　生成對抗