深度學習導(dǎo)論與應(yīng)用實踐

目錄

第1章數(shù)學基礎(chǔ)

1.1數(shù)據(jù)表示——標量、向量、矩陣和張量

1.1.1標量、向量、矩陣和張量

1.1.2向量的范數(shù)

1.1.3常用的向量

1.1.4常見的矩陣

1.1.5矩陣的操作

1.1.6張量的常用操作

1.2優(yōu)化的基礎(chǔ)——導(dǎo)數(shù)及其應(yīng)用

1.2.1導(dǎo)數(shù)

1.2.2泰勒公式

1.2.3拉格朗日乘數(shù)法

1.3概率模型的基礎(chǔ)——概率論

1.3.1隨機變量

1.3.2概率分布

1.3.3邊緣概率

1.3.4條件概率

1.3.5獨立性

1.3.6期望、方差與協(xié)方差

1.3.7常用的概率分布

1.4習題

第2章Python入門

2.1Python簡介

2.2Python基礎(chǔ)語法

2.2.1數(shù)據(jù)結(jié)構(gòu)類型

2.2.2運算符

2.2.3條件語句

2.2.4循環(huán)語句

2.2.5函數(shù)

2.2.6面向?qū)ο笈c類

2.2.7腳本

2.3NumPy

2.3.1NumPy數(shù)組創(chuàng)建與訪問

2.3.2NumPy數(shù)組計算

2.3.3廣播

2.4Matplotlib

2.4.1Matplotlib的安裝

2.4.2Matplotlib圖像的組成部分

2.4.3Pyplot繪制簡單圖形

2.4.4Matplotlib多圖像繪制

2.5實踐： 豆瓣高分電影爬取

2.5.1思路分析

2.5.2獲取頁面

2.5.3解析頁面

2.5.4存儲數(shù)據(jù)

2.5.5數(shù)據(jù)展示與分析

2.6習題

第3章機器學習基礎(chǔ)

3.1機器學習概述

3.1.1機器學習定義與基本術(shù)語

3.1.2機器學習的三要素

3.1.3機器學習方法概述

3.2數(shù)據(jù)預(yù)處理

3.2.1數(shù)據(jù)清洗

3.2.2數(shù)據(jù)集拆分

3.2.3數(shù)據(jù)集不平衡

3.3特征工程

3.3.1特征編碼

3.3.2特征選擇與特征降維

3.3.3特征標準化

3.4模型評估

3.5實踐： 鳶尾花分類

3.5.1數(shù)據(jù)準備

3.5.2配置模型

3.5.3模型訓(xùn)練

3.5.4數(shù)據(jù)可視化

3.6習題

第4章深度學習基礎(chǔ)

4.1深度學習發(fā)展歷程

4.2感知機

4.2.1感知機的起源

4.2.2感知機的局限性

4.3前饋神經(jīng)網(wǎng)絡(luò)

4.3.1神經(jīng)元

4.3.2網(wǎng)絡(luò)結(jié)構(gòu)

4.3.3訓(xùn)練與預(yù)測

4.3.4反向傳播算法

4.4提升神經(jīng)網(wǎng)絡(luò)訓(xùn)練的技巧

4.4.1參數(shù)更新方法

4.4.2數(shù)據(jù)預(yù)處理

4.4.3參數(shù)的初始化

4.4.4正則化

4.5深度學習框架

4.5.1深度學習框架的作用

4.5.2常見深度學習框架

4.5.3飛槳概述

4.6實踐： 手寫數(shù)字識別

4.6.1數(shù)據(jù)準備

4.6.2網(wǎng)絡(luò)結(jié)構(gòu)定義

4.6.3網(wǎng)絡(luò)訓(xùn)練

4.6.4網(wǎng)絡(luò)預(yù)測

4.7習題

第5章卷積神經(jīng)網(wǎng)絡(luò)

5.1概述

5.2整體結(jié)構(gòu)

5.3卷積層

5.3.1全連接層的問題

5.3.2卷積運算

5.3.3卷積的導(dǎo)數(shù)

5.3.4卷積層操作

5.3.5矩陣快速卷積

5.4池化層

5.5歸一化層

5.6參數(shù)學習

5.7典型卷積神經(jīng)網(wǎng)絡(luò)

5.7.1LeNet

5.7.2AlexNet

5.7.3VGGNet

5.7.4Inception

5.7.5ResNet

5.7.6DenseNet

5.7.7MobileNet

5.7.8ShuffleNet

5.8實踐： 貓狗識別

5.8.1數(shù)據(jù)準備

5.8.2網(wǎng)絡(luò)配置

5.8.3網(wǎng)絡(luò)訓(xùn)練

5.8.4網(wǎng)絡(luò)預(yù)測

5.9習題

第6章循環(huán)神經(jīng)網(wǎng)絡(luò)

6.1循環(huán)神經(jīng)網(wǎng)絡(luò)簡介

6.1.1循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與計算能力

6.1.2參數(shù)學習

6.1.3循環(huán)神經(jīng)網(wǎng)絡(luò)變種結(jié)構(gòu)

6.1.4深度循環(huán)神經(jīng)網(wǎng)絡(luò)

6.1.5遞歸神經(jīng)網(wǎng)絡(luò)

6.2長期依賴和門控RNN

6.2.1長期依賴的挑戰(zhàn)

6.2.2循環(huán)神經(jīng)網(wǎng)絡(luò)的長期依賴問題

6.2.3門控RNN

6.2.4優(yōu)化長期依賴

6.3雙向RNN

6.4序列到序列架構(gòu)

6.4.1Seq2Seq

6.4.2注意力機制

6.5實踐： 電影評論情感分析

6.5.1數(shù)據(jù)準備

6.5.2網(wǎng)絡(luò)結(jié)構(gòu)定義

6.5.3網(wǎng)絡(luò)訓(xùn)練

6.5.4網(wǎng)絡(luò)預(yù)測

6.6習題

第7章深度學習進階

7.1深度生成模型

7.1.1變分自編碼器

7.1.2生成對抗網(wǎng)絡(luò)

7.2深度強化學習

7.2.1強化學習模型

7.2.2強化學習分類

7.2.3深度強化學習

7.2.4深度Q網(wǎng)絡(luò)

7.2.5深度強化學習應(yīng)用

7.3遷移學習

7.3.1遷移學習的定義與分類

7.3.2遷移學習的基本方法

7.4實踐：  生成對抗網(wǎng)絡(luò)

7.4.1數(shù)據(jù)準備

7.4.2網(wǎng)絡(luò)配置

7.4.3模型訓(xùn)練與預(yù)測

7.5習題

第8章深度學習應(yīng)用：  計算機視覺

8.1目標檢測

8.1.1傳統(tǒng)目標檢測

8.1.2基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標檢測

8.1.3基于回歸的卷積神經(jīng)網(wǎng)絡(luò)目標檢測

8.2語義分割

8.2.1傳統(tǒng)語義分割方法

8.2.2基于卷積神經(jīng)網(wǎng)絡(luò)的語義分割

8.3實踐： 目標檢測

8.3.1數(shù)據(jù)準備

8.3.2網(wǎng)絡(luò)配置

8.3.3模型訓(xùn)練

8.3.4模型預(yù)測

8.4習題

第9章深度學習應(yīng)用：  自然語言處理

9.1自然語言處理的基本過程

9.1.1獲取語料

9.1.2語料預(yù)處理

9.1.3特征工程

9.2自然語言處理應(yīng)用

9.2.1文本分類

9.2.2機器翻譯

9.2.3自動問答

9.3實踐：  機器翻譯

9.3.1數(shù)據(jù)準備

9.3.2網(wǎng)絡(luò)結(jié)構(gòu)定義

9.3.3網(wǎng)絡(luò)訓(xùn)練

9.3.4網(wǎng)絡(luò)預(yù)測

9.4習題

參考文獻