深度學(xué)習(xí)：數(shù)學(xué)基礎(chǔ)、算法模型與實(shí)戰(zhàn)

前言
第1章 深度學(xué)習(xí)方法概述/
1.1閱讀本書前需要的準(zhǔn)備工作/
1.2機(jī)器學(xué)習(xí)方法的定義/
1.3為什么要使用機(jī)器學(xué)習(xí)方法/
1.4深度學(xué)習(xí)方法的產(chǎn)生與發(fā)展/
1.5深度學(xué)習(xí)應(yīng)用領(lǐng)域與發(fā)展前景/
1.6如何開始學(xué)習(xí)/
1.7本書的章節(jié)編排/
1.8總結(jié)/
第2章 深度學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)/
2.1深度學(xué)習(xí)中的線性代數(shù)/
2.1.1機(jī)器學(xué)習(xí)中的數(shù)據(jù)與矩陣/
2.1.2矩陣的運(yùn)算/
2.1.3圖像的矩陣格式/
2.1.4文本的矩陣格式/
2.2優(yōu)化算法/
2.2.1求一元函數(shù)的極小值問題/
2.2.2多元函數(shù)求導(dǎo)與梯度下降法/
2.2.3使用PyTorch進(jìn)行的求導(dǎo)和優(yōu)化/
2.2.4方程求解與欠定問題和正則化/
2.2.5再論雙十一預(yù)測問題與超定問題/
2.3概率與統(tǒng)計(jì)/
2.3.1概率、條件概率與貝葉斯理論/
2.3.2極大似然估計(jì)與最大后驗(yàn)估計(jì)/
2.4總結(jié)/
第3章 深度學(xué)習(xí)基礎(chǔ)模型和實(shí)現(xiàn)：全連接網(wǎng)絡(luò)/
3.1邏輯回歸算法/
3.1.1數(shù)據(jù)和模型/
3.1.2交叉熵?fù)p失函數(shù)/
3.1.3小批量梯度下降法/
3.1.4正則化影響/
3.2訓(xùn)練集、驗(yàn)證集、測試集及精度評(píng)價(jià)標(biāo)準(zhǔn)/
3.2.1分類問題精度評(píng)價(jià)標(biāo)準(zhǔn)/
3.2.2回歸問題精度評(píng)價(jià)標(biāo)準(zhǔn)/
3.2.3過擬合和欠擬合問題/
3.3多層神經(jīng)網(wǎng)絡(luò)模型/
3.3.1線性可分與線性不可分/
3.3.2多層神經(jīng)網(wǎng)絡(luò)自動(dòng)構(gòu)建特征解決分類問題 /
3.3.3神經(jīng)網(wǎng)絡(luò)的深度、廣度及高層API使用/
3.4使用NumPy構(gòu)建神經(jīng)網(wǎng)絡(luò)庫（復(fù)現(xiàn)PyTorch）/
3.4.1陣求導(dǎo)/
3.4.2交叉熵?fù)p失函數(shù)的導(dǎo)數(shù)/
3.4.3自動(dòng)微分（求導(dǎo)）庫的構(gòu)建/
3.4.4完善深度學(xué)習(xí)庫的高層API /
3.5回歸、分類等監(jiān)督學(xué)習(xí)模型/
3.6深度學(xué)習(xí)中的優(yōu)化算法/
3.6.1帶動(dòng)量的梯度下降法/
3.6.2均方誤差傳遞迭代算法/
3.6.3自適應(yīng)矩估計(jì)迭代算法/
3.7總結(jié)/
第4章 深度學(xué)習(xí)基礎(chǔ)模型和實(shí)現(xiàn)：卷積神經(jīng)網(wǎng)絡(luò)/
4.1信號(hào)、圖像分析基礎(chǔ)/
4.2從卷積到卷積神經(jīng)網(wǎng)絡(luò)/
4.3卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建/
4.3.1從神經(jīng)網(wǎng)絡(luò)角度看待卷積神經(jīng)網(wǎng)絡(luò)/
4.3.2卷積神經(jīng)網(wǎng)絡(luò)其他輔助結(jié)構(gòu)/
4.4卷積神經(jīng)網(wǎng)絡(luò)反向傳播算法/
4.5卷積神經(jīng)網(wǎng)絡(luò)的感受野問題/
4.6總結(jié)/
第5章 深度學(xué)習(xí)基礎(chǔ)模型和實(shí)現(xiàn)：循環(huán)神經(jīng)網(wǎng)絡(luò)和Transformer/
5.1文本向量化/
5.1.1語句、詞分割算法之BPE編碼/
5.1.2語句、詞分割算法之一元模型/
5.2循環(huán)神經(jīng)網(wǎng)絡(luò)和文本建模/
5.2.1文本分類任務(wù)和基礎(chǔ)循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)/
5.2.2長短時(shí)記憶單元（LSTM）/
5.2.3門控循環(huán)結(jié)構(gòu)/
5.3PyTorch的數(shù)據(jù)API使用/
5.4循環(huán)神經(jīng)網(wǎng)絡(luò)反向傳播/
5.5文本處理中的前后文問題/
5.5.1雙向循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)/
5.5.2使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行文本分詞/
5.6Transformer模型/
5.6.1向量的加權(quán)相加、自注意力機(jī)制和多頭注意力機(jī)制/
5.6.2位置編碼/
5.6.3注意力掩碼與單向模型/
5.7總結(jié)/
第6章 深度學(xué)習(xí)基礎(chǔ)模型和實(shí)現(xiàn)：深層設(shè)計(jì)和優(yōu)化結(jié)構(gòu)/
6.1構(gòu)建一個(gè)更深的網(wǎng)絡(luò)/
6.1.1深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)改進(jìn)/
6.1.2深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的梯度消失問題/
6.1.3殘差網(wǎng)絡(luò)設(shè)計(jì)/
6.2標(biāo)準(zhǔn)化層/
6.2.1批標(biāo)準(zhǔn)化/
6.2.2層標(biāo)準(zhǔn)化層/
6.3過擬合問題/
6.3.1數(shù)據(jù)增強(qiáng)/深度學(xué)習(xí)：數(shù)學(xué)基礎(chǔ)、算法模型與實(shí)戰(zhàn)目錄
6.3.2正則化方法/
6.3.3DropOut層/
6.4參數(shù)初始化和遷移學(xué)習(xí)/
6.4.1參數(shù)的隨機(jī)初始化問題/
6.4.2遷移學(xué)習(xí)問題/
6.5總結(jié)/
第7章 信號(hào)和圖形學(xué)應(yīng)用/
7.1信號(hào)和圖像的濾波與“超級(jí)夜景”/
7.1.1卷積神經(jīng)網(wǎng)絡(luò)的上采樣方式：轉(zhuǎn)置卷積、插值和像素洗牌 /
7.1.2一維自編碼器模型：波形的濾波與重建/
7.1.3二維數(shù)據(jù)濾波：圖像濾波和超級(jí)夜景功能/
7.2物體檢測和時(shí)序數(shù)據(jù)異常檢測/
7.2.1物體檢測模型設(shè)計(jì)：基于滑動(dòng)窗的物體檢測模型/
7.2.2物體檢測模型設(shè)計(jì)：多物體檢測的單一模型/
7.2.3Faster RCNN：用于物體檢測的二階模型/
7.2.4用于一維時(shí)序數(shù)據(jù)、波形異常、信號(hào)檢測/
7.3圖像特征提取與分類問題/
7.4對(duì)抗生成網(wǎng)絡(luò)模型：圖像生成與高頻約束問題/
7.4.1圖像生成問題：GAN和ACGAN/
7.4.2基于對(duì)抗生成模型的超分辨率采樣任務(wù)：SRGAN/
7.4.3對(duì)抗生成網(wǎng)絡(luò)圖像轉(zhuǎn)換實(shí)踐：Pix2Pix/
7.4.4非成對(duì)的圖形轉(zhuǎn)換：CycleGAN/
7.5變分自編碼器/
7.5.1無監(jiān)督機(jī)器學(xué)習(xí)與隱變量分析/
7.5.2變分自編碼器模型/
7.6總結(jié)/
第8章 自然語言和時(shí)序數(shù)據(jù)處理類應(yīng)用/
8.1單向模型與文本和時(shí)序數(shù)據(jù)預(yù)測問題/
8.1.1中文文本生成/
8.1.2時(shí)序數(shù)據(jù)（股票等）預(yù)測問題/
8.1.3單向卷積模型：因果卷積/
8.2基于循環(huán)網(wǎng)絡(luò)的編碼解碼模型/
8.2.1基礎(chǔ)編碼解碼結(jié)構(gòu)/
8.2.2基于循環(huán)神經(jīng)網(wǎng)絡(luò)的編碼解碼結(jié)構(gòu)中的文本補(bǔ)0問題/
8.2.3序列到序列模型中的注意力機(jī)制與自然語言翻譯/
8.3基于Transformer模型的自然語言處理模型/
8.3.1基于Transformer的序列到序列模型/
8.3.2BERT模型原理/
8.3.3GPT模型原理 /
8.4總結(jié)/
第9章 圖像、信號(hào)、文本等跨模態(tài)轉(zhuǎn)換/
9.1語音識(shí)別問題/
9.1.1基于短時(shí)傅里葉變換和CTC模型的語音識(shí)別/
9.1.2卷積神經(jīng)網(wǎng)絡(luò)直接處理原始波形進(jìn)行語音識(shí)別/
9.1.3使用編碼解碼（Seq2Seq）模型完成語音識(shí)別 /
9.2圖像文本混合任務(wù) /
9.2.1光學(xué)字符識(shí)別任務(wù)/
9.2.2圖像標(biāo)題生成/
9.2.3文本到圖像自動(dòng)合成/
9.2.4自然科學(xué)應(yīng)用：深度學(xué)習(xí)層析成像技術(shù)/
9.3強(qiáng)化學(xué)習(xí)/
9.4圖神經(jīng)網(wǎng)絡(luò)/
9.4.1圖及其相關(guān)概念/
9.4.2空間域圖卷積神經(jīng)網(wǎng)絡(luò) /
9.4.3譜域圖卷積神經(jīng)網(wǎng)絡(luò)/
9.5總結(jié)/
第10章 深度學(xué)習(xí)模型壓縮與加速/
10.1對(duì)模型進(jìn)行優(yōu)化與壓縮/
10.1.1卷積基礎(chǔ)結(jié)構(gòu)優(yōu)化/
10.1.2卷積層的優(yōu)化/
10.1.3批標(biāo)準(zhǔn)化層融合/
10.1.4知識(shí)蒸餾/
10.2深度學(xué)習(xí)模型壓縮和量化/
10.2.1深度學(xué)習(xí)模型浮點(diǎn)計(jì)算精度/
10.2.2深度學(xué)習(xí)模型量化/
10.2.3量化模型計(jì)算實(shí)現(xiàn)/
10.3模型部署/
10.4總結(jié)