123,123,123

內(nèi)容簡(jiǎn)介

　　本書著眼于處理時(shí)間序列數(shù)據(jù)的深度學(xué)習(xí)算法，通過(guò)基于Python 語(yǔ)言的庫(kù)TensorFlow 和Keras來(lái)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)的理論和實(shí)現(xiàn)。全書共六章，前兩章講解了學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)所需的數(shù)學(xué)知識(shí)和Python 基礎(chǔ)知識(shí)；中間兩章講解了神經(jīng)網(wǎng)絡(luò)的基本算法以及深度學(xué)習(xí)的基礎(chǔ)知識(shí)和應(yīng)用；最后兩章詳細(xì)介紹了專門用于處理時(shí)間序列數(shù)據(jù)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。

作者簡(jiǎn)介

　　巢籠悠輔（作者）日本新聞應(yīng)用Gunosy和眾籌網(wǎng)站READYFOR的創(chuàng)始人之一。曾就職于電通和谷歌紐約分部。辭職后參與了株式會(huì)社MICIN的創(chuàng)立工作，致力于人工智能技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用。東京大學(xué)客座講師。著作有《深度學(xué)習(xí)：Java語(yǔ)言實(shí)現(xiàn)》。鄭明智（譯者）智慧醫(yī)療工程師。主要研究方向?yàn)獒t(yī)療領(lǐng)域的自然語(yǔ)言處理及其應(yīng)用，密切關(guān)注大數(shù)據(jù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等領(lǐng)域。譯作有《松本行弘：編程語(yǔ)言的設(shè)計(jì)與實(shí)現(xiàn)》《深度學(xué)習(xí)基礎(chǔ)與實(shí)踐》。

圖書目錄

第 1章　數(shù)學(xué)準(zhǔn)備 001
1．1　偏微分　001
1．1．1　導(dǎo)函數(shù)和偏導(dǎo)函數(shù)　001
1．1．2　微分系數(shù)與偏微分系數(shù)　003
1．1．3　偏微分的基本公式　006
1．1．4　復(fù)合函數(shù)的偏微分　007
1．1．5　拓展全微分　009
1．2　線性代數(shù)　011
1．2．1　向量　011
1．2．1．1　向量的基礎(chǔ)知識(shí)　011
1．2．1．2　向量的和與標(biāo)量倍數(shù)　011
1．2．1．3　向量的內(nèi)積　012
1．2．2　矩陣　013
1．2．2．1　矩陣的基礎(chǔ)知識(shí)　013
1．2．2．2　矩陣的和與標(biāo)量倍數(shù)　014
1．2．2．3　矩陣的乘積　014
1．2．2．4　正則矩陣與逆矩陣　016
1．2．2．5　轉(zhuǎn)置矩陣　017
1．3　小結(jié)　018
第　2章 Python準(zhǔn)備　019
2．1　Python 2和Python 3　020
2．2　Anaconda發(fā)行版　021
2．3　Python的基礎(chǔ)知識(shí)　025
2．3．1　Python程序的執(zhí)行　025
2．3．2　數(shù)據(jù)類型　026
2．3．2．1　類型是什么　026
2．3．2．2　字符串類型　027
2．3．2．3　數(shù)值類型　028
2．3．2．4　布爾類型　030
2．3．3　變量　031
2．3．3．1　變量是什么　031
2．3．3．2　變量與類型　032
2．3．4　數(shù)據(jù)結(jié)構(gòu)　033
2．3．4．1　列表　033
2．3．4．2　字典　034
2．3．5　運(yùn)算　035
2．3．5．1　運(yùn)算符與操作數(shù)　035
2．3．5．2　算術(shù)運(yùn)算的運(yùn)算符　036
2．3．5．3　賦值運(yùn)算符　036
2．3．6　基本結(jié)構(gòu)　038
2．3．6．1　if語(yǔ)句　038
2．3．6．2　while語(yǔ)句　039
2．3．6．3　for語(yǔ)句　041
2．3．7　函數(shù)　043
2．3．8　類　045
2．3．9　庫(kù)　048
2．4　NumPy　049
2．4．1　NumPy數(shù)組　049
2．4．2　使用NumPy進(jìn)行向量和矩陣的計(jì)算　051
2．4．3　數(shù)組和多維數(shù)組的生成　053
2．4．4　切片　054
2．4．5　廣播　056
2．5　面向深度學(xué)習(xí)的庫(kù)　058
2．5．1　TensorFlow　058
2．5．2　Keras　059
2．5．3　參考Theano　060
2．6　小結(jié)　063
第3章　神經(jīng)網(wǎng)絡(luò)　065
3．1　什么是神經(jīng)網(wǎng)絡(luò)　065
3．1．1　腦和神經(jīng)元　065
3．1．2　深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)　066
3．2　作為電路的神經(jīng)網(wǎng)絡(luò)　067
3．2．1　簡(jiǎn)單的模型化　067
3．2．2　邏輯電路　069
3．2．2．1　邏輯門　069
3．2．2．2　與門　069
3．2．2．3　或門　072
3．2．2．4　非門　074
3．3　簡(jiǎn)單感知機(jī)　075
3．3．1　模型化　075
3．3．2　實(shí)現(xiàn)　077
3．4　邏輯回歸　081
3．4．1　階躍函數(shù)與sigmoid函數(shù)　081
3．4．2　模型化　082
3．4．2．1　似然函數(shù)與交叉熵誤差函數(shù)　082
3．4．2．2　梯度下降法　084
3．4．2．3　隨機(jī)梯度下降法與小批量梯度下降法　085
3．4．3　實(shí)現(xiàn)　086
3．4．3．1　使用TensorFlow的實(shí)現(xiàn)　086
3．4．3．2　使用Keras的實(shí)現(xiàn)　092
3．4．4　拓展sigmoid函數(shù)與概率密度函數(shù)、累積分布函數(shù)　096
3．4．5　拓展梯度下降法和局部最優(yōu)解　099
3．5　多分類邏輯回歸　101
3．5．1　softmax函數(shù)　101
3．5．2　模型化　102
3．5．3　實(shí)現(xiàn)　106
3．5．3．1　使用TensorFlow的實(shí)現(xiàn)　106
3．5．3．2　使用Keras的實(shí)現(xiàn)　110
3．6　多層感知機(jī)　111
3．6．1　非線性分類　111
3．6．1．1　異或門　111
3．6．1．2　邏輯門的組合　113
3．6．2　模型化　115
3．6．3　實(shí)現(xiàn)　119
3．6．3．1　使用TensorFlow的實(shí)現(xiàn)　119
3．6．3．2　使用Keras的實(shí)現(xiàn)　122
3．7　模型的評(píng)估　123
3．7．1　從分類到預(yù)測(cè)　123
3．7．2　預(yù)測(cè)的評(píng)估　124
3．7．3　簡(jiǎn)單的實(shí)驗(yàn)　126
3．8　小結(jié)　131
第4章　深度神經(jīng)網(wǎng)絡(luò)　133
4．1　進(jìn)入深度學(xué)習(xí)之前的準(zhǔn)備　133
4．2　訓(xùn)練過(guò)程中的問(wèn)題　138
4．2．1　梯度消失問(wèn)題　138
4．2．2　過(guò)擬合問(wèn)題　141
4．3　訓(xùn)練的高效化　142
4．3．1　激活函數(shù)　143
4．3．1．1　雙曲正切函數(shù)　143
4．3．1．2　ReLU　145
4．3．1．3　Leaky ReLU　147
4．3．1．4　Parametric ReLU　149
4．3．2　Dropout　152
4．4　代碼的設(shè)計(jì)　157
4．4．1　基本設(shè)計(jì)　157
4．4．1．1　使用TensorFlow的實(shí)現(xiàn)　157
4．4．1．2　使用Keras的實(shí)現(xiàn)　160
4．4．1．3　拓展對(duì)TensorFlow模型進(jìn)行類封裝　161
4．4．2　訓(xùn)練的可視化　166
4．4．2．1　使用TensorFlow的實(shí)現(xiàn)　167
4．4．2．2　使用Keras的實(shí)現(xiàn)　172
4．5　高級(jí)技術(shù)　176
4．5．1　數(shù)據(jù)的正則化與權(quán)重的初始化　176
4．5．2　學(xué)習(xí)率的設(shè)置　179
4．5．2．1　動(dòng)量　179
4．5．2．2　Nesterov動(dòng)量　180
4．5．2．3　Adagrad　181
4．5．2．4　Adadelta　182
4．5．2．5　RMSprop　184
4．5．2．6　Adam　185
4．5．3　早停法　187
4．5．4　Batch Normalization　190
4．6　小結(jié)　195
第5章　循環(huán)神經(jīng)網(wǎng)絡(luò)　197
5．1　基本概念　197
5．1．1　時(shí)間序列數(shù)據(jù)　197
5．1．2　過(guò)去的隱藏層　199
5．1．3　基于時(shí)間的反向傳播算法　202
5．1．4　實(shí)現(xiàn)　204
5．1．4．1　準(zhǔn)備時(shí)間序列數(shù)據(jù)　205
5．1．4．2　使用TensorFlow的實(shí)現(xiàn)　207
5．1．4．3　使用Keras的實(shí)現(xiàn)　214
5．2　LSTM　215
5．2．1　LSTM 塊　215
5．2．2　CEC、輸入門和輸出門　217
5．2．2．1　穩(wěn)態(tài)誤差　217
5．2．2．2　輸入權(quán)重沖突和輸出權(quán)重沖突　219
5．2．3　遺忘門　220
5．2．4　窺視孔連接　222
5．2．5　模型化　223
5．2．6　實(shí)現(xiàn)　227
5．2．7　長(zhǎng)期依賴信息的訓(xùn)練評(píng)估——Adding Problem　229
5．3　GRU　232
5．3．1　模型化　232
5．3．2　實(shí)現(xiàn)　233
5．4　小結(jié)　235
第6章　循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用　237
6．1　雙向循環(huán)神經(jīng)網(wǎng)絡(luò)　237
6．1．1　未來(lái)的隱藏層　237
6．1．2　前向、后向傳播　239
6．1．3　MNIST的預(yù)測(cè)　241
6．1．3．1　轉(zhuǎn)換為時(shí)間序列數(shù)據(jù)　241
6．1．3．2　使用TensorFlow的實(shí)現(xiàn)　242
6．1．3．3　使用Keras的實(shí)現(xiàn)　245
6．2　循環(huán)神經(jīng)網(wǎng)絡(luò)編碼器- 解碼器　246
6．2．1　序列到序列模型　246
6．2．2　簡(jiǎn)單的問(wèn)答系統(tǒng)　247
6．2．2．1　設(shè)置問(wèn)題——加法的訓(xùn)練　247
6．2．2．2　數(shù)據(jù)的準(zhǔn)備　248
6．2．2．3　使用TensorFlow的實(shí)現(xiàn)　251
6．2．2．4　使用Keras的實(shí)現(xiàn)　260
6．3　注意力模型　261
6．3．1　時(shí)間的權(quán)重　261
6．3．2　LSTM中的注意力機(jī)制　263
6．4　記憶網(wǎng)絡(luò)　265
6．4．1　記憶外部化　265
6．4．2　應(yīng)用于問(wèn)答系統(tǒng)　266
6．4．2．1　bAbi任務(wù)　266
6．4．2．2　模型化　267
6．4．3　實(shí)現(xiàn)　269
6．4．3．1　數(shù)據(jù)的準(zhǔn)備　269
6．4．3．2　使用TensorFlow的實(shí)現(xiàn)　272
6．5　小結(jié)　276
附錄　279
A．1　模型的保存和讀取　279
A．1．1　使用TensorFlow時(shí)的處理　279
A．1．2　使用Keras時(shí)的處理　284
A．2　TensorBoard　285
A．3　tf．contrib．learn　292