123,123

內(nèi)容簡(jiǎn)介

　　作為一款輕量級(jí)、模塊化的開(kāi)源深度學(xué)習(xí)框架，Keras以容易上手、利于快速原型實(shí)現(xiàn)、能夠與TensorFlow和Theano等后端計(jì)算平臺(tái)很好兼容等優(yōu)點(diǎn)，深受眾多開(kāi)發(fā)人員和研究人員的喜愛(ài)。本書(shū)結(jié)合大量實(shí)例，簡(jiǎn)明扼要地介紹了目前熱門(mén)的神經(jīng)網(wǎng)絡(luò)技術(shù)和深度學(xué)習(xí)技術(shù)。從經(jīng)典的多層感知機(jī)到用于圖像處理的深度卷積網(wǎng)絡(luò)，從處理序列化數(shù)據(jù)的循環(huán)網(wǎng)絡(luò)到偽造仿真數(shù)據(jù)的生成對(duì)抗網(wǎng)絡(luò)，從詞嵌入到AI游戲應(yīng)用中的強(qiáng)化學(xué)習(xí)，本書(shū)帶領(lǐng)讀者一層一層揭開(kāi)深度學(xué)習(xí)的面紗，并在逐漸清晰的理論框架下，提供多個(gè)Python編碼實(shí)例，方便讀者動(dòng)手實(shí)踐。通過(guò)閱讀本書(shū)，讀者不僅能學(xué)會(huì)使用Keras快捷構(gòu)建各個(gè)類型的深度網(wǎng)絡(luò)，還可以按需自定義網(wǎng)絡(luò)層和后端功能，從而提升自己的AI編程能力，在成為深度學(xué)習(xí)專家的路上更進(jìn)一步。

作者簡(jiǎn)介

　　作者簡(jiǎn)介Antonio Gulli是企業(yè)領(lǐng)導(dǎo)和軟件部門(mén)高管，具備創(chuàng)新精神和執(zhí)行力，并樂(lè)于發(fā)現(xiàn)和管理全球高科技人才。他是搜索引擎、在線服務(wù)、機(jī)器學(xué)習(xí)、信息檢索、數(shù)據(jù)分析以及云計(jì)算等多方面的專家。他幸運(yùn)地?fù)碛袣W洲4個(gè)不同國(guó)家的工作經(jīng)驗(yàn)，并管理過(guò)來(lái)自歐洲和美國(guó)6個(gè)不同國(guó)家的員工。Antonio在出版業(yè)（Elsevier）、消費(fèi)者互聯(lián)網(wǎng)（Ask.com 和Tiscali）以及高科技研發(fā)（微軟和谷歌）等多個(gè)跨度的行業(yè)里歷任CEO、GM、CTO、副總裁、總監(jiān)及區(qū)域主管。Sujit Pal是Elsevier Labs技術(shù)研發(fā)主管，致力于構(gòu)建圍繞研發(fā)內(nèi)容和元數(shù)據(jù)的智能系統(tǒng)。他的主要興趣包括信息檢索、本體論、自然語(yǔ)言處理、機(jī)器學(xué)習(xí)，以及分布式處理。他現(xiàn)在的工作是利用深度學(xué)習(xí)模型對(duì)圖像進(jìn)行分類和相似度識(shí)別。在此之前，他在衛(wèi)生保健行業(yè)工作，幫助構(gòu)建基于本體論的語(yǔ)義搜索、關(guān)聯(lián)廣告，以及EMR數(shù)據(jù)處理平臺(tái)。他在他的博客Salmon Run上發(fā)表技術(shù)文章。譯者簡(jiǎn)介王海玲，大學(xué)畢業(yè)于吉林大學(xué)計(jì)算機(jī)系，從小喜愛(ài)數(shù)學(xué)，曾獲得華羅庚數(shù)學(xué)競(jìng)賽全國(guó)二等獎(jiǎng)。擁有世界500強(qiáng)企業(yè)多年研發(fā)經(jīng)驗(yàn)。作為項(xiàng)目骨干成員，參與過(guò)美國(guó)惠普實(shí)驗(yàn)室機(jī)器學(xué)習(xí)項(xiàng)目。李昉，畢業(yè)于東北大學(xué)自動(dòng)化系，大學(xué)期間曾獲得“挑戰(zhàn)杯”全國(guó)一等獎(jiǎng)。擁有世界500強(qiáng)企業(yè)多年研發(fā)經(jīng)驗(yàn)，隨后加入互聯(lián)網(wǎng)創(chuàng)業(yè)公司。2013年開(kāi)始帶領(lǐng)研發(fā)團(tuán)隊(duì)將大數(shù)據(jù)分析運(yùn)用于“預(yù)訂電商”價(jià)格分析預(yù)測(cè)（《IT經(jīng)理世界》2013年第6期）?，F(xiàn)在中體彩彩票運(yùn)營(yíng)公司負(fù)責(zé)大數(shù)據(jù)和機(jī)器學(xué)習(xí)方面的研發(fā)。同時(shí)是集智俱樂(lè)部成員，參與翻譯人工智能圖書(shū)《Deep Thinking》。中文版審校者簡(jiǎn)介于立國(guó)，現(xiàn)任國(guó)美大數(shù)據(jù)研究院研發(fā)總監(jiān)，曾任知名上市互聯(lián)網(wǎng)廣告公司——品眾互動(dòng)研發(fā)總監(jiān)，也曾在Adobe數(shù)字化營(yíng)銷部門(mén)擔(dān)任負(fù)責(zé)人，對(duì)大數(shù)據(jù)、人工智能、互聯(lián)網(wǎng)廣告領(lǐng)域深有研究。

圖書(shū)目錄

第 1章神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 1

1.1　感知機(jī)　2

　第一個(gè)Keras代碼示例　3

1.2　多層感知機(jī)—第一個(gè)神經(jīng)網(wǎng)絡(luò)的示例　3

1.2.1　感知機(jī)訓(xùn)練方案中的問(wèn)題　4

1.2.2　激活函數(shù)—sigmoid　5

1.2.3　激活函數(shù)—ReLU　5

1.2.4　激活函數(shù)　6

1.3　實(shí)例—手寫(xiě)數(shù)字識(shí)別　6

1.3.1　One-hot編碼—OHE　7

1.3.2　用Keras定義簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)　7

1.3.3　運(yùn)行一個(gè)簡(jiǎn)單的Keras網(wǎng)絡(luò)并創(chuàng)建基線　10

1.3.4　用隱藏層改進(jìn)簡(jiǎn)單網(wǎng)絡(luò)　11

1.3.5　用dropout進(jìn)一步改進(jìn)簡(jiǎn)單網(wǎng)絡(luò)　14

1.3.6　Keras中的不同優(yōu)化器測(cè)試　16

1.3.7　增加訓(xùn)練輪數(shù)　20

1.3.8　控制優(yōu)化器的學(xué)習(xí)率　20

1.3.9　增加內(nèi)部隱藏神經(jīng)元的數(shù)量　21

1.3.10　增加批處理的大小　22

1.3.11　識(shí)別手寫(xiě)數(shù)字的實(shí)驗(yàn)總結(jié)　22

1.3.12　采用正則化方法避免過(guò)擬合　22

1.3.13　超參數(shù)調(diào)優(yōu)　24

1.3.14　輸出預(yù)測(cè)　24

1.4　一種實(shí)用的反向傳播概述　25

1.5　走向深度學(xué)習(xí)之路　26

1.6　小結(jié)　27

第　2章 Keras安裝和API　28

2.1　安裝Keras　28

2.1.1　第 1步—安裝依賴項(xiàng)　28

2.1.2　第 2步—安裝Theano　29

2.1.3　第3步—安裝TensorFlow　29

2.1.4　第4步—安裝Keras　30

2.1.5　第5步—測(cè)試Theano、TensorFlow和Keras　30

2.2　配置Keras　31

2.3　在Docker上安裝Keras　32

2.4　在谷歌Cloud ML上安裝Keras　34

2.5　在亞馬遜AWS上安裝Keras　36

2.6　在微軟Azure上安裝Keras　37

2.7　Keras API　39

2.7.1　從Keras架構(gòu)開(kāi)始　40

2.7.2　預(yù)定義神經(jīng)網(wǎng)絡(luò)層概述　40

2.7.3　預(yù)定義激活函數(shù)概述　43

2.7.4　損失函數(shù)概述　44

2.7.5　評(píng)估函數(shù)概述　44

2.7.6　優(yōu)化器概述　44

2.7.7　一些有用的操作　44

2.7.8　保存和加載權(quán)重及模型結(jié)構(gòu)　45

2.8　自定義訓(xùn)練過(guò)程的回調(diào)函數(shù)　45

2.8.1　檢查點(diǎn)設(shè)置　45

2.8.2　使用TensorBoard　47

2.8.3　使用Quiver　47

2.9　小結(jié)　48

第3章　深度學(xué)習(xí)之卷積網(wǎng)絡(luò)　49

3.1　深度卷積神經(jīng)網(wǎng)絡(luò)—DCNN　50

3.1.1　局部感受野　50

3.1.2　共享權(quán)重和偏置　51

3.1.3　池化層　51

3.2　DCNN示例—LeNet　52

3.2.1　用Keras構(gòu)建LeNet代碼　53

3.2.2　深度學(xué)習(xí)的本領(lǐng)　59

3.3　用深度學(xué)習(xí)網(wǎng)絡(luò)識(shí)別CIFAR-10圖像　60

3.3.1　用深度學(xué)習(xí)網(wǎng)絡(luò)改進(jìn)CIFAR-10的性能　64

3.3.2　通過(guò)數(shù)據(jù)增加改善CIFAR-10的性能　66

3.3.3　用CIFAR-10進(jìn)行預(yù)測(cè)　68

3.4　用于大型圖片識(shí)別的極深度卷積網(wǎng)絡(luò)　69

3.4.1　用VGG-16網(wǎng)絡(luò)識(shí)別貓　71

3.4.2　使用Keras內(nèi)置的VGG-16網(wǎng)絡(luò)模塊　72

3.4.3　為特征提取回收內(nèi)置深度學(xué)習(xí)模型　73

3.4.4　用于遷移學(xué)習(xí)的極深inception-v3網(wǎng)絡(luò)　74

3.5　小結(jié)　76

第4章　生成對(duì)抗網(wǎng)絡(luò)和WaveNet　78

4.1　什么是生成對(duì)抗網(wǎng)絡(luò)　78

　生成對(duì)抗網(wǎng)絡(luò)的一些應(yīng)用　80

4.2　深度卷積生成對(duì)抗網(wǎng)絡(luò)　82

4.3　用Keras adversarial生成MNIST數(shù)據(jù)　85

4.4　用Keras adversarial生成CIFAR數(shù)據(jù)　91

4.5　WaveNet—一個(gè)學(xué)習(xí)如何產(chǎn)生音頻的生成模型　99

4.6　小結(jié)　108

第5章　詞嵌入　109

5.1　分布式表示　110

5.2　word2vec　110

5.2.1　skip-gram word2vec模型　111

5.2.2　CBOW word2vec模型　114

5.2.3　從模型中提取word2vec向量　116

5.2.4　使用word2vec的第三方實(shí)現(xiàn)　117

5.3　探索GloVe　121

5.4　使用預(yù)訓(xùn)練好的詞向量　122

5.4.1　從頭開(kāi)始學(xué)習(xí)詞向量　123

5.4.2　從word2vec中微調(diào)訓(xùn)練好的詞向量　127

5.4.3　從GloVe中微調(diào)訓(xùn)練好的詞向量　131

5.4.4　查找詞向量　132

5.5　小結(jié)　136

第6章　循環(huán)神經(jīng)網(wǎng)絡(luò)—RNN　137

6.1　SimpleRNN單元　138

　用Keras實(shí)現(xiàn)SimpleRNN—生成文本　139

6.2　RNN拓?fù)浣Y(jié)構(gòu)　143

6.3　梯度消失和梯度爆炸　145

6.4　長(zhǎng)短期記憶網(wǎng)絡(luò)—LSTM　146

　用Keras實(shí)現(xiàn)LSTM—情感分析　148

6.5　門(mén)控循環(huán)單元—GRU　153

　用Keras實(shí)現(xiàn)GRU—詞性標(biāo)注　154

6.6　雙向RNN　160

6.7　有狀態(tài)RNN　161

　用Keras實(shí)現(xiàn)有狀態(tài)LSTM—電量消費(fèi)預(yù)測(cè)　161

6.8　其他RNN變體　167

6.9　小結(jié)　167

第7章　其他深度學(xué)習(xí)模型　169

7.1　Keras函數(shù)API　170

7.2　回歸網(wǎng)絡(luò)　172

　Keras回歸示例—預(yù)測(cè)空氣中的苯含量　172

7.3　無(wú)監(jiān)督學(xué)習(xí)—自動(dòng)編碼器　176

　Keras自動(dòng)編碼器示例—句向量　178

7.4　構(gòu)造深度網(wǎng)絡(luò)　185

　Keras示例—問(wèn)答記憶網(wǎng)絡(luò)　185

7.5　自定義Keras　192

7.5.1　Keras示例—使用lambda層　193

7.5.2　Keras示例—自定義歸一化層　193

7.6　生成模型　196

7.6.1　Keras示例—Deep Dreaming　197

7.6.2　Keras示例—風(fēng)格轉(zhuǎn)換　204

7.7　小結(jié)　208

第8章　游戲中的AI　210

8.1　強(qiáng)化學(xué)習(xí)　211

8.1.1　最大化未來(lái)獎(jiǎng)賞　212

8.1.2　Q學(xué)習(xí)　212

8.1.3　深度Q網(wǎng)絡(luò)作為Q函數(shù)　213

8.1.4　探索和利用的平衡　214

8.1.5　經(jīng)驗(yàn)回放，或經(jīng)驗(yàn)值　215

8.2　示例—用Keras深度Q網(wǎng)絡(luò)實(shí)現(xiàn)捕捉游戲　215

8.3　未來(lái)之路　226

8.4　小結(jié)　228

第9章　結(jié)束語(yǔ)　229

9.1　Keras 2.0—新特性　230

9.1.1　安裝Keras 2.0　230

9.1.2　API的變化　231