123,123,123

內(nèi)容簡(jiǎn)介

　　本書圍繞大數(shù)據(jù)分析方法，闡述了大數(shù)據(jù)采集方法，大數(shù)據(jù)清洗方法，詳細(xì)介紹了大數(shù)據(jù)存儲(chǔ)方法，大數(shù)據(jù)分布式計(jì)算方法，大數(shù)據(jù)分析模型構(gòu)建方法，大數(shù)據(jù)分析模型檢驗(yàn)方法，大數(shù)據(jù)分析模型優(yōu)化方法。全書提供了大量的案例，對(duì)程序進(jìn)行了詳細(xì)的分析和解讀。本書的實(shí)用價(jià)值較高，對(duì)從事大數(shù)據(jù)分析的科研人員、研發(fā)人員具有一定的借鑒參考作用。

作者簡(jiǎn)介

　　陸紅，副教授，北京信息職業(yè)技術(shù)學(xué)院技術(shù)應(yīng)用研究所所長(zhǎng)，多年從事計(jì)算機(jī)領(lǐng)域研究，主要研究方向：大數(shù)據(jù)、人工智能、軟件技術(shù)。主持多項(xiàng)省部級(jí)課題，其中一項(xiàng)獲教育部科技成果獎(jiǎng)。編寫多部著作，發(fā)表多篇相關(guān)領(lǐng)域的學(xué)術(shù)論文。作為多個(gè)部委專家，主持完成多個(gè)部委信息化建設(shè)標(biāo)準(zhǔn)制定工作。主持完成多個(gè)部委信息化建設(shè)項(xiàng)目。

圖書目錄

1大數(shù)據(jù)采集處理方法1
1.1爬蟲程序設(shè)計(jì)方案1
1.2爬蟲程序?qū)崿F(xiàn)方法5
1.3數(shù)據(jù)清洗20
2大數(shù)據(jù)存儲(chǔ)方法27
2.1分布式文件系統(tǒng)存儲(chǔ)大數(shù)據(jù)27
2.1.1HDFS體系結(jié)構(gòu)27
2.1.2HDFS數(shù)據(jù)存儲(chǔ)方式28
2.1.3HDFS讀寫方式28
2.2分布式數(shù)據(jù)庫(kù)存儲(chǔ)大數(shù)據(jù)32
2.2.1Hbase體系結(jié)構(gòu)32
2.2.2配置Hbase33
2.2.3Hbase表操作38
2.2.4訪問(wèn)Hbase數(shù)據(jù)資源44
3大數(shù)據(jù)計(jì)算方法50
3.1分布式計(jì)算平臺(tái)構(gòu)建方法50
3.2分布式計(jì)算框架構(gòu)建方法60
3.3分布式計(jì)算程序設(shè)計(jì)方法63
4大數(shù)據(jù)分析模型構(gòu)建方法78
4.1準(zhǔn)備訓(xùn)練數(shù)據(jù)78
4.2機(jī)器學(xué)習(xí)路徑和算法設(shè)計(jì)方法82
4.3數(shù)據(jù)可視化輔助建模方法88
4.4構(gòu)建大數(shù)據(jù)分析模型91
5大數(shù)據(jù)分析模型檢驗(yàn)方法108
5.1回歸診斷108
5.2交叉驗(yàn)證113
6大數(shù)據(jù)分析模型優(yōu)化方法117
6.1Feature Scaling優(yōu)化法117
6.2逐步回歸優(yōu)化法118
6.3PCA主成分分析優(yōu)化方法120
6.4神經(jīng)網(wǎng)絡(luò)優(yōu)化大數(shù)據(jù)分析模型127
參考文獻(xiàn)151