123,123

內(nèi)容簡(jiǎn)介

　　本書以大學(xué)生大數(shù)據(jù)技能競(jìng)賽、“智警杯”大數(shù)據(jù)技能競(jìng)賽為背景，全面系統(tǒng)地講述了大數(shù)據(jù)技術(shù)的基本原理和應(yīng)用。本書共5章，主要介紹了Linux操作系統(tǒng)的常用命令和服務(wù)的使用；MySQL數(shù)據(jù)庫(kù)操作與管理、非關(guān)系型數(shù)據(jù)庫(kù)NoSQL；圍繞大數(shù)據(jù)框架講述了Hadoop技術(shù)、Hive數(shù)據(jù)倉(cāng)庫(kù)等大數(shù)據(jù)組件架構(gòu)的應(yīng)用；數(shù)據(jù)采集與分析；數(shù)據(jù)挖掘與數(shù)據(jù)可視化、業(yè)務(wù)分析報(bào)告撰寫等內(nèi)容。本書內(nèi)容循序漸進(jìn)，條理性強(qiáng)，全部?jī)?nèi)容基于項(xiàng)目需求進(jìn)行設(shè)計(jì)，同時(shí)對(duì)所需的系統(tǒng)環(huán)境、軟件版本、數(shù)據(jù)等信息進(jìn)行詳細(xì)說明，有助于讀者本地環(huán)境的復(fù)現(xiàn)和練習(xí)。為提升學(xué)習(xí)效果，書中結(jié)合實(shí)際應(yīng)用提供了大量的案例，并配以完善的學(xué)習(xí)資料，包括課件、軟件、數(shù)據(jù)、源碼、答案、在線競(jìng)賽模擬平臺(tái)，為讀者帶來全方位的學(xué)習(xí)體驗(yàn)。掃描關(guān)注機(jī)械工業(yè)出版社計(jì)算機(jī)分社官方微信訂閱號(hào)IT有得聊，回復(fù)“73112”。即可獲取本書配套資源下載鏈接。本書既可作為大數(shù)據(jù)技能競(jìng)賽的參賽輔導(dǎo)書，也可作為高等院校本、?？茢?shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)以及其他計(jì)算機(jī)相關(guān)專業(yè)大數(shù)據(jù)技術(shù)綜合實(shí)訓(xùn)教材。

作者簡(jiǎn)介

　　李輝，博士，中國(guó)農(nóng)業(yè)大學(xué)計(jì)算中心兼農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室主任，全國(guó)大學(xué)生大數(shù)據(jù)技能競(jìng)賽、全國(guó)高校大數(shù)據(jù)能力提升大賽等大數(shù)據(jù)類賽項(xiàng)裁判長(zhǎng)，中國(guó)大數(shù)據(jù)技術(shù)與應(yīng)用聯(lián)盟智庫(kù)專家，北京市大數(shù)據(jù)教學(xué)實(shí)踐基地負(fù)責(zé)人；曾獲中國(guó)大數(shù)據(jù)學(xué)術(shù)創(chuàng)新獎(jiǎng)、全國(guó)高校人工智能與大數(shù)據(jù)教學(xué)創(chuàng)新獎(jiǎng)；主講“數(shù)據(jù)庫(kù)原理及應(yīng)用基礎(chǔ)”“Python語言程序設(shè)計(jì)”“大數(shù)據(jù)可視化分析”等本科生課程；主持新工科項(xiàng)目2項(xiàng)，發(fā)表學(xué)術(shù)論文20多篇，申請(qǐng)軟件著作權(quán)50多項(xiàng)，專利3項(xiàng)；出版《數(shù)據(jù)庫(kù)系統(tǒng)原理及MySQL應(yīng)用教程》教材第1版和第2版被國(guó)內(nèi)眾多院校選用，為機(jī)械工業(yè)出版社計(jì)算機(jī)分社20周年金牌作者。青椒課堂（大數(shù)據(jù)人工智能教學(xué)實(shí)訓(xùn)平臺(tái)）是依據(jù)大數(shù)據(jù)產(chǎn)業(yè)數(shù)字化人才能力要求，基于院校對(duì)大數(shù)據(jù)技術(shù)應(yīng)用型人才培養(yǎng)的需求，結(jié)合企業(yè)大數(shù)據(jù)業(yè)務(wù)場(chǎng)景，以技術(shù)為驅(qū)動(dòng)打造“青椒課堂”，助力高校大數(shù)據(jù)專業(yè)領(lǐng)域數(shù)字化人才培養(yǎng)。大數(shù)據(jù)人工智能教學(xué)實(shí)訓(xùn)平臺(tái)的設(shè)計(jì)全面落實(shí)“教、訓(xùn)、用、監(jiān)、評(píng)”一體化的思想和模式。從教學(xué)、實(shí)訓(xùn)、使用、監(jiān)控、評(píng)估等多方面注重專業(yè)人才和特色人才的培養(yǎng)。平臺(tái)是集專業(yè)度、便捷性、安全性及可擴(kuò)展性的理實(shí)一體化教學(xué)實(shí)訓(xùn)平臺(tái)，平臺(tái)主要涵蓋了教師備課、授課，學(xué)生實(shí)操、實(shí)訓(xùn)，考試競(jìng)賽，數(shù)據(jù)統(tǒng)計(jì)分析及教學(xué)規(guī)劃等全流程控制的綜合平臺(tái)。

圖書目錄

實(shí)驗(yàn)環(huán)境配置說明
第1章Linux操作系統(tǒng)
1.1主機(jī)名配置
1.1.1設(shè)置主機(jī)名
1.1.2Hosts映射
1.2防火墻配置與管理
1.2.1防火墻操作命令
1.2.2配置防火墻規(guī)則
1.3時(shí)間同步
1.3.1同步網(wǎng)絡(luò)時(shí)間
1.3.2同步服務(wù)器時(shí)間
1.4定時(shí)任務(wù)管理
1.5SSH遠(yuǎn)程訪問
1.5.1SSH協(xié)議
1.5.2SSH連接工具
1.6軟件包管理
1.6.1軟件配置
1.6.2下載安裝軟件
思考與練習(xí)
第2章數(shù)據(jù)庫(kù)技術(shù)
2.1MySQL數(shù)據(jù)庫(kù)
2.1.1MySQL的安裝
2.1.2數(shù)據(jù)庫(kù)操作管理
2.1.3數(shù)據(jù)表操作管理
2.1.4數(shù)據(jù)操作管理
2.1.5視圖
2.1.6權(quán)限管理
2.1.7備份與還原
2.1.8SQL優(yōu)化
2.2非關(guān)系型數(shù)據(jù)庫(kù)NoSQL
2.2.1HBase列式數(shù)據(jù)庫(kù)
2.2.2Redis數(shù)據(jù)庫(kù)
2.2.3MongoDB文件數(shù)據(jù)庫(kù)
思考與練習(xí)
第3章大數(shù)據(jù)平臺(tái)技術(shù)
3.1Hadoop分布式大數(shù)據(jù)框架
3.1.1搭建Hadoop偽分布式集群
3.1.2搭建Hadoop完全分布式集群
3.1.3命令行方式管理HDFS
3.1.4使用開發(fā)工具連接Hadoop
集群
3.1.5Java API操作HDFS
3.1.6分布式計(jì)算框架之MapReduce
3.1.7編寫MapReduce方法
3.1.8配置Hadoop集群高可用
（HA）
3.2Hive數(shù)據(jù)倉(cāng)庫(kù)
3.2.1本地模式安裝Hive數(shù)據(jù)倉(cāng)庫(kù)
3.2.2Hive數(shù)據(jù)倉(cāng)庫(kù)的常見屬性
3.2.3Hive DDL操作
3.2.4Hive DML操作
3.2.5Hive中的數(shù)據(jù)查詢
3.2.6Hive中的窗口函數(shù)
3.2.7案例：國(guó)內(nèi)主要城市房屋出租
情況統(tǒng)計(jì)分析
3.3HBase數(shù)據(jù)庫(kù)
3.3.1搭建HBase偽分布式集群
3.3.2HBase的Shell操作
3.3.3HBase的Java API操作
3.3.4使用HBase的過濾器
3.3.5HBase與MapReduce的集成
3.3.6HBase與Hive的集成
3.3.7HBase與Sqoop的集成
3.4Spark技術(shù)框架
3.4.1集群安裝部署
3.4.2Spark Shell
3.4.3Spark SQL
3.4.4Spark Streaming
3.4.5Spark MLlib
3.4.6Structured Streaming實(shí)時(shí)計(jì)算
3.5大數(shù)據(jù)平臺(tái)運(yùn)維與管理
3.5.1故障排查
3.5.2性能調(diào)優(yōu)
3.6大數(shù)據(jù)框架應(yīng)用
3.6.1協(xié)調(diào)框架：ZooKeeper
3.6.2數(shù)據(jù)收集：Flume
3.6.3數(shù)據(jù)傳輸：Sqoop
3.6.4任務(wù)調(diào)度工具：Azkaban
思考與練習(xí)
第4章數(shù)據(jù)采集與分析
目錄4.1報(bào)表數(shù)據(jù)處理
4.1.1數(shù)據(jù)預(yù)處理
4.1.2數(shù)據(jù)分析
4.2網(wǎng)絡(luò)信息獲取技術(shù)
4.2.1HTTP基本原理
4.2.2網(wǎng)頁(yè)組成
4.2.3網(wǎng)絡(luò)請(qǐng)求
4.2.4正則表達(dá)式
4.2.5XPath解析
4.2.6Beautiful Soup
4.2.7數(shù)據(jù)存儲(chǔ)
4.3數(shù)據(jù)統(tǒng)計(jì)分析
4.3.1描述性分析
4.3.2探索性分析
4.3.3缺失值分析
4.3.4方差分析
4.3.5T檢驗(yàn)
4.3.6卡方檢驗(yàn)
思考與練習(xí)
第5章數(shù)據(jù)挖掘與數(shù)據(jù)可視化
5.1數(shù)據(jù)挖掘
5.1.1線性回歸
5.1.2邏輯回歸
5.1.3支持向量機(jī)
5.1.4樸素貝葉斯
5.1.5決策樹
5.1.6時(shí)間序列分析
5.1.7關(guān)聯(lián)分析
5.1.8K-Means聚類
5.1.9主成分分析
5.2數(shù)據(jù)可視化
5.2.1報(bào)表可視化
5.2.2Matplotlib可視化
5.2.3Seaborn可視化
5.2.4ECharts實(shí)現(xiàn)數(shù)據(jù)可視化
5.2.5D3實(shí)現(xiàn)數(shù)據(jù)可視化
5.2.6FineBI實(shí)現(xiàn)數(shù)據(jù)可視化
5.2.7Tableau實(shí)現(xiàn)數(shù)據(jù)可視化
5.3業(yè)務(wù)分析報(bào)告撰寫
5.3.1明確背景與目的
5.3.2尋找合適數(shù)據(jù)
5.3.3數(shù)據(jù)分析與圖表
5.3.4報(bào)告結(jié)論與建議
5.3.5邏輯結(jié)構(gòu)清晰
思考與練習(xí)