大數(shù)據(jù)技術(shù)與應用：微課視頻版

配套資源下載



目錄
基礎(chǔ)篇

第1章大數(shù)據(jù)概論

1.1大數(shù)據(jù)概述

1.1.1大數(shù)據(jù)的定義

1.1.2大數(shù)據(jù)的特征

1.2大數(shù)據(jù)的分析過程

1.2.1大數(shù)據(jù)的采集

1.2.2大數(shù)據(jù)的存儲方式

1.2.3大數(shù)據(jù)分析技術(shù)

1.2.4大數(shù)據(jù)的展示及應用

1.3大數(shù)據(jù)的價值、挑戰(zhàn)與風險

1.3.1商業(yè)價值

1.3.2社會生活價值

1.3.3大數(shù)據(jù)的挑戰(zhàn)與風險

1.4大數(shù)據(jù)的應用

1.5大數(shù)據(jù)的處理流程

1.6大數(shù)據(jù)成為人工智能產(chǎn)業(yè)的燃料

1.7大數(shù)據(jù)技術(shù)的發(fā)展前景

小結(jié)

習題

第2章大數(shù)據(jù)集群系統(tǒng)基礎(chǔ)

2.1大數(shù)據(jù)集群系統(tǒng)概述

2.1.1集群的分類

2.1.2集群的目的

2.2Linux操作系統(tǒng)

2.2.1Linux操作系統(tǒng)簡介

2.2.2Linux操作系統(tǒng)的特性

2.2.3Linux安裝與基礎(chǔ)操作

2.2.4Linux常用命令

2.3虛擬化技術(shù)

2.3.1虛擬化技術(shù)簡介

2.3.2虛擬技術(shù)的原理

2.3.3常見的虛擬化軟件

2.3.4虛擬化技術(shù)的優(yōu)勢和劣勢

2.4CentOS大數(shù)據(jù)集群系統(tǒng)的組成

2.5大數(shù)據(jù)集群技術(shù)的架構(gòu)

2.6操作實踐： 大數(shù)據(jù)集群的部署

2.6.1集群規(guī)劃

2.6.2網(wǎng)絡配置

2.6.3安全配置

2.6.4時間同步

2.6.5SSH登錄

小結(jié)

習題

第3章Hadoop分布式系統(tǒng)

3.1Hadoop概述

3.1.1Hadoop簡介

3.1.2Hadoop的發(fā)展歷程

3.1.3Hadoop原理及運行機制

3.2Hadoop相關(guān)技術(shù)及生態(tài)系統(tǒng)

3.3操作實踐： Hadoop安裝與配置

3.3.1安裝JDK

3.3.2安裝Hadoop

3.3.3配置Hadoop

3.3.4格式化

3.3.5運行Hadoop

小結(jié)

習題

第4章HDFS分布式文件系統(tǒng)

4.1HDFS

4.1.1設計前提和設計目標

4.1.2Namenode和Datanode

4.1.3文件系統(tǒng)的名字空間

4.1.4數(shù)據(jù)復制

4.1.5HDFS讀流程

4.1.6HDFS寫流程

4.2HDFS操作實踐

4.2.1HDFS Shell

4.2.2HDFS Java API

4.2.3Eclipse開發(fā)環(huán)境

4.2.4綜合實例

小結(jié)

習題

第5章MapReduce分布式計算

5.1MapReduce簡介

5.1.1MapReduce架構(gòu)

5.1.2MapReduce的原理

5.1.3MapReduce的工作機制

5.2MapReduce操作實踐

5.2.1MapReduce WordCount編程實例

5.2.2MapReduce倒排索引編程實例

小結(jié)

習題

第6章HBase分布式數(shù)據(jù)庫應用

6.1HBase簡介

6.1.1HBase架構(gòu)

6.1.2HBase的存儲

6.2HBase集群部署

6.2.1HBase參數(shù)配置

6.2.2HBase運行與測試

6.3HBase Shell操作命令

6.3.1general操作

6.3.2namespace操作

6.3.3DDL操作

6.3.4DML操作

6.3.5授權(quán)

6.4HBase過濾器

6.5HBase編程

6.5.1HBase表操作編程

6.5.2HBase過濾查詢編程

小結(jié)

習題

核心篇

第7章YARN資源分配

7.1統(tǒng)一資源管理和調(diào)度平臺引例

7.1.1背景

7.1.2特點

7.1.3典型的統(tǒng)一資源調(diào)度平臺

7.2YARN簡介

7.2.1YARN架構(gòu)

7.2.2YARN的工作流程

7.2.3YARN的優(yōu)勢

7.3操作實踐： YARN Shell實例

小結(jié)

習題

第8章Spark集群計算

8.1Spark簡介

8.1.1Spark生態(tài)系統(tǒng)

8.1.2Spark架構(gòu)

8.2Spark RDD

8.2.1RDD的依賴關(guān)系

8.2.2作業(yè)調(diào)度

8.2.3內(nèi)存管理

8.2.4檢查點支持

8.3Spark集群部署及應用案例

8.3.1Spark參數(shù)配置

8.3.2Spark集群運行

8.3.3Spark交互

8.3.4Spark算子

8.3.5Spark算法實例1： 詞頻統(tǒng)計

8.3.6Spark算法實例2： 相關(guān)系數(shù)

小結(jié)

習題

第9章Spark機器學習

9.1機器學習概述

9.1.1機器學習的發(fā)展史

9.1.2機器學習步驟

9.2Spark MLlib概述

9.2.1數(shù)據(jù)類型

9.2.2基本統(tǒng)計——基于DataFrame的API

9.2.3基本統(tǒng)計——基于RDD的API

9.3Spark實例

9.3.1聚類問題

9.3.2隨機森林

小結(jié)

習題

第10章Hive數(shù)據(jù)倉庫應用

10.1Hive簡介

10.1.1Hive組成模塊

10.1.2Hive執(zhí)行流程

10.1.3MetaStore存儲模式

10.2Hive安裝與配置

10.2.1Hive參數(shù)配置

10.2.2Hive運行與測試

10.2.3Hive Beeline

10.3數(shù)據(jù)類型和文件格式

10.3.1數(shù)據(jù)類型

10.3.2文件格式

10.4Hive數(shù)據(jù)定義與數(shù)據(jù)操作

10.4.1基本概念

10.4.2數(shù)據(jù)庫管理

10.4.3表的管理

10.4.4外部表的管理

10.4.5分區(qū)管理

10.4.6數(shù)據(jù)操作

10.4.7桶的操作

10.4.8索引

10.5Hive數(shù)據(jù)查詢

10.5.1簡單查詢

10.5.2復雜查詢

10.5.3JOIN連接查詢

10.5.4其他語句

10.6Hive編程

10.6.1JDBC函數(shù)

10.6.2完整實例

小結(jié)

習題

第11章ZooKeeper協(xié)調(diào)服務

11.1ZooKeeper簡介

11.1.1ZAB協(xié)議

11.1.2ZooKeeper數(shù)據(jù)模型

11.1.3會話

11.1.4事件監(jiān)聽器

11.1.5訪問權(quán)限

11.2ZooKeeper集群部署

11.3ZooKeeper基本命令

11.4ZooKeeper應用

11.4.1Hadoop

11.4.2Spark

11.4.3Hive

11.5ZooKeeper編程

11.5.1ZooKeeper讀/寫操作

11.5.2集群狀態(tài)監(jiān)控

小結(jié)

習題

應用篇

第12章醫(yī)藥大數(shù)據(jù)案例分析

12.1項目概述

12.2功能需求

12.3軟件關(guān)鍵技術(shù)

12.4效果展示

12.5系統(tǒng)構(gòu)架設計

12.5.1系統(tǒng)組成

12.5.2系統(tǒng)協(xié)作方式

12.5.3系統(tǒng)網(wǎng)絡拓撲

12.5.4系統(tǒng)建設方案

12.6數(shù)據(jù)存儲設計

12.7數(shù)據(jù)分析

12.8數(shù)據(jù)展示

小結(jié)

習題

參考文獻