Spark大數(shù)據(jù)實時分析實戰(zhàn)

項目一 初識Spark技術(shù)
任務(wù)1．1 數(shù)據(jù)處理系統(tǒng)
1．1．1 數(shù)據(jù)存儲技術(shù)
1．1．2 數(shù)據(jù)分析技術(shù)
1．1．3 批數(shù)據(jù)和實時數(shù)據(jù)
1．1．4 數(shù)據(jù)價值挖掘
任務(wù)1．2 實時數(shù)據(jù)處理
1．2．1 實時數(shù)據(jù)的價值
1．2．2 實時數(shù)據(jù)處理技術(shù)
1．2．3 Spark實時數(shù)據(jù)處理
項目二 Spark集群的構(gòu)建與安裝
任務(wù)2．1 Spark集群搭建
2．1．1 平臺選擇
2．1．2 軟件選擇
2．1．3 Spark集群構(gòu)建流程
任務(wù)2．2 Spark集群規(guī)劃
2．2．1 Spark集群節(jié)點劃分
2．2．2 軟件要求
2．2．3 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)規(guī)劃
任務(wù)2．3 Spark安裝準(zhǔn)備
2．3．1 JDK安裝
2．3．2 節(jié)點間的配置
2．3．3 Spark安裝包下載
任務(wù)2．4 Spark集群搭建
2．4．1 配置Master節(jié)點
2．4．2 配置Worker節(jié)點
2．4．3 分發(fā)安裝包
2．4．4 啟動集群
任務(wù)2．5 驗證Spark
2．5．1 驗證Spark進程
2．5．2 驗證WEBUI界面
2．5．3 驗證集群功能
任務(wù)2．6 Spark客戶端搭建
2．6．1 客戶端介紹
2．6．2 客戶端搭建及使用
項目三 Spark基于Yarn搭建
任務(wù)3．1 基于Yarn構(gòu)建介紹
3．1．1 基于Yarn搭建環(huán)境配置
3．1．2 Hadoop集群
3．1．3 啟動Hadoop集群
3．1．4 驗證Hadoop集群節(jié)點
任務(wù)3．2 基于Yam搭建
3．2．1 節(jié)點劃分配置
3．2．2 配置Spark on Yarn
3．2．3 驗證Spark on Yarn
項目四 日志服務(wù)器搭建
任務(wù)4．1 日志服務(wù)器配置
4．1．1 HDFS配置
4．1．2 Spark配置
4．1．3 啟動日志服務(wù)器
4．1．4 查看日志
任務(wù)4．2 驗證日志服務(wù)器
4．2．1 Spark-Shell介紹
4．2．2 查看運行日志
4．2．3 啟動日志服務(wù)器
4．2．4 查看日志
……
項目五 Kafka集群的構(gòu)建與安裝
項目六 Kafka集群測試