123,123,123

內(nèi)容簡(jiǎn)介

　　《數(shù)據(jù)館員的Spark簡(jiǎn)明手冊(cè)》旨在協(xié)助初級(jí)數(shù)據(jù)館員們能夠迅速了解Spark方面的知識(shí)、用途及整體概貌，作為進(jìn)一步實(shí)踐操作之前的入門基礎(chǔ)讀物?！稊?shù)據(jù)館員的Spark簡(jiǎn)明手冊(cè)》力求簡(jiǎn)單、通俗、易懂，以讀者能夠快速把握重點(diǎn)為主，從而開展項(xiàng)目、課題、實(shí)驗(yàn)和研究。本手冊(cè)旨在知識(shí)模塊化，有了整體概述，可以方便讀者與其他解決方案進(jìn)行比較，在實(shí)踐中遇到問題可以盡快發(fā)現(xiàn)需要深入鉆研的部分?！稊?shù)據(jù)館員的Spark簡(jiǎn)明手冊(cè)》包括8章。第1章概述Spark的發(fā)展背景、計(jì)算框架及機(jī)器學(xué)習(xí)等。第2章描述Spark的安裝與運(yùn)行。第3章概述Scala編程實(shí)現(xiàn)的方式。第4章概述Spark編程模型和解析。第5章進(jìn)入到Spark數(shù)據(jù)挖掘的應(yīng)用。第6章考慮大數(shù)據(jù)實(shí)時(shí)計(jì)算的問題，進(jìn)行方案比較，突出Spark的特點(diǎn)。第7章闡明進(jìn)一步優(yōu)化Spark的方式。第8章概述Spark SQL來闡明如何在Spark上使用人們比較熟悉的SQL數(shù)據(jù)庫語言的方式。

作者簡(jiǎn)介

　　顧立平（Alan Ku），博士、教授。在中國(guó)科學(xué)院文獻(xiàn)情報(bào)中心從事開放獲取、著作權(quán)、數(shù)據(jù)權(quán)益的政策研究與建議；在中國(guó)科學(xué)院大學(xué)經(jīng)濟(jì)與管理學(xué)院講授信息用戶與服務(wù)研究。學(xué)術(shù)理念和工作信念是：好做事（態(tài)度）、做好事（方向）、做事好（目標(biāo)）。

圖書目錄

第1章 Spark生態(tài)介紹
1．1 MapReduce、Storm和Spark模型比較
1．2 Spark產(chǎn)生背景
1．3 Spark的內(nèi)存計(jì)算框架
1．4 Spark Strearning：流式計(jì)算框架
1．5 Spark SQL
1．6 Spark MLlib：機(jī)器學(xué)習(xí)
1．7 Spark GraphX和取代Bagel的理由
1．8 BlinkDB
1．9 SparkR
第2章 Spark的安裝與運(yùn)行
2．1 Spark的安裝
2．1．1 Spark的源碼編譯方式
2．1．2 Spark Standalone安裝
2．1．3 Spark應(yīng)用程序部署工具spark-submit
2．1．4 Spark的高可用性部署
2．2 Spark的運(yùn)行架構(gòu)
2．2．1 基本術(shù)語
2．2．2 運(yùn)行架構(gòu)
2．2．3 Spark on Standalone的運(yùn)行過程
2．2．4 Spark on YARN的運(yùn)行過程
2．3 Spark的運(yùn)行
2．3．1 Spark on Standalone
2．3．2 Spark on YARN
2．3．3 Standalone與YARN模式優(yōu)缺點(diǎn)比較
第3章 Spark的scala編程
3．1 Scala開發(fā)環(huán)境搭建
3．2 Scala開發(fā)Spark應(yīng)用程序
3．3 編程實(shí)現(xiàn)
3．3．1 使用Java編程
3．3．2 使用Python編程
第4章 spark的編程模型和解析
4．1 SpaEk的編程模型
4．2 RDD的特點(diǎn)、操作、依賴關(guān)系
4．3 Spark應(yīng)用程序的配置
4．4 Spark的架構(gòu)
4．5 Spark的容錯(cuò)機(jī)制
4．6 數(shù)據(jù)的本地性
4．7 緩存策略介紹
4．8 寬依賴和窄依賴
第5章 Spark數(shù)據(jù)挖掘
5．1 MLlib
5．2 GraphX
5．2．1 GraphX原理
5．2．2 Table Operator和Graph Operator的區(qū)別
5．2．3 Vertices、Edges和Triplets介紹
5．2．4 GraphX圖構(gòu)造者
5．3 SparkR
5．3．1 SparkR原理
5．3．2 如何運(yùn)行SparkR
第6章 Spark Strearning
6．1 Spark Strearning與Storm的區(qū)別
6．2 Kafka的部署
6．3 Kafka與Spark Strearning的整合
6．4 Spark Strearning原理
6．4．1 Spark流式處理架構(gòu)
6．4．2 DStream的特點(diǎn)
6．4．3 Dstream的操作和RDD的區(qū)別
6．4．4 無狀態(tài)轉(zhuǎn)換操作與有狀態(tài)轉(zhuǎn)換操作
6．4．5 優(yōu)化Spark Strearning
6．5 Strearning的容錯(cuò)機(jī)制
6．6 Strearning在YARN模式下的注意事項(xiàng)
第7章 Spark優(yōu)化
7．1 序列化優(yōu)化——Knro
7．2 Spark參數(shù)優(yōu)化
7．3 Spark任務(wù)的均勻分布策略
7．4 Partition key傾斜的解決方案
7．5 Spark任務(wù)的監(jiān)控
7．6 GC的優(yōu)化
7．7 Spark Streaming吞吐量?jī)?yōu)化
7．8 Spark RDD使用內(nèi)存的優(yōu)化策略
第8章 SQL on Spark
8．1 BDAS數(shù)據(jù)分析軟件棧
8．2 Spark SQL工具
8．3 Spark SQL原理
8．4 Spark SQL編程