大數(shù)據(jù)浪潮：大數(shù)據(jù)整體解決方案及關鍵技術探索

目錄
1大數(shù)據(jù)背景(8)
1.1大數(shù)據(jù)時代的到來(8)
1.2大數(shù)據(jù)定義及特征(4)
1.3大數(shù)據(jù)價值(6)
1.4大數(shù)據(jù)備受關注(7)
1.5大數(shù)據(jù)帶來的挑戰(zhàn)(8)
2大數(shù)據(jù)基礎(10)
2.1云計算(10)
2.1.1云計算概述(10)
2.1.2云計算與大數(shù)據(jù)的聯(lián)系(12)
2.2物聯(lián)網(wǎng)(13)
2.2.1物聯(lián)網(wǎng)概述(13)
2.2.2物聯(lián)網(wǎng)與大數(shù)據(jù)(14)
2.3數(shù)據(jù)中心(14)
2.3.1數(shù)據(jù)中心概述(14)
2.3.2數(shù)據(jù)中心與大數(shù)據(jù)(15)
3大數(shù)據(jù)的生成和采集(19)
3.1大數(shù)據(jù)生成(19)
3.1.1企業(yè)內(nèi)部數(shù)據(jù)(19)
3.1.2物聯(lián)網(wǎng)數(shù)據(jù)(20)
3.1.3互聯(lián)網(wǎng)數(shù)據(jù)(21)
3.1.4生物醫(yī)療數(shù)據(jù)(21)
3.1.5其他科學數(shù)據(jù)(22)
3.2大數(shù)據(jù)采集(22)
3.2.1數(shù)據(jù)收集(23)
3.2.2數(shù)據(jù)傳輸(25)
3.2.3數(shù)據(jù)預處理(26)
4大數(shù)據(jù)存儲(28)
4.1海量存儲系統(tǒng)(28)
4.2分布式存儲系統(tǒng)(29)
4.3大數(shù)據(jù)存儲機制(31)
4.3.1數(shù)據(jù)庫技術(32)
4.3.2數(shù)據(jù)庫編程模型(36)
5大數(shù)據(jù)分析(39)
5.1傳統(tǒng)數(shù)據(jù)分析方法(39)
5.2大數(shù)據(jù)分析方法(40)
5.3大數(shù)據(jù)分析架構(gòu)(42)
5.4大數(shù)據(jù)挖掘和分析軟件(43)
大數(shù)據(jù)浪潮——大數(shù)據(jù)整體解決方案及關鍵技術探索目錄6大數(shù)據(jù)整體解決方案(47)
6.1大數(shù)據(jù)解決方案方法論(47)
6.1.1大數(shù)據(jù)解決方案參考模型(48)
6.1.2大數(shù)據(jù)解決方案分類(49)
6.2大數(shù)據(jù)硬件平臺(50)
6.2.1可擴展性設計(51)
6.2.2可定制性設計(52)
6.3大數(shù)據(jù)軟件系統(tǒng)(55)
6.3.1大數(shù)據(jù)處理系統(tǒng)核心模塊(55)
6.3.2發(fā)行版增強功能、企業(yè)應用優(yōu)化和增值服務(56)
6.3.3基于內(nèi)存計算的大數(shù)據(jù)處理系統(tǒng)(60)
6.4大數(shù)據(jù)典型處理流程(63)
6.5大數(shù)據(jù)一體化解決方案比較(67)
7分布式文件系統(tǒng)HDFS(72)
7.1Hadoop I/O操作(72)
7.1.1I/O操作中的數(shù)據(jù)檢查(73)
7.1.2數(shù)據(jù)的壓縮(76)
7.1.3數(shù)據(jù)的I/O中序列化操作(78)
7.2Hadoop文件系統(tǒng)(87)
7.3HDFS體系結(jié)構(gòu)(89)
7.3.1HDFS的特點和局限(89)
7.3.2HDFS相關概念(90)
7.3.3HDFS架構(gòu)(91)
7.4 HDFS文件結(jié)構(gòu)(94)
7.4.1NameNode的文件結(jié)構(gòu)(94)
7.4.2編輯日志(edit log)及文件系統(tǒng)映像(filesystem image)(95)
7.4.3Secondary NameNode的目錄結(jié)構(gòu)(96)
7.4.4DataNode的目錄結(jié)構(gòu)(97)
7.5HDFS讀/寫數(shù)據(jù)流(98)
7.5.1文件的讀取(98)
7.5.2文件的寫入(99)
7.5.3一致性模型(101)
7.6HDFS命令詳解(102)
7.6.1通過distcp進行并行復制(102)
7.6.2HDFS平衡(103)
7.6.3其他命令(103)
8并行編程模型MapReduce(108)
8.1MapReduce體系結(jié)構(gòu)(108)
8.1.1MapReduce基本模型(108)
8.1.2MapReduce作業(yè)執(zhí)行流程(108)
8.2MapReduce關鍵流程詳解(110)
8.2.1partiton過程(110)
8.2.2combine過程(111)
8.2.3shuffle過程(112)
8.3MapReduce高級應用(114)
8.3.1二次排序(114)
8.3.2全排序(119)
8.3.3分布式緩存(121)
8.3.4MapReduce 小文件處理與文件壓縮(123)
8.3.5MapReduce負載均衡(125)
9NoSQL數(shù)據(jù)庫HBase(128)
9.1HBase體系結(jié)構(gòu)(128)
9.2RowKey的設計與數(shù)據(jù)訪問(132)
9.3過濾器(135)
9.3.1比較過濾器(137)
9.3.2專用過濾器(137)
9.3.3附加過濾器(139)
9.3.4FilterList(139)
9.3.5自定義過濾器(140)
9.4HBase多維數(shù)據(jù)訪問(142)
9.4.1通過Filter實現(xiàn)(142)
9.4.2通過設計RowKey實現(xiàn)(143)
9.5協(xié)處理器Coprocessor(143)
9.5.1Coprocessor類(144)
9.5.2協(xié)處理器的加載(144)
9.5.3觀察者(146)
9.5.4終端(150)
9.6二級索引(154)
9.6.1全局索引（global index）(154)
9.6.2本地索引（local index）(155)
10交互式查詢語言Hive(157)
10.1Hive體系結(jié)構(gòu)(157)
10.1.1Hive客戶端(159)
10.1.2Metastore(159)
10.2Hive數(shù)據(jù)類型(160)
10.2.1基本類型(161)
10.2.2復雜類型(161)
10.3Hive存儲方式和壓縮類型(162)
10.3.1托管表和外部表(162)
10.3.2存儲方式(163)
10.4Hive關鍵技術(164)
10.4.1HiveQL簡介(164)
10.4.2Hive表的創(chuàng)建(165)
10.4.3Hive表的數(shù)據(jù)加載(166)
10.4.4Hive表的查詢(167)
10.4.5Hive表的更改(170)
10.4.6Hive表的刪除(171)
10.4.7Hive表的分區(qū)(171)
10.4.8Hive表的分桶(173)
10.4.9用戶定義函數(shù)(174)
10.5Hive優(yōu)化技術(175)
10.5.1Join優(yōu)化(175)
10.5.2數(shù)據(jù)傾斜優(yōu)化(176)
10.5.3Map和Reduce個數(shù)控制(177)
11資源管理和調(diào)度框架——YARN(180)
11.1MRv1架構(gòu)面臨的問題(180)
11.2YARN架構(gòu)(181)
11.2.1YARN整體架構(gòu)(181)
11.2.2RM組件的作用(183)
11.2.3AM組件的作用(184)
11.2.4NM組件的作用(185)
11.2.5運行在YARN上的計算框架(186)
11.2.6在YARN上定制計算框架(187)
11.3YARN管理后臺簡介(188)
11.4YARN資源調(diào)度(192)
12內(nèi)存計算引擎Spark(197)
12.1Spark簡介(197)
12.2Spark整體架構(gòu)(198)
12.3Spark核心概念(199)
12.3.1彈性分布式數(shù)據(jù)集(199)
12.3.2RDD模型的優(yōu)點(200)
12.3.3Spark DAG(201)
12.4Spark編程模型(202)
12.4.1Spark初始化(203)
12.4.2RDDs(203)
12.4.3Shared Variables(205)
12.5Spark相關組件(207)
12.6Spark應用實例(208)
12.6.1InMemory Analytics(208)
12.6.2Traffic Modeling(209)
12.6.3Twitter Spam Classification (209)
13大數(shù)據(jù)應用(213)
13.1大數(shù)據(jù)應用演化(213)
13.2大數(shù)據(jù)分析的關鍵領域(214)
13.2.1結(jié)構(gòu)化數(shù)據(jù)分析(214)
13.2.2文本分析(215)
13.2.3Web分析(216)
13.2.4多媒體分析(217)
13.2.5網(wǎng)絡分析(218)
13.2.6移動分析(219)
14大數(shù)據(jù)案例分析(221)
14.1物聯(lián)網(wǎng)大數(shù)據(jù)(221)
14.1.1物聯(lián)網(wǎng)大數(shù)據(jù)的表示(222)
14.1.2物聯(lián)網(wǎng)大數(shù)據(jù)的預處理(223)
14.1.3物聯(lián)網(wǎng)大數(shù)據(jù)的快速處理(224)
14.1.4物聯(lián)網(wǎng)大數(shù)據(jù)的并行分析(226)
14.1.5物聯(lián)網(wǎng)大數(shù)據(jù)處理平臺的搭建(227)
14.2其他大數(shù)據(jù)的典型應用(231)
14.2.1企業(yè)級應用(231)
14.2.2社交網(wǎng)絡大數(shù)據(jù)(232)
14.2.3醫(yī)療健康(234)
14.2.4群智感知(235)
14.2.5智能電網(wǎng)(235)
15總結(jié)(237)
15.1大數(shù)據(jù)的研究熱點及研究方向(237)
15.1.1基礎理論研究(237)
15.1.2關鍵技術研究(238)
15.1.3應用實踐研究(238)
15.1.4數(shù)據(jù)安全研究(239)
15.2展望(240)
參考文獻(243)