云計(jì)算和大數(shù)據(jù)技術(shù)：概念、應(yīng)用與實(shí)戰(zhàn)（第2版）

第1章 1
云計(jì)算基礎(chǔ)　1
1．1　云計(jì)算技術(shù)概述　1
1．1．1　云計(jì)算簡(jiǎn)介　1
1．1．2　云計(jì)算的特點(diǎn)　2
1．1．3　云計(jì)算技術(shù)分類(lèi)　3
1．1．4　計(jì)算機(jī)技術(shù)向現(xiàn)代信息技術(shù)演進(jìn)的歷程　4
1．2　集群系統(tǒng)概述　5
1．2．1　集群系統(tǒng)的基本概念　5
1．2．2　集群系統(tǒng)系統(tǒng)的分類(lèi)　6
1．3　分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制　6
1．3．1　基于計(jì)算切分的分布式計(jì)算　6
1．3．2　基于計(jì)算和數(shù)據(jù)切分的混合型分布式計(jì)算技術(shù)—網(wǎng)格計(jì)算　7
1．3．3　基于數(shù)據(jù)切分的分布式計(jì)算技術(shù)　8
1．3．4　三種分布式系統(tǒng)的分析對(duì)比　10
1．4　云計(jì)算平臺(tái)服務(wù)　11
1．4．1　IAAS（基礎(chǔ)設(shè)施即服務(wù)）　11
1．4．2　PAAS（平臺(tái)即服務(wù)）　11
1．4．3　SAAS（軟件即服務(wù)）　11
1．5　云計(jì)算與物聯(lián)網(wǎng)　11
練習(xí)題　13
第2章　1
大數(shù)據(jù)基礎(chǔ)　1
2．1　大數(shù)據(jù)技術(shù)概述　1
2．1．1　大數(shù)據(jù)簡(jiǎn)介　1
2．1．2　大數(shù)據(jù)產(chǎn)生的原因　1
2．1．3　數(shù)據(jù)的計(jì)量單位　2
2．1．4　大數(shù)據(jù)是人類(lèi)認(rèn)識(shí)世界的新手段　3
2．1．5　幾類(lèi)高性能計(jì)算系統(tǒng)對(duì)比分析　4
2．1．6主要的大數(shù)據(jù)處理系統(tǒng)　4
2．1．7　大數(shù)據(jù)處理的基本流程　6
2．2　大數(shù)據(jù)的典型應(yīng)用示例　7
2．2．1　大數(shù)據(jù)在高能物理中的應(yīng)用　7
2．2．2　推薦系統(tǒng)　8
2．2．3　搜索引擎系統(tǒng)　8
2．2．4　百度遷徙　9
2．3　大數(shù)據(jù)中的集群技術(shù)　10
1．2．2　集群文件系統(tǒng)的基本概念　10
2．3．1　什么是集群系統(tǒng)　11
2．3．2　大數(shù)據(jù)并行計(jì)算的層次　13
2．3．3　大數(shù)據(jù)系統(tǒng)的分類(lèi)方法　14
2．3．3　單一系統(tǒng)映象　15
2．3．4　集群中的一致性　15
2．4　云計(jì)算與大數(shù)據(jù)的發(fā)展　17
2．4．1　云計(jì)算與大數(shù)據(jù)發(fā)展歷程　17
2．4．2　為云計(jì)算與大數(shù)據(jù)發(fā)展做出貢獻(xiàn)的科學(xué)家　20
2．4．3　云計(jì)算與大數(shù)據(jù)的國(guó)內(nèi)發(fā)展現(xiàn)狀　21
練習(xí)題　22
第3章　1
虛擬化技術(shù)　1
3．1　虛擬化技術(shù)簡(jiǎn)介　1
3．1．1　虛擬化技術(shù)的發(fā)展　1
3．1．2　虛擬化技術(shù)的優(yōu)勢(shì)和劣勢(shì)　2
3．1．3　虛擬化技術(shù)的分類(lèi)　3
3．2　常見(jiàn)虛擬化軟件　6
3．2．1　VirtualBox　6
3．2．2　VMware Workstation　6
3．2．3　KVM　6
3．3　系統(tǒng)虛擬化　7
3．3．1　服務(wù)器虛擬化　8
3．3．2　桌面虛擬化　10
3．3．3　網(wǎng)絡(luò)虛擬化　13
3．4　任務(wù) 使用KVM構(gòu)建虛擬機(jī)群　13
3．4．1　子任務(wù)1 系統(tǒng)環(huán)境設(shè)置　13
3．4．2　子任務(wù)2 安裝虛擬化軟件包　15
3．4．3　子任務(wù)3 虛擬系統(tǒng)管理器的使用　16
3．4．4　子任務(wù)4 虛擬機(jī)的遠(yuǎn)程訪問(wèn)　19
練習(xí)題　21
第4章　1
虛擬化平臺(tái)　1
４．1　XenServer　1
４．1．1　XenServer優(yōu)點(diǎn)　2
４．1．2　XenServer硬件要求　2
4．2　任務(wù) XenServer部署　3
4．2．1　子任務(wù)1 XenServer的安裝　3
4．2．2　子任務(wù)2 XenCenter的安裝　7
4．2．3　子任務(wù)3 制作模板　10
4．2．4　子任務(wù)4 創(chuàng)建虛擬機(jī)　16
4．3　VMware vSphere　19
4．3．1　VMware vSphere體系結(jié)構(gòu)　19
4．3．2　VMware vSphere組件及其功能　21
4．3．3　VMware vSphere硬件要求　22
4．4　任務(wù) vSphere部署　24
4．4．1　子任務(wù)1 ESXi的安裝　24
4．4．2　子任務(wù)1 vSphere Client的安裝　26
練習(xí)題　33
第5章　1
面向計(jì)算—MPI　1
5．1　MPI概述　1
5．2　MPI的架構(gòu)和特點(diǎn)　2
5．3　任務(wù)一 MPICH并行環(huán)境的建立　3
5．3．1　子任務(wù)1 系統(tǒng)環(huán)境設(shè)置　3
5．3．2　子任務(wù)2 用戶(hù)創(chuàng)建和ssh設(shè)置　4
5．3．3　子任務(wù)3 NFS服務(wù)的安裝　5
5．3．4　子任務(wù)4 MPICH編譯運(yùn)行　5
5．4　任務(wù)二 MPI分布式程序設(shè)計(jì)　7
5．4．1　子任務(wù)1 簡(jiǎn)單并行程序的編寫(xiě)　7
5．4．2　子任務(wù)2 獲取進(jìn)程標(biāo)志和機(jī)器名　9
5．4．3　子任務(wù)3 有消息傳遞功能的并行程序　12
5．4．4　子任務(wù)4 Monte Carlo法在并行程序設(shè)計(jì)中的應(yīng)用　16
5．4．5　子任務(wù)5 并行計(jì)算中節(jié)點(diǎn)間的Reduce操作　19
5．4．6　設(shè)計(jì)MPI并行程序時(shí)的注意事項(xiàng)　21
練習(xí)題　22
第6章　1
分布式大數(shù)據(jù)系統(tǒng)　1
—Hadoop　1
6．1　Hadoop概述　1
6．2　HDFS　2
6．1．1　Google文件系統(tǒng)（GFS）　2
6．2．2　HDFS文件的基本結(jié)構(gòu)　4
6．2．3　HDFS的存儲(chǔ)過(guò)程　5
6．2．4　YARN架構(gòu)　6
6．3　任務(wù)一 搭建Hadoop系統(tǒng)　7
6．3．1　子任務(wù)1 系統(tǒng)環(huán)境設(shè)置　7
6．3．2　子任務(wù)2 用戶(hù)創(chuàng)建和ssh設(shè)置　8
6．3．3　子任務(wù)3 Hadoop安裝和配置　9
6．3．4　子任務(wù)4 Hadoop的啟動(dòng)和查看　13
6．4　分布式計(jì)算框架MapReduce　14
6．4．1　MapReduce的發(fā)展歷史　14
6．4．2　MapReduce的基本工作過(guò)程　15
6．4．3　MapReduce的特點(diǎn)　18
6．5　任務(wù)二 Map/Reduce的C語(yǔ)言實(shí)現(xiàn)　19
6．6　任務(wù)三 在Hadoop系統(tǒng)運(yùn)行MapReduce程序　22
練習(xí)題　23
第7章　1
分布式數(shù)據(jù)庫(kù)—HBase　1
7．1　HBase　1
7．1．1　HBase簡(jiǎn)介　1
7．1．2　HBase物理模型　2
7．1．3　HBase架構(gòu)及基本組件　3
7．1．4　HBase組織結(jié)構(gòu)　5
7．2　任務(wù) HBase的搭建與使用　5
7．2．1　子任務(wù)1 HBase環(huán)境的搭建　6
7．2．2　子任務(wù)2 HBase的啟動(dòng)　8
7．2．3　子任務(wù)2 HBase Shell的使用　9
7．2．4　子任務(wù)3 HBase編程　10
練習(xí)題　20
第8章　1
數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)—Hive　1
8．1　Hive　1
8．1．1　Hive簡(jiǎn)介　1
8．1．2　Hive的體系結(jié)構(gòu)　2
8．1．3　Hive元數(shù)據(jù)存儲(chǔ)　3
8．1．4　Hive的數(shù)據(jù)存儲(chǔ)　5
8．1．5　Hive和普通關(guān)系型數(shù)據(jù)庫(kù)的差異　6
8．2　任務(wù)一 MySQL的搭建　7
8．3　任務(wù)二 Hive的搭建與使用　9
8．2．1　子任務(wù)1 Hive環(huán)境的搭建　9
8．2．2　子任務(wù)2 Hive Client的搭建　12
8．2．3　子任務(wù)3 Hive的基本操作　13
8．2．4　子任務(wù)4 Hive內(nèi)部表與外部表的操作　14
8．2．5　子任務(wù)5 HWI的使用　16
8．2．6　子任務(wù)6 Beeline與JDBC編程　18
8．2．7　子任務(wù)6 Hive與HBase集成　23
練習(xí)題　26
第9章　1
基于拓?fù)涞牧鲾?shù)據(jù)實(shí)時(shí)計(jì)算系統(tǒng)—Storm　1
9．1　Storm簡(jiǎn)介　1
9．2　Storm原理及其體系結(jié)構(gòu)　2
9．2．1　Storm編程模型原理　2
9．2．2　Storm體系結(jié)構(gòu)　3
9．2．3　ZooKeeper工作原理　4
9．3　任務(wù)一 搭建Storm開(kāi)發(fā)環(huán)境　5
9．3．1　子任務(wù)1 系統(tǒng)環(huán)境設(shè)置　5
9．3．2　子任務(wù)2 安裝Python工具包　7
9．3．3　子任務(wù)3 安裝ZeroMQ和JZMQ工具包　7
9．3．4　子任務(wù)4 安裝Zookeeper工具包　8
9．3．5　子任務(wù)5 安裝Storm工具包　10
9．3．6　子任務(wù)6 復(fù)制工具包　11
9．3．7　子任務(wù)7 Storm的啟動(dòng)　12
9．4　任務(wù)二 Storm使用實(shí)例　13
9．4．1　子任務(wù)1 安裝Maven工具包　13
9．4．2　子任務(wù)2 使用Maven管理storm-starter　15
9．4．3　子任務(wù)3 WordCountTopology實(shí)例分析　16
練習(xí)題　21
第10章　1
云存儲(chǔ)系統(tǒng)—Swift　1
10．1　云存儲(chǔ)概述　1
10．1．1　什么是云存儲(chǔ)　1
10．1．2　云存儲(chǔ)的分類(lèi)　1
10．1．3　云存儲(chǔ)的特點(diǎn)　2
10．1．4　存儲(chǔ)系統(tǒng)類(lèi)別　3
10．2　Swift簡(jiǎn)介　4
10．2．1　Swift的發(fā)展歷程　4
10．2．2　Swift 的特性　4
10．2．3　Swift工作原理　4
10．2．4　CAP理論　5
10．2．5　環(huán)的數(shù)據(jù)結(jié)構(gòu)　6
10．2．6　Swift的系統(tǒng)架構(gòu)　7
10．3　任務(wù) Swift安裝部署　9
10．3．1　子任務(wù)1 系統(tǒng)環(huán)境設(shè)置　9
10．3．2　子任務(wù)2 安裝keystone　10
10．3．3　子任務(wù)3 安裝proxy　14
10．3．4　子任務(wù)4 安裝存儲(chǔ)節(jié)點(diǎn)　17
練習(xí)題　21