云計算（第三版）

第1章  大數(shù)據(jù)與云計算 1
1.1  大數(shù)據(jù)時代 1
1.2  云計算——大數(shù)據(jù)的計算 3
1.3  云計算發(fā)展現(xiàn)狀 6
1.4  云計算實現(xiàn)機制 7
1.5  云計算壓倒性的成本優(yōu)勢 9
習題 12
參考文獻 12
第2章  Google云計算原理與應用 13
2.1  Google文件系統(tǒng)GFS 13
2.1.1  系統(tǒng)架構 14
2.1.2  容錯機制 16
2.1.3  系統(tǒng)管理技術 17
2.2  分布式數(shù)據(jù)處理MapReduce 17
2.2.1  產(chǎn)生背景 17
2.2.2  編程模型 18
2.2.3  實現(xiàn)機制 19
2.2.4  案例分析 20
2.3  分布式鎖服務Chubby 22
2.3.1  Paxos算法 23
2.3.2  Chubby系統(tǒng)設計 24
2.3.3  Chubby中的Paxos 26
2.3.4  Chubby文件系統(tǒng) 28
2.3.5  通信協(xié)議 29
2.3.6  正確性與性能 31
2.4  分布式結構化數(shù)據(jù)表Bigtable 32
2.4.1  設計動機與目標 32
2.4.2  數(shù)據(jù)模型 33
2.4.3  系統(tǒng)架構 34
2.4.4  主服務器 35
2.4.5  子表服務器 36
2.4.6  性能優(yōu)化 40
2.5  分布式存儲系統(tǒng)Megastore 41
2.5.1  設計目標及方案選擇 41
2.5.2  Megastore數(shù)據(jù)模型 42
2.5.3  Megastore中的事務及并發(fā)控制 44
2.5.4  Megastore基本架構 45
2.5.5  核心技術——復制 47
2.5.6  產(chǎn)品性能及控制措施 51
2.6  大規(guī)模分布式系統(tǒng)的監(jiān)控基礎架構Dapper 52
2.6.1  基本設計目標 52
2.6.2  Dapper監(jiān)控系統(tǒng)簡介 53
2.6.3  關鍵性技術 56
2.6.4  常用Dapper工具 57
2.6.5  Dapper使用經(jīng)驗 59
2.7  海量數(shù)據(jù)的交互式分析工具Dremel 61
2.7.1  產(chǎn)生背景 61
2.7.2  數(shù)據(jù)模型 62
2.7.3  嵌套式的列存儲 63
2.7.4  查詢語言與執(zhí)行 68
2.7.5  性能分析 70
2.7.6  小結 71
2.8  內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill 71
2.8.1  產(chǎn)生背景與設計目標 71
2.8.2  基本數(shù)據(jù)結構 72
2.8.3  性能優(yōu)化 73
2.8.4  性能分析與對比 75
2.9  Google應用程序引擎 76
2.9.1  Google App Engine簡介 77
2.9.2  應用程序環(huán)境 78
2.9.3  Google App Engine服務 80
習題 88
參考文獻 88
第3章  Amazon云計算AWS 90
3.1  基礎存儲架構Dynamo 90
3.1.1  Dynamo概況 90
3.1.2  Dynamo架構的主要技術 91
3.2  彈性計算云EC2 99
3.2.1  EC2的基本架構 99
3.2.2  EC2的關鍵技術 100
3.2.3  EC2的安全及容錯機制 102
3.3  簡單存儲服務S3 103
3.3.1  S3的基本概念和操作 103
3.3.2  S3的數(shù)據(jù)一致性模型 105
3.3.3  S3的安全措施 105
3.4  非關系型數(shù)據(jù)庫服務SimpleDB和DynamoDB 108
3.4.1  非關系型數(shù)據(jù)庫與傳統(tǒng)關系數(shù)據(jù)庫的比較 108
3.4.2  SimpleDB 108
3.4.3  DynamoDB 110
3.4.4  SimpleDB和DynamoDB的比較 111
3.5  關系數(shù)據(jù)庫服務RDS 111
3.5.1  RDS的基本原理 111
3.5.2  RDS的使用 112
3.6  簡單隊列服務SQS 113
3.6.1  SQS的基本模型 113
3.6.2  SQS的消息 114
3.7  內(nèi)容推送服務CloudFront 115
3.7.1  CDN 116
3.7.2  CloudFront 117
3.8  其他Amazon云計算服務 119
3.8.1  快速應用部署Elastic Beanstalk和服務模板CloudFormation 119
3.8.2  DNS服務Router 53 120
3.8.3  虛擬私有云VPC 120
3.8.4  簡單通知服務和簡單郵件服務 120
3.8.5  彈性MapReduce服務 121
3.8.6  電子商務服務DevPay、FPS和Simple Pay 122
3.8.7  Amazon執(zhí)行網(wǎng)絡服務 127
3.8.8  土耳其機器人 128
3.8.9  數(shù)據(jù)倉庫服務Redshift 129
3.8.10  應用流服務AppStream和數(shù)據(jù)流分析服務Kinesis 129
3.9  AWS應用實例 130
3.9.1  照片和視頻共享網(wǎng)站SmugMug 130
3.9.2  視頻制作網(wǎng)站Animoto 131
3.9.3  網(wǎng)站排名Alexa 132
3.10  小結 132
習題 132
參考文獻 133
第4章  微軟云計算Windows Azure 136
4.1  微軟云計算平臺 136
4.2  微軟云操作系統(tǒng)Windows Azure 137
4.2.1  Windows Azure概述 137
4.2.2  Windows Azure計算服務 138
4.2.3  Windows Azure存儲服務 140
4.2.4  Windows Azure Connect 147
4.2.5  Windows Azure CDN 148
4.2.6  Fabric控制器 149
4.3  微軟云關系數(shù)據(jù)庫SQL Azure 150
4.3.1  SQL Azure概述 150
4.3.2  SQL Azure關鍵技術 151
4.3.3  SQL Azure和SQL Server對比 153
4.4  Windows Azure AppFabric 154
4.4.1  AppFabric概述 154
4.4.2  AppFabric關鍵技術 155
4.5  Windows Azure Marketplace 159
4.6  Windows Azure服務平臺 160
4.6.1  網(wǎng)站 160
4.6.2  虛擬機 161
4.6.3  云服務 162
4.6.4  移動服務 163
4.6.5  大數(shù)據(jù)處理 164
4.6.6  媒體支持 165
習題 166
參考文獻 166
第5章  Hadoop 2.0：主流開源云架構 168
5.1  引例 168
5.1.1  問題概述 168
5.1.2  常規(guī)解決方案 168
5.1.3  分布式下的解決方案 169
5.1.4  小結 173
5.2  Hadoop 2.0簡述 173
5.2.1  Hadoop 2.0由來 173
5.2.2  Hadoop 2.0相關項目 174
5.2.3  Hadoop應用 175
5.3  Hadoop 2.0部署 175
5.3.1  部署綜述 175
5.3.2  傳統(tǒng)解壓包部署 179
5.4  Hadoop 2.0體系架構 182
5.4.1  Hadoop 2.0公共組件Common 182
5.4.2  分布式文件系統(tǒng)HDFS 184
5.4.3  分布式操作系統(tǒng)Yarn 190
5.4.4  Hadoop 2.0安全機制簡介 198
5.5  Hadoop 2.0訪問接口 199
5.5.1  訪問接口綜述 199
5.5.2  瀏覽器接口 199
5.5.3  命令行接口 200
5.6  Hadoop 2.0編程接口 202
5.6.1  HDFS 編程 202
5.6.2  Yarn編程 205
習題 214
參考文獻 214
第6章  Hadoop 2.0大家族 215
6.1  Hadoop 2.0大家族概述 215
6.1.1  分布式組件 215
6.1.2  部署概述 217
6.2  ZooKeeper 223
6.2.1  ZooKeeper簡介 223
6.2.2  ZooKeeper 入門 224
6.3  Hbase 226
6.3.1  Hbase簡介 226
6.3.2  Hbase入門 229
6.4  Pig 232
6.4.1  Pig簡介 232
6.4.2  Pig入門 233
6.5  Hive 234
6.5.1  Hive簡介 234
6.5.2  Hive入門 235
6.6  Oozie 238
6.6.1  Oozie簡介 238
6.6.2  Oozie入門 238
6.7  Flume 241
6.7.1  Flume簡介 241
6.7.2  Flume入門 243
6.8  Mahout 246
6.8.1  Mahout簡介 246
6.8.2  Mahout入門 246
6.9  小結 247
習題 248
參考文獻 248
第7章  虛擬化技術 250
7.1  虛擬化技術簡介 250
7.2  服務器虛擬化 251
7.2.1  服務器虛擬化的層次 251
7.2.2  服務器虛擬化的底層實現(xiàn) 252
7.2.3  虛擬機遷移 253
7.2.4  隔離技術 256
7.2.5  案例分析 257
7.3  存儲虛擬化 258
7.3.1  存儲虛擬化的一般模型 258
7.3.2  存儲虛擬化的實現(xiàn)方式 259
7.3.3  案例分析 260
7.4  網(wǎng)絡虛擬化 262
7.4.1  核心層網(wǎng)絡虛擬化 262
7.4.2  接入層網(wǎng)絡虛擬化 262
7.4.3  虛擬機網(wǎng)絡虛擬化 262