數(shù)據(jù)虛擬化：多源異構(gòu)數(shù)據(jù)集成之道

目 錄
第　1 章 概述　1
1．1　背景　1
1．1．1　大數(shù)據(jù)時(shí)代下的數(shù)據(jù)增長(zhǎng)　1
1．1．2　上層應(yīng)用對(duì)數(shù)據(jù)服務(wù)的需求　4
1．2　DaaS　8
1．2．1　DaaS 的歷史　8
1．2．2　DaaS 的定義　10
1．2．3　服務(wù)　11
1．2．4　服務(wù)的分類　13
1．2．5　數(shù)據(jù)服務(wù)　14
1．2．6　數(shù)據(jù)服務(wù)及其架構(gòu)　16
1．2．7　數(shù)據(jù)服務(wù)的關(guān)鍵技術(shù)　18
1．2．8　DaaS 的特點(diǎn)　19
1．3　DaaS 面臨的問(wèn)題　19
參考文獻(xiàn)　21
第　2 章 多源異構(gòu)數(shù)據(jù)處理關(guān)鍵技術(shù)　22
2．1　多源異構(gòu)數(shù)據(jù)的產(chǎn)生與收集　22
2．1．1　多源異構(gòu)數(shù)據(jù)的產(chǎn)生　22
2．1．2　多源異構(gòu)數(shù)據(jù)的收集　24
2．2　多源異構(gòu)數(shù)據(jù)的存儲(chǔ)　46
2．2．1　多源異構(gòu)數(shù)據(jù)的類型　46
2．2．2　多源異構(gòu)數(shù)據(jù)存儲(chǔ)的關(guān)鍵技術(shù)　47
2．3　數(shù)據(jù)倉(cāng)庫(kù)　72
2．3．1　數(shù)據(jù)倉(cāng)庫(kù)的定義及特點(diǎn)　73
1
數(shù)據(jù)虛擬化：多源異構(gòu)數(shù)據(jù)集成之道
2．3．2　數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)　74
2．4　多源異構(gòu)數(shù)據(jù)的組織管理　77
2．5　多源異構(gòu)數(shù)據(jù)的分析　87
2．5．1　分類算法　88
2．5．2　回歸算法　94
2．5．3　聚類算法　98
2．5．4　關(guān)聯(lián)規(guī)則算法　99
2．5．5　神經(jīng)網(wǎng)絡(luò)算法　102
2．6　數(shù)據(jù)分析平臺(tái)　113
2．6．1　Hadoop　114
2．6．2　Spark　116
2．6．3　Storm　117
2．6．4　機(jī)器學(xué)習(xí)框架　120
參考文獻(xiàn)　122
第　3 章 數(shù)據(jù)虛擬化　124
3．1　背景　124
3．2　數(shù)據(jù)虛擬化概述　126
3．2．1　數(shù)據(jù)虛擬化的定義　128
3．2．2　數(shù)據(jù)虛擬化及其相關(guān)概念　129
3．3　數(shù)據(jù)虛擬化的技術(shù)優(yōu)點(diǎn)　133
3．4　數(shù)據(jù)虛擬化的不同實(shí)現(xiàn)方式　137
3．5　數(shù)據(jù)虛擬化的應(yīng)用　138
參考文獻(xiàn)　144
第　4 章 數(shù)據(jù)虛擬化系統(tǒng)架構(gòu)　146
4．1　數(shù)據(jù)虛擬化系統(tǒng)架構(gòu)概述　146
4．2　數(shù)據(jù)虛擬化系統(tǒng)詳細(xì)模型　149
4．2．1　應(yīng)用層　150
4．2．2　數(shù)據(jù)虛擬化層　150
4．2．3　源數(shù)據(jù)層　151
4．3　數(shù)據(jù)虛擬化研究的問(wèn)題　152
參考文獻(xiàn)　156
2
目　錄
第　5 章 數(shù)據(jù)虛擬化平面　159
5．1　數(shù)據(jù)映射層　159
5．1．1　源表格、虛擬表格、映射、封裝的定義　159
5．1．2　虛擬表格和映射的例子　165
5．2　元數(shù)據(jù)組織層　174
5．2．1　元數(shù)據(jù)的基本概念　174
5．2．2　元數(shù)據(jù)的組織方法　178
5．3　數(shù)據(jù)服務(wù)層　188
5．3．1　虛擬表格的發(fā)布　188
5．3．2　虛擬表格和數(shù)據(jù)建?！?93
5．3．3　數(shù)據(jù)安全：認(rèn)證和授權(quán)　215
5．4　查詢響應(yīng)層　217
5．4．1　緩存技術(shù)　217
5．4．2　查詢優(yōu)化　224
參考文獻(xiàn)　235
第　6 章 數(shù)據(jù)虛擬化的管理平面　237
6．1　源表格、封裝表格、虛擬表格的同步　237
6．2　元數(shù)據(jù)組織層的管理　238
6．3　虛擬表格或數(shù)據(jù)服務(wù)組合、更新過(guò)程的維護(hù)　240
6．4　查詢響應(yīng)層的監(jiān)控、處理和管理　242
參考文獻(xiàn)　245
第　7 章 數(shù)據(jù)虛擬化系統(tǒng)的設(shè)計(jì)　247
7．1　對(duì)現(xiàn)有系統(tǒng)部署數(shù)據(jù)虛擬化　247
7．1．1　部署數(shù)據(jù)虛擬化的步驟　247
7．1．2　醫(yī)療數(shù)據(jù)倉(cāng)庫(kù)引入數(shù)據(jù)虛擬化　249
7．2　設(shè)計(jì)和開(kāi)發(fā)新的數(shù)據(jù)虛擬化系統(tǒng)　251
參考文獻(xiàn)　265
第　8 章 數(shù)據(jù)虛擬化的應(yīng)用案例　266
8．1　背景介紹　266
8．1．1　FITS　267
8．1．2　流式數(shù)據(jù)處理平臺(tái)　268
8．1．3　圖形數(shù)據(jù)庫(kù)　269
3
數(shù)據(jù)虛擬化：多源異構(gòu)數(shù)據(jù)集成之道
8．1．4　圖劃分技術(shù)　270
8．2　天文元數(shù)據(jù)實(shí)時(shí)歸檔系統(tǒng)設(shè)計(jì)　272
8．2．1　元數(shù)據(jù)采集模塊　273
8．2．2　元數(shù)據(jù)處理模塊　275
8．2．3　元數(shù)據(jù)存儲(chǔ)模塊　284
8．3　系統(tǒng)功能測(cè)試　286
8．3．1　實(shí)驗(yàn)環(huán)境　286
8．3．2　功能測(cè)試　288
參考文獻(xiàn)　290
第　9 章 數(shù)據(jù)虛擬化的未來(lái)　292
9．1　數(shù)據(jù)虛擬化的未來(lái)--Rick F．van der Lans 的理解　293
9．1．1　新的以及增強(qiáng)的查詢優(yōu)化技術(shù)　293
9．1．2　探索新的硬件技術(shù)　294
9．1．3　不斷擴(kuò)展的設(shè)計(jì)模型　295
9．1．4　數(shù)據(jù)質(zhì)量的特性　297
9．1．5　對(duì)數(shù)據(jù)訪問(wèn)下推模型的支持　299
9．1．6　數(shù)據(jù)虛擬化、ETL 以及復(fù)制之間的協(xié)作　300
9．2　數(shù)據(jù)虛擬化的未來(lái)--全局?jǐn)?shù)據(jù)網(wǎng)絡(luò)　301
9．2．1　被授權(quán)的消費(fèi)者從無(wú)處不在的數(shù)據(jù)訪問(wèn)獲益　301
9．2．2　IT 的后臺(tái)管理系統(tǒng)變?yōu)樵啤?02
9．2．3　數(shù)據(jù)虛擬化的未來(lái)是一個(gè)全局?jǐn)?shù)據(jù)網(wǎng)絡(luò)　302
9．2．4　小結(jié)　303
9．3　數(shù)據(jù)虛擬化的未來(lái)--多種數(shù)據(jù)處理方法的結(jié)合　303
9．4　數(shù)據(jù)虛擬化的未來(lái)--在虛擬化的世界中占據(jù)一席之地　305
9．4．1　使用數(shù)據(jù)虛擬化最大化數(shù)據(jù)的回報(bào)　306
9．4．2　透過(guò)表象看問(wèn)題　307
參考文獻(xiàn)　308
中英文對(duì)照表　309
名詞索引　313