大數(shù)據(jù)治理與安全：從理論到開源實(shí)踐

Contents 目　　錄
前　言
第一篇　理論篇
第1章　大數(shù)據(jù)治理技術(shù)2
1.1　概述2
1.1.1　大數(shù)據(jù)治理的基本概念2
1.1.2　大數(shù)據(jù)治理的意義和重要作用5
1.2　框架7
1.2.1　大數(shù)據(jù)治理框架概述7
1.2.2　大數(shù)據(jù)治理的原則9
1.2.3　大數(shù)據(jù)治理的范圍11
1.2.4　大數(shù)據(jù)治理的實(shí)施與評估14
第2章　大數(shù)據(jù)安全、隱私保護(hù)和審計(jì)技術(shù)19
2.1　大數(shù)據(jù)安全19
2.1.1　大數(shù)據(jù)安全的意義和重要作用19
2.1.2　大數(shù)據(jù)安全面臨的問題與挑戰(zhàn)21
2.1.3　大數(shù)據(jù)安全防護(hù)技術(shù)23
2.2　大數(shù)據(jù)隱私保護(hù)26
2.2.1　大數(shù)據(jù)隱私保護(hù)的意義和重要作用26
2.2.2　大數(shù)據(jù)隱私保護(hù)面臨的問題與挑戰(zhàn)28
2.2.3　大數(shù)據(jù)隱私保護(hù)技術(shù)31
2.3　大數(shù)據(jù)治理審計(jì)34
2.3.1　大數(shù)據(jù)治理審計(jì)概述34
2.3.2　大數(shù)據(jù)治理審計(jì)內(nèi)容37
2.3.3　大數(shù)據(jù)治理審計(jì)方法和技術(shù)39
2.3.4　大數(shù)據(jù)治理審計(jì)流程43
第二篇　開源實(shí)現(xiàn)篇
第3章　大數(shù)據(jù)治理之Apache Falcon48
3.1　Apache Falcon概述48
3.1.1　Apache Falcon技術(shù)概況49
3.1.2　Apache Falcon發(fā)展近況50
3.1.3　Apache Falcon技術(shù)優(yōu)勢50
3.1.4　Apache Falcon架構(gòu)51
3.2　Apache Falcon的使用53
3.2.1　Oozie的安裝與配置56
3.2.2　Falcon的安裝與配置61
3.2.3　實(shí)體XML的創(chuàng)建與聲明63
3.3　Apache Falcon場景設(shè)計(jì)與實(shí)現(xiàn)74
3.3.1　數(shù)據(jù)管道74
3.3.2　結(jié)構(gòu)化數(shù)據(jù)導(dǎo)入分布式文件系統(tǒng)82
3.3.3　結(jié)構(gòu)化數(shù)據(jù)庫與數(shù)據(jù)倉庫的交互89
3.3.4　跨集群數(shù)據(jù)傳輸104
3.3.5　數(shù)據(jù)鏡像109
3.3.6　數(shù)據(jù)倉庫中的數(shù)據(jù)操作113
3.4　Apache Falcon優(yōu)化與性能分析118
3.4.1　Apache Falcon控制流118
3.4.2　分布式部署119
3.4.3　安全模式120
3.4.4　Apache Falcon優(yōu)化122
3.5　Apache Falcon應(yīng)用舉例123
3.5.1　InMobi基于Falcon的數(shù)據(jù)治理123
3.5.2　Expedia基于Falcon的數(shù)據(jù)治理125
3.6　本章小結(jié)126
第4章　大數(shù)據(jù)治理之Apache Atlas127
4.1　Apache Atlas概述127
4.1.1　Apache Atlas技術(shù)概況127
4.1.2　Apache Atlas發(fā)展近況130
4.1.3　Apache Atlas技術(shù)優(yōu)勢133
4.1.4　Apache Atlas架構(gòu)136
4.2　Apache Atlas的配置與使用143
4.2.1　安裝配置Apache Atlas143
4.2.2　添加或修改Atlas Web UI的登錄賬戶158
4.2.3　配置Hive通過Hive HOOK導(dǎo)入數(shù)據(jù)159
4.2.4　配置Sqoop通過Sqoop HOOK導(dǎo)入數(shù)據(jù)163
4.2.5　配置Storm通過Storm HOOK導(dǎo)入數(shù)據(jù)167
4.2.6　配置Falcon通過Falcon HOOK導(dǎo)入數(shù)據(jù)173
4.3　Apache Atlas的場景設(shè)計(jì)176
4.3.1　Atlas總場景介紹176
4.3.2　Atlas非實(shí)時(shí)數(shù)據(jù)場景178
4.3.3　Atlas實(shí)時(shí)數(shù)據(jù)場景183
4.3.4　Hive數(shù)據(jù)表操作183
4.4　Apache Atlas優(yōu)化與性能分析190
4.5　本章小結(jié)193
第5章　大數(shù)據(jù)安全之Apache Ranger194
5.1　Apache Ranger概述194
5.1.1　Ranger技術(shù)概況194
5.1.2　Ranger發(fā)展史及近況196
5.1.3　Ranger的特點(diǎn)和作用197
5.1.4　Ranger架構(gòu)199
5.1.5　Ranger應(yīng)用場景200
5.2　Apache Ranger的安全認(rèn)證配置201
5.2.1　Ranger安裝與部署201
5.2.2　安全及訪問權(quán)限控制機(jī)制206
5.2.3　Ranger集成HDFS的安全認(rèn)證機(jī)制與配置208
5.2.4　Ranger集成YARN的安全認(rèn)證機(jī)制與配置213
5.2.5　Ranger集成Hive的安全認(rèn)證機(jī)制與配置217
5.2.6　Ranger集成HBase的安全認(rèn)證機(jī)制與配置221
5.2.7　Ranger集成Kafka的安全認(rèn)證機(jī)制與配置228
5.2.8　Ranger集成Atlas的安全認(rèn)證機(jī)制與配置235
5.2.9　Ranger集成Storm的安全認(rèn)證機(jī)制與配置238
5.2.10　Ranger集成Solr的安全認(rèn)證機(jī)制與配置246
5.3　Apache Ranger的功能配置254
5.3.1　Tag同步驗(yàn)證254
5.3.2　各類Policy驗(yàn)證255
5.4　Apache Ranger優(yōu)化與性能分析262
5.5　本章小結(jié)263
第6章　大數(shù)據(jù)安全之Apache Sentry265
6.1　Apache Sentry 概述265
6.1.1　Apache Sentry技術(shù)概況265
6.1.2　Apache Sentry發(fā)展近況267
6.1.3　Apache Sentry技術(shù)優(yōu)勢269
6.1.4　Apache Sentry架構(gòu)272
6.2　Apache Sentry的安裝與配置274
6.2.1　先決條件274
6.2.2　Impala的安裝與調(diào)試274
6.2.3　Apache Sentry的安裝和配置282
6.2.4　Apache Sentry與Impala的集成286
6.3　Apache Sentry場景設(shè)計(jì)之Sentry對Impala的控制288
6.3.1　場景數(shù)據(jù)準(zhǔn)備288
6.3.2　基于文件存儲元數(shù)據(jù)的場景驗(yàn)證288
6.3.3　基于數(shù)據(jù)庫存儲元數(shù)據(jù)的場景驗(yàn)證292
6.4　Apache Sentry場景設(shè)計(jì)之Sentry對Hive的控制296
6.4.1　Hive與Sentry的集成配置296
6.4.2　準(zhǔn)備實(shí)驗(yàn)數(shù)據(jù)298
6.4.3　基于文件存儲方式的數(shù)據(jù)表操作298
6.4.4　基于數(shù)據(jù)庫存儲方式的數(shù)據(jù)表操作301
6.5　本章小結(jié)305
第7章　大數(shù)據(jù)安全之Kerberos認(rèn)證306
7.1　Kerberos概述306
7.1.1　Kerberos技術(shù)概況306
7.1.2　Kerberos發(fā)展史及近況307
7.1.3　Kerberos架構(gòu)308
7.1.4　Kerberos的認(rèn)證流程309
7.1.5　Kerberos的風(fēng)險(xiǎn)與缺陷311
7.1.6　Kerberos應(yīng)用舉例312
7.2　Kerberos使用操作說明314
7.2.1　名詞解釋314
7.2.2　KDC