123,123,123

內(nèi)容簡(jiǎn)介

　　《大數(shù)據(jù)技術(shù)叢書(shū)·大數(shù)據(jù)治理與安全：從理論到開(kāi)源實(shí)踐》主要從理論和實(shí)踐兩個(gè)部分對(duì)大數(shù)據(jù)治理與安全技術(shù)展開(kāi)詳盡描述。其中理論篇主要從大數(shù)據(jù)治理的概念、作用、重要性，以及大數(shù)據(jù)治理的原則、范圍及評(píng)估內(nèi)容做出了詳細(xì)介紹；之后從大數(shù)據(jù)安全、隱私和審計(jì)三個(gè)方面，探討了大數(shù)據(jù)安全所面臨的挑戰(zhàn)，以及解決這些問(wèn)題的技術(shù)與方案、作用與意義。開(kāi)源實(shí)踐篇分別從Apache的四個(gè)開(kāi)源組件Falcon、Atlas、Ranger和Sentry以及Kerberos軟件框架與工具介紹其在大數(shù)據(jù)治理與安全方面的功能與實(shí)踐應(yīng)用方案。《大數(shù)據(jù)技術(shù)叢書(shū)·大數(shù)據(jù)治理與安全：從理論到開(kāi)源實(shí)踐》適用于大數(shù)據(jù)應(yīng)用技術(shù)愛(ài)好者以及具有一定開(kāi)發(fā)經(jīng)驗(yàn)的讀者，也可以作為大數(shù)據(jù)相關(guān)課程的教學(xué)參考書(shū)，供云計(jì)算、大數(shù)據(jù)相關(guān)專業(yè)方向的本科生、研究生閱讀，亦可作為相關(guān)從業(yè)人員與一線軟件開(kāi)發(fā)人員的參考資料。

作者簡(jiǎn)介

　　教授、博導(dǎo)、北京理工大學(xué)軟件學(xué)院副院長(zhǎng)。先后入選2015年度國(guó)家人社部“高層次留學(xué)人才回國(guó)資助計(jì)劃”和第八批陜西省百人計(jì)劃（短期）。分別于清華大學(xué)和英國(guó)帝國(guó)理工學(xué)院獲得學(xué)士和博士學(xué)位，后在德國(guó)電信研究院（柏林）、美國(guó)IBM TJ Watson研究中心和IBM中國(guó)研究院任博士后研究員和研究主管。主要研究方向是：綠色物聯(lián)網(wǎng)大數(shù)據(jù)高效傳輸與處理技術(shù)。發(fā)表高水平SCI/EI論文80余篇，授權(quán)國(guó)內(nèi)外發(fā)明專利7項(xiàng)，編著中英文書(shū)籍8本/節(jié)。主持了國(guó)家自然科學(xué)基金、工信部2013年電子商務(wù)集成創(chuàng)新試點(diǎn)工程等20余省部級(jí)重點(diǎn)項(xiàng)目，現(xiàn)任國(guó)際信息處理聯(lián)合會(huì)（IFIP）云計(jì)算專委會(huì)副主席、中國(guó)自動(dòng)化學(xué)會(huì)大數(shù)據(jù)專委會(huì)委員、中國(guó)工程院聘中國(guó)信息與電子工程科技發(fā)展戰(zhàn)略研究中心特聘專家（計(jì)算機(jī)應(yīng)用領(lǐng)域）等。

圖書(shū)目錄

Contents 目　　錄
前　言
第一篇　理論篇
第1章　大數(shù)據(jù)治理技術(shù)2
1.1　概述2
1.1.1　大數(shù)據(jù)治理的基本概念2
1.1.2　大數(shù)據(jù)治理的意義和重要作用5
1.2　框架7
1.2.1　大數(shù)據(jù)治理框架概述7
1.2.2　大數(shù)據(jù)治理的原則9
1.2.3　大數(shù)據(jù)治理的范圍11
1.2.4　大數(shù)據(jù)治理的實(shí)施與評(píng)估14
第2章　大數(shù)據(jù)安全、隱私保護(hù)和審計(jì)技術(shù)19
2.1　大數(shù)據(jù)安全19
2.1.1　大數(shù)據(jù)安全的意義和重要作用19
2.1.2　大數(shù)據(jù)安全面臨的問(wèn)題與挑戰(zhàn)21
2.1.3　大數(shù)據(jù)安全防護(hù)技術(shù)23
2.2　大數(shù)據(jù)隱私保護(hù)26
2.2.1　大數(shù)據(jù)隱私保護(hù)的意義和重要作用26
2.2.2　大數(shù)據(jù)隱私保護(hù)面臨的問(wèn)題與挑戰(zhàn)28
2.2.3　大數(shù)據(jù)隱私保護(hù)技術(shù)31
2.3　大數(shù)據(jù)治理審計(jì)34
2.3.1　大數(shù)據(jù)治理審計(jì)概述34
2.3.2　大數(shù)據(jù)治理審計(jì)內(nèi)容37
2.3.3　大數(shù)據(jù)治理審計(jì)方法和技術(shù)39
2.3.4　大數(shù)據(jù)治理審計(jì)流程43
第二篇　開(kāi)源實(shí)現(xiàn)篇
第3章　大數(shù)據(jù)治理之Apache Falcon48
3.1　Apache Falcon概述48
3.1.1　Apache Falcon技術(shù)概況49
3.1.2　Apache Falcon發(fā)展近況50
3.1.3　Apache Falcon技術(shù)優(yōu)勢(shì)50
3.1.4　Apache Falcon架構(gòu)51
3.2　Apache Falcon的使用53
3.2.1　Oozie的安裝與配置56
3.2.2　Falcon的安裝與配置61
3.2.3　實(shí)體XML的創(chuàng)建與聲明63
3.3　Apache Falcon場(chǎng)景設(shè)計(jì)與實(shí)現(xiàn)74
3.3.1　數(shù)據(jù)管道74
3.3.2　結(jié)構(gòu)化數(shù)據(jù)導(dǎo)入分布式文件系統(tǒng)82
3.3.3　結(jié)構(gòu)化數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)的交互89
3.3.4　跨集群數(shù)據(jù)傳輸104
3.3.5　數(shù)據(jù)鏡像109
3.3.6　數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)操作113
3.4　Apache Falcon優(yōu)化與性能分析118
3.4.1　Apache Falcon控制流118
3.4.2　分布式部署119
3.4.3　安全模式120
3.4.4　Apache Falcon優(yōu)化122
3.5　Apache Falcon應(yīng)用舉例123
3.5.1　InMobi基于Falcon的數(shù)據(jù)治理123
3.5.2　Expedia基于Falcon的數(shù)據(jù)治理125
3.6　本章小結(jié)126
第4章　大數(shù)據(jù)治理之Apache Atlas127
4.1　Apache Atlas概述127
4.1.1　Apache Atlas技術(shù)概況127
4.1.2　Apache Atlas發(fā)展近況130
4.1.3　Apache Atlas技術(shù)優(yōu)勢(shì)133
4.1.4　Apache Atlas架構(gòu)136
4.2　Apache Atlas的配置與使用143
4.2.1　安裝配置Apache Atlas143
4.2.2　添加或修改Atlas Web UI的登錄賬戶158
4.2.3　配置Hive通過(guò)Hive HOOK導(dǎo)入數(shù)據(jù)159
4.2.4　配置Sqoop通過(guò)Sqoop HOOK導(dǎo)入數(shù)據(jù)163
4.2.5　配置Storm通過(guò)Storm HOOK導(dǎo)入數(shù)據(jù)167
4.2.6　配置Falcon通過(guò)Falcon HOOK導(dǎo)入數(shù)據(jù)173
4.3　Apache Atlas的場(chǎng)景設(shè)計(jì)176
4.3.1　Atlas總場(chǎng)景介紹176
4.3.2　Atlas非實(shí)時(shí)數(shù)據(jù)場(chǎng)景178
4.3.3　Atlas實(shí)時(shí)數(shù)據(jù)場(chǎng)景183
4.3.4　Hive數(shù)據(jù)表操作183
4.4　Apache Atlas優(yōu)化與性能分析190
4.5　本章小結(jié)193
第5章　大數(shù)據(jù)安全之Apache Ranger194
5.1　Apache Ranger概述194
5.1.1　Ranger技術(shù)概況194
5.1.2　Ranger發(fā)展史及近況196
5.1.3　Ranger的特點(diǎn)和作用197
5.1.4　Ranger架構(gòu)199
5.1.5　Ranger應(yīng)用場(chǎng)景200
5.2　Apache Ranger的安全認(rèn)證配置201
5.2.1　Ranger安裝與部署201
5.2.2　安全及訪問(wèn)權(quán)限控制機(jī)制206
5.2.3　Ranger集成HDFS的安全認(rèn)證機(jī)制與配置208
5.2.4　Ranger集成YARN的安全認(rèn)證機(jī)制與配置213
5.2.5　Ranger集成Hive的安全認(rèn)證機(jī)制與配置217
5.2.6　Ranger集成HBase的安全認(rèn)證機(jī)制與配置221
5.2.7　Ranger集成Kafka的安全認(rèn)證機(jī)制與配置228
5.2.8　Ranger集成Atlas的安全認(rèn)證機(jī)制與配置235
5.2.9　Ranger集成Storm的安全認(rèn)證機(jī)制與配置238
5.2.10　Ranger集成Solr的安全認(rèn)證機(jī)制與配置246
5.3　Apache Ranger的功能配置254
5.3.1　Tag同步驗(yàn)證254
5.3.2　各類Policy驗(yàn)證255
5.4　Apache Ranger優(yōu)化與性能分析262
5.5　本章小結(jié)263
第6章　大數(shù)據(jù)安全之Apache Sentry265
6.1　Apache Sentry 概述265
6.1.1　Apache Sentry技術(shù)概況265
6.1.2　Apache Sentry發(fā)展近況267
6.1.3　Apache Sentry技術(shù)優(yōu)勢(shì)269
6.1.4　Apache Sentry架構(gòu)272
6.2　Apache Sentry的安裝與配置274
6.2.1　先決條件274
6.2.2　Impala的安裝與調(diào)試274
6.2.3　Apache Sentry的安裝和配置282
6.2.4　Apache Sentry與Impala的集成286
6.3　Apache Sentry場(chǎng)景設(shè)計(jì)之Sentry對(duì)Impala的控制288
6.3.1　場(chǎng)景數(shù)據(jù)準(zhǔn)備288
6.3.2　基于文件存儲(chǔ)元數(shù)據(jù)的場(chǎng)景驗(yàn)證288
6.3.3　基于數(shù)據(jù)庫(kù)存儲(chǔ)元數(shù)據(jù)的場(chǎng)景驗(yàn)證292
6.4　Apache Sentry場(chǎng)景設(shè)計(jì)之Sentry對(duì)Hive的控制296
6.4.1　Hive與Sentry的集成配置296
6.4.2　準(zhǔn)備實(shí)驗(yàn)數(shù)據(jù)298
6.4.3　基于文件存儲(chǔ)方式的數(shù)據(jù)表操作298
6.4.4　基于數(shù)據(jù)庫(kù)存儲(chǔ)方式的數(shù)據(jù)表操作301
6.5　本章小結(jié)305
第7章　大數(shù)據(jù)安全之Kerberos認(rèn)證306
7.1　Kerberos概述306
7.1.1　Kerberos技術(shù)概況306
7.1.2　Kerberos發(fā)展史及近況307
7.1.3　Kerberos架構(gòu)308
7.1.4　Kerberos的認(rèn)證流程309
7.1.5　Kerberos的風(fēng)險(xiǎn)與缺陷311
7.1.6　Kerberos應(yīng)用舉例312
7.2　Kerberos使用操作說(shuō)明314
7.2.1　名詞解釋314
7.2.2　KDC