123,123,123

內(nèi)容簡(jiǎn)介

　　全書(shū)共13章，分兩大部分進(jìn)行全面而系統(tǒng)的介紹，第一部分從騰訊大數(shù)據(jù)平臺(tái)的發(fā)展歷程和總體架構(gòu)切入，深入剖析了各項(xiàng)技術(shù)原理，闡述了實(shí)戰(zhàn)過(guò)程中的挑戰(zhàn)和自研核心技術(shù)的設(shè)計(jì)思想，覆蓋了大數(shù)據(jù)接入、計(jì)算、存儲(chǔ)、分析、調(diào)度等大量技術(shù)組件。第二部分主要介紹了騰訊在數(shù)據(jù)治理、數(shù)據(jù)應(yīng)用、機(jī)器學(xué)習(xí)和平臺(tái)運(yùn)營(yíng)方面的建設(shè)經(jīng)驗(yàn)，并對(duì)騰訊大數(shù)據(jù)產(chǎn)品及其在內(nèi)外部場(chǎng)景的實(shí)踐落地進(jìn)行了解讀，書(shū)中列舉的大量實(shí)踐案例對(duì)廣大讀者都極具參考價(jià)值和借鑒意義。

作者簡(jiǎn)介

　　核心團(tuán)隊(duì)騰訊數(shù)據(jù)平臺(tái)部致力于為騰訊集團(tuán)旗下業(yè)務(wù)提供專業(yè)、可靠的大數(shù)據(jù)平臺(tái)及機(jī)器學(xué)習(xí)平臺(tái)服務(wù)，并依托騰訊云將大數(shù)據(jù)與AI能力對(duì)外輸出。團(tuán)隊(duì)專注于大數(shù)據(jù)、云原生、機(jī)器學(xué)習(xí)、圖計(jì)算、AI視覺(jué)和推薦技術(shù)等核心技術(shù)，并在世界級(jí)比賽屢獲獎(jiǎng)項(xiàng)。同時(shí)，團(tuán)隊(duì)全面擁抱開(kāi)源并持續(xù)貢獻(xiàn)社區(qū)，自主研發(fā)的分布式機(jī)器學(xué)習(xí)平臺(tái)Angel和大數(shù)據(jù)集成平臺(tái)InLong分別從Linux和Apache頂級(jí)項(xiàng)目畢業(yè)，具有世界級(jí)的技術(shù)影響力。核心作者蔣杰，北京大學(xué)博士，騰訊公司副總裁，中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）副理事長(zhǎng)，中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）大數(shù)據(jù)專家委員會(huì)委員。2012年起在騰訊負(fù)責(zé)大數(shù)據(jù)平臺(tái)建設(shè)，主導(dǎo)研發(fā)了離線計(jì)算、實(shí)時(shí)計(jì)算、機(jī)器學(xué)習(xí)、數(shù)智融合四代騰訊大數(shù)據(jù)平臺(tái)，并推動(dòng)大數(shù)據(jù)技術(shù)開(kāi)源。帶領(lǐng)騰訊完成了騰訊廣告投放端整合，實(shí)現(xiàn)了騰訊全流量的一站式投放。在人工智能領(lǐng)域，打造了騰訊AI學(xué)習(xí)平臺(tái)，獲得多項(xiàng)頂級(jí)賽事獎(jiǎng)項(xiàng)。

圖書(shū)目錄

前言
第1章　打造騰訊大數(shù)據(jù)平臺(tái)1
1.1　騰訊大數(shù)據(jù)的緣起3
1.2　騰訊大數(shù)據(jù)的構(gòu)建理念5
1.3　騰訊大數(shù)據(jù)的總體架構(gòu)7
第2章　數(shù)據(jù)實(shí)時(shí)采集平臺(tái)11
2.1　接入層挑戰(zhàn)12
2.2　接入管理層TDManager14
2.3　數(shù)據(jù)采集17
2.4　數(shù)據(jù)總線23
2.5　消息中間件30
2.6　數(shù)據(jù)分揀40
2.7　接入層展望44
第3章　分布式存儲(chǔ)平臺(tái)46
3.1　文件存儲(chǔ)HDFS47
3.2　統(tǒng)一存儲(chǔ)Ceph62
3.3　下一代大數(shù)據(jù)存儲(chǔ)Ozone77
3.4　KV存儲(chǔ)HBase88
第4章　分布式計(jì)算平臺(tái)99
4.1　批處理MapReduce100
4.2　批處理Spark107
4.3　批處理漂移計(jì)算SuperSQL123
4.4　流處理Flink146
4.5　SQL數(shù)據(jù)倉(cāng)庫(kù)Hive165
4.6　任務(wù)調(diào)度175
第5章　數(shù)據(jù)分析引擎184
5.1　關(guān)系型OLAP：騰訊實(shí)時(shí)多維分析平臺(tái)185
5.2　關(guān)系型OLAP：ClickHouse200
5.3　多維OLAP：Kylin211
5.4　多維OLAP：Druid222
第6章　資源調(diào)度平臺(tái)234
6.1　Yarn項(xiàng)目背景235
6.2　調(diào)度器性能優(yōu)化241
6.3　集群的高可用性244
6.4　多資源維度彈性管理254
第7章　數(shù)據(jù)治理體系261
7.1　元數(shù)據(jù)262
7.2　數(shù)據(jù)資產(chǎn)管理271
7.3　大數(shù)據(jù)安全283
第8章　機(jī)器學(xué)習(xí)平臺(tái)298
8.1　圖智能平臺(tái)299
8.2　Angel310
8.3　聯(lián)邦學(xué)習(xí)333
第9章　數(shù)據(jù)內(nèi)容挖掘350
9.1　概覽351
9.2　廣告內(nèi)容挖掘352
9.3　用戶畫(huà)像數(shù)據(jù)體系365
9.4　用戶畫(huà)像構(gòu)建方法366
9.5　數(shù)據(jù)內(nèi)容挖掘與推薦379
9.6　數(shù)據(jù)內(nèi)容挖掘與AI創(chuàng)作380
第10章　大數(shù)據(jù)平臺(tái)運(yùn)營(yíng)384
10.1　大數(shù)據(jù)服務(wù)規(guī)劃385
10.2　大數(shù)據(jù)平臺(tái)治理393
10.3　自動(dòng)化運(yùn)維體系構(gòu)建397
10.4　平臺(tái)運(yùn)營(yíng)成本優(yōu)化404
10.5　大數(shù)據(jù)運(yùn)營(yíng)分析與應(yīng)用體系408
第11章　大數(shù)據(jù)平臺(tái)產(chǎn)品設(shè)計(jì)410
11.1　TBDS大數(shù)據(jù)處理套件411
11.2　Oceanus實(shí)時(shí)流式數(shù)據(jù)處理平臺(tái)419
11.3　ideX數(shù)據(jù)分析與探索挖掘工具425
11.4　智能鈦TI機(jī)器學(xué)習(xí)平臺(tái)429
第12章　企業(yè)級(jí)容器云平臺(tái)GaiaStack438
12.1　GaiaStack產(chǎn)品背景和目標(biāo)439
12.2　GaiaStack架構(gòu)和技術(shù)特點(diǎn)446
12.3　GaiaStack核心技術(shù)454
第13章　大數(shù)據(jù)應(yīng)用服務(wù)503
13.1　智能客服機(jī)器人504
13.2　移動(dòng)推送526
13.3　數(shù)據(jù)可視化產(chǎn)品小馬BI535
參考文獻(xiàn)549