123,123

內(nèi)容簡(jiǎn)介

　　大數(shù)據(jù)和人工智能技術(shù)發(fā)展正當(dāng)時(shí)，如何快速構(gòu)建一個(gè)高水平的企業(yè)級(jí)大數(shù)據(jù)平臺(tái)是撰寫(xiě)本書(shū)的出發(fā)點(diǎn)。本書(shū)從總體技術(shù)要求出發(fā)，深入分析了全棧技術(shù)的各自?xún)?yōu)勢(shì)和應(yīng)用場(chǎng)景，傳授了三十多種主流技術(shù)的架構(gòu)設(shè)計(jì)、技術(shù)原理和集成方法。第 1章介紹企業(yè)級(jí)大數(shù)據(jù)平臺(tái)服務(wù)的總體設(shè)計(jì)，突出研究經(jīng)典設(shè)計(jì)模式之美、吸納分布式技術(shù)的精髓、深耕微架構(gòu)的演變內(nèi)涵。第 2章～第 9章是項(xiàng)目實(shí)戰(zhàn)環(huán)節(jié)，介紹高并發(fā)采集、靈活轉(zhuǎn)發(fā)、高可擴(kuò)展海量存儲(chǔ)、高并發(fā)海量存儲(chǔ)、高可靠海量存儲(chǔ)、實(shí)時(shí)計(jì)算、智能分析和自定義遷移等微服務(wù)，手把手傳授架構(gòu)設(shè)計(jì)和核心代碼，讓讀者掌握商用微服務(wù)產(chǎn)品開(kāi)發(fā)全流程。

作者簡(jiǎn)介

　　常耀斌，資深大數(shù)據(jù)專(zhuān)家，擁有16年國(guó)家項(xiàng)目架構(gòu)設(shè)計(jì)與管理經(jīng)驗(yàn)。北郵計(jì)算機(jī)工學(xué)碩士，曾就職于中國(guó)電科、華為、中國(guó)移動(dòng)等知名企業(yè)，歷任項(xiàng)目經(jīng)理、高級(jí)專(zhuān)家、技術(shù)總監(jiān)、高級(jí)架構(gòu)師等職務(wù)。一直專(zhuān)注于億級(jí)用戶(hù)規(guī)模的大數(shù)據(jù)和人工智能平臺(tái)的技術(shù)架構(gòu)研發(fā)和關(guān)鍵技術(shù)研究，參與項(xiàng)目曾獲“國(guó)家科技進(jìn)步特等獎(jiǎng)“，個(gè)人曾獲“金牌員工”、“優(yōu)秀共產(chǎn)黨員”稱(chēng)號(hào)。個(gè)人擁有中國(guó)發(fā)明專(zhuān)利40多項(xiàng)，發(fā)表國(guó)家期刊學(xué)術(shù)論文10多篇，多次應(yīng)邀參加國(guó)內(nèi)頂會(huì)議和高峰論壇，并擔(dān)任專(zhuān)家評(píng)委和評(píng)審專(zhuān)家。。鄭智民，資深大數(shù)據(jù)分析師，中移動(dòng)研究院前瞻項(xiàng)目研究員。北京郵電大學(xué)電子與通信工程碩士、廈門(mén)大學(xué)MBA，曾擔(dān)任國(guó)家智慧城市大數(shù)據(jù)方案專(zhuān)家、發(fā)明家協(xié)會(huì)委員等。具有12年電信運(yùn)營(yíng)、智慧醫(yī)療、智慧家庭、工業(yè)物聯(lián)網(wǎng)、智慧環(huán)保等領(lǐng)域項(xiàng)目經(jīng)驗(yàn)。BI大數(shù)據(jù)實(shí)戰(zhàn)項(xiàng)目曾助力移動(dòng)全國(guó)經(jīng)分大賽團(tuán)體奪魁，物聯(lián)網(wǎng)創(chuàng)新項(xiàng)目曾獲第十九屆全國(guó)發(fā)明獎(jiǎng)等國(guó)家部委級(jí)獎(jiǎng)項(xiàng)6項(xiàng)及移動(dòng)全國(guó)級(jí)優(yōu)秀創(chuàng)新成果獎(jiǎng)2項(xiàng)，為移動(dòng)全國(guó)刊物《移周刊》首位創(chuàng)新專(zhuān)訪人物。在大數(shù)據(jù)及人工智能、區(qū)塊鏈領(lǐng)域以第發(fā)明人申請(qǐng)19項(xiàng)發(fā)明專(zhuān)利，撰寫(xiě)可穿戴設(shè)備、VR/AR等7份標(biāo)準(zhǔn)，出版VR和大數(shù)據(jù)領(lǐng)域書(shū)籍各1部。周賢波，資深研究員。北理工工學(xué)碩士，曾就職于華為等知名企業(yè)。近10多年一直專(zhuān)注于機(jī)器視覺(jué)/圖形圖像等相關(guān)算法研發(fā)，尤其擅長(zhǎng)在軟硬件平臺(tái)、智能穿戴式設(shè)備、物聯(lián)網(wǎng)、大數(shù)據(jù)及人工智能、AR/VR開(kāi)發(fā)、AI芯片等前沿技術(shù)研發(fā)。擁有12年大型項(xiàng)目設(shè)計(jì)和開(kāi)發(fā)經(jīng)驗(yàn)，在大數(shù)據(jù)和人工智能領(lǐng)域有5項(xiàng)中國(guó)發(fā)明專(zhuān)利申請(qǐng)。

圖書(shū)目錄

第 1章企業(yè)級(jí)大數(shù)據(jù)平臺(tái)服務(wù)的總體設(shè)計(jì)
1.1平臺(tái)架構(gòu)設(shè)計(jì)的總體技術(shù)要求
1.2微服務(wù)引擎的可擴(kuò)展性設(shè)計(jì)
1.3微服務(wù)引擎的優(yōu)秀解決方案
1.3.1 高并發(fā)采集微服務(wù)
1.3.2 靈活轉(zhuǎn)發(fā)微服務(wù)
1.3.3 高可擴(kuò)展海量存儲(chǔ)服務(wù)
1.3.4 高并發(fā)海量存儲(chǔ)服務(wù)
1.3.5 高可靠海量存儲(chǔ)服務(wù)
1.3.6 實(shí)時(shí)計(jì)算服務(wù)
1.3.7 基于機(jī)器學(xué)習(xí)的智能分析服務(wù)
1.3.8 自定義遷移服務(wù)
1.4設(shè)計(jì)小結(jié)· 17
第 2章大數(shù)據(jù)高并發(fā)采集微服務(wù)引擎
2.1核心需求分析和優(yōu)秀解決方案
2.2服務(wù)引擎的技術(shù)架構(gòu)設(shè)計(jì)
2.2.1 Maven與 Eclipse集成配置
2.2.2 Mina2.0框架以及業(yè)務(wù)設(shè)計(jì)
2.2.3 設(shè)備協(xié)議規(guī)范制定及數(shù)據(jù)包設(shè)計(jì)
2.2.4 按照設(shè)備和數(shù)據(jù)類(lèi)型進(jìn)行業(yè)務(wù)樹(shù)構(gòu)建
2.2.5 按照設(shè)備的數(shù)據(jù)包狀態(tài)進(jìn)行解析
2.2.6 按照通用方式進(jìn)行高并發(fā)入庫(kù)
2.3核心技術(shù)講解及模塊化設(shè)計(jì)
2.3.1 Spring Maven Web服務(wù)構(gòu)建
2.3.2 Spring Boot微服務(wù)構(gòu)建
2.3.3 數(shù)據(jù)包定義和實(shí)現(xiàn)
2.3.4 業(yè)務(wù)樹(shù)構(gòu)建和實(shí)現(xiàn)
2.3.5 數(shù)據(jù)包狀態(tài)進(jìn)行解析實(shí)現(xiàn)
2.3.6 按照通用方式進(jìn)行高并發(fā)入庫(kù)實(shí)現(xiàn)
2.3.7 客戶(hù)端模擬器工具類(lèi)進(jìn)行高并發(fā)測(cè)試
2.4項(xiàng)目小結(jié)·
第 3章大數(shù)據(jù)靈活轉(zhuǎn)發(fā)微服務(wù)引擎
3.1核心需求分析和優(yōu)秀解決方案
3.2服務(wù)引擎的技術(shù)架構(gòu)設(shè)計(jì)
3.3核心技術(shù)講解及模塊化實(shí)現(xiàn)
3.3.1 Spring MVC Web服務(wù)構(gòu)建
3.3.2 Spring Boot微服務(wù)構(gòu)建
3.3.3 靈活配置和通用工具類(lèi)構(gòu)建
3.3.4 創(chuàng)建發(fā)送數(shù)據(jù)主題，注冊(cè)觀察者對(duì)象
3.3.5 啟動(dòng)多線程進(jìn)行數(shù)據(jù)發(fā)送
3.3.6 采用 Post策略模式進(jìn)行數(shù)據(jù)發(fā)送
3.3.7 采用 ActiveMQ策略模式進(jìn)行數(shù)據(jù)發(fā)送
3.4項(xiàng)目小結(jié)· 173
4.1核心需求分析和優(yōu)秀解決方案
4.2服務(wù)引擎的技術(shù)架構(gòu)設(shè)計(jì)
4.3核心技術(shù)講解及模塊化實(shí)現(xiàn)
4.3.1 Spring MVC的工作原理及執(zhí)行流程
4.3.2 Spring MVC Web服務(wù)構(gòu)建
4.3.3 Spring Boot Web微服務(wù)構(gòu)建
4.3.4 統(tǒng)一對(duì)外數(shù)據(jù)接收接口及通用類(lèi)
4.3.5 MySQL對(duì)智能終端運(yùn)動(dòng)數(shù)據(jù)的分狀態(tài)和分策略處理
4.3.6 MySQL對(duì)智能終端運(yùn)動(dòng)數(shù)據(jù)的分職責(zé)處理
4.3.7 MySQL對(duì)智能終端運(yùn)動(dòng)數(shù)據(jù)的統(tǒng)一入庫(kù)處理
4.4項(xiàng)目小結(jié)
第 5章大數(shù)據(jù)高并發(fā)海量存儲(chǔ)微服務(wù)引擎
5.1核心需求分析和優(yōu)秀解決方案
5.2服務(wù)引擎的技術(shù)架構(gòu)設(shè)計(jì)
5.3核心技術(shù)講解及模塊化實(shí)現(xiàn)
5.3.1 Spring MVC和 Spring Boot集成 MongoDB
5.3.2 MongoTemplate核心類(lèi)實(shí)現(xiàn) Dao層接口
5.3.3 基于 MongoDB處理智能終端運(yùn)動(dòng)數(shù)據(jù)
5.3.4 基于 MongoDB管道技術(shù)處理體檢數(shù)據(jù)
5.3.5 基于 AngularJS架構(gòu)可視化體檢數(shù)據(jù)
5.4項(xiàng)目小結(jié)·
第 6章大數(shù)據(jù)高可靠海量存儲(chǔ)微服務(wù)引擎
6.1核心需求分析和優(yōu)秀解決方案
6.2服務(wù)引擎的技術(shù)架構(gòu)設(shè)計(jì)
6.3核心技術(shù)講解及模塊化實(shí)現(xiàn)
6.3.1 Hadoop完全分布式集群構(gòu)建
6.3.2 Spring MVC和 Spring Boot集成 Hbase
6.3.3 HbaseTemplate核心類(lèi)實(shí)現(xiàn) Dao層接口
6.3.4 Hbase集群的智能終端運(yùn)動(dòng)數(shù)據(jù) Controller接口
6.3.5 Hbase集群的智能終端運(yùn)動(dòng)數(shù)據(jù) Service接口
6.3.6 Hbase集群的智能終端運(yùn)動(dòng)數(shù)據(jù) Dao接口
6.4項(xiàng)目小結(jié)
第 7章大數(shù)據(jù)實(shí)時(shí)計(jì)算微服務(wù)引擎
7.1核心需求分析和優(yōu)秀解決方案
7.2服務(wù)引擎的技術(shù)架構(gòu)設(shè)計(jì)
7.3核心技術(shù)講解及模塊化實(shí)現(xiàn)
7.3.1 分布式采集服務(wù) Flume部署及數(shù)據(jù)采集
7.3.2 分布式消息服務(wù) Kafka部署及數(shù)據(jù)發(fā)送
7.3.3 創(chuàng)建 HBase數(shù)據(jù)庫(kù)和 Spark環(huán)境
7.3.4 分布式實(shí)時(shí)處理引擎 Spark Streaming原理及數(shù)據(jù)處理
7.3.5 構(gòu)建 BD_RTPServer_DP工程實(shí)現(xiàn)數(shù)據(jù)處理
7.3.6 構(gòu)建 BD_RTPServer_Boot服務(wù)實(shí)現(xiàn)可視化
7.4項(xiàng)目小結(jié)
第 8章大數(shù)據(jù)智能分析微服務(wù)引擎
8.1核心需求分析和優(yōu)秀解決方案
8.2服務(wù)引擎的技術(shù)架構(gòu)設(shè)計(jì)
8.3核心機(jī)器學(xué)習(xí)算法講解和應(yīng)用
8.3.1 邏輯回歸的原理分析
8.3.2 支持向量機(jī)原理分析
8.3.3 決策樹(shù)原理分析
8.3.4 聚類(lèi)算法原理分析
8.3.5 關(guān)聯(lián)規(guī)則算法原理分析
8.3.6 協(xié)同過(guò)濾原理分析
8.4 Spark架構(gòu)原理與數(shù)據(jù)預(yù)測(cè)
8.4.1 YARN運(yùn)行架構(gòu)工作原理
8.4.2 Spark Mlib核心技術(shù)
8.4.3 Spring Maven工程構(gòu)建
8.4.4 決策樹(shù)預(yù)測(cè)體檢費(fèi)用
8.4.5 邏輯回歸預(yù)測(cè)體檢費(fèi)用
8.4.6 隨機(jī)森林預(yù)測(cè)體檢費(fèi)用
8.4.7 支持向量機(jī)預(yù)測(cè)疾病概率
8.4.8 協(xié)同過(guò)濾推薦藥品
8.5項(xiàng)目小結(jié)
第 9章大數(shù)據(jù)自定義遷移微服務(wù)引擎
9.1核心需求分析和優(yōu)秀解決方案
9.2服務(wù)引擎的技術(shù)架構(gòu)設(shè)計(jì)
9.3核心技術(shù)講解及模塊化實(shí)現(xiàn)
9.3.1 Hadoop生態(tài)的核心組件
9.3.2 HBase工作原理
9.3.3 Sqoop工作原理
9.3.4 MapReduce工作原理
9.3.5 Sqoop抽取歷史數(shù)據(jù)到 HDFS
9.3.6 構(gòu)建工程 BD_CustomTransfer_Maven
9.3.7 智能終端運(yùn)動(dòng)數(shù)據(jù)從 MySQL數(shù)據(jù)遷移到 Hive
9.4項(xiàng)目小結(jié)