大數(shù)據(jù) 數(shù)據(jù)管理與數(shù)據(jù)工程

第一部分大數(shù)據(jù)管理理論框架與生態(tài)系統(tǒng) 第1章大數(shù)據(jù)概述 1.1大數(shù)據(jù)時代 1.2什么是大數(shù)據(jù) 1.2.1大數(shù)據(jù)定義 1.2.2大數(shù)據(jù)特征 1.2.3大數(shù)據(jù)結(jié)構(gòu)類型 1.2.4數(shù)據(jù)、信息、知識與智能的關(guān)系 1.3大數(shù)據(jù)發(fā)展史 1.3.1數(shù)據(jù)管理發(fā)展歷程 1.3.2大數(shù)據(jù)的演變及回顧 1.4大數(shù)據(jù)的度量和價值 1.4.1大數(shù)據(jù)的度量 1.4.2大數(shù)據(jù)的價值 1.5大數(shù)據(jù)生態(tài)系統(tǒng) 1.5.1大數(shù)據(jù)生態(tài)系統(tǒng)全貌 1.5.2大數(shù)據(jù)生態(tài)系統(tǒng)框架 1.6大數(shù)據(jù)應(yīng)用研究方向 1.6.1大數(shù)據(jù)管理與技術(shù) 1.6.2大數(shù)據(jù)科學(xué)與工程 1.7大數(shù)據(jù)的挑戰(zhàn) 1.7.1大數(shù)據(jù)管理方面帶來的挑戰(zhàn) 1.7.2大數(shù)據(jù)技術(shù)方面帶來的挑戰(zhàn) 1.7.3大數(shù)據(jù)工程方面帶來的挑戰(zhàn) 第2章大數(shù)據(jù)戰(zhàn)略與商業(yè)模式變革 2.1大數(shù)據(jù)戰(zhàn)略 2.1.1國外大數(shù)據(jù)戰(zhàn)略視角 2.1.2國內(nèi)大數(shù)據(jù)戰(zhàn)略視角 2.2大數(shù)據(jù)商業(yè)模式和商業(yè)機會 2.2.1基于大數(shù)據(jù)的商業(yè)模式創(chuàng)新 2.2.2大數(shù)據(jù)對企業(yè)管理決策的影響 2.2.3基于大數(shù)據(jù)驅(qū)動的商業(yè)機會 2.3大數(shù)據(jù)市場的行業(yè)應(yīng)用需求 2.3.1移動互聯(lián)網(wǎng)和社交網(wǎng)絡(luò) 2.3.2政府公共管理 2.3.3教育科研行業(yè) 2.3.4金融行業(yè) 2.3.5醫(yī)療健康業(yè) 2.3.6中國制造2025 2.3.7智能交通領(lǐng)域 第3章大數(shù)據(jù)平臺的架構(gòu)體系 3.1大數(shù)據(jù)基礎(chǔ)設(shè)施 3.1.1虛擬化 3.1.2云計算 3.1.3數(shù)據(jù)中心 3.2數(shù)據(jù)采集 3.2.1系統(tǒng)日志采集方法 3.2.2網(wǎng)絡(luò)數(shù)據(jù)采集方法： 對非結(jié)構(gòu)化數(shù)據(jù)的采集 3.2.3其他數(shù)據(jù)采集方法 3.3數(shù)據(jù)存儲 3.3.1結(jié)構(gòu)化數(shù)據(jù)存儲 3.3.2非結(jié)構(gòu)化數(shù)據(jù)存儲 3.4數(shù)據(jù)處理 3.4.1離線批處理 3.4.2實時交互計算 3.4.3流計算 3.5數(shù)據(jù)交互展示 3.5.1數(shù)據(jù)可視化基礎(chǔ) 3.5.2數(shù)據(jù)可視化模式 3.5.3數(shù)據(jù)可視化工具 3.6大數(shù)據(jù)應(yīng)用 3.7運營管理 3.8安全管理 第4章大數(shù)據(jù)的數(shù)據(jù)整合、交換與交易 4.1大數(shù)據(jù)平臺整合 4.1.1HDFS分布式文件系統(tǒng) 4.1.2MapReduce分布式計算框架 4.1.3HBase分布式數(shù)據(jù)庫 4.1.4交互式數(shù)據(jù)查詢分析 4.1.5數(shù)據(jù)收集、轉(zhuǎn)換工具 4.1.6其他大數(shù)據(jù)平臺 4.2大數(shù)據(jù)與存儲架構(gòu)的整合 4.2.1傳統(tǒng)存儲架構(gòu) 4.2.2集群存儲的發(fā)展 4.2.3基于HDFS的集群存儲 4.2.4固態(tài)硬盤對內(nèi)存計算的支持 4.3大數(shù)據(jù)與網(wǎng)絡(luò)架構(gòu)的發(fā)展 4.4大數(shù)據(jù)與虛擬化技術(shù)的整合 4.5Hadoop環(huán)境下的數(shù)據(jù)整合 4.5.1Hadoop計算環(huán)境下的數(shù)據(jù)整合問題 4.5.2數(shù)據(jù)庫整合工具Sqoop 4.5.3Hadoop平臺內(nèi)部數(shù)據(jù)整合工具HCatalog 4.6大數(shù)據(jù)數(shù)據(jù)交換 4.6.1數(shù)據(jù)集成技術(shù) 4.6.2數(shù)據(jù)交換體系應(yīng)用框架 4.6.3數(shù)據(jù)交換關(guān)鍵技術(shù) 4.7大數(shù)據(jù)交易 4.7.1大數(shù)據(jù)交易產(chǎn)業(yè)鏈 4.7.2大數(shù)據(jù)交易業(yè)務(wù)模式分析 4.7.3大數(shù)據(jù)交易發(fā)展趨勢 第5章大數(shù)據(jù)管理和治理 5.1建立數(shù)據(jù)驅(qū)動的管理體系和架構(gòu) 5.1.1建立數(shù)據(jù)管理組織和團隊 5.1.2建立數(shù)據(jù)管理規(guī)章和制度 5.2大數(shù)據(jù)治理體系 5.2.1數(shù)據(jù)標(biāo)準(zhǔn)管理 5.2.2數(shù)據(jù)質(zhì)量管理 5.2.3元數(shù)據(jù)管理 5.2.4主數(shù)據(jù)管理 5.2.5數(shù)據(jù)資產(chǎn)的全生命周期管理 5.3大數(shù)據(jù)技術(shù)管理體系 5.3.1數(shù)據(jù)類型和結(jié)構(gòu) 5.3.2數(shù)據(jù)存儲管理 5.3.3數(shù)據(jù)倉庫和商業(yè)智能 5.3.4數(shù)據(jù)計算和處理 5.3.5數(shù)據(jù)展示與交互 5.4大數(shù)據(jù)事務(wù)管理 5.4.1事務(wù)的基本屬性 5.4.2大數(shù)據(jù)事務(wù)管理機制 5.5大數(shù)據(jù)流程管理 5.6大數(shù)據(jù)易用性管理 5.7數(shù)據(jù)的安全管理 第6章大數(shù)據(jù)創(chuàng)新方法論 6.1大數(shù)據(jù)的爆發(fā) 6.2大數(shù)據(jù)創(chuàng)新理論 6.2.1大數(shù)據(jù)的宏觀性和微觀性 6.2.2大數(shù)據(jù)的生產(chǎn)要素性 6.2.3大數(shù)據(jù)的基因特性 6.2.4大數(shù)據(jù)的催化劑特性 6.2.5大數(shù)據(jù)的活性和流動性 6.2.6大數(shù)據(jù)的黑洞效應(yīng)和核聚變效應(yīng) 6.3大數(shù)據(jù)創(chuàng)新方法論 6.4信息演變趨勢 6.5大數(shù)據(jù)創(chuàng)新實踐閉環(huán) 6.6中國創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)版圖 6.6.1大數(shù)據(jù)時代的數(shù)據(jù)管理 6.6.2大眾創(chuàng)業(yè)萬眾創(chuàng)新的浪潮 6.6.3中國創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)版圖的推出 6.6.4雙創(chuàng)版圖中的大數(shù)據(jù)管理挑戰(zhàn) 6.6.5雙創(chuàng)版圖中大數(shù)據(jù)技術(shù)的集中運用 6.6.6雙創(chuàng)大數(shù)據(jù)版圖的意義 第二部分數(shù)據(jù)科學(xué)和數(shù)據(jù)工程 第7章數(shù)據(jù)科學(xué)理論與工具 7.1數(shù)據(jù)科學(xué)理論基礎(chǔ) 7.1.1數(shù)據(jù)科學(xué)概念 7.1.2數(shù)據(jù)科學(xué)預(yù)測預(yù)警分析 7.1.3商業(yè)智能與數(shù)據(jù)科學(xué) 7.2數(shù)據(jù)科學(xué)研究的重要角色 7.2.1數(shù)據(jù)科學(xué)家 7.2.2數(shù)據(jù)科學(xué)與工程相關(guān)角色 7.3大數(shù)據(jù)生命周期管理方法論 7.3.1數(shù)據(jù)分析模型概述 7.3.2數(shù)據(jù)分析模型流程框架 7.3.3數(shù)據(jù)分析模型創(chuàng)新案例 7.3.4數(shù)據(jù)分析工具 7.4數(shù)據(jù)倉庫理論 7.4.1數(shù)據(jù)倉庫的主要特征 7.4.2數(shù)據(jù)倉庫建模 7.4.3數(shù)據(jù)倉庫設(shè)計 7.4.4數(shù)據(jù)倉庫建設(shè)方法論 7.4.5數(shù)據(jù)倉庫相關(guān)技術(shù) 7.4.6DW、OLAP與DM的關(guān)系 7.5數(shù)據(jù)挖掘高級理論 7.5.1聚類分析 7.5.2關(guān)聯(lián)分析 7.5.3回歸和分類分析 7.5.4時序模型 7.5.5結(jié)構(gòu)優(yōu)化 7.5.6深度機器學(xué)習(xí) 7.6大數(shù)據(jù)語義分析知識發(fā)現(xiàn) 7.6.1大數(shù)據(jù)知識發(fā)現(xiàn)過程 7.6.2大數(shù)據(jù)知識發(fā)現(xiàn)技術(shù)框架 7.6.3大數(shù)據(jù)知識發(fā)現(xiàn)專家系統(tǒng) 7.6.4企業(yè)大數(shù)據(jù)知識管理框架 7.7大數(shù)據(jù)分析處理平臺 7.7.1結(jié)構(gòu)化大數(shù)據(jù)處理架構(gòu) 7.7.2非結(jié)構(gòu)化大數(shù)據(jù)處理架構(gòu) 7.7.3主流大數(shù)據(jù)分析平臺 第8章醫(yī)療健康大數(shù)據(jù)解決方案 8.1醫(yī)療信息化 8.1.1美國醫(yī)療信息化發(fā)展情況 8.1.2我國醫(yī)療信息化發(fā)展趨勢 8.1.3醫(yī)療健康大數(shù)據(jù)挑戰(zhàn)和機遇 8.2醫(yī)療健康大數(shù)據(jù)綜述 8.2.1醫(yī)療健康大數(shù)據(jù)類型 8.2.2臨床服務(wù)數(shù)據(jù) 8.2.3公共衛(wèi)生調(diào)查和監(jiān)測數(shù)據(jù) 8.2.4醫(yī)學(xué)研究性數(shù)據(jù) 8.2.5個人健康數(shù)據(jù) 8.3醫(yī)療健康大數(shù)據(jù)總體架構(gòu) 8.3.1建設(shè)原則 8.3.2建設(shè)目標(biāo) 8.3.3醫(yī)療健康大數(shù)據(jù)業(yè)務(wù)架構(gòu) 8.3.4醫(yī)療健康大數(shù)據(jù)技術(shù)架構(gòu) 8.3.5醫(yī)療健康大數(shù)據(jù)網(wǎng)絡(luò)架構(gòu) 8.4醫(yī)療健康數(shù)據(jù)中心解決方案 8.4.1醫(yī)療數(shù)據(jù)中心架構(gòu)設(shè)計方案 8.4.2集中存儲解決方案 8.4.3PACS數(shù)據(jù)存儲方案 8.4.4容災(zāi)備份解決方案 8.5醫(yī)療健康大數(shù)據(jù)分析 8.5.1醫(yī)療實體對象建模分析 8.5.2醫(yī)療個人健康檔案建模分析 8.5.3相關(guān)數(shù)據(jù)特征對比分析 8.5.4臨床信息學(xué)大數(shù)據(jù)分析 8.5.5醫(yī)學(xué)文獻研究知識發(fā)現(xiàn) 8.6醫(yī)療健康大數(shù)據(jù)展望 第9章環(huán)保行業(yè)大數(shù)據(jù)解決方案 9.1環(huán)保物聯(lián)網(wǎng) 9.1.1物聯(lián)網(wǎng)概念 9.1.2物聯(lián)網(wǎng)基本架構(gòu) 9.1.3環(huán)保物聯(lián)網(wǎng)數(shù)據(jù) 9.2環(huán)保電力脫硫 9.2.1火電脫硫的重要性 9.2.2火電脫硫系統(tǒng)工作原理 9.2.3火電脫硫相關(guān)數(shù)據(jù) 9.2.4脫硫性能優(yōu)化目標(biāo) 9.3火電行業(yè)脫硫大數(shù)據(jù)分析 9.3.1主要理論和方法 9.3.2最優(yōu)化脫硫可調(diào)參數(shù) 9.3.3最小化脫硫系統(tǒng)成本 9.4空氣質(zhì)量大數(shù)據(jù)分析評價體系 9.4.1基于熵權(quán)的模糊綜合評價方法的原理 9.4.2綜合評價指標(biāo)選擇與數(shù)據(jù)來源 9.4.3環(huán)境質(zhì)量綜合評價結(jié)果及分析 第10章移動社交大數(shù)據(jù)解決方案 10.1移動社交網(wǎng)絡(luò)發(fā)展情況 10.1.1移動社交網(wǎng)絡(luò)發(fā)展現(xiàn)狀 10.1.2移動社交網(wǎng)絡(luò)發(fā)展方向 10.2社交網(wǎng)絡(luò)基礎(chǔ)理論和商業(yè)模式 10.2.1社交網(wǎng)絡(luò)相關(guān)理論 10.2.2社交化商業(yè)模式 10.3移動社交網(wǎng)絡(luò)數(shù)據(jù)處理架構(gòu) 10.3.1移動社交網(wǎng)絡(luò)服務(wù)架構(gòu)模型 10.3.2Facebook應(yīng)用案例 10.4移動社交網(wǎng)絡(luò)大數(shù)據(jù)分析 10.4.1社交網(wǎng)絡(luò)平臺行為影響分析模型 10.4.2社交網(wǎng)絡(luò)單平臺內(nèi)影響力分析 10.4.3社交網(wǎng)絡(luò)多平臺影響力分析 第11章金融大數(shù)據(jù)解決方案 11.1金融信息化 11.1.1全球金融信息化發(fā)展歷程 11.1.2我國金融信息化發(fā)展趨勢 11.2金融大數(shù)據(jù)綜述 11.2.1金融大數(shù)據(jù)的特征 11.2.2金融大數(shù)據(jù)的機遇和挑戰(zhàn) 11.3金融大數(shù)據(jù)平臺總體架構(gòu) 11.3.1建設(shè)原則和目標(biāo) 11.3.2金融大數(shù)據(jù)業(yè)務(wù)架構(gòu) 11.3.3金融大數(shù)據(jù)技術(shù)架構(gòu) 11.3.4金融大數(shù)據(jù)網(wǎng)絡(luò)架構(gòu) 11.4金融大數(shù)據(jù)分析 11.4.1銀行風(fēng)險管理狀況分析 11.4.2金融大數(shù)據(jù)風(fēng)險管理云平臺 11.4.3大數(shù)據(jù)征信 11.4.4大數(shù)據(jù)反欺詐 11.4.5大數(shù)據(jù)精準(zhǔn)營銷 11.5金融大數(shù)據(jù)帶來的產(chǎn)業(yè)變革 第12章中國制造大數(shù)據(jù)解決方案 12.1全球工業(yè)信息化發(fā)展歷程和現(xiàn)狀 12.1.1美國工業(yè)信息化發(fā)展歷程和現(xiàn)狀 12.1.2日本工業(yè)信息化發(fā)展歷程和現(xiàn)狀 12.1.3德國工業(yè)信息化發(fā)展歷程和現(xiàn)狀 12.1.4我國工業(yè)信息化發(fā)展歷程和現(xiàn)狀 12.1.5我國《中國制造2025》的發(fā)展戰(zhàn)略 12.2工業(yè)信息化技術(shù)集成和協(xié)同發(fā)展方向 12.2.1集成和協(xié)同的空間跨度 12.2.2集成和協(xié)同的時間跨度 12.2.3集成和協(xié)同的重點和對象 12.2.4主要的集成和協(xié)同技術(shù) 12.3中國制造信息化應(yīng)用系統(tǒng) 12.3.1工業(yè)設(shè)計自動化系統(tǒng) 12.3.2制造控制自動化系統(tǒng) 12.3.3制造執(zhí)行系統(tǒng) 12.3.4柔性制造系統(tǒng) 12.3.5工業(yè)互聯(lián)網(wǎng)與CPS系統(tǒng) 12.3.6ERP信息系統(tǒng) 12.4工業(yè)大數(shù)據(jù)架構(gòu)體系 12.4.1互聯(lián)網(wǎng)催生工業(yè)大數(shù)據(jù) 12.4.2工業(yè)大數(shù)據(jù)內(nèi)涵特征 12.4.3工業(yè)大數(shù)據(jù)業(yè)務(wù)架構(gòu) 12.4.4工業(yè)大數(shù)據(jù)技術(shù)架構(gòu) 12.4.5工業(yè)大數(shù)據(jù)安全架構(gòu) 12.5智能化協(xié)同制造體系架構(gòu) 12.5.1智能化協(xié)同制造發(fā)展需求 12.5.2智能化協(xié)同制造總體架構(gòu) 12.5.3智能化協(xié)同制造設(shè)計思想 12.5.4智能化協(xié)同制造應(yīng)用場景 12.6智能化協(xié)同制造服務(wù)生命周期過程 12.6.1制造資源服務(wù)集成與發(fā)現(xiàn) 12.6.2制造服務(wù)資源訪問策略 12.6.3制造服務(wù)資源的優(yōu)化與智能調(diào)度 12.6.4智能化協(xié)同制造研究與自學(xué)習(xí)機制 12.7工業(yè)大數(shù)據(jù)展望 第13章大數(shù)據(jù)工程保障體系建設(shè) 13.1法律體系建設(shè) 13.2標(biāo)準(zhǔn)體系建設(shè) 13.3建立標(biāo)準(zhǔn)化大數(shù)據(jù)治理體系 13.4加強大數(shù)據(jù)行業(yè)應(yīng)用研究 13.5加強元數(shù)據(jù)的研究和應(yīng)用 13.6加強大數(shù)據(jù)核心技術(shù)研究 13.7促進大數(shù)據(jù)交易市場的規(guī)范化發(fā)展 13.8推動大數(shù)據(jù)標(biāo)準(zhǔn)化進程 參考文獻