數(shù)據(jù)綜合治理實踐指導(dǎo)手冊

第1章 數(shù)據(jù)治理概述 1
1.1 數(shù)據(jù)治理的定義 1
1.2 數(shù)據(jù)治理的基本要求 2
1.3 數(shù)據(jù)治理模型 3
1.4 數(shù)據(jù)治理一般步驟 5
第2章 數(shù)據(jù)質(zhì)量 8
2.1 數(shù)據(jù)質(zhì)量概述 8
2.1.1 數(shù)據(jù)質(zhì)量定義 8
2.1.2 數(shù)據(jù)質(zhì)量問題 8
2.1.3 數(shù)據(jù)質(zhì)量維度 10
2.2 數(shù)據(jù)清洗 10
2.2.1 數(shù)據(jù)清洗定義 10
2.2.2 數(shù)據(jù)清洗方法 11
2.2.3 數(shù)據(jù)清洗流程 21
第3章 數(shù)據(jù)質(zhì)量管理系統(tǒng) 25
3.1 數(shù)據(jù)源管理 25
3.1.1 關(guān)系數(shù)據(jù)庫數(shù)據(jù)源管理 25
3.1.2 文件數(shù)據(jù)源管理 27
3.2 數(shù)據(jù)剖析 27
3.2.1 元數(shù)據(jù) 27
3.2.2 值預(yù)覽 28
3.2.3 值分布分析 28
3.3 數(shù)據(jù)質(zhì)量評估 29
3.3.1 指標(biāo)體系維護(hù) 29
3.3.2 評估算法庫 31
3.3.3 數(shù)據(jù)檢查算子庫 32
3.3.4 數(shù)據(jù)血緣關(guān)系維護(hù) 35
3.3.5 數(shù)據(jù)質(zhì)量評估流程 37
3.3.6 評估任務(wù)庫 40
3.4 數(shù)據(jù)清洗 40
3.4.1 清洗算子庫 40
3.4.2 數(shù)據(jù)清洗流程 43
3.4.3 清洗任務(wù)庫 45
3.4.4 清洗案例庫 46
3.5 系統(tǒng)設(shè)置 46
3.5.1 用戶管理 46
3.5.2 角色管理 47
3.5.3 模塊管理 49
3.5.4 修改密碼 52
第4章 常用數(shù)據(jù)質(zhì)量管理系統(tǒng)操作 53
4.1 規(guī)劃評估指標(biāo) 53
4.2 導(dǎo)入數(shù)據(jù)源 54
4.3 建立基礎(chǔ)指標(biāo)體系 56
4.4 創(chuàng)建數(shù)據(jù)質(zhì)量評估任務(wù) 58
4.5 配置指標(biāo)樹 59
4.6 配置評估算子 59
4.7 設(shè)置指標(biāo)聚合方式 61
4.8 執(zhí)行評估方案 62
4.9 數(shù)據(jù)清洗 64
4.10 算子開發(fā) 66
4.10.1 算子開發(fā)與部署方法 66
4.10.2 算子開發(fā)實例 70
第5章 數(shù)據(jù)集成 74
5.1 數(shù)據(jù)集成的概念 74
5.2 數(shù)據(jù)集成的方法 75
5.2.1 虛擬視圖方法 76
5.2.2 物化方法 77
5.2.3 混合型集成方法 78
5.3 數(shù)據(jù)集成開發(fā)生命周期 79
第6章 多源數(shù)據(jù)匯集處理系統(tǒng) 80
6.1 管理部分 80
6.1.1 用戶管理 80
6.1.2 管理案例庫 82
6.2 普通人員視圖 84
6.2.1 歷史庫 85
6.2.2 案例模板庫 86
6.2.3 數(shù)據(jù)源創(chuàng)建 87
6.2.4 預(yù)設(shè)向?qū)０?89
6.3 開發(fā)者視圖 92
6.3.1 新建 92
6.3.2 打開 93
6.3.3 資源庫 93
6.3.4 統(tǒng)計 94
6.3.5 模型校驗 94
6.3.6 事前校驗 96
6.3.7 測試模型 96
6.3.8 逐步測試 96
6.3.9 插入斷點 97
6.3.10 插入監(jiān)控點 98
6.3.11 大數(shù)據(jù)支持 99
6.3.12 日志和統(tǒng)計升級 99
6.3.13 數(shù)據(jù)預(yù)覽 100
第7章 常用數(shù)據(jù)集成功能操作 101
7.1 數(shù)據(jù)集成準(zhǔn)備 101
7.2 表屬性的計算匯總 103
7.3 表數(shù)據(jù)分組統(tǒng)計 113
7.4 表間數(shù)據(jù)關(guān)聯(lián) 124
7.5 腳本處理 133
7.6 多表數(shù)據(jù)合并 142
7.7 字段合并與數(shù)據(jù)分流 151
7.8 數(shù)值范圍標(biāo)識 162
7.9 作業(yè)處理 170
7.10 綜合操作（1） 177
7.11 綜合操作（2） 197
參考文獻(xiàn) 209