大數(shù)據(jù)應(yīng)用分析技術(shù)與方法

第1章大數(shù)據(jù)是信息社會(huì)的寶貴資源1
1.1大數(shù)據(jù)產(chǎn)生的背景和概念1
1.2大數(shù)據(jù)的特征3
1.3大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別4
1.4大數(shù)據(jù)的價(jià)值和開發(fā)應(yīng)用5
1.5大數(shù)據(jù)時(shí)代的新機(jī)遇和新挑戰(zhàn)8
1.5.1依據(jù)大數(shù)據(jù)進(jìn)行決策成為一種新的決策方式8
1.5.2大數(shù)據(jù)與各行業(yè)深度融合帶來層出不窮的新應(yīng)用8
1.5.3大數(shù)據(jù)推動(dòng)新技術(shù)的不斷涌現(xiàn)9
1.6本書的特定視野10
參考文獻(xiàn)11第2章大數(shù)據(jù)應(yīng)用分析12
2.1大數(shù)據(jù)的處理流程12
2.2大數(shù)據(jù)分析的概念14
2.3大數(shù)據(jù)分析的關(guān)鍵技術(shù)15
2.3.1云計(jì)算15
2.3.2數(shù)據(jù)分析方法16
2.3.3數(shù)據(jù)可視化17
2.4大數(shù)據(jù)分析工具介紹17
2.4.1Hadoop18
2.4.2R19
2.4.3Python19
2.4.4RapidMiner20
2.4.5Tableau20
2.5大數(shù)據(jù)分析示例——查處虛假出口貿(mào)易22
2.5.1案例概述22
2.5.2查詢分析23
2.5.3可視化分析25
2.5.4分析小結(jié)27
參考文獻(xiàn)30第3章常用數(shù)據(jù)分析與預(yù)測(cè)方法31
3.1方差分析31
3.1.1分析方法31
3.1.2示例介紹31
3.1.3示例分析33
3.1.4結(jié)果分析與總結(jié)35
3.2相關(guān)分析35
3.2.1分析方法35
3.2.2示例介紹36
3.2.3示例分析37
3.2.4結(jié)果分析與總結(jié)40
3.3回歸分析40
3.3.1分析方法40
3.3.2示例介紹41
3.3.3示例分析41
3.3.4結(jié)果分析與總結(jié)42
3.4時(shí)間序列分析44
3.4.1平穩(wěn)性檢驗(yàn)44
3.4.2純隨機(jī)性檢驗(yàn)44
3.4.3適用性檢測(cè)44
3.5聚類分析45
3.6可視化數(shù)據(jù)分析46
3.6.1常用的可視化數(shù)據(jù)展示方法47
3.6.2可視化分析示例51
3.7環(huán)境準(zhǔn)備61
參考文獻(xiàn)62第4章大數(shù)據(jù)分析的思維特征63
4.1大數(shù)據(jù)應(yīng)用分析的實(shí)務(wù)框架63
4.1.1大數(shù)據(jù)應(yīng)用分析的四個(gè)層面63
4.1.2四個(gè)層面的關(guān)系65
4.2大數(shù)據(jù)分析的特征發(fā)現(xiàn)65
4.2.1特征發(fā)現(xiàn)的案例66
4.2.2特征發(fā)現(xiàn)的概念73
4.3對(duì)數(shù)據(jù)的分類73
4.4特征發(fā)現(xiàn)的一般過程79
參考文獻(xiàn)81第5章大數(shù)據(jù)的可視化分析82
5.1不良貸款分析82
5.1.1數(shù)據(jù)準(zhǔn)備82
5.1.2各銀行的不良貸款情況分析86
5.1.3各經(jīng)濟(jì)類型的企業(yè)的不良貸款情況分析95
5.1.4各類貸款的不良貸款情況分析99
5.2保險(xiǎn)公司客戶索賠分析103
5.2.1數(shù)據(jù)準(zhǔn)備103
5.2.2數(shù)據(jù)分析104
參考文獻(xiàn)119第6章可視化挖掘分析120
6.1挖掘分析在審計(jì)線索特征發(fā)現(xiàn)中的應(yīng)用120
6.1.1案例背景120
6.1.2數(shù)據(jù)準(zhǔn)備120
6.1.3聚類分析122
6.2挖掘分析在推薦系統(tǒng)中的應(yīng)用131
6.2.1案例背景131
6.2.2數(shù)據(jù)準(zhǔn)備131
6.2.3構(gòu)建推薦系統(tǒng)132第7章大數(shù)據(jù)資源的元數(shù)據(jù)管理140
7.1元數(shù)據(jù)簡介140
7.1.1元數(shù)據(jù)和對(duì)象數(shù)據(jù)140
7.1.2應(yīng)用元數(shù)據(jù)管理技術(shù)的意義140
7.2著錄對(duì)象分析142
7.2.1審計(jì)中間表142
7.2.2審計(jì)分析模型142
7.2.3審計(jì)專家經(jīng)驗(yàn)143
7.2.4審計(jì)情景案例144
7.2.5被審計(jì)單位資料144
7.3元數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)145
7.3.1審計(jì)中間表的元數(shù)據(jù)結(jié)構(gòu)145
7.3.2審計(jì)分析模型的元數(shù)據(jù)結(jié)構(gòu)146
7.3.3審計(jì)專家經(jīng)驗(yàn)的元數(shù)據(jù)結(jié)構(gòu)147
7.3.4審計(jì)情景案例的元數(shù)據(jù)結(jié)構(gòu)149
7.3.5被審計(jì)單位資料的元數(shù)據(jù)結(jié)構(gòu)150
7.4應(yīng)用大數(shù)據(jù)審計(jì)分析數(shù)字信息元數(shù)據(jù)規(guī)范的擴(kuò)展規(guī)則151
參考文獻(xiàn)152第8章大數(shù)據(jù)分析的數(shù)據(jù)清洗153
8.1大數(shù)據(jù)清洗的基本概念153
8.1.1大數(shù)據(jù)清洗的基本架構(gòu)153
8.1.2數(shù)據(jù)清洗的基本步驟154
8.2數(shù)據(jù)清洗157
8.2.1數(shù)據(jù)清洗的一些注意事項(xiàng)157
8.2.2常見的數(shù)據(jù)清洗158
參考文獻(xiàn)163第9章大數(shù)據(jù)分析的風(fēng)險(xiǎn)與對(duì)策164
9.1大數(shù)據(jù)分析的風(fēng)險(xiǎn)及產(chǎn)生原因164
9.2大數(shù)據(jù)采集的風(fēng)險(xiǎn)165
9.3大數(shù)據(jù)處理與集成的風(fēng)險(xiǎn)167
9.4大數(shù)據(jù)分析的風(fēng)險(xiǎn)168
9.5大數(shù)據(jù)解釋的風(fēng)險(xiǎn)168
9.6大數(shù)據(jù)的隱私和安全風(fēng)險(xiǎn)及其對(duì)策169
9.6.1大數(shù)據(jù)處理流程的隱私風(fēng)險(xiǎn)170
9.6.2大數(shù)據(jù)處理平臺(tái)帶來的安全和隱私風(fēng)險(xiǎn)172
9.6.3保護(hù)大數(shù)據(jù)隱私和安全的對(duì)策173
參考文獻(xiàn)175第10章大數(shù)據(jù)治理簡介177
10.1大數(shù)據(jù)治理的必要性177
10.2大數(shù)據(jù)治理的概念178
10.3大數(shù)據(jù)治理的核心內(nèi)容180
10.4案例181
10.4.1工作思路182
10.4.2數(shù)據(jù)真實(shí)性的驗(yàn)證方法182
10.4.3數(shù)據(jù)完整性的驗(yàn)證186
參考文獻(xiàn)187附錄ATableau 10.0簡介188
A.1Tableau工作區(qū)188
A.1.1工作表工作區(qū)189
A.1.2儀表板工作區(qū)190
A.1.3故事工作區(qū)191
A.2Tableau的文件管理192附錄BRapidMiner使用方法簡介194
B.1RapidMiner的主界面194
B.2使用RapidMiner分析數(shù)據(jù)的方法195