123,123,123

內(nèi)容簡(jiǎn)介

　　全書共由7章組成，其中：第1章主要介紹數(shù)據(jù)挖掘技術(shù)、離群挖掘、集群系統(tǒng)與Spark并行計(jì)算模型及大數(shù)據(jù)的相關(guān)概念、理論基礎(chǔ)和應(yīng)用。第2章利用特征分組，針對(duì)高維分類數(shù)據(jù)集，研究了一種基于加權(quán)特征分組的離群檢測(cè)新方法，通過(guò)將特征分為多個(gè)特征組來(lái)發(fā)現(xiàn)每個(gè)組中特征模式的不同方面。第3章利用Spark計(jì)算平臺(tái)，研究了高維分類數(shù)據(jù)的并行離群檢測(cè)算法。第4章通過(guò)分析屬性間的相關(guān)性，研究了一種基于互信息的混合屬性離群檢測(cè)算法。該算法在互信息機(jī)制下給出了針對(duì)數(shù)值型和分類型統(tǒng)一的屬性加權(quán)方法和離群得分計(jì)算方法，而且不同類型屬性下的相似性度量也進(jìn)行了規(guī)范化處理。第5章針對(duì)互信息計(jì)算的復(fù)雜性問(wèn)題，充分利用Spark并行計(jì)算框架的強(qiáng)大計(jì)算能力，研究了一種并行互信息計(jì)算方法，該算法利用列變換和虛擬數(shù)據(jù)劃分技術(shù)降低了網(wǎng)絡(luò)傳輸和計(jì)算代價(jià)。第6章以某鋼鐵企業(yè)實(shí)際的冷軋輥產(chǎn)品加工數(shù)據(jù)為背景，設(shè)計(jì)與實(shí)現(xiàn)了冷軋輥制造過(guò)程離群檢測(cè)原型系統(tǒng)，從而為企業(yè)開(kāi)展產(chǎn)品質(zhì)量控制提供了一種新的技術(shù)方法和解決思路。第7章是研究的總結(jié)與展望。

作者簡(jiǎn)介

暫缺《并行離群數(shù)據(jù)挖掘及應(yīng)用》作者簡(jiǎn)介

圖書目錄

目錄

第1章緒論

1.1大數(shù)據(jù)挖掘及應(yīng)用

1.1.1數(shù)據(jù)挖掘技術(shù)

1.1.2數(shù)據(jù)挖掘的發(fā)展趨勢(shì)和研究前沿

1.1.3大數(shù)據(jù)及其應(yīng)用

1.1.4集群系統(tǒng)與并行計(jì)算

1.1.5Spark并行計(jì)算模型

1.1.6大數(shù)據(jù)挖掘技術(shù)的應(yīng)用

1.2離群數(shù)據(jù)挖掘及研究動(dòng)態(tài)

1.2.1離群數(shù)據(jù)挖掘

1.2.2分類數(shù)據(jù)離群挖掘

1.2.3混合屬性數(shù)據(jù)離群挖掘

1.2.4離群數(shù)據(jù)并行挖掘及性能優(yōu)化

1.2.5離群數(shù)據(jù)挖掘的應(yīng)用

1.3本章小結(jié)

第2章基于加權(quán)特征分組的高維分類數(shù)據(jù)離群挖掘

2.1引言

2.2相關(guān)工作

2.2.1離群檢測(cè)

2.2.2高維數(shù)據(jù)離群檢測(cè)

2.2.3分類數(shù)據(jù)離群檢測(cè)

2.3離群檢測(cè)前期準(zhǔn)備

2.3.1分類數(shù)據(jù)和問(wèn)題陳述

2.3.2計(jì)算特征的相關(guān)性

2.3.3特征分組算法

2.4離群值檢測(cè)算法WATCH

2.4.1特征加權(quán)

2.4.2離群得分

2.4.3離群檢測(cè)算法

2.4.4時(shí)間復(fù)雜度分析

2.5實(shí)驗(yàn)分析

2.5.1數(shù)據(jù)集

2.5.2特征分組評(píng)估

2.5.3特征分組結(jié)果分析

2.5.4離群點(diǎn)檢測(cè)的精度

2.5.5離群檢測(cè)效率

2.5.6可解釋性

2.6本章小結(jié)

第3章基于Spark的分類數(shù)據(jù)并行離群挖掘

3.1引言

3.2基本概念

3.2.1高維分類數(shù)據(jù)特征組

3.2.2MapReduce和Spark RDD

3.3特征分組

3.3.1特征分組的基本概念

3.3.2基于Spark的特征分組的并行實(shí)現(xiàn)

3.4基于Spark的POS算法

3.4.1基于Spark的POS算法的工作流程

3.4.2基于Spark的特征分組

3.4.3并行離群挖掘

3.5POS的性能調(diào)優(yōu)

3.5.1RDD緩存

3.5.2參數(shù)調(diào)優(yōu)

3.6實(shí)驗(yàn)分析

3.6.1數(shù)據(jù)集

3.6.2偽分布環(huán)境下的挖掘性能

3.6.3RDD緩存的影響

3.6.4特征組的數(shù)量對(duì)算法的影響

3.6.5算法的可擴(kuò)展性

3.6.6算法的可伸縮性

3.7本章小結(jié)

第4章基于互信息的混合屬性加權(quán)離群挖掘算法

4.1引言

4.2相關(guān)工作

4.3基于互信息的混合屬性相關(guān)性度量及加權(quán)機(jī)制

4.3.1互信息計(jì)算

4.3.2混合屬性加權(quán)機(jī)制

4.4基于互信息的混合屬性加權(quán)離群檢測(cè)算法

4.4.1數(shù)值空間離群得分

4.4.2分類空間離群得分

4.4.3混合屬性加權(quán)離群檢測(cè)算法

4.5實(shí)驗(yàn)結(jié)果與分析

4.5.1混合屬性數(shù)據(jù)離群檢測(cè)分析

4.5.2數(shù)值型數(shù)據(jù)離群檢測(cè)分析

4.5.3分類型數(shù)據(jù)離群檢測(cè)分析

4.6本章小結(jié)

第5章基于Spark的并行互信息計(jì)算及其性能優(yōu)化

5.1引言

5.2相關(guān)工作

5.2.1互信息及其并行化

5.2.2性能優(yōu)化

5.3并行互信息計(jì)算及性能優(yōu)化

5.3.1列變換

5.3.2數(shù)據(jù)傾斜

5.4MiCS算法的具體實(shí)現(xiàn)

5.4.1列變換及虛擬劃分策略

5.4.2互信息計(jì)算

5.5實(shí)驗(yàn)與分析

5.5.1應(yīng)用背景

5.5.2數(shù)據(jù)集

5.5.3列變換對(duì)MiCS的影響

5.5.4虛擬分區(qū)對(duì)MiCS的影響

5.6本章小結(jié)

第6章冷軋輥制造過(guò)程離群數(shù)據(jù)挖掘原型系統(tǒng)

6.1引言

6.2系統(tǒng)需求與總體設(shè)計(jì)

6.2.1冷軋輥制造過(guò)程的復(fù)雜性

6.2.2冷軋輥的失效分析

6.2.3影響冷軋輥生產(chǎn)過(guò)程質(zhì)量的因素

6.2.4系統(tǒng)的軟件體系結(jié)構(gòu)及功能

6.3數(shù)據(jù)收集及預(yù)處理

6.3.1數(shù)據(jù)收集

6.3.2數(shù)據(jù)預(yù)處理

6.4冷軋輥制造過(guò)程離群檢測(cè)及質(zhì)量分析

6.5本章小結(jié)

第7章總結(jié)與展望

7.1總結(jié)

7.2展望