大數(shù)據(jù)挖掘技術(shù)與應(yīng)用

1 緒論     1………………………………………………………………………………  
1.1 大數(shù)據(jù)    1………………………………………………………………………   
1.1.1 大數(shù)據(jù)概念     1……………………………………………………………   
1.1.2 大數(shù)據(jù)特征     4……………………………………………………………  
1.2 云計(jì)算與大數(shù)據(jù)挖掘    5………………………………………………………   
1.2.1 云計(jì)算     5…………………………………………………………………   
1.2.2 大數(shù)據(jù)挖掘     6……………………………………………………………  
1.3 傳統(tǒng)數(shù)據(jù)挖掘    6………………………………………………………………   
1.3.1 數(shù)據(jù)源與挖掘任務(wù)     7……………………………………………………   
1.3.2 數(shù)據(jù)挖掘方法     7…………………………………………………………   
1.3.3 數(shù)據(jù)挖掘面臨問(wèn)題     9……………………………………………………  
參考文獻(xiàn)    10…………………………………………………………………………   
2 基于屬性加權(quán)和密度聚類(lèi)分析     11…………………………………………………  
2.1 聚類(lèi)分析技術(shù)    11………………………………………………………………   
2.1.1 數(shù)據(jù)基礎(chǔ)     11………………………………………………………………   
2.1.2 聚類(lèi)分析方法     16…………………………………………………………   
2.1.3 簇的類(lèi)型     16………………………………………………………………  
2.2 聚類(lèi)算法    17……………………………………………………………………   
2.2.1 聚類(lèi)算法分類(lèi)     17…………………………………………………………   
2.2.2 聚類(lèi)算法特性     19…………………………………………………………   
2.2.3 選用聚類(lèi)算法參考因素     20………………………………………………   
2.2.4 聚類(lèi)算法面臨的挑戰(zhàn)     21…………………………………………………  
2.3 聚類(lèi)算法改進(jìn)    23………………………………………………………………   
2.3.1 聚類(lèi)算法分析     23…………………………………………………………   
2.3.2 數(shù)據(jù)對(duì)象屬性加權(quán)     25……………………………………………………
2.3.3 基于屬性加權(quán)K-means算法     27…………………………………………   
2.3.4 實(shí)例驗(yàn)證算法     28…………………………………………………………  
2.4 基于密度與對(duì)象方向聚類(lèi)算法    29……………………………………………   
2.4.1 算法的提出     29……………………………………………………………   
2.4.2 DENCLUE算法     30………………………………………………………   
2.4.3 算法設(shè)計(jì)     31………………………………………………………………  
2.5 CABWAD算法實(shí)現(xiàn)    36………………………………………………………   
2.5.1 數(shù)據(jù)結(jié)構(gòu)建立     36…………………………………………………………   
2.5.2 數(shù)據(jù)結(jié)構(gòu)上聚類(lèi)     38………………………………………………………   
2.5.3 時(shí)間和空間復(fù)雜度     40……………………………………………………  
2.6 實(shí)驗(yàn)分析    40……………………………………………………………………   
2.6.1 準(zhǔn)確度分析     41……………………………………………………………   
2.6.2 可擴(kuò)展性分析     43…………………………………………………………  
參考文獻(xiàn)    44…………………………………………………………………………   
3 基于密度與密度可達(dá)聚類(lèi)分析     46…………………………………………………  
3.1 CABWAD算法分析    46………………………………………………………   
3.1.1 算法過(guò)程分析     46…………………………………………………………   
3.1.2 兩個(gè)輸入?yún)?shù)的分析     47…………………………………………………  
3.2 算法設(shè)計(jì)與分析    50……………………………………………………………   
3.2.1 相關(guān)定義     50………………………………………………………………   
3.2.2 CADD算法設(shè)計(jì)     53………………………………………………………   
3.2.3 算法執(zhí)行過(guò)程分析     53……………………………………………………  
3.3 實(shí)驗(yàn)分析    55……………………………………………………………………   
3.3.1 不同分布形態(tài)的簇（纏繞簇）     55………………………………………   
3.3.2 不同密度的簇     56…………………………………………………………   
3.3.3 分布在不同密度噪聲中的變密度簇     57…………………………………   
3.3.4 復(fù)雜形態(tài)簇     58……………………………………………………………   
3.3.5 算法復(fù)雜度分析     59………………………………………………………  
參考文獻(xiàn)    60…………………………………………………………………………   
4 動(dòng)態(tài)增量聚類(lèi)分析     62……………………………………………………………… 
 4.1 算法提出    62……………………………………………………………………
4.1.1 增量聚類(lèi)算法     62…………………………………………………………   
4.1.2 CADD算法分析     64………………………………………………………   
4.1.3 抽樣技術(shù)     66………………………………………………………………  
4.2 基于密度可達(dá)的動(dòng)態(tài)增量聚類(lèi)算法    67………………………………………   
4.2.1 算法設(shè)計(jì)     67………………………………………………………………   
4.2.2 算法實(shí)現(xiàn)     69………………………………………………………………   
4.2.3 算法復(fù)雜度分析     69………………………………………………………  
4.3 基于子簇特征的增量聚類(lèi)算法    70……………………………………………   
4.3.1 相關(guān)定義     70………………………………………………………………   
4.3.2 算法設(shè)計(jì)     72………………………………………………………………   
4.3.3 算法實(shí)現(xiàn)     72………………………………………………………………  
4.4 實(shí)驗(yàn)分析    73……………………………………………………………………   
4.4.1 仿真動(dòng)態(tài)增量聚類(lèi)     73……………………………………………………   
4.4.2 算法對(duì)比分析     77…………………………………………………………  
參考文獻(xiàn)    78…………………………………………………………………………   
5 并行聚類(lèi)分析     80……………………………………………………………………  
5.1 并行計(jì)算技術(shù)    80………………………………………………………………   
5.1.1 并行計(jì)算定義     81…………………………………………………………  
 5.1.2 并行計(jì)算分類(lèi)     81…………………………………………………………   
5.1.3 并行計(jì)算模型和體系結(jié)構(gòu)     82……………………………………………   
5.1.4 并行數(shù)據(jù)挖掘     85…………………………………………………………   
5.1.5 并行聚類(lèi)分析     86…………………………………………………………  
5.2 并行聚類(lèi)算法設(shè)計(jì)與實(shí)現(xiàn)    88…………………………………………………   
5.2.1 算法總體流程     88…………………………………………………………   
5.2.2 數(shù)據(jù)并行聚類(lèi)算法     89……………………………………………………   
5.2.3 數(shù)據(jù)并行和任務(wù)并行聚類(lèi)算法     90………………………………………  
5.3 實(shí)驗(yàn)分析    92……………………………………………………………………   
5.3.1 算法有效性分析     92………………………………………………………   
5.3.2 算法加速比分析     92………………………………………………………   
5.3.3 算法時(shí)間復(fù)雜度分析     93…………………………………………………  
 5.3.4 PCADD與CADD算法執(zhí)行時(shí)間對(duì)比     93………………………………  
參考文獻(xiàn)    94…………………………………………………………………………
6 高維多類(lèi)型屬性數(shù)據(jù)對(duì)象聚類(lèi)分析     95……………………………………………  
6.1 高維多類(lèi)型屬性數(shù)據(jù)對(duì)象    95…………………………………………………   
6.1.1 高維數(shù)據(jù)處理     95…………………………………………………………   
6.1.2 多類(lèi)型屬性處理     96………………………………………………………   
6.1.3 高維數(shù)據(jù)對(duì)象聚類(lèi)     96……………………………………………………  
 6.1.4 多類(lèi)型屬性數(shù)據(jù)對(duì)象聚類(lèi)     98……………………………………………  
6.2 維度對(duì)聚類(lèi)算法精度影響    99…………………………………………………   
6.2.1 高維數(shù)據(jù)聚類(lèi)     99…………………………………………………………   
6.2.2 數(shù)據(jù)集與相關(guān)定義     99……………………………………………………   
6.2.3 實(shí)驗(yàn)結(jié)果及分析     100……………………………………………………  
6.3 多類(lèi)型屬性數(shù)據(jù)聚類(lèi)分析    103………………………………………………   
6.3.1 處理多類(lèi)型數(shù)據(jù)方法     103………………………………………………   
6.3.2 聚類(lèi)效果度量標(biāo)準(zhǔn)     103…………………………………………………   
6.3.3 實(shí)驗(yàn)結(jié)果及分析     104……………………………………………………  
6.4 基于屬性加權(quán)的高維數(shù)據(jù)聚類(lèi)    108…………………………………………   
6.4.1 屬性加權(quán)CADD算法     108………………………………………………   
6.4.2 實(shí)驗(yàn)結(jié)果及分析     109……………………………………………………  
參考文獻(xiàn)    113…………………………………………………………………………   
7 基于密度加權(quán)模糊聚類(lèi)分析     115…………………………………………………  
7.1 模糊聚類(lèi)分析    115……………………………………………………………   
7.1.1 模糊聚類(lèi)產(chǎn)生     115………………………………………………………   
7.1.2 模糊聚類(lèi)分類(lèi)     116………………………………………………………   
7.1.3 模糊聚類(lèi)算法優(yōu)化     117…………………………………………………  
7.2 模糊聚類(lèi)算法    118……………………………………………………………   
7.2.1 模糊簇     118………………………………………………………………   
7.2.2 HC-means聚類(lèi)算法     118…………………………………………………  
 7.2.3 FC-means聚類(lèi)算法     119…………………………………………………  
 7.2.4 HCM和FCM的關(guān)系     120………………………………………………   
7.2.5 FCM算法存在問(wèn)題分析     121……………………………………………  
7.3 基于密度函數(shù)加權(quán)的FCM    122………………………………………………   
7.3.1 聚類(lèi)算法提出     122………………………………………………………   
7.3.2 聚類(lèi)算法設(shè)計(jì)     123………………………………………………………
7.3.3 實(shí)驗(yàn)結(jié)果及分析     124……………………………………………………  
參考文獻(xiàn)    132…………………………………………………………………………   
8 基于距離量化關(guān)聯(lián)規(guī)則挖掘     135…………………………………………………  
8.1 關(guān)聯(lián)規(guī)則挖掘    135……………………………………………………………   
8.1.1 關(guān)聯(lián)規(guī)則相關(guān)概念     135…………………………………………………   
8.1.2 關(guān)聯(lián)規(guī)則度量     137………………………………………………………   
8.1.3 關(guān)聯(lián)規(guī)則分類(lèi)     138………………………………………………………   
8.1.4 關(guān)聯(lián)規(guī)則挖掘模型與步驟     139…………………………………………  
8.2 量化關(guān)聯(lián)規(guī)則    140……………………………………………………………   
8.2.1 量化關(guān)聯(lián)規(guī)則提出     140…………………………………………………   
8.2.2 量化關(guān)聯(lián)規(guī)則定義     143…………………………………………………   
8.2.3 算法描述     145……………………………………………………………   
8.2.4 算法分析     146……………………………………………………………  
8.3 基于距離算法設(shè)計(jì)與實(shí)現(xiàn)    148………………………………………………  
 8.3.1 算法設(shè)計(jì)     148……………………………………………………………   
8.3.2 數(shù)據(jù)預(yù)處理     149…………………………………………………………   
8.3.3 基于距離量化規(guī)則     150…………………………………………………   
8.3.4 簇間關(guān)聯(lián)度的度量     150…………………………………………………   
8.3.5 關(guān)聯(lián)度參數(shù) D    0   限定     151…………………………………………………   
8.3.6 規(guī)則的生成     153…………………………………………………………  
8.4 算法實(shí)驗(yàn)分析    153……………………………………………………………   
8.4.1 系統(tǒng)交互界面     153………………………………………………………   
8.4.2 地球化學(xué)數(shù)據(jù)分析     154…………………………………………………   
8.4.3 臨床醫(yī)學(xué)調(diào)查數(shù)據(jù)     156…………………………………………………  
參考文獻(xiàn)    156…………………………………………………………………………   
9 基于數(shù)據(jù)場(chǎng)的數(shù)據(jù)挖掘技術(shù)     158…………………………………………………  
9.1 數(shù)據(jù)場(chǎng)    158……………………………………………………………………   
9.1.1 數(shù)據(jù)場(chǎng)的概念     158………………………………………………………   
9.1.2 數(shù)據(jù)場(chǎng)主要特征     159……………………………………………………   
9.1.3 數(shù)據(jù)場(chǎng)表達(dá)     159…………………………………………………………  
9.2 數(shù)據(jù)場(chǎng)聚類(lèi)算法    161…………………………………………………………
9.2.1 數(shù)據(jù)場(chǎng)聚類(lèi)算法設(shè)計(jì)     161………………………………………………   
9.2.2 測(cè)試數(shù)據(jù)集產(chǎn)生     162……………………………………………………   
9.2.3 位場(chǎng)聚類(lèi)實(shí)驗(yàn)     162………………………………………………………   
9.2.4 輻射場(chǎng)聚類(lèi)實(shí)驗(yàn)     163……………………………………………………   
9.2.5 參數(shù)對(duì)數(shù)據(jù)場(chǎng)聚類(lèi)效果影響     164………………………………………  
9.3 聚類(lèi)效果實(shí)驗(yàn)分析    166………………………………………………………   
9.3.1 模擬數(shù)據(jù)分析     166………………………………………………………   
9.3.2 UCI數(shù)據(jù)集實(shí)驗(yàn)     168……………………………………………………  
9.4 基于數(shù)據(jù)場(chǎng)量化關(guān)聯(lián)規(guī)則挖掘    172…………………………………………   
9.4.1 常用量化關(guān)聯(lián)規(guī)則挖掘方法     172………………………………………   
9.4.2 算法相關(guān)定義     173………………………………………………………   
9.4.3 算法設(shè)計(jì)與實(shí)現(xiàn)     175……………………………………………………  
9.5 關(guān)聯(lián)規(guī)則挖掘?qū)嶒?yàn)與分析    176………………………………………………   
9.5.1 身體脂肪bodyfat數(shù)據(jù)集     176……………………………………………   
9.5.2 臨床醫(yī)學(xué)數(shù)據(jù)實(shí)驗(yàn)測(cè)試     178……………………………………………  
參考文獻(xiàn)    179…………………………………………………………………………   
10 基于MapReduce聚類(lèi)分析     181…………………………………………………… 
 10.1 Hadoop開(kāi)源云計(jì)算平臺(tái)    181………………………………………………   
10.1.1 MapReduce     181…………………………………………………………   
10.1.2 HDFS文件系統(tǒng)     183……………………………………………………  
 10.1.3 基于MapReduce聚類(lèi)算法     184…………………………………………  
10.2 基于MapReduce K-means算法改進(jìn)    186……………………………………   
10.2.1 距離三角不等式聚類(lèi)算法     186…………………………………………   
10.2.2 距離三角不等式算法設(shè)計(jì)     187…………………………………………   
10.2.3 聚類(lèi)算法實(shí)驗(yàn)結(jié)果分析     189……………………………………………  
10.3 基于MapReduce CADD聚類(lèi)算法    191………………………………………   
10.3.1 算法設(shè)計(jì)     191……………………………………………………………   
10.3.2 MapReduce聚類(lèi)模型     192………………………………………………   
10.3.3 聚類(lèi)算法實(shí)驗(yàn)結(jié)果分析     193……………………………………………  
參考文獻(xiàn)    195…………………………………………………………………………
11 數(shù)據(jù)挖掘結(jié)果可視化表達(dá)     196…………………………………………………… 
 11.1 可視化數(shù)據(jù)挖掘    196…………………………………………………………   
11.1.1 數(shù)據(jù)可視化     197…………………………………………………………   
11.1.2 數(shù)據(jù)挖掘過(guò)程可視化     198………………………………………………   
11.1.3 數(shù)據(jù)挖掘結(jié)果可視化     198………………………………………………   
11.1.4 交互式可視化數(shù)據(jù)挖掘     199……………………………………………  
11.2 數(shù)據(jù)可視化方法及分類(lèi)    200…………………………………………………   
11.2.1 基于幾何的技術(shù)     200……………………………………………………   
11.2.2 面向像素的技術(shù)     202……………………………………………………   
11.2.3 基于圖標(biāo)的技術(shù)     202……………………………………………………   
11.2.4 基于層次的技術(shù)     203……………………………………………………  
11.3 可視化數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)    204………………………………………   
11.3.1 可視化挖掘系統(tǒng)     204……………………………………………………   
11.3.2 聚類(lèi)結(jié)果可視化     205……………………………………………………  
 11.3.3 關(guān)聯(lián)規(guī)則結(jié)果可視化     208………………………………………………  
參考文獻(xiàn)    212…………………………………………………………………………   
12 地球化學(xué)數(shù)據(jù)挖掘（Ⅰ）     214……………………………………………………  
12.1 地球化學(xué)數(shù)據(jù)處理方法    214…………………………………………………   
12.1.1 傳統(tǒng)處理方法     214………………………………………………………   
12.1.2 數(shù)據(jù)挖掘方法     215………………………………………………………  
12.2 地球化學(xué)數(shù)據(jù)聚類(lèi)分析    217…………………………………………………   
12.2.1 地球化學(xué)數(shù)據(jù)來(lái)源     217…………………………………………………   
12.2.2 區(qū)域地質(zhì)概況     217………………………………………………………   
12.2.3 聚類(lèi)分析研究     221………………………………………………………   
12.2.4 靶區(qū)地球化學(xué)特征     222…………………………………………………  
12.3 區(qū)域礦產(chǎn)資源預(yù)測(cè)    225………………………………………………………   
12.3.1 地球化學(xué)異常靶區(qū)     225…………………………………………………   
12.3.2 元素組合特征分析     226…………………………………………………   
12.3.3 區(qū)域礦產(chǎn)資源預(yù)測(cè)     232…………………………………………………  
參考文獻(xiàn)    234…………………………………………………………………………
13 地球化學(xué)數(shù)據(jù)挖掘（Ⅱ）     236……………………………………………………  
13.1 區(qū)域地質(zhì)形貌    236……………………………………………………………   
13.1.1 自然地理環(huán)境     236………………………………………………………   
13.1.2 區(qū)域地質(zhì)概況     236………………………………………………………  
13.2 地球化學(xué)元素聚類(lèi)分析    239…………………………………………………   
13.2.1 數(shù)據(jù)整理和建立數(shù)據(jù)庫(kù)     239……………………………………………   
13.2.2 地球化學(xué)數(shù)據(jù)聚類(lèi)分析     239……………………………………………   
13.2.3 聚類(lèi)結(jié)果MapGIS成圖     241……………………………………………  
13.3 地球化學(xué)元素組合特征分析    243……………………………………………   
13.3.1 靶區(qū)1～4元素組合特征     243…………………………………………   
13.3.2 靶區(qū)5元素組合特征     243………………………………………………   
13.3.3 礦產(chǎn)資源預(yù)測(cè)     244………………………………………………………  
13.4 地球化學(xué)元素模糊C-means聚類(lèi)    247………………………………………   
13.4.1 某金礦區(qū)模糊C-means聚類(lèi)分析     247…………………………………   
13.4.2 某錫礦區(qū)模糊C-means聚類(lèi)分析     248…………………………………   
13.4.3 某采樣地區(qū)模糊C-means聚類(lèi)分析     249………………………………  
參考文獻(xiàn)    250…………………………………………………………………………   
14 資源與經(jīng)濟(jì)發(fā)展關(guān)系分析     252……………………………………………………  
14.1 資源與經(jīng)濟(jì)    252………………………………………………………………   
14.1.1 礦產(chǎn)資源開(kāi)發(fā)     252………………………………………………………   
14.1.2 傳統(tǒng)研究方法     253………………………………………………………  
14.2 數(shù)據(jù)源與數(shù)據(jù)預(yù)處理    256……………………………………………………   
14.2.1 數(shù)據(jù)的選取     256…………………………………………………………   
14.2.2 數(shù)據(jù)標(biāo)準(zhǔn)化     257…………………………………………………………  
14.3 聚類(lèi)分析    258…………………………………………………………………   
14.3.1 資源儲(chǔ)量屬性     258………………………………………………………   
14.3.2 環(huán)境指標(biāo)屬性     260………………………………………………………   
14.3.3 經(jīng)濟(jì)指標(biāo)屬性     262………………………………………………………   
14.3.4 技術(shù)指標(biāo)屬性     275………………………………………………………   
14.3.5 結(jié)論與建議     278…………………………………………………………  
參考文獻(xiàn)    280…………………………………………………………………………