大數據時代的數據挖掘

目 錄
第1章　數據挖掘簡介　1
1．1　大數據時代的數據挖掘　2
1．1．1　大數據的特點“4V+4V”　3
1．1．2　數據挖掘　5
1．1．3　從數據挖掘應用的角度看大數據　7
1．2　數據挖掘技術的發(fā)展歷史　8
1．3　十大數據挖掘算法簡介　10
1．4　數據挖掘平臺：FIU-Miner　21
1．4．1　FIU-Miner平臺簡介　22
1．4．2　FIU-Miner系統架構　22
1．4．3　FIU-Miner應用實例　23
參考文獻　28
第2章　系統日志和事件的挖掘　31
2．1　數據驅動的網絡運維　32
2．1．1　網絡運維1．0階段：簡單數據處理　33
2．1．2　網絡運維2．0階段：分布式大數據處理框架　34
2．1．3　網絡運維3．0階段：網絡運維平臺套件　34
2．1．4　網絡運維4．0階段：智能化網絡運維　35
2．2　系統日志分析的目的　35
2．2．1　系統問題診斷　36
2．2．2　調試與優(yōu)化　37
2．2．3　系統安全維護　37
2．3　日志數據分析管理系統的架構　38
2．3．1　日志數據的收集和預處理　39
2．3．2　歷史日志數據存儲　39
2．3．3　日志事件數據的分析以及對分析結果的展示和使用　39
2．4　系統日志的數據形式　40
2．4．1　無結構的日志數據　40
2．4．2　結構化與半結構化的日志數據　41
2．4．3　非結構化數據的轉換　43
2．5　基于日志數據的異常檢測　44
2．5．1　基于監(jiān)督學習的異常檢測　44
2．5．2　基于無監(jiān)督學習的異常檢測　48
2．6　系統故障根源跟蹤　52
2．6．1　日志事件的依賴性挖掘　54
2．6．2　基于依賴關系的系統故障追蹤　65
2．7　日志事件總結　65
2．7．1　事件總結算法基本要求及相關工作　66
2．7．2　基于事件發(fā)生頻率變遷描述的事件總結　67
2．7．3　基于馬爾可夫模型描述的事件總結　67
2．7．4　基于事件關系網絡描述的事件總結　68
參考文獻　69
第3章　工作票數據挖掘　75
3．1　工作票簡介　76
3．2　工作票產生機制和亟待解決的問題　77
3．3　研究現狀　79
3．3．1　工作票分類　80
3．3．2　工作票推薦　82
3．3．3　整體解決方案和工具　84
3．4　工作票漏報和誤報檢測　84
3．4．1　漏報和誤報　84
3．4．2　基于規(guī)則的誤報識別方法　86
3．4．3　半監(jiān)督的工作票漏報發(fā)現方法　89
3．4．4　評價　92
3．5　層次多標簽工作票分類　96
3．5．1　問題描述　98
3．5．2　層次損失函數和期望損失最小化　98
3．5．3　算法和解決方案　102
3．5．4　實驗　104
3．6　工作票解決方案推薦　108
3．6．1　背景　108
3．6．2　基于KNN的推薦方法　109
3．6．3　劃分方法　111
3．6．4　概率融合方法　112
3．6．5　度量學習方法　113
3．6．6　實驗　116
參考文獻　126
第4章　大數據與計算可持續(xù)性研究　131
4．1　大數據與可持續(xù)發(fā)展　132
4．1．1　可持續(xù)發(fā)展　132
4．1．2　大數據時代可持續(xù)發(fā)展面臨的機遇和挑戰(zhàn)　133
4．2　計算可持續(xù)性　133
4．2．1　計算可持續(xù)性數據及其特征　134
4．2．2　大數據環(huán)境下計算可持續(xù)性研究現狀　137
4．3　研究案例　142
4．3．1　基于數據驅動的氣象分析　142
4．3．2　基于數據驅動的建筑能耗分析　145
參考文獻　155
第5章　推薦系統　159
5．1　個性化推薦系統概述　160
5．2　推薦技術　163
5．2．1　基于內容的推薦系統　163
5．2．2　基于協同過濾的推薦系統　164
5．2．3　基于知識的推薦系統　165
5．2．4　基于混合技術的推薦系統　165
5．2．5　基于計算智能的推薦系統　166
5．2．6　基于社交網絡的推薦系統　167
5．2．7　基于上下文敏感的推薦系統　169
5．2．8　基于組群的推薦系統　170
5．3　推薦系統評測　170
5．3．1　推薦系統評測環(huán)境　171
5．3．2　推薦系統評測指標　174
5．4　推薦系統實例　181
5．4．1　新聞推薦　181
5．4．2　POI推薦　190
參考文獻　198
第6章　智能問答系統　203
6．1　發(fā)展歷史　204
6．2　句法分析　205
6．2．1　中文分詞技術　205
6．2．2　詞的分類和兼類　207
6．2．3　漢語句法分析　208
6．3　問題理解　210
6．3．1　詞法分析　210
6．3．2　問題分類　210
6．3．3　關鍵詞擴展與抽取　211
6．3．4　答案抽取　212
6．4　問題檢索　212
6．4．1　基于詞法的問句檢索　212
6．4．2　基于句法的問句檢索　213
6．4．3　基于語義的問句檢索　213
6．4．4　常見問題集的問句檢索　213
6．5　信息抽取　214
6．5．1　抽取的對象　214
6．5．2　抽取的種類　215
6．5．3　抽取的方法　215
6．6　知識庫構建　217
6．6．1　基本概念　217
6．6．2　體系結構　218
6．6．3　關鍵技術　219
6．7　知識推理　223
6．7．1　線索挖掘　223
6．7．2　關系推理　224
6．7．3　關系預測　225
6．8　案例分析　225
6．8．1　限定域系統的現有案例分析　225
6．8．2　開放域系統的現有案例分析　233
參考文獻　238
第7章　文本挖掘　245
7．1　文本表示　246
7．2　話題挖掘　248
7．2．1　非負矩陣分解　248
7．2．2　概率潛在語義分析　249
7．2．3　潛在狄利克雷分配模型　250
7．2．4　分析與實例比較　251
7．3　多文檔自動文摘　253
7．3．1　目標函數選擇：句子重要性評價　253
7．3．2　優(yōu)化方法　257
7．3．3　其他的自動文摘問題　258
7．3．4　實例分析　259
7．4　情感分析和摘要　262
7．4．1　基于頻繁項集的方法　264
7．4．2　實例分析　266
7．4．3　基于方面的話題模型分析方法　267
7．5　數據挖掘在專利分析中的應用　272
7．5．1　專利分析的內容、流程與方法　273
7．5．2　數據挖掘在專利分析中的應用方向　278
參考文獻　284
第8章　多媒體數據挖掘　291
8．1　多媒體技術的特點　292
8．1．1　數字化　292
8．1．2　多樣性　293
8．1．3　集成性　293
8．1．4　交互性　293
8．1．5　非線性　294
8．1．6　實時性　294
8．2　多媒體數據挖掘概述　294
8．2．1　背景　294
8．2．2　研究及應用現狀　295
8．3　多媒體數據的特征抽取　296
8．3．1　文本特征抽取　296
8．3．2　圖像特征表示　297
8．4　數據挖掘在圖像檢索中的應用　300
8．4．1　應用背景　300
8．4．2　數據集描述　302
8．4．3　數據挖掘在圖像檢索中的算法分析　304
8．4．4　圖像檢索案例　306
8．5　數據挖掘在多媒體信息融合中的應用　312
8．5．1　應用背景　313
8．5．2　數據集描述　314
8．5．3　數據挖掘在多媒體信息融合中的算法分析　315
8．5．4　多媒體信息融合案例　317
8．6　數據挖掘在人臉識別中的應用　334
8．6．1　應用背景　334
8．6．2　數據集描述　336
8．6．3　人臉識別算法分析　338
8．6．4　分布式人臉識別系統設計　348
參考文獻　350
第9章　社交媒體挖掘　355
9．1　社交媒體數據挖掘簡介　356
9．1．1　社交媒體分析的特點綜述　357
9．1．2　社交媒體的典型應用　358
9．2　社交網絡數據　360
9．3　數據挖掘在社交媒體熱點問題上的應用　362
9．3．1　社交媒體數據挖掘需求　362
9．3．2　信息擴散分析　362
9．3．3　鏈接的預測　366
9．3．4　專家與關鍵人物的挖掘　371
9．3．5　搜索　380
9．3．6　信任　385
9．3．7　社交網絡的內容與情感挖掘　388
參考文獻　389
第10章　時空數據挖掘　395
10．1　時空數據挖掘的發(fā)展背景　396
10．2　時空數據挖掘的相關研究　397
10．2．1　時空數據的來源　397
10．2．2　時空數據的基本性質　398
10．2．3　時空數據挖掘的方法與任務　399
10．3　時空數據的模式挖掘　403
10．3．1　時空數據的頻繁模式　403
10．3．2　時空數據的異常模式　404
10．4　時空數據的聚類和分類　406
10．4．1　時空數據的聚類　406
10．4．2　時空數據的分類　410
10．5　時空數據預測　411
10．5．1　位置預測　412
10．5．2　位置推薦　412
10．6　時空數據挖掘的案例研究　413
10．6．1　TerryFly GeoCloud　413
10．6．2　NUPT-ST-Miner　420
10．7　時空數據挖掘的挑戰(zhàn)和發(fā)展　428
參考文獻　430
第11章　生物信息學　437
11．1　生物醫(yī)學知識綜述　438
11．2　生物醫(yī)學大數據　441
11．3　數據挖掘在蛋白質與核酸相互作用研究中的應用　442
11．3．1　基于機器學習的蛋白質與核酸相互作用的研究策略　443
11．3．2　案例分析：蛋白質中RNA—結合殘基的預測模型　445
11．4　數據挖掘在生物醫(yī)學文獻中的應用　448
11．4．1　生物醫(yī)學文獻挖掘概述　448
11．4．2　數據挖掘應用方法描述　450
11．5　數據挖掘在基因表達數據中的應用　463
11．5．1　基因芯片技術　463
11．5．2　下一代高通量測序技術　463
11．5．3　RNA-Seq 技術與基因芯片技術的比較　464
11．5．4　數據挖掘在下一代高通量RNA-Seq測序數據中的應用　465
參考文獻　468
第12章　隱私保護和數據挖掘　473
12．1　隱私保護概述　474
12．1．1　隱私侵害事件　474
12．1．2　隱私保護困境　475
12．1．3　隱私保護要求　477
12．1．4　隱私保護水平度量　477
12．2　隱私保護技術分類　478
12．2．1　匿名化技術　478
12．2．2　加密技術　480
12．2．3　數據擾動技術　481
12．3　隱私保護數據挖掘方法　485
12．3．1　隱私保護聚類　486
12．3．2　隱私保護決策樹　488
12．3．3　隱私保護推薦系統　490
12．3．4　隱私保護貝葉斯算法　492
12．3．5　隱私保護支持向量機　493
12．3．6　隱私保護關聯規(guī)則挖掘　494
12．4　復雜數據挖掘場景下的隱私保護　495
12．4．1　大數據隱私保護　495
12．4．2　圖數據隱私保護　498
12．4．3　云數據隱私保護　499
12．4．4　隱私保護深度學習　500
參考文獻　501
第13章　健康醫(yī)療大數據中的數據挖掘技術　507
13．1　健康醫(yī)療大數據的含義　508
13．2　數據特性　509
13．3　預警系統　510
13．3．1　數據預處理　513
13．3．2　Bucketing　514
13．3．3　Bucket Bagging　514
13．3．4　特征集構造　515
13．3．5　特征選擇　517
13．3．6　探索性下采樣　518
13．3．7　指數移動平均　519
13．4　非結構化文本信息的挖掘　519
13．5　數據挖掘實例　520
13．5．1　評價標準　521
13．5．2　實驗設計　521
13．5．3　邏輯回歸模型的實驗結果　522
13．5．4　算法比較　523
13．5．5　預警時間分析　525
13．6　應用方向　526
13．6．1　疾病預警預測及生存期分析　527
13．6．2　疾病輔助診斷治療　527
13．6．3　藥物研究　528
13．6．4　醫(yī)學影像　528
13．6．5　醫(yī)院信息系統　529
13．6．6　遠程醫(yī)療　530
13．6．7　健康數據庫管理　531
13．6．8　醫(yī)療健康相關企業(yè)經營　531
參考文獻　532