Flume日志收集與MapReduce模式

目 錄 Contents
譯者序
前 言
上篇 Flume日志收集
第1章 概覽與架構(gòu) 2
1.1 Flume 0.9 3
1.2 Flume 1.X（FlumeNG） 4
1.3 HDFS與流式數(shù)據(jù)/日志的問(wèn)題 5
1.4 源、通道與接收器 6
1.5 Flume事件 7
1.5.1 攔截器、通道選擇器與選擇處理器 8
1.5.2 分層數(shù)據(jù)收集（多數(shù)據(jù)流與代理） 9
1.6 小結(jié) 10
第2章 Flume快速起步 11
2.1 下載Flume 11
2.2 Flume配置文件概覽 13
2.3 從“Hello World”開始 15
2.4 小結(jié) 20
第3章 通道 22
3.1 內(nèi)存通道 23
3.2 文件通道 25
3.3 小結(jié) 29
第4章 接收器與接收處理器 31
4.1 HDFS接收器 31
4.1.1 路徑與文件名 34
4.1.2 文件轉(zhuǎn)儲(chǔ) 37
4.2 壓縮編解碼器 38
4.3 事件序列化器 38
4.3.1 文本輸出 39
4.3.2 帶有頭信息的文本 39
4.3.3 Apache Avro 39
4.3.4 文件類型 41
4.3.5 超時(shí)設(shè)置與線程池 43
4.4 接收器組 44
4.4.1 負(fù)載均衡 45
4.4.2 故障恢復(fù) 45
4.5 小結(jié) 46
第5章 源與通道選擇器 48
5.1 使用tail的問(wèn)題 48
5.2 exec源 50
5.3 假脫機(jī)目錄源 53
5.4 syslog源 55
5.4.1 syslog UDP源 56
5.4.2 syslog TCP源 58
5.4.3 多端口syslog TCP源 59
5.5 通道選擇器 61
5.5.1 復(fù)制 62
5.5.2 多路復(fù)用 62
5.6 小結(jié) 63
第6章 攔截器、ETL與路由 65
6.1 攔截器 65
6.1.1 Timestamp 66
6.1.2 Host 67
6.1.3 Static 68
6.1.4 正則表達(dá)式過(guò)濾 69
6.1.5 正則表達(dá)式抽取 70
6.1.6 自定義攔截器 74
6.2 數(shù)據(jù)流分層 75
6.2.1 Avro源/接收器 76
6.2.2 命令行Avro 78
6.2.3 Log4J追加器 79
6.2.4 負(fù)載均衡Log4J追加器 81
6.3 路由 82
6.4 小結(jié) 83
第7章 監(jiān)控Flume 85
7.1 監(jiān)控代理進(jìn)程 86
7.1.1 Monit 86
7.1.2 Nagios 86
7.2 監(jiān)控性能度量情況 87
7.2.1 Ganglia 87
7.2.2 內(nèi)部HTTP服務(wù)器 89
7.2.3 自定義監(jiān)控鉤子 91
7.3 小結(jié) 92
第8章 萬(wàn)法皆空——實(shí)時(shí)分布式數(shù)據(jù)收集的現(xiàn)狀 93
8.1 傳輸時(shí)間與日志事件 94
8.2 萬(wàn)惡的時(shí)區(qū) 94
8.3 容量規(guī)劃 95
8.4 多數(shù)據(jù)中心的注意事項(xiàng) 96
8.5 合規(guī)性與數(shù)據(jù)失效 97
8.6 小結(jié) 98
下篇 MapReduce模式
第9章 使用Java編寫一個(gè)單詞統(tǒng)計(jì)應(yīng)用（初級(jí)） 102
9.1 準(zhǔn)備工作 102
9.2 操作步驟 103
9.3 示例說(shuō)明 103
第10章 使用MapReduce編寫一個(gè)單詞統(tǒng)計(jì)應(yīng)用并運(yùn)行（初級(jí)） 105
10.1 準(zhǔn)備工作 105
10.2 操作步驟 106
10.3 示例說(shuō)明 106
10.4 補(bǔ)充說(shuō)明 109
第11章 在分布式環(huán)境中安裝Hadoop并運(yùn)行單詞統(tǒng)計(jì)應(yīng)用（初級(jí)） 110
11.1 準(zhǔn)備工作 111
11.2 操作步驟 112
11.3 示例說(shuō)明 116
第12章 編寫格式化器（中級(jí)） 117
12.1 準(zhǔn)備工作 118
12.2 操作步驟 118
12.3 示例說(shuō)明 119
12.4 補(bǔ)充說(shuō)明 121
第13章 分析——使用MapReduce繪制頻度分布（中級(jí)） 122
13.1 準(zhǔn)備工作 123
13.2 操作步驟 123
13.3 示例說(shuō)明 125
13.4 補(bǔ)充說(shuō)明 128
第14章 關(guān)系操作——使用MapReduce連接兩個(gè)數(shù)據(jù)集（高級(jí)） 129
14.1 準(zhǔn)備工作 130
14.2 操作步驟 130
14.3 示例說(shuō)明 131
14.4 補(bǔ)充說(shuō)明 134
第15章 使用MapReduce實(shí)現(xiàn)集合操作（中級(jí)） 135
15.1 準(zhǔn)備工作 135
15.2 操作步驟 136
15.3 示例說(shuō)明 137
15.4 補(bǔ)充說(shuō)明 140
第16章 使用MapReduce實(shí)現(xiàn)交叉相關(guān)（中級(jí)） 141
16.1 準(zhǔn)備工作 141
16.2 操作步驟 142
16.3 示例說(shuō)明 142
16.4 補(bǔ)充說(shuō)明 145
第17章 使用MapReduce實(shí)現(xiàn)簡(jiǎn)單搜索（中級(jí)） 146
17.1 準(zhǔn)備工作 147
17.2 操作步驟 147
17.3 示例說(shuō)明 148
17.4 補(bǔ)充說(shuō)明 150
第18章 使用MapReduce實(shí)現(xiàn)簡(jiǎn)單的圖操作（高級(jí)） 151
18.1 準(zhǔn)備工作 152
18.2 操作步驟 152
18.3 示例說(shuō)明 153
18.4 補(bǔ)充說(shuō)明 157
第19章 使用MapReduce實(shí)現(xiàn)Kmeans（高級(jí)） 158
19.1 準(zhǔn)備工作 159
19.2 操作步驟 159
19.3 示例說(shuō)明 160
19.4 補(bǔ)充說(shuō)明 164