精通Elastic Stack

目錄
第1章Elastic Stack概述1
1.1ELK Stack簡介1
1.1.1Logstash2
1.1.2Elasticsearch3
1.1.3Kibana3
1.2Elastic Stack的誕生3
1.3誰在使用Elastic Stack?4
1.3.1Salesforce5
1.3.2CERN5
1.3.3Green Man Gaming5
1.4競爭者6
1.5設(shè)置Elastic Stack的使用環(huán)境6
1.5.1安裝Java6
1.5.2安裝Elasticsearch9
1.5.3安裝Kibana12
1.5.4安裝Logstash15
1.5.5安裝Filebeat16
1.6XPack簡介18
1.7本章小結(jié)19
第2章走進Elasticsearch20
2.1Elasticsearch的起源20
2.2了解Elasticsearch的體系結(jié)構(gòu)22
2.2.1推薦的集群配置23
2.2.2了解文檔處理24
2.3Elasticsearch API25
2.3.1有關(guān)文檔的API25
2.3.2有關(guān)搜索的API38
2.3.3有關(guān)索引的API43
2.3.4Cat API51
2.3.5Cluster API52
2.4Query DSL52
2.5聚合52
2.5.1Buckets聚合52
2.5.2Metrics聚合59
2.6Painless腳本說明64
2.7本章小結(jié)66
〖1〗〖2〗〖1〗〖3〗第3章探索Logstash及其組件67
3.1Logstash簡介68
3.2為什么需要用Logstash68
3.3Logstash的特點69
3.4Logstash插件的體系架構(gòu)70
3.5Logstash配置文件的結(jié)構(gòu)71
3.5.1值類型71
3.5.2條件判斷的用法73
3.6插件種類74
3.6.1數(shù)據(jù)輸入插件Input74
3.6.2數(shù)據(jù)過濾插件Filter74
3.6.3數(shù)據(jù)輸出插件Output75
3.6.4編解碼插件Codec75
3.7學(xué)習(xí)數(shù)據(jù)輸入插件Input76
3.7.1stdin77
3.7.2file78
3.7.3path79
3.7.4udp82
3.8學(xué)習(xí)數(shù)據(jù)過濾插件Filter83
3.8.1grok84
3.8.2mutate86
3.8.3csv89
3.9學(xué)習(xí)數(shù)據(jù)輸出插件Output90
3.9.1stdout90
3.9.2file91
3.9.3elasticsearch93
3.10學(xué)習(xí)編解碼插件Codec95
3.10.1rubydebug95
3.10.2json96
3.10.3avro96
3.10.4multiline97
3.11插件的命令行操作99
3.11.1列出插件列表100
3.11.2安裝插件100
3.11.3移除插件101
3.11.4更新插件101
3.11.5壓縮插件102
3.11.6解壓插件102
3.12Logstash的命令行操作103
3.13使用Logstash的小技巧105
3.13.1引用字段及其值106
3.13.2添加自定義的grok模式106
3.13.3Logstash不顯示任何輸出信息107
3.14用于解析日志的Logstash配置108
3.14.1Catalina日志示例108
3.14.2Tomcat日志示例108
3.14.3基于grok模式的Catalina日志109
3.14.4基于grok模式的Tomcat日志示例109
3.14.5Logstash配置文件110
3.15監(jiān)控系統(tǒng)相應(yīng)狀態(tài)信息的API112
3.15.1節(jié)點信息API113
3.15.2插件信息API115
3.15.3節(jié)點狀態(tài)API116
3.15.4Hot threads API116
3.16本章小結(jié)117
第4章Kibana界面118
4.1Kibana及其功能118
4.2探索Discover界面120
4.3時間過濾器121
4.3.1快捷時間過濾器122
4.3.2相對時間過濾器122
4.3.3絕對時間過濾器122
4.3.4自動刷新122
4.4查詢和搜索數(shù)據(jù)123
4.4.1全文檢索123
4.4.2范圍搜索123
4.4.3布爾搜索124
4.4.4鄰近搜索124
4.4.5通配符搜索124
4.4.6正則表達式搜索125
4.4.7分組125
4.5字段和過濾器125
4.5.1過濾字段125
4.5.2過濾器的功能126
4.6查詢頁面選項127
4.7探索Visualize界面127
4.7.1了解聚合129
4.7.2可視化畫布133
4.7.3面積圖133
4.7.4數(shù)據(jù)表133
4.7.5折線圖133
4.7.6氣泡圖133
4.7.7Markdown部件134
4.7.8Metric134
4.7.9餅圖134
4.7.10標簽云134
4.7.11瓦片地圖134
4.7.12時間序列134
4.7.13直方圖134
4.8探索Dashboard界面135
4.9了解Timelion137
4.10探索開發(fā)者工具139
4.11探索設(shè)置界面140
4.11.1索引模式141
4.11.2已保存的對象141
4.11.3高級設(shè)置141
4.11.4狀態(tài)143
4.12綜合應(yīng)用143
4.12.1輸入數(shù)據(jù)143
4.12.2創(chuàng)建Logstash配置文件144
4.12.3使用Kibana147
4.12.4在Kibana中創(chuàng)建面板155
4.13本章小結(jié)157
第5章使用Beats158
5.1Beats簡介158
5.2Beats與Logstash的不同之處159
5.3Beats如何融入Elastic Stack160
5.4不同類型的Beats組件概述162
5.4.1Elastic團隊開發(fā)的Beats組件162
5.4.2社區(qū)開發(fā)者開發(fā)的Beats組件164
5.5Elastic團隊開發(fā)的Beats組件164
5.5.1了解Filebeat165
5.5.2理解Metricbeat172
5.5.3理解Packetbeat177
5.6社區(qū)開發(fā)者開發(fā)的Beats組件179
5.7Beats在Elastic Stack中的實戰(zhàn)182
5.7.1用Logstash和Kibana探索Metricbeat182
5.7.2用Elasticsearch和Kibana探索Elasticbeat191
5.8本章小結(jié)195
第6章Elastic Stack實戰(zhàn)196
6.1理解問題場景196
6.2準備Elastic Stack管道199
6.2.1要獲取什么數(shù)據(jù)?200
6.2.2更新體系結(jié)構(gòu)200
6.3配置Elastic Stack組件201
6.3.1搭建Elasticsearch202
6.3.2搭建agents/Beats202
6.3.3搭建Logstash207
6.3.4設(shè)置Kibana213
6.4設(shè)置Kibana面板213
6.4.1Packetbeat214
6.4.2Metricbeat214
6.4.3查看數(shù)據(jù)庫(MySQL)性能215
6.4.4分析CPU的使用216
6.4.5內(nèi)存使用情況217
6.4.6檢查日志217
6.4.7尋找訪問最多的網(wǎng)頁219
6.4.8訪客地圖219
6.4.9一定時間范圍內(nèi)的訪客數(shù)量220
6.4.10請求類型221
6.4.11錯誤類型——日志的級別221
6.4.12首選的referrer223
6.4.13首選的代理agent223
6.5使用Logstash電子郵件功能發(fā)警報224
6.6使用消息代理225
6.7本章小結(jié)226
第7章個性化定制Elastic Stack227
7.1擴展Elasticsearch227
7.1.1Elasticsearch開發(fā)環(huán)境228
7.1.2剖析一個Elasticsearch Java 插件229
7.1.3構(gòu)建插件230
7.2擴展Logstash231
7.3擴展Beats239
7.3.1Libbeat框架239
7.3.2創(chuàng)建一個Beat240
7.4擴展Kibana251
7.4.1設(shè)置Kibana開發(fā)環(huán)境252
7.4.2生成一個插件253
7.4.3剖析一個插件254
7.5本章小結(jié)257
第8章Elasticsearch API258
8.1集群API258
8.1.1集群健康狀況258
8.1.2集群狀態(tài)260
8.1.3集群統(tǒng)計信息261
8.1.4待處理任務(wù)261
8.1.5集群重路由261
8.1.6集群更新設(shè)置262
8.1.7節(jié)點統(tǒng)計信息262
8.1.8節(jié)點信息API263
8.1.9任務(wù)管理API264
8.2Cat API265
8.3Elasticsearch模塊268
8.3.1集群模塊269
8.3.2Discovery模塊269
8.3.3Gateway模塊269
8.3.4HTTP模塊269
8.3.5索引模塊269
8.3.6網(wǎng)絡(luò)模塊269
8.3.7節(jié)點客戶端270
8.3.8插件模塊270
8.3.9腳本270
8.3.10快照/恢復(fù)模塊271
8.3.11線程池271
8.3.12Transport模塊271
8.3.13Tribe節(jié)點模塊272
8.4Ingest節(jié)點272
8.5Elasticsearch客戶端276
8.5.1支持的客戶端276
8.5.2社區(qū)提供的客戶端276
8.6Java API277
8.6.1連接到集群277
8.6.2管理任務(wù)278
8.6.3索引級任務(wù)281
8.7Elasticsearch插件286
8.7.1Discovery插件287
8.7.2Ingest插件287
8.7.3Elasticsearch SQL288
8.8本章小結(jié)289
第9章XPack插件中的Security與Monitoring組件290
9.1XPack介紹290
9.2XPack的安裝291
9.2.1在Elasticsearch中安裝XPack291
9.2.2在Kibana中安裝XPack292
9.2.3在離線系統(tǒng)中安裝XPack292
9.2.4卸載XPack293
9.3Security組件294
9.3.1列出所有Security中的用戶295
9.3.2列出Security中的角色296
9.3.3了解Security中的角色297
9.3.4理解默認用戶角色299
9.3.5在Security中添加新角色299
9.3.6在Security中更新角色300
9.3.7了解字段級的Security301
9.3.8在Security中添加新用戶302
9.3.9在Security中更新用戶詳細信息303
9.3.10在Security中修改用戶密碼304
9.3.11在Security中刪除角色304
9.3.12在Security中刪除用戶304
9.4查看XPack信息305
9.5Monitoring組件307
9.5.1探索Elasticsearch的監(jiān)控統(tǒng)計308
9.5.2探索Kibana的監(jiān)控統(tǒng)計314
9.6了解Profiler315
9.7本章小結(jié)317
第10章XPack插件中的Alerting、Graph和Reporting組件318
10.1Alerting與Notification組件318
10.2Graph組件336
10.3Reporting組件341
10.4本章小結(jié)344
第11章最佳實踐范例345
11.1為什么需要最佳實踐范例345
11.2了解你的用例346
11.3管理配置文件347
11.3.1Elasticsearch——elasticsearch.yml347
11.3.2Kibana——kibana.yml348
11.4選擇正確的硬件348
11.4.1內(nèi)存349
11.4.2磁盤351
11.4.3輸入輸出353
11.4.4CPU354
11.4.5網(wǎng)絡(luò)354
11.5搜索和索引性能354
11.5.1過濾緩存354
11.5.2Fielddata的容量355
11.5.3索引緩沖區(qū)356
11.6調(diào)整Elasticsearch集群357
11.6.1選擇正確的節(jié)點357
11.6.2確定節(jié)點數(shù)359
11.6.3確定分片數(shù)360
11.6.4縮減磁盤空間361
11.7Logstash配置文件361
11.7.1對多個數(shù)據(jù)源分類362
11.7.2使用conditional條件362
11.7.3使用自定義grok模式363
11.7.4簡化grokparsefailure363
11.7.5字段的映像363
11.7.6動態(tài)模板363
11.7.7測試配置364
11.8重新索引數(shù)據(jù)364
11.9本章小結(jié)365
第12章案例分析——Meetup366
12.1了解Meetup使用場景366
12.2環(huán)境搭建367
12.2.1理解Meetup API368
12.2.2搭建Elasticsearch370
12.2.3準備Logstash370
12.2.4搭建Kibana374
12.3使用Kibana分析數(shù)據(jù)374
12.3.1內(nèi)容過濾375
12.3.2按國家統(tǒng)計Meetup使用量377
12.3.3世界前10座使用Meetup的城市379
12.3.4按持續(xù)時間分析Meetup發(fā)展趨勢380
12.3.5按RSVP計數(shù)統(tǒng)計Meetup使用量383
12.3.6國家分組統(tǒng)計384
12.3.7加入群組的模式統(tǒng)計384
12.3.8熱門類別385
12.3.9熱門話題387
12.3.10Meetup活動場所地圖388
12.3.11Meetup活動地圖389
12.3.12僅數(shù)量方面的統(tǒng)計389
12.4獲取通知390
12.5本章小結(jié)393