實(shí)戰(zhàn)Elasticsearch、Logstash、Kibana：分布式大數(shù)據(jù)搜索與日志挖掘及可視化解決方案

2015年5月第1章概述
1.1Elasticsearch的安裝與簡單配置
1.2走近Elasticsearch
1.2.1Elasticsearch是什么
1.2.2Elasticsearch中涉及到的相關(guān)概念
1.2.3Elasticsearch API的簡單使用方式
1.2.4Elasticsearch RTF版本中的部分插件簡介
1.2.5Elasticsearch 基本架構(gòu)
1.3Elasticsearch索引及其構(gòu)建
1.3.1概述
1.3.2借助Head工具構(gòu)建索引
1.3.3Mapping簡述
1.4信息檢索及其構(gòu)建
1.5實(shí)例
1.6擴(kuò)展知識與閱讀
1.7本章小結(jié)
第2章文檔索引及管理
2.1文檔索引概述
2.2建立索引
2.3通過映像Mapping配置索引
2.3.1在索引中使用映像
2.3.2管理/配置映像
2.3.3獲取映像信息
2.3.4刪除映像
2.4管理索引文件
2.4.1打開、關(guān)閉、檢測、刪除索引文件
2.4.2清空索引緩存
2.4.3刷新索引數(shù)據(jù)
[1][2][1][3]2.4.4優(yōu)化索引數(shù)據(jù)
2.4.5Flush操作
2.5設(shè)置中文分詞器
2.6對文檔的其他操作
2.6.1獲取指定的文檔信息
2.6.2刪除文檔中的信息
2.6.3數(shù)據(jù)更新
2.6.4基于POST方式批量獲取文檔
2.6.5刪除部分文檔
2.7擴(kuò)展知識與閱讀
2.8本章小結(jié)
第3章信息檢索與結(jié)果過濾
3.1實(shí)驗(yàn)數(shù)據(jù)集描述
3.2簡單檢索
3.3基本檢索
3.3.1設(shè)置不同字段的排序權(quán)重
3.3.2指定返回的字段子集
3.3.3Term查詢、Terms查詢、Wildcard通配符查詢
3.3.4Match、Match_all、Match_phrase查詢
3.3.5Query_string查詢
3.3.6Prefix、Range查詢
3.3.7More_like_this、Fuzzy_like_this查詢
3.3.8跨字段檢索
3.4Filter概述
3.5常用Filter及其應(yīng)用
3.5.1And Filter及Or Filter
3.5.2Bool Filter
3.5.3Exists Filter和Missing Filter
3.5.4Type Filter
3.5.5Match_all Filter
3.5.6Not Filter
3.5.7Query Filter
3.6復(fù)合查詢
3.7結(jié)果排序
3.8擴(kuò)展知識與閱讀
3.9本章小結(jié)
第4章信息統(tǒng)計(jì)分析與搜索提示
4.1Facets概述
4.2各種不同的Facets統(tǒng)計(jì)
4.2.1Terms Facets: 指定字段的分布情況統(tǒng)計(jì)
4.2.2Range Facets: 在某個(gè)范圍的分布情況統(tǒng)計(jì)
4.2.3Histogram Facets
4.2.4Date_histogram Facets
4.2.5Statistical Facets
4.2.6Terms_stats Facets
4.3Aggregations
4.3.1概述
4.3.2最值、求和、均值統(tǒng)計(jì)
4.3.3Stats Aggregations及Extended Stats Aggregations
4.3.4Terms Aggregations
4.3.5Range Aggregations
4.3.6Date_range Aggregations
4.3.7Histogram Aggregations
4.3.8Date_histogram Aggregations
4.3.9Filter Aggregations
4.3.10Missing Aggregations
4.4搜索提示
4.5擴(kuò)展知識與閱讀
4.6本章小結(jié)
第5章Elasticsearch部分功能的Java客戶端實(shí)現(xiàn)
5.1Elasticsearch節(jié)點(diǎn)實(shí)例化
5.1.1通過Maven添加對Elasticsearch依賴
5.1.2初始化Elasticsearch Client
5.2索引數(shù)據(jù)
5.2.1準(zhǔn)備JSON數(shù)據(jù)
5.2.2索引JSON數(shù)據(jù)
5.3對索引文檔的操作
5.3.1獲取索引文檔
5.3.2刪除索引文檔
5.3.3更新索引文檔
5.3.4批量操作索引文件
5.3.5簡單的統(tǒng)計(jì)操作
5.4信息檢索
5.4.1概述
5.4.2MultiSearch
5.4.3Query DSL概述
5.4.4MatchQuery
5.4.5MatchAllQuery
5.4.6MultiMatchQuery
5.4.7BoolQuery
5.4.8TermQuery
5.4.9WildcardQuery
5.4.10QueryString
5.4.11MoreLikeThis
5.4.12Filter概述
5.4.13TermFilter
5.4.14ExistsFilter
5.4.15MatchAllFilter
5.4.16QueryFilter
5.4.17RangeFilter
5.4.18TypeFilter
5.4.19過濾器間的組合: BoolFilter、NotFilter、OrFilter、AndFilter
5.5統(tǒng)計(jì)分析
5.5.1Facets
5.5.2Aggregations
5.6對檢索結(jié)果的進(jìn)一步處理
5.6.1控制每頁的顯示數(shù)量及顯示排序依據(jù)
5.6.2基于Scroll方法的檢索結(jié)果及其分頁
5.6.3高亮顯示檢索詞
5.7擴(kuò)展知識與閱讀
5.8本章小結(jié)
第6章Elasticsearch配置與集群管理
6.1Elasticsearch部分基本配置及其說明
6.2提高索引和查詢效率的策略
6.3監(jiān)控集群狀態(tài)
6.4控制索引分片與副本分配
6.5擴(kuò)展知識與閱讀
6.6本章小結(jié)
第7章基于Logstash的日志處理
7.1概述
7.2Input: 處理輸入的日志數(shù)據(jù)
7.2.1處理基于File方式輸入的日志信息
7.2.2處理基于Generator產(chǎn)生的日志信息
7.2.3處理基于Log4j的日志信息
7.2.4處理基于Redis的日志信息
7.2.5處理基于Stdin方式輸入的信息
7.2.6處理基于TCP傳輸?shù)娜罩緮?shù)據(jù)
7.2.7處理基于UDP傳輸?shù)娜罩緮?shù)據(jù)
7.3Codecs: 格式化日志數(shù)據(jù)
7.3.1JSON格式
7.3.2Rubydebug格式
7.3.3Plain格式
7.4基于Filter的日志處理與轉(zhuǎn)換
7.4.1JSON Filter
7.4.2Grok Filter
7.4.3Kv Filter
7.5Output: 處理輸出的日志數(shù)據(jù)
7.5.1將處理后的日志輸出到Elasticsearch中
7.5.2將處理后的日志輸出至文件中
7.5.3將處理后的部分日志輸出到csv格式的文件中
7.5.4將處理后的日志輸出到redis中
7.5.5將處理后的部分日志通過UDP協(xié)議輸出
7.5.6將處理后的部分日志通過TCP協(xié)議輸出
7.5.7將收集到的日志信息傳輸?shù)阶远x的HTTP接口中
7.6擴(kuò)展知識與閱讀
7.7本章小結(jié)
第8章基于Kibana的數(shù)據(jù)分析可視化
8.1安裝Kibana
8.2Kibana概述
8.2.1在儀表盤上添加新行
8.2.2在行中添加新面板
8.2.3設(shè)置Query和Filtering
8.3常用面板類型
8.3.1Histogram
8.3.2Table
8.3.3Map和Bettermap
8.3.4Terms
8.3.5Text
8.3.6Sparklines
8.3.7Trends
8.4網(wǎng)站性能監(jiān)控可視化應(yīng)用的設(shè)計(jì)與實(shí)現(xiàn)
8.4.1概述
8.4.2Page View
8.4.3響應(yīng)/請求時(shí)間
8.4.4流量走勢與統(tǒng)計(jì)
8.4.5狀態(tài)碼監(jiān)控
8.4.6UA行
8.5Kibana V4簡介
8.5.1新建視圖
8.5.2建立Dashboard
8.5.3配置
8.6擴(kuò)展知識與閱讀
8.7本章小結(jié)
第9章網(wǎng)絡(luò)信息檢索與分析實(shí)踐
9.1信息采集
9.2基于Python的信息檢索及Web端設(shè)計(jì)
9.2.1安裝Python及Django
9.2.2安裝Elasticsearch的Python插件
9.2.3Web頁面設(shè)計(jì)
9.3基于Logstash的日志處理
9.3.1安裝和配置Nginx
9.3.2設(shè)計(jì)面向日志文件的Pattern
9.3.3在Logstash中進(jìn)行相關(guān)配置
9.4基于Kibana的日志分析結(jié)果可視化設(shè)計(jì)與實(shí)現(xiàn)
9.4.1圖表1: 狀態(tài)碼走勢分析
9.4.2圖表2: 查詢詞分析
9.4.3圖表3: 分析各狀態(tài)碼隨時(shí)間的變遷情況
9.4.4集成上述圖表
9.5擴(kuò)展知識與閱讀
9.6本章小結(jié)
參考文獻(xiàn)