Flink入門與實戰(zhàn)

第 1章　Flink概述　　1
1．1　Flink原理分析　1
1．2　Flink架構(gòu)分析　2
1．3　Flink基本組件　3
1．4　Flink流處理（Streaming）與批處理（Batch）　4
1．5　Flink典型應(yīng)用場景分析　5
1．6　流式計算框架對比　6
1．7　工作中如何選擇實時計算框架　8
第　2章 Flink快速入門　9
2．1　Flink開發(fā)環(huán)境分析　9
2．1．1　開發(fā)工具推薦　9
2．1．2　Flink程序依賴配置　10
2．2　Flink程序開發(fā)步驟　11
2．3　Flink流處理（Streaming）案例開發(fā)　11
2．3．1　Java代碼開發(fā)　12
2．3．2　Scala代碼開發(fā)　14
2．3．3　執(zhí)行程序　16
2．4　Flink批處理（Batch）案例開發(fā)　16
2．4．1　Java代碼開發(fā)　16
2．4．2　Scala代碼開發(fā)　18
2．4．3　執(zhí)行程序　19
第3章　Flink的安裝和部署　20
3．1　Flink本地模式　20
3．2　Flink集群模式　22
3．2．1　Standalone模式　23
3．2．2　Flink on Yarn模式　26
3．2．3　yarn-session．sh命令分析　30
3．2．4　Flink run命令分析　30
3．3　Flink代碼生成JAR包　31
3．4　Flink HA的介紹和使用　35
3．4．1　Flink HA　35
3．4．2　Flink Standalone集群的HA安裝和配置　35
3．4．3　Flink on Yarn集群HA的安裝和配置　50
3．5　Flink Scala Shell　53
第4章　Flink常用API詳解　56
4．1　Flink API的抽象級別分析　56
4．2　Flink DataStream的常用API　57
4．2．1　DataSource　57
4．2．2　Transformation　66
4．2．3　Sink　70
4．3　Flink DataSet的常用API分析　80
4．3．1　DataSource　80
4．3．2　Transformation　81
4．3．3　Sink　82
4．4　Flink Table API和SQL的分析及使用　82
4．4．1　Table API和SQL的基本使用　83
4．4．2　DataStream、DataSet和Table之間的轉(zhuǎn)換　87
4．4．3　Table API和SQL的案例　91
4．5　Flink支持的DataType分析　97
4．6　Flink序列化分析　97
第5章　Flink高級功能的使用　99
5．1　Flink Broadcast　99
5．2　Flink Accumulator　104
5．3　Flink Broadcast和Accumulator的區(qū)別　108
5．4　Flink Distributed Cache　108
第6章　Flink State管理與恢復(fù)　112
6．1　State　112
6．1．1　Keyed State　113
6．1．2　Operator State　115
6．2　State的容錯　116
6．3　CheckPoint　118
6．4　StateBackend　119
6．5　Restart Strategy　121
6．6　SavePoint　123
第7章　Flink窗口詳解　125
7．1　Window　125
7．2　Window的使用　126
7．2．1　Time Window　127
7．2．2　Count Window　128
7．2．3　自定義Window　129
7．3　Window聚合分類　130
7．3．1　增量聚合　130
7．3．2　全量聚合　132
第8章　Flink Time詳解　134
8．1　Time　134
8．2　Flink如何處理亂序數(shù)據(jù)　135
8．2．1　Watermark　136
8．2．2　Watermark的生成方式　137
8．3　EventTime+Watermark解決亂序數(shù)據(jù)的案例詳解　138
8．3．1　實現(xiàn)Watermark的相關(guān)代碼　138
8．3．2　通過數(shù)據(jù)跟蹤Watermark的時間　142
8．3．3　利用Watermark+Window處理亂序數(shù)據(jù)　149
8．3．4　Late Element的處理方式　153
8．3．5　在多并行度下的Watermark應(yīng)用　163
8．3．6　With Periodic Watermarks案例總結(jié)　165
第9章　Flink并行度詳解　166
9．1　Flink并行度　166
9．2　TaskManager和Slot　166
9．3　并行度的設(shè)置　167
9．3．1　并行度設(shè)置之Operator Level　168
9．3．2　并行度設(shè)置之Execution Environment Level　168
9．3．3　并行度設(shè)置之Client Level　169
9．3．4　并行度設(shè)置之System Level　169
9．4　并行度案例分析　169
第　10章 Flink Kafka Connector詳解　172
10．1　Kafka Connector　172
10．2　Kafka Consumer　173
10．2．1　Kafka Consumer消費策略設(shè)置　173
10．2．2　Kafka Consumer的容錯　175
10．2．3　動態(tài)加載Topic　176
10．2．4　Kafka Consumer Offset自動提交　177
10．3　Kafka Producer　177
10．3．1　Kafka Producer的使用　177
10．3．2　Kafka Producer的容錯　179
第　11章 Flink實戰(zhàn)項目開發(fā)　184
11．1　實時數(shù)據(jù)清洗（實時ETL）　184
11．1．1　需求分析　184
11．1．2　項目架構(gòu)設(shè)計　184
11．1．3　項目代碼實現(xiàn)　186
11．2　實時數(shù)據(jù)報表　205
11．2．1　需求分析　205
11．2．2　項目架構(gòu)設(shè)計　206
11．2．3　項目代碼實現(xiàn)　207