Kafka并不難學(xué)！入門、進(jìn)階、商業(yè)實(shí)戰(zhàn)

第1篇 準(zhǔn)備
第1章 了解消息隊(duì)列和Kafka 2
1.1 本章教學(xué)視頻說明 2
1.2 消息隊(duì)列 2
∟1.2.1 什么是消息隊(duì)列 3
∟1.2.2 消息隊(duì)列主要有哪些作用 3
1.3 為什么需要Kafka 6
1.4 Kafka的基本概念 7
∟1.4.1 代理、生產(chǎn)者、消費(fèi)者、消費(fèi)者組 7
∟1.4.2 主題、分區(qū)、副本、記錄 8
1.5 了解Kafka的工作機(jī)制——生產(chǎn)消息/消費(fèi)消息 9
1.6 Kafka的使用范圍 10
∟1.6.1 Kafka的設(shè)計(jì)初衷 10
∟1.6.2 Kafka的特性 11
∟1.6.3 Kafka適用于哪些場(chǎng)景 13
1.7 小結(jié) 14
第2章 安裝及配置Kafka 15
2.1 本章教學(xué)視頻說明 15
2.2 安裝與配置基礎(chǔ)環(huán)境 16
∟2.2.1 安裝并配置Linux操作系統(tǒng) 16
∟2.2.2 實(shí)例1：安裝與配置Java運(yùn)行環(huán)境 18
∟2.2.3 實(shí)例2：配置SSH免密碼登錄 21
∟2.2.4 實(shí)例3：安裝與配置Zookeeper 23
2.3 實(shí)例4：部署Kafka 27
∟2.3.1 單機(jī)模式部署 27
∟2.3.2 分布式模式部署 29
2.4 實(shí)例5：安裝與配置Kafka監(jiān)控工具 32
∟2.4.1 獲取并編譯Kafka Eagle源代碼 32
∟2.4.2 安裝與配置Kafka Eagle 33
2.5 實(shí)例6：編譯Kafka源代碼 37
∟2.5.1 安裝與配置Scala運(yùn)行環(huán)境 38
∟2.5.2 安裝與配置Gradle 39
∟2.5.3 了解Kafka源代碼的編譯過程 40
2.6 實(shí)例7：將Kafka源代碼導(dǎo)入編輯器 42
∟2.6.1 導(dǎo)入IntelliJ IDEA編輯器 42
∟2.6.2 導(dǎo)入Eclipse編輯器 44
2.7 了解元數(shù)據(jù)的存儲(chǔ)分布 46
2.8 了解控制器的選舉流程 48
∟2.8.1 了解控制器的啟動(dòng)順序 48
∟2.8.2 了解主題分區(qū)Leader節(jié)點(diǎn)的選舉過程 52
∟2.8.3 了解注冊(cè)分區(qū)和副本狀態(tài)機(jī) 59
∟2.8.4 了解分區(qū)自動(dòng)均衡和分區(qū)重新分配 61
2.9 小結(jié) 66
——第2篇 入門
第3章 Kafka的基本操作 68
3.1 本章教學(xué)視頻說明 68
3.2 操作Zookeeper集群 68
∟3.2.1 Zookeeper的作用及背景 69
∟3.2.2 實(shí)例8：?jiǎn)螜C(jī)模式啟動(dòng)Zookeeper系統(tǒng) 70
∟3.2.3 實(shí)例9：?jiǎn)螜C(jī)模式關(guān)閉Zookeeper系統(tǒng) 72
∟3.2.4 實(shí)例10：分布式模式啟動(dòng)Zookeeper集群 74
3.2.5 實(shí)例11：分布式模式關(guān)閉Zookeeper集群 77
3.3 操作Kafka集群 77
∟3.3.1 實(shí)例12：?jiǎn)螜C(jī)模式啟動(dòng)Kafka系統(tǒng) 78
∟3.3.2 實(shí)例13：?jiǎn)螜C(jī)模式關(guān)閉Kafka系統(tǒng) 79
∟3.3.3 實(shí)例14：分布式模式啟動(dòng)Kafka集群 81
∟3.3.4 實(shí)例15：分布式模式關(guān)閉Kafka集群 84
3.4 管理主題 85
∟3.4.1 什么是主題 86
∟3.4.2 實(shí)例16：創(chuàng)建主題 87
∟3.4.3 實(shí)例17：查看主題 88
∟3.4.4 實(shí)例18：修改主題 92
∟3.4.5 實(shí)例19：刪除主題 94
3.5 管理分區(qū)與副本 95
∟3.5.1 分區(qū)和副本的背景及作用 95
∟3.5.2 實(shí)例20：修改分區(qū) 96
∟3.5.3 實(shí)例21：修改副本數(shù) 97
3.6 小結(jié) 99
第4章 將消息數(shù)據(jù)寫入Kafka系統(tǒng)——生產(chǎn) 100
4.1 本章教學(xué)視頻說明 100
4.2 了解Kafka生產(chǎn)者 101
4.3 使用腳本操作生產(chǎn)者 101
∟4.3.1 實(shí)例22：通過監(jiān)控工具查看消息 102
∟4.3.2 實(shí)例23：?jiǎn)?dòng)消費(fèi)者程序，并查看消息 103
4.4 發(fā)送消息到Kafka主題 104
∟4.4.1 了解異步模式 104
∟4.4.2 實(shí)例24：生產(chǎn)者用異步模式發(fā)送消息 105
∟4.4.3 了解同步模式 105
∟4.4.4 實(shí)例25：生產(chǎn)者用同步模式發(fā)送消息 106
∟4.4.5 多線程發(fā)送消息 107
∟4.4.6 實(shí)例26：生產(chǎn)者用單線程發(fā)送消息 107
∟4.4.7 實(shí)例27：生產(chǎn)者用多線程發(fā)送消息 110
4.5 配置生產(chǎn)者的屬性 112
4.6 保存對(duì)象的各個(gè)屬性——序列化 115
∟4.6.1 實(shí)例28：序列化一個(gè)對(duì)象 115
∟4.6.2 實(shí)例29：在生產(chǎn)者應(yīng)用程序中實(shí)現(xiàn)序列化 117
4.7 自定義主題分區(qū) 122
∟4.7.1 實(shí)例30：編寫自定義主題分區(qū)的算法 122
∟4.7.2 實(shí)例31：演示自定義分區(qū)類的使用 123
4.8 小結(jié) 125
第5章 從Kafka系統(tǒng)中讀取消息數(shù)據(jù)——消費(fèi) 126
5.1 本章教學(xué)視頻說明 126
5.2 了解Kafka消費(fèi)者 126
∟5.2.1 為什么需要消費(fèi)者組 126
∟5.2.1 消費(fèi)者和消費(fèi)者組的區(qū)別 127
∟5.2.2 消費(fèi)者和分區(qū)的對(duì)應(yīng)關(guān)系 127
5.3 使用Kafka系統(tǒng)的腳本操作消費(fèi)者 130
∟5.3.1 認(rèn)識(shí)消費(fèi)者新接口 130
∟5.3.2 實(shí)例32：用新接口啟動(dòng)消費(fèi)者程序，并查看消費(fèi)者信息 131
∟5.3.3 實(shí)例33：用舊接口啟動(dòng)消費(fèi)者程序，并查看消費(fèi)者元數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu) 134
5.4 消費(fèi)Kafka集群中的主題消息 136
∟5.4.1 主題如何自動(dòng)獲取分區(qū)和手動(dòng)分配分區(qū) 137
∟5.4.2 實(shí)例34：主題自動(dòng)/手動(dòng)獲取分區(qū) 137
∟5.4.3 實(shí)例35：反序列化主題消息 140
∟5.4.4 如何提交消息的偏移量 145
∟5.4.5 實(shí)例36：使用多線程消費(fèi)多個(gè)分區(qū)的主題 146
5.5 配置消費(fèi)者的屬性 150
5.6 小結(jié) 151
第6章 存儲(chǔ)及管理數(shù)據(jù) 152
6.1 本章教學(xué)視頻說明 152
6.2 分區(qū)存儲(chǔ)數(shù)據(jù) 152
∟6.2.1 熟悉分區(qū)存儲(chǔ) 153
∟6.2.2 了解消息的格式 154
6.3 清理過期數(shù)據(jù)的兩種方法 155
6.4 網(wǎng)絡(luò)模型和通信流程 156
∟6.4.1 基本數(shù)據(jù)類型 156
∟6.4.2 通信模型 157
∟6.4.3 通信過程 157
6.6 小結(jié) 159
——第3篇 進(jìn)階
第7章 Kafka安全機(jī)制 162
7.1 本章教學(xué)視頻說明 162
7.2 了解Kafka的安全機(jī)制 162
∟7.2.1 身份驗(yàn)證 163
∟7.2.2 權(quán)限控制 163
7.3 使用SSL協(xié)議進(jìn)行加密和身份驗(yàn)證 164
∟7.3.1 了解SSL協(xié)議 164
∟7.3.2 實(shí)例37：創(chuàng)建SSL密鑰庫(kù)，并查看密鑰庫(kù)文件 165
∟7.3.3 實(shí)例38：創(chuàng)建私有證書 167
∟7.3.4 實(shí)例39：導(dǎo)出證書，使用CA對(duì)證書進(jìn)行簽名 170
∟7.3.5 實(shí)例40：在服務(wù)端配置SSL協(xié)議，并創(chuàng)建主題 173
∟7.3.6 實(shí)例41：在客戶端配置SSL協(xié)議，并讀/寫數(shù)據(jù) 174
7.4 使用SASL協(xié)議進(jìn)行認(rèn)證 176
∟7.4.1 給客戶端配置“Java認(rèn)證和授權(quán)服務(wù)”（JAAS） 176
∟7.4.2 給服務(wù)端配置SASL 178
∟7.4.3 實(shí)例42：開啟SASL/Kerberos認(rèn)證協(xié)議 178
∟7.4.4 實(shí)例43：開啟SASL/PLAIN認(rèn)證協(xié)議 181
∟7.4.5 實(shí)例44：開啟SASL/SCRAM認(rèn)證協(xié)議 184
7.5 權(quán)限控制 187
∟7.5.1 權(quán)限控制的基礎(chǔ)命令 187
∟7.5.2 配置ACL（訪問控制列表） 188
∟7.5.3 實(shí)例45：?jiǎn)?dòng)集群 189
∟7.5.4 實(shí)例46：查看授權(quán)、添加授權(quán)、刪除授權(quán) 190
7.6 小結(jié) 195
第8章 用Kafka連接器建立數(shù)據(jù)管道 196
8.1 本章教學(xué)視頻說明 196
8.2 認(rèn)識(shí)Kafka連接器 196
∟8.2.1 了解連接器的使用場(chǎng)景 197
∟8.2.2 特性及優(yōu)勢(shì) 198
∟8.3 操作Kafka連接器 199
8.3.1 配置Kafka連接器的屬性 199
∟8.3.2 認(rèn)識(shí)應(yīng)用接口——REST API 202
∟8.3.3 實(shí)例47：?jiǎn)螜C(jī)模式下，將數(shù)據(jù)導(dǎo)入Kafka主題中 203
∟8.3.4 實(shí)例48：?jiǎn)螜C(jī)模式下，將Kafka主題中的數(shù)據(jù)導(dǎo)出 205
∟8.3.5 實(shí)例49：分布式模式下，將數(shù)據(jù)導(dǎo)入Kafka主題 206
8.4 實(shí)例50：開發(fā)一個(gè)簡(jiǎn)易的Kafka連接器插件 210
∟8.4.1 編寫Source連接器 211
∟8.4.2 編寫Sink連接器 217
∟8.4.3 打包與部署 220
8.5 小結(jié) 225
第9章 Kafka流處理 226
9.1 本章教學(xué)視頻說明 226
9.2 初識(shí)Kafka流處理 227
∟9.2.1 什么是流處理 227
∟9.2.2 什么是流式計(jì)算 227
∟9.2.3 為何要使用流處理 228
9.3 了解流處理的架構(gòu) 229
∟9.3.1 流分區(qū)與任務(wù) 230
∟9.3.2 線程模型 232
∟9.3.3 本地狀態(tài)存儲(chǔ) 234
∟9.3.4 容錯(cuò)性（Failover） 235
9.4 操作KStream和KTable 235
∟9.4.1 流處理的核心概念 236
∟9.4.2 窗口操作 237
∟9.4.3 連接操作 241
∟9.4.4 轉(zhuǎn)換操作 246
∟9.4.5 聚合操作 247
9.5 實(shí)例51：利用流處理開發(fā)一個(gè)單詞統(tǒng)計(jì)程序 248
∟9.5.1 創(chuàng)建Kafka流主題 248
∟9.5.2 統(tǒng)計(jì)流主題中單詞出現(xiàn)的頻率 249
∟9.5.3 預(yù)覽操作結(jié)果 250
9.6 實(shí)例52：利用Kafka流開發(fā)一個(gè)SQL引擎 251
∟9.6.1 構(gòu)建生產(chǎn)流數(shù)據(jù)源 251
∟9.6.2 構(gòu)建Kafka流處理 253
∟9.6.3 構(gòu)建數(shù)據(jù)結(jié)構(gòu)和執(zhí)行SQL邏輯 254
∟9.6.4 觀察操作結(jié)果 255
9.7 小結(jié) 256
第10章 監(jiān)控與測(cè)試 257
10.1 本章教學(xué)視頻說明 257
10.2 Kafka的監(jiān)控工具——Kafka Eagle系統(tǒng) 258
∟10.2.1 實(shí)例53：管理主題 258
∟10.2.2 實(shí)例54：查看消費(fèi)者組信息 259
∟10.2.3 實(shí)例55：查看Kafka與Zookeeper集群的狀態(tài)和性能 263
10.3 測(cè)試生產(chǎn)者性能 264
∟10.3.1 了解測(cè)試環(huán)境 264
∟10.3.2 認(rèn)識(shí)測(cè)試工具 265
∟10.3.3 實(shí)例56：利用工具測(cè)試生產(chǎn)者性能 266
10.4 測(cè)試消費(fèi)者性能 275
∟10.4.1 了解測(cè)試環(huán)境 275
∟10.4.2 認(rèn)識(shí)測(cè)試工具 276
∟10.4.3 實(shí)例57：利用腳本測(cè)試消費(fèi)者的性能 276
10.4 小結(jié) 280
——第4篇 商業(yè)實(shí)戰(zhàn)
第11章 Kafka與ELK套件的整合 282
11.1 本章教學(xué)視頻說明 282
11.2 安裝與配置ELK 283
∟11.2.1 安裝與配置LogStash 283
∟11.2.2 實(shí)例58：LogStash的標(biāo)準(zhǔn)輸入與輸出 285
∟11.2.3 安裝與配置ElasticSearch 287
∟11.2.4 實(shí)例59：使用ElasticSearch集群的HTTP接口創(chuàng)建索引 292
∟11.2.5 實(shí)例60：使用ElasticSearch集群的HTTP接口查看索引 293
∟11.2.6 實(shí)例61：使用ElasticSearch集群的HTTP接口添加數(shù)據(jù) 294
∟11.2.7 安裝與配置Kibana 296
∟11.2.8 實(shí)例62：?jiǎn)?dòng)并驗(yàn)證Kibana系統(tǒng) 298
11.3 實(shí)例63：實(shí)現(xiàn)一個(gè)游戲日志實(shí)時(shí)分析系統(tǒng) 299
∟11.3.1 了解系統(tǒng)要實(shí)現(xiàn)的功能 300
∟11.3.2 了解平臺(tái)體系架構(gòu) 300
∟11.3.3 采集數(shù)據(jù) 302
∟11.3.4 分流數(shù)據(jù) 304
∟11.3.5 實(shí)現(xiàn)數(shù)據(jù)可視化 306
11.4 小結(jié) 308
第12章 Kafka與Spark實(shí)時(shí)計(jì)算引擎的整合 309
12.1 本章教學(xué)視頻說明 309
12.2 介紹Spark背景 310
∟12.2.1 Spark SQL——Spark處理結(jié)構(gòu)化數(shù)據(jù)的模塊 310
∟12.2.2 Spark Streaming——Spark核心應(yīng)用接口的一種擴(kuò)展 311
∟12.2.3 MLlib——Spark的一個(gè)機(jī)器學(xué)習(xí)類庫(kù) 311
∟12.2.4 GraphX——Spark的一個(gè)圖計(jì)算框架 311
12.3 準(zhǔn)備Spark環(huán)境 311
∟12.3.1 下載Spark基礎(chǔ)安裝包 311
∟12.3.2 安裝與配置Spark集群 312
12.4 操作Spark 315
∟12.4.1 實(shí)例64：使用Spark Shell統(tǒng)計(jì)單詞出現(xiàn)的頻率 315
∟12.4.2 實(shí)例65：使用Spark SQL對(duì)單詞權(quán)重進(jìn)行降序輸出 317
∟12.4.3 實(shí)例66：使用Spark Submit統(tǒng)計(jì)單詞出現(xiàn)的頻率 319
12.5 實(shí)例67：對(duì)游戲明細(xì)數(shù)據(jù)做實(shí)時(shí)統(tǒng)計(jì) 322
∟12.5.1 了解項(xiàng)目背景和價(jià)值 323
∟12.5.2 設(shè)計(jì)項(xiàng)目實(shí)現(xiàn)架構(gòu) 323
∟12.5.3 編碼步驟一 實(shí)現(xiàn)數(shù)據(jù)采集 325
∟12.5.4 編碼步驟二 實(shí)現(xiàn)流計(jì)算 327
∟12.5.5 編碼步驟三 打包應(yīng)用程序 330
∟12.5.6 編碼步驟四 創(chuàng)建表結(jié)構(gòu) 332
∟12.5.7 編碼步驟五 執(zhí)行應(yīng)用程序 332
∟12.5.8 編碼步驟六 預(yù)覽結(jié)果 333
12.6 小結(jié) 333
第13章 實(shí)例68：從零開始設(shè)計(jì)一個(gè)Kafka監(jiān)控系統(tǒng)——Kafka Eagle 334
13.1 本章教學(xué)視頻說明 334
13.2 了解Kafka Eagle監(jiān)控系統(tǒng) 335
∟13.2.1 設(shè)計(jì)的背景 335
∟13.2.2 應(yīng)用場(chǎng)景 336
13.3 從結(jié)構(gòu)上了解Kafka Eagle 337
∟13.3.1 了解Kafka Eagle的整體架構(gòu)和代碼結(jié)構(gòu) 337
∟13.3.2 設(shè)計(jì)Kafka Eagle的7大功能模塊 339
13.4 實(shí)現(xiàn)Kafka Eagle的功能模塊 347
∟13.4.1 編碼步驟一 實(shí)現(xiàn)數(shù)據(jù)面板 347
∟13.4.2 編碼步驟二 實(shí)現(xiàn)主題管理 348
∟13.4.3 編碼步驟三 實(shí)現(xiàn)消費(fèi)者實(shí)例詳情 350
∟13.4.4 編碼步驟四 實(shí)現(xiàn)集群監(jiān)控 350
∟13.4.5 編碼步驟五 實(shí)現(xiàn)性能監(jiān)控 351
∟13.4.6 編碼步驟六 實(shí)現(xiàn)告警功能 351
∟13.4.7 編碼步驟七 實(shí)現(xiàn)系統(tǒng)功能 352
13.5 安裝及使用Kafka Eagle監(jiān)控系統(tǒng) 353
∟13.5.1 準(zhǔn)備環(huán)境 353
∟13.5.2 快速部署 354
∟13.5.3 了解Kafka Eagle的基礎(chǔ)命令 358
13.6 小結(jié) 358