大型網(wǎng)站架構(gòu)實(shí)戰(zhàn)

前言
第1篇 大型網(wǎng)站架構(gòu)的發(fā)展與面臨的挑戰(zhàn)
第1章 大型網(wǎng)站業(yè)務(wù)和架構(gòu)的發(fā)展 2
1.1 大型網(wǎng)站的業(yè)務(wù)演變 2
1.1.1 靜態(tài)網(wǎng)站的出現(xiàn) 2
1.1.2 動(dòng)態(tài)網(wǎng)站的出現(xiàn) 3
1.1.3 大型網(wǎng)站系統(tǒng)的出現(xiàn) 4
1.1.4 大型云計(jì)算網(wǎng)站系統(tǒng)的出現(xiàn) 6
1.1.5 大型網(wǎng)站的未來 7
1.2 大型網(wǎng)站架構(gòu)的發(fā)展 8
1.2.1 動(dòng)態(tài)網(wǎng)頁時(shí)代 8
1.2.2 B/S架構(gòu)網(wǎng)站的崛起 8
1.2.3 CDN加速網(wǎng)站響應(yīng) 10
1.2.4 應(yīng)用和數(shù)據(jù)分離 11
1.2.5 非關(guān)系型數(shù)據(jù)庫和關(guān)系型數(shù)據(jù)庫并存 11
1.2.6 集群化 12
1.2.7 分布式趨勢(shì) 13
1.2.8 微服務(wù) 15
1.2.9 大型網(wǎng)站架構(gòu)的未來 15
1.3 小結(jié) 16
第2章 大型網(wǎng)站架構(gòu)面臨的挑戰(zhàn) 17
2.1 大型網(wǎng)站架構(gòu)的基本問題 17
2.1.1 業(yè)務(wù)架構(gòu)面臨的挑戰(zhàn) 17
2.1.2 技術(shù)架構(gòu)面臨的挑戰(zhàn) 20
2.1.3 業(yè)務(wù)架構(gòu)和技術(shù)架構(gòu)的相互成全 21
2.2 業(yè)務(wù)架構(gòu)的基本思路 21
2.2.1 遞進(jìn)思想 22
2.2.2 版本計(jì)劃逐漸完善 24
2.2.3 持續(xù)優(yōu)化，推陳出新 25
2.3 技術(shù)架構(gòu)的基本思路 26
2.3.1 分層思想 26
2.3.2 IaaS、PaaS和SaaS分層管理 27
2.3.3 前端、后端和云計(jì)算服務(wù)分層開發(fā) 28
2.4 大型網(wǎng)站技術(shù)架構(gòu)的核心問題 30
2.4.1 性能問題 30
2.4.2 可用性問題 30
2.4.3 伸縮性問題 31
2.4.4 擴(kuò)展性問題 31
2.4.5 安全性問題 32
2.5 小結(jié) 32
第2篇 大型網(wǎng)站架構(gòu)的技術(shù)細(xì)節(jié)
第3章 前端架構(gòu) 34
3.1 前端的工作原理 34
3.1.1 Web服務(wù)器搭建 34
3.1.2 構(gòu)造一個(gè)簡單的網(wǎng)頁 38
3.1.3 前端網(wǎng)頁的工作原理 41
3.2 前端架構(gòu)需要解決的問題 47
3.2.1 規(guī)整化概述 47
3.2.2 適配性和兼容性概述 49
3.2.3 模塊化概述 50
3.2.4 單頁應(yīng)用概述 51
3.3 規(guī)整化 53
3.3.1 編碼規(guī)范 53
3.3.2 JavaScript庫 59
3.3.3 組件工具箱 61
3.3.4 框架 64
3.4 適配性和兼容性 71
3.4.1 響應(yīng)式布局 71
3.4.2 整體布局 73
3.4.3 模塊布局 77
3.4.4 適配性測(cè)試 78
3.4.5 瀏覽器兼容 79
3.5 模塊化 81
3.5.1 模塊化的方法 82
3.5.2 現(xiàn)今前端模塊化的困局 86
3.5.3 自研框架Trick 87
3.6 單頁應(yīng)用 88
3.6.1 單頁應(yīng)用用到的方法 88
3.6.2 單頁應(yīng)用的發(fā)展趨勢(shì) 90
3.7 小結(jié) 91
第4章 后端架構(gòu) 92
4.1 后端的工作原理 92
4.1.1 后端開發(fā)語言及框架 92
4.1.2 搭建Web應(yīng)用服務(wù)器 94
4.1.3 構(gòu)造一個(gè)簡單的后端應(yīng)用程序 105
4.1.4 后端應(yīng)用程序的工作原理 114
4.2 后端架構(gòu)需要解決的問題 120
4.2.1 規(guī)整化概述 121
4.2.2 數(shù)據(jù)庫概述 122
4.2.3 非關(guān)系型數(shù)據(jù)庫概述 122
4.2.4 整合其他應(yīng)用程序 123
4.3 規(guī)整化 124
4.3.1 接口設(shè)計(jì) 124
4.3.2 編碼規(guī)范 132
4.3.3 集中配置 140
4.3.4 Cookie和Session 145
4.3.5 應(yīng)用拆分和協(xié)調(diào) 148
4.3.6 日志 149
4.3.7 自研框架Once 159
4.4 數(shù)據(jù)庫 161
4.4.1 數(shù)據(jù)庫對(duì)比 161
4.4.2 數(shù)據(jù)庫的工作原理 162
4.4.3 數(shù)據(jù)庫設(shè)計(jì) 164
4.4.4 數(shù)據(jù)庫操作框架 168
4.4.5 數(shù)據(jù)庫事務(wù) 175
4.4.6 分布式事務(wù) 178
4.5 非關(guān)系型數(shù)據(jù)庫 188
4.5.1 鍵值存儲(chǔ)非關(guān)系型數(shù)據(jù)庫 188
4.5.2 列存儲(chǔ)非關(guān)系型數(shù)據(jù)庫 190
4.5.3 文檔型非關(guān)系型數(shù)據(jù)庫 191
4.5.4 圖形非關(guān)系型數(shù)據(jù)庫 191
4.6 小結(jié) 192
第5章 云計(jì)算服務(wù)架構(gòu) 193
5.1 云計(jì)算服務(wù)的工作原理 193
5.1.1 云計(jì)算服務(wù)的應(yīng)用場(chǎng)景 193
5.1.2 云計(jì)算開發(fā)語言及其框架 194
5.1.3 云計(jì)算服務(wù)軟件的工作原理 195
5.2 云計(jì)算服務(wù)架構(gòu)需要解決的問題 200
5.2.1 云計(jì)算服務(wù)軟件基礎(chǔ)框架構(gòu)建概述 201
5.2.2 任務(wù)池與指令池的搭建和使用概述 202
5.2.3 進(jìn)度數(shù)據(jù)池與狀態(tài)數(shù)據(jù)池的搭建和使用概述 202
5.2.4 監(jiān)控軟件的構(gòu)造概述 202
5.3 云計(jì)算服務(wù)軟件基礎(chǔ)框架的構(gòu)建 203
5.3.1 進(jìn)程與線程 203
5.3.2 線程同步 205
5.3.3 線程模型 211
5.3.4 軟件結(jié)構(gòu) 218
5.4 任務(wù)池與指令池的搭建和使用 219
5.4.1 消息隊(duì)列 219
5.4.2 RabbitMQ消息隊(duì)列 221
5.4.3 任務(wù)池的搭建與使用 232
5.4.4 指令池的搭建與使用 234
5.5 進(jìn)度數(shù)據(jù)池與狀態(tài)數(shù)據(jù)池的搭建和使用 237
5.5.1 公共數(shù)據(jù)空間 237
5.5.2 Redis數(shù)據(jù)庫 239
5.5.3 進(jìn)度數(shù)據(jù)池的搭建與使用 247
5.5.4 狀態(tài)數(shù)據(jù)池的搭建與使用 248
5.6 監(jiān)控軟件的構(gòu)造 249
5.6.1 軟件結(jié)構(gòu) 249
5.6.2 Supervisor監(jiān)控軟件 253
5.7 小結(jié) 254
第6章 整體架構(gòu) 255
6.1 網(wǎng)站系統(tǒng)的基本結(jié)構(gòu) 255
6.1.1 前端部分的基本結(jié)構(gòu) 255
6.1.2 后端部分的基本結(jié)構(gòu) 257
6.1.3 云計(jì)算服務(wù)部分的基礎(chǔ)結(jié)構(gòu) 258
6.1.4 網(wǎng)站系統(tǒng)的基本結(jié)構(gòu) 259
6.2 整體架構(gòu)需要解決的問題 260
6.2.1 性能概述 260
6.2.2 可用性概述 260
6.2.3 伸縮性概述 261
6.2.4 擴(kuò)展性概述 261
6.2.5 安全性概述 261
6.3 性能 262
6.3.1 性能指標(biāo) 262
6.3.2 壓力測(cè)試 266
6.3.3 性能調(diào)優(yōu)的基本思路 271
6.3.4 服務(wù)器性能調(diào)優(yōu) 274
6.3.5 Nginx調(diào)優(yōu) 280
6.3.6 CDN加速 283
6.3.7 瀏覽器訪問頁面的過程優(yōu)化 284
6.3.8 Tomcat調(diào)優(yōu) 285
6.3.9 緩存與靜態(tài)文件 287
6.3.10 數(shù)據(jù)庫性能優(yōu)化 288
6.3.11 數(shù)據(jù)庫集群 289
6.3.12 分布式文件系統(tǒng) 293
6.3.13 集群部署與分布式部署 294
6.4 可用性 297
6.4.1 服務(wù)器的定期維護(hù)與監(jiān)控 297
6.4.2 服務(wù)器熱備份 298
6.4.3 日志機(jī)制 299
6.4.4 環(huán)境分離與灰度發(fā)布 299
6.5 伸縮性 300
6.5.1 伸縮指標(biāo)與伸縮策略 300
6.5.2 動(dòng)態(tài)彈性伸縮的局限 300
6.6 安全性 301
6.6.1 安全堡壘機(jī) 301
6.6.2 接口鑒權(quán) 302
6.6.3 SQL盲注 302
6.6.4 跨域 303
6.7 小結(jié) 305
第3篇 大型網(wǎng)站架構(gòu)實(shí)戰(zhàn)案例
第7章 單點(diǎn)登錄系統(tǒng)架構(gòu)設(shè)計(jì) 308
7.1 單點(diǎn)登錄系統(tǒng)的關(guān)鍵問題 308
7.1.1 為什么需要單點(diǎn)登錄系統(tǒng) 308
7.1.2 單點(diǎn)登錄系統(tǒng)需要解決的關(guān)鍵問題 309
7.2 單點(diǎn)登錄系統(tǒng)的詳細(xì)架構(gòu)設(shè)計(jì) 310
7.2.1 統(tǒng)一的登錄與注冊(cè)入口 310
7.2.2 與其他子系統(tǒng)共享用戶登錄信息 311
7.2.3 集中管理用戶的基本信息 312
7.3 小結(jié) 313
第8章 媒體庫管理系統(tǒng)架構(gòu)設(shè)計(jì) 314
8.1 媒體庫管理系統(tǒng)的關(guān)鍵問題 314
8.1.1 為什么需要媒體庫管理系統(tǒng) 314
8.1.2 媒體庫管理系統(tǒng)需要解決的關(guān)鍵問題 315
8.2 媒體庫管理系統(tǒng)的詳細(xì)架構(gòu)設(shè)計(jì) 315
8.2.1 統(tǒng)一的媒體文件上傳入口和資源選擇機(jī)制 316
8.2.2 媒體文件的刪除機(jī)制 317
8.2.3 提供自動(dòng)處理媒體文件等功能 318
8.3 小結(jié) 319
第9章 直播系統(tǒng)架構(gòu)設(shè)計(jì) 320
9.1 直播系統(tǒng)的關(guān)鍵問題 320
9.1.1 為什么需要直播系統(tǒng) 320
9.1.2 直播系統(tǒng)需要解決的關(guān)鍵問題 321
9.2 直播系統(tǒng)的詳細(xì)架構(gòu)設(shè)計(jì) 321
9.2.1 明確直播場(chǎng)景 321
9.2.2 基礎(chǔ)系統(tǒng)架構(gòu) 322
9.2.3 直播流接收 323
9.2.4 直播流處理 323
9.2.5 直播觀看 325
9.3 小結(jié) 326
第4篇 未來架構(gòu)的設(shè)想
第10章 未來架構(gòu) 328
10.1 理解架構(gòu) 328
10.1.1 架構(gòu)是什么 328
10.1.2 頂層架構(gòu) 332
10.1.3 架構(gòu)與技術(shù) 333
10.2 軟件行業(yè)的發(fā)展 334
10.2.1 軟件行業(yè)的現(xiàn)狀 334
10.2.2 軟件行業(yè)的發(fā)展方向 334
10.2.3 不斷發(fā)展的結(jié)局 334
10.3 未來架構(gòu)的方向 335
10.3.1 人力效率增加 335
10.3.2 人力資本轉(zhuǎn)化成物力資本 336
10.3.3 物力資本匯聚成生態(tài) 337
10.4 小結(jié) 338