分布式對象存儲(chǔ)：原理、架構(gòu)及Go語言實(shí)現(xiàn)

第　1章 對象存儲(chǔ)簡介　1
1.1　和傳統(tǒng)網(wǎng)絡(luò)存儲(chǔ)的區(qū)別　1
1.1.1　數(shù)據(jù)的管理方式　2
1.1.2　訪問數(shù)據(jù)的方式　2
1.1.3　對象存儲(chǔ)的優(yōu)勢　3
1.2　單機(jī)版對象存儲(chǔ)的架構(gòu)　4
1.2.1　REST接口　4
1.2.2　對象PUT流程　5
1.2.3　對象GET流程　5
1.3　Go語言實(shí)現(xiàn)　6
1.4　功能測試　10
1.5　小結(jié)　12
第　2章 可擴(kuò)展的分布式系統(tǒng)　15
2.1　什么是分布式系統(tǒng)　15
2.2　接口和數(shù)據(jù)存儲(chǔ)分離的架構(gòu)　16
2.2.1　REST接口　17
2.2.2　RabbitMQ消息設(shè)計(jì)　18
2.2.3　對象PUT流程　19
2.2.4　對象GET流程　20
2.3　Go語言實(shí)現(xiàn)　21
2.3.1　數(shù)據(jù)服務(wù)　21
2.3.2　接口服務(wù)　23
2.3.3　rabbitmq包　34
2.4　功能測試　38
2.5　小結(jié)　41
第3章　元數(shù)據(jù)服務(wù)　45
3.1　什么是元數(shù)據(jù)　45
3.1.1　系統(tǒng)定義的元數(shù)據(jù)　45
3.1.2　用戶自定義的元數(shù)據(jù)　45
3.1.3　散列值和散列函數(shù)　46
3.2　加入元數(shù)據(jù)服務(wù)的架構(gòu)　47
3.2.1　REST接口　48
3.2.2　ES接口　51
3.2.3　對象PUT流程　54
3.2.4　對象GET流程　55
3.3　Go語言實(shí)現(xiàn)　55
3.3.1　接口服務(wù)　55
3.3.2　es包　63
3.4　功能測試　68
3.5　小結(jié)　74
第4章　數(shù)據(jù)校驗(yàn)和去重　77
4.1　何為去重　77
4.1.1　需要數(shù)據(jù)校驗(yàn)的原因　78
4.1.2　實(shí)現(xiàn)數(shù)據(jù)校驗(yàn)的方法　79
4.2　給數(shù)據(jù)服務(wù)加入緩存功能　79
4.2.1　數(shù)據(jù)服務(wù)的REST
接口　80
4.2.2　對象PUT流程　80
4.3　Go語言實(shí)現(xiàn)　82
4.3.1　接口服務(wù)　82
4.3.2　數(shù)據(jù)服務(wù)　87
4.4　功能測試　98
4.5　去重導(dǎo)致的性能問題　101
4.6　小結(jié)　102
第5章　數(shù)據(jù)冗余和即時(shí)修復(fù)　105
5.1　數(shù)據(jù)冗余的概念　105
5.1.1　數(shù)據(jù)丟失和數(shù)據(jù)
不可用　105
5.1.2　數(shù)據(jù)冗余　106
5.1.3　對象存儲(chǔ)系統(tǒng)的數(shù)據(jù)
冗余策略　107
5.2　數(shù)據(jù)冗余的實(shí)現(xiàn)　108
5.2.1　REST接口　108
5.2.2　對象PUT流程　108
5.2.3　對象GET流程　109
5.3　Go語言實(shí)現(xiàn)　111
5.3.1　接口服務(wù)　111
5.3.2　數(shù)據(jù)服務(wù)　126
5.4　功能測試　131
5.5　小結(jié)　135
第6章　斷點(diǎn)續(xù)傳　139
6.1　為什么對象存儲(chǔ)需要支持
斷點(diǎn)續(xù)傳　139
6.1.1　斷點(diǎn)下載流程　139
6.1.2　斷點(diǎn)上傳流程　140
6.1.3　接口服務(wù)的REST
接口　142
6.1.4　數(shù)據(jù)服務(wù)的REST
接口　144
6.2　Go語言實(shí)現(xiàn)　145
6.2.1　接口服務(wù)　145
6.2.2　數(shù)據(jù)服務(wù)　158
6.3　功能測試　160
6.4　小結(jié)　165
第7章　數(shù)據(jù)壓縮　169
7.1　用gzip實(shí)現(xiàn)對象存儲(chǔ)和下載時(shí)的數(shù)據(jù)壓縮　170
7.1.1　存儲(chǔ)時(shí)的數(shù)據(jù)壓縮　170
7.1.2　下載時(shí)的數(shù)據(jù)壓縮　171
7.1.3　接口服務(wù)的REST
接口　172
7.2　Go語言實(shí)現(xiàn)　172
7.2.1　接口服務(wù)　172
7.2.2　數(shù)據(jù)服務(wù)　174
7.3　功能測試　176
7.4　小結(jié)　180
第8章　數(shù)據(jù)維護(hù)　183
8.1　對象存儲(chǔ)系統(tǒng)的數(shù)據(jù)維護(hù)
工作　183
8.1.1　對象版本留存　183
8.1.2　數(shù)據(jù)定期檢查和
修復(fù)　184
8.1.3　數(shù)據(jù)服務(wù)的REST
接口　185
8.2　Go語言實(shí)現(xiàn)　185
8.2.1　刪除過期元數(shù)據(jù)　185
8.2.2　刪除沒有元數(shù)據(jù)引用的
對象數(shù)據(jù)　188
8.2.3　對象數(shù)據(jù)的檢查和
修復(fù)　191
8.3　功能測試　193
8.4　小結(jié)　202