Hadoop 2.X HDFS源碼剖析

第1章 HDFS 1 1.1 HDFS概述 1 1.1.1 HDFS體系結(jié)構(gòu) 1 1.1.2 HDFS基本概念 2 1.2 HDFS通信協(xié)議 4 1.2.1 Hadoop RPC接口 4 1.2.2 流式接口 20 1.3 HDFS主要流程 22 1.3.1 HDFS客戶端讀流程 22 1.3.2 HDFS客戶端寫流程 24 1.3.3 HDFS客戶端追加寫流程 25 1.3.4 Datanode啟動、心跳以及執(zhí)行名字節(jié)點(diǎn)指令流程 26 1.3.5 HA切換流程 27 第2章 Hadoop RPC 29 2.1 概述 29 2.1.1 RPC框架概述 29 2.1.2 Hadoop RPC框架概述 30 2.2 Hadoop RPC的使用 36 2.2.1 Hadoop RPC使用概述 36 2.2.2 定義RPC協(xié)議 40 2.2.3 客戶端獲取Proxy對象 45 2.2.4 服務(wù)器獲取Server對象 54 2.3 Hadoop RPC實(shí)現(xiàn) 63 2.3.1 RPC類實(shí)現(xiàn) 63 2.3.2 Client類實(shí)現(xiàn) 64 2.3.3 Server類實(shí)現(xiàn) 76 第3章 Namenode（名字節(jié)點(diǎn)） 88 3.1 文件系統(tǒng)目錄樹 88 3.1.1 INode相關(guān)類 89 3.1.2 Feature相關(guān)類 102 3.1.3 FSEditLog類 117 3.1.4 FSImage類 138 3.1.5 FSDirectory類 158 3.2 數(shù)據(jù)塊管理 162 3.2.1 Block、Replica、BlocksMap 162 3.2.2 數(shù)據(jù)塊副本狀態(tài) 167 3.2.3 BlockManager類（done） 177 3.3 數(shù)據(jù)節(jié)點(diǎn)管理 211 3.3.1 DatanodeDescriptor 212 3.3.2 DatanodeStorageInfo 214 3.3.3 DatanodeManager 217 3.4 租約管理 233 3.4.1 LeaseManager.Lease 233 3.4.2 LeaseManager 234 3.5 緩存管理 246 3.5.1 緩存概念 247 3.5.2 緩存管理命令 247 3.5.3 HDFS集中式緩存架構(gòu) 247 3.5.4 CacheManager類實(shí)現(xiàn) 248 3.5.5 CacheReplicationMonitor 250 3.6 ClientProtocol實(shí)現(xiàn) 251 3.6.1 創(chuàng)建文件 251 3.6.2 追加寫文件 254 3.6.3 創(chuàng)建新的數(shù)據(jù)塊 257 3.6.4 放棄數(shù)據(jù)塊 265 3.6.5 關(guān)閉文件 266 3.7 Namenode的啟動和停止 268 3.7.1 安全模式 268 3.7.2 HDFS High Availability 276 3.7.3 名字節(jié)點(diǎn)的啟動 301 3.7.4 名字節(jié)點(diǎn)的停止 306 第4章 Datanode（數(shù)據(jù)節(jié)點(diǎn)） 307 4.1 Datanode邏輯結(jié)構(gòu) 307 4.1.1 HDFS 1.X架構(gòu) 307 4.1.2 HDFS Federation 308 4.1.3 Datanode邏輯結(jié)構(gòu) 310 4.2 Datanode存儲 312 4.2.1 Datanode升級機(jī)制 312 4.2.2 Datanode磁盤存儲結(jié)構(gòu) 315 4.2.3 DataStorage實(shí)現(xiàn) 317 4.3 文件系統(tǒng)數(shù)據(jù)集 334 4.3.1 Datanode上數(shù)據(jù)塊副本的狀態(tài) 335 4.3.2 BlockPoolSlice實(shí)現(xiàn) 335 4.3.3 FsVolumeImpl實(shí)現(xiàn) 342 4.3.4 FsVolumeList實(shí)現(xiàn) 345 4.3.5 FsDatasetImpl實(shí)現(xiàn) 348 4.4 BlockPoolManager 375 4.4.1 BPServiceActor實(shí)現(xiàn) 376 4.4.2 BPOfferService實(shí)現(xiàn) 389 4.4.3 BlockPoolManager實(shí)現(xiàn) 396 4.5 流式接口 398 4.5.1 DataTransferProtocol定義 398 4.5.2 Sender和Receiver 399 4.5.3 DataXceiverServer 403 4.5.4 DataXceiver 406 4.5.5 讀數(shù)據(jù) 408 4.5.6 寫數(shù)據(jù)（done） 423 4.5.7 數(shù)據(jù)塊替換、數(shù)據(jù)塊拷貝和讀數(shù)據(jù)塊校驗(yàn) 437 4.5.8 短路讀操作 437 4.6 數(shù)據(jù)塊掃描器 437 4.6.1 DataBlockScanner實(shí)現(xiàn) 438 4.6.2 BlockPoolSliceScanner實(shí)現(xiàn) 439 4.7 DirectoryScanner 442 4.8 DataNode類的實(shí)現(xiàn) 443 4.8.1 DataNode的啟動 444 4.8.2 DataNode的關(guān)閉 446 第5章 HDFS客戶端 447 5.1 DFSClient實(shí)現(xiàn) 447 5.1.1 構(gòu)造方法 448 5.1.2 關(guān)閉方法 449 5.1.3 文件系統(tǒng)管理與配置方法 450 5.1.4 HDFS文件與目錄操作方法 451 5.1.5 HDFS文件讀寫方法 452 5.2 文件讀操作與輸入流 452 5.2.1 打開文件 452 5.2.2 讀操作——DFSInputStream實(shí)現(xiàn) 461 5.3 文件短路讀操作 481 5.3.1 短路讀共享內(nèi)存 482 5.3.2 DataTransferProtocol 484 5.3.3 DFSClient短路讀操作流程 488 5.3.4 Datanode短路讀操作流程 509 5.4 文件寫操作與輸出流 512 5.4.1 創(chuàng)建文件 512 5.4.2 寫操作——DFSOutputStream實(shí)現(xiàn) 516 5.4.3 追加寫操作 543 5.4.4 租約相關(guān) 546 5.4.5 關(guān)閉輸出流 548 5.5 HDFS常用工具 549 5.5.1 FsShell實(shí)現(xiàn) 550 5.5.2 DFSAdmin實(shí)現(xiàn) 552