鏈接：https://pan.baidu.com/s/1aGJpSovpy6O-K3jIrlqIBQ?pwd=f1ut?

提取碼：f1ut

本書以Hadoop HDFS為載體，介紹了構(gòu)建一款分布式系統(tǒng)（尤其是存儲方向）所需的核心技術(shù)，所有內(nèi)容均基于當(dāng)前較新的3.3.x/3.4.x版本，分別從理論和實(shí)踐兩個維度逐一闡述。本書主要包括兩篇：核心原理篇介紹了HDFS的誕生歷史、元數(shù)據(jù)及Block管理、節(jié)點(diǎn)間通信機(jī)制、讀寫數(shù)據(jù)流程和高可用實(shí)現(xiàn)原理等；拓展與實(shí)踐篇從實(shí)際出發(fā)，充分考慮了用戶在應(yīng)用過程中會遇到的痛點(diǎn)，詳細(xì)介紹了集群拓展方法、數(shù)據(jù)分層存儲、集群維護(hù)與多租戶實(shí)施等實(shí)踐經(jīng)驗(yàn)。
本書各章節(jié)都配有必要的流程圖和原理分析圖，便于讀者閱讀理解，并精選了非常有用的實(shí)際案例及拓展知識。閱讀本書后，相信會給讀者帶來“1+1>2”的效果。
本書非常適合大數(shù)據(jù)從業(yè)者、云計(jì)算領(lǐng)域研發(fā)及運(yùn)維人員、高校研究生和熱衷于分布式的技術(shù)極客閱讀學(xué)習(xí)。

作者簡介

祝江華，大數(shù)據(jù)技術(shù)專家。多年來一直供職于頭部互聯(lián)網(wǎng)公司，積累了較為豐富的大數(shù)據(jù)行業(yè)一線研發(fā)和集群維護(hù)經(jīng)驗(yàn)；熱愛開源，長期活躍在Apache開源社區(qū)，對包括Hadoop生態(tài)在內(nèi)的多款組件有過深入研究；分布式技術(shù)極客，擅長分布式存儲方向，同時對大數(shù)據(jù)計(jì)算、數(shù)據(jù)湖等也有豐富實(shí)戰(zhàn)經(jīng)驗(yàn)。

目錄

第1篇 核心原理篇
第1章 HDFS歷史延展/
1.1 分布式與文件系統(tǒng)/
1.1.1 分布式文件系統(tǒng)部署架構(gòu)/
1.1.2 系統(tǒng)性能的影響因素/
1.2 HDFS設(shè)計(jì)及實(shí)現(xiàn)思想/
1.2.1 HDFS發(fā)展歷史/
1.2.2 HDFS特性/
1.2.3 HDFS服務(wù)視圖/
1.2.4 HDFS架構(gòu)/
1.3 小結(jié)/
第2章 元數(shù)據(jù)架構(gòu)/
2.1 內(nèi)存Tree設(shè)計(jì)/
2.1.1 Namenode介紹/
2.1.2 Namenode啟動/
2.1.3 meta視圖/
2.1.4 FsDirectory和INodeMap/
2.1.5 文件維護(hù)/
2.2 FsImage和Edit Log/
2.2.1 FsImage分析/
2.2.2 Edit Log分析/
2.3 meta更新/
2.3.1 內(nèi)存結(jié)構(gòu)Update/
2.3.2 拓展：鎖優(yōu)化/
2.4 小結(jié)/
第3章 數(shù)據(jù)管理/
3.1 Namespace/
3.1.1 Namespace概況/
3.1.2 Namenode與Namespace/
3.1.3 DataNode與Namespace/
3.2 Slave節(jié)點(diǎn)/
3.2.1 Heartbeat機(jī)制/
3.2.2 FsDataset和DataStorage/
3.2.3 DataNode檢查器/
3.2.4 存儲類型/
3.2.5 拓展：NVDIMM/
3.3 Topology(Rack) Awareness/
3.3.1 Topology Awareness在分布式存儲中的意義/
3.3.2 Topology Awareness在HDFS中實(shí)現(xiàn)/
3.3.3 Topology改進(jìn)/
3.4 小結(jié)/
第4章 Block與副本/
4.1 理解Block/
4.1.1 Block構(gòu)成解析/
4.1.2 副本存儲解析/
4.2 Block狀態(tài)管理/
4.2.1 UnderConstruction/
4.2.2 Committed/
4.2.3 Complete/
4.2.4 UnderRecovery/
4.2.5 Block狀態(tài)小結(jié)/
4.3 副本狀態(tài)管理/
4.3.1 RBW/
4.3.2 finalized/
4.3.3 RWR/
4.3.4 RUR/
4.3.5 Temporary/
4.3.6 副本狀態(tài)小結(jié)/
4.4 Block管理/
4.4.1 無效Block/
4.4.2 損壞Block/
4.4.3 缺失與冗余Block/
4.4.4 Block Recovery/
4.5 副本策略/
4.5.1 位置策略/
4.5.2 選盤(Volume)策略/
4.5.3 選盤策略改進(jìn)/
4.6 小結(jié)/
第5章 通信與訪問/
5.1 HDFS RPC/
5.1.1 Protocol Buffers介紹/
5.1.2 RPC架構(gòu)/
5.1.3 非冪等訪問/
5.2 文件寫入/
5.2.1 數(shù)據(jù)包(packet)與Pipeline/
5.2.2 數(shù)據(jù)寫入/
5.2.3 Lease管理與pipeline Recovery/
5.3 數(shù)據(jù)訪問/
5.3.1 文件讀剖析/
5.3.2 short-circuit/
5.3.3 讀寫策略改進(jìn)/
5.4 小結(jié)/
第6章 HA和QJM/
6.1 HA發(fā)展路徑/
6.2 Quorum Journal Manager/
6.2.1 分布式一致性原理/
6.2.2 Edit共享存儲系統(tǒng)/
6.2.3 QJM架構(gòu)設(shè)計(jì)/
6.2.4 Edit Recovery/
6.3 HA原理/
6.3.1 ZKFC解析/
6.3.2 HA隔離機(jī)制/
6.3.3 Multi-Standby特性/
6.3.4 HA優(yōu)化及改進(jìn)/
6.4 小結(jié)/
第7章 緩存/
7.1 分布式系統(tǒng)緩存設(shè)計(jì)/
7.1.1 本地緩存/
7.1.2 分布式緩存/
7.2 集中式緩存管理/
7.2.1 原理介紹/
7.2.2 緩存調(diào)度/
7.2.3 DataNode緩存原理/
7.2.4 Cache&Uncache場景/
7.3 緩存實(shí)踐場景及改進(jìn)/
7.3.1 實(shí)踐場景介紹/
7.3.2 集中式緩存V2/
7.4 小結(jié)/
第2篇 拓展與實(shí)踐篇
第8章 集群拓展/
8.1 水平拓展/
8.1.1 水平拓展策略及實(shí)踐/
8.1.2 Router-Based Federation/
8.2 垂直伸縮/
8.2.1 垂直伸縮策略及實(shí)踐/
8.2.2 HDFS Quotas/
8.3 多Namespace業(yè)務(wù)規(guī)劃/
8.4 小結(jié)/
第9章 數(shù)據(jù)分層/
9.1 存儲分層的意義/
9.2 HDFS存儲分層/
9.2.1 冷熱集群分層管理/
9.2.2 異構(gòu)分層存儲/
9.2.3 動態(tài)感知數(shù)據(jù)類型/
9.3 糾刪碼（Erasure Coding）/
9.3.1 EC使用介紹/
9.3.2 常見EC算法介紹/
9.3.3 EC讀寫解析/
9.4 數(shù)據(jù)遷移/
9.4.1 DistCp遷移/
9.4.2 FastCopy遷移/
9.5 小結(jié)/
第10章 監(jiān)控、多租戶和數(shù)據(jù)湖/
10.1 大數(shù)據(jù)監(jiān)控/
10.1.1 基礎(chǔ)設(shè)施監(jiān)控采集/
10.1.2 故障自愈/
10.2 多租戶與認(rèn)證/
10.2.1 多租戶存儲規(guī)劃/
10.2.2 基于Kerberos的認(rèn)證/
10.2.3 基于Delegation Token的認(rèn)證/
10.3 HDFS與Data Lakes/
10.4 小結(jié)/

查看全部↓

前言/序言

在數(shù)據(jù)規(guī)模爆炸式增長的今天，復(fù)雜的業(yè)務(wù)場景對數(shù)據(jù)的使用提出了更高的要求，數(shù)據(jù)需具備良好的容錯能力，集群服務(wù)應(yīng)擁有健壯的穩(wěn)定性。 Hadoop HDFS自誕生至今，一直都是大數(shù)據(jù)領(lǐng)域事實(shí)上的分布式存儲基座，已經(jīng)得到眾多企業(yè)支持，包括Cloudera、Uber、騰訊、美團(tuán)、京東等。據(jù)了解，不少生產(chǎn)環(huán)境集群節(jié)點(diǎn)達(dá)到萬臺以上，可以輕松應(yīng)對多場景業(yè)務(wù)類型的訪問。在開源社區(qū)，HDFS始終保持較高關(guān)注度，版本迭代也很快。至本書撰寫前夕，Hadoop版本已經(jīng)來到3.4。榮幸之至，作者也貢獻(xiàn)了部分feature。
由于工作的關(guān)系，作者日常接觸到不少和集群有關(guān)的問題，慢慢地也有了一些經(jīng)驗(yàn)積累。這里分享幾個編寫本書的初衷：
雖然HDFS已經(jīng)被廣泛應(yīng)用于大數(shù)據(jù)領(lǐng)域，且直接或間接從事和HDFS有關(guān)的人員很多，如研發(fā)工程師、運(yùn)維工程師，但大多數(shù)人對HDFS這款分布式系統(tǒng)的認(rèn)識只停在“熟悉”的階段，還遠(yuǎn)未達(dá)到“理解”的程度，因此迫切需要一本既有廣度、又兼顧深度的指導(dǎo)書籍。
作者此前專職從事過較長時間和HDFS有關(guān)的研發(fā)與運(yùn)維工作，也正是在這段時期提升了自己分布式系統(tǒng)架構(gòu)設(shè)計(jì)的能力，同時還掌握了較為豐富的一線集群管理經(jīng)驗(yàn)。希望能夠?qū)⑦@些總結(jié)和個人的理解分享給讀者。
盡管市面上存在一些和Hadoop相關(guān)的圖書，但調(diào)研后發(fā)現(xiàn)大多數(shù)書中內(nèi)容較淺，缺乏廣度和系統(tǒng)性。希望本書可以彌補(bǔ)這些遺憾。