Doris實時數(shù)倉實戰(zhàn)
鏈接：https://pan.baidu.com/s/14gf6cmA8V31jmuYnxfP1QA?pwd=jrbz?
提取碼：jrbz
1.作者是有10余年工作經(jīng)驗的架構(gòu)師和大數(shù)據(jù)專家，在MMP領(lǐng)域有豐富經(jīng)驗，是Apache Doris項目的貢獻(xiàn)者。
2.Apache Doris PMC主席、3位Apache Doris PMC成員、Select DB創(chuàng)始人以及騰訊、小米、京東的多位專家力薦。
3.從基本操作、架構(gòu)設(shè)計、進(jìn)階使用、運維管理、拓展應(yīng)用、項目實戰(zhàn)等多個維度全面講解Doris。
4.書中包含大量圖表，能幫助讀者輕松閱讀和理解；書中有大量和案例和2個綜合案例，能讓讀者快速獲得項目實戰(zhàn)能力。
內(nèi)容簡介
這是一本從基本操作、架構(gòu)設(shè)計、進(jìn)階使用、運維管理、拓展應(yīng)用、項目實戰(zhàn)等多個維度全面講解Doris的著作，是資深數(shù)據(jù)倉庫專家兼Doris開源項目貢獻(xiàn)者實戰(zhàn)經(jīng)驗的總結(jié)，得到了Apache Doris PMC主席、Select DB創(chuàng)始人兼CEO以及多位Apache Doris PMC的強烈推薦。通過本書，讀者不僅能零基礎(chǔ)快速掌握Doris的原理和使用，還能獲得搭建離線/在線實時數(shù)倉的項目實戰(zhàn)經(jīng)驗。
全書內(nèi)容從邏輯上分為四個部分：
基礎(chǔ)篇（第1-4章）：首先介紹了Doris的功能特點、架構(gòu)設(shè)計、應(yīng)用場景，然后講解了Doris的編譯、安裝、部署、建表等基本操作，以及Doris的數(shù)據(jù)對象和數(shù)據(jù)模型。
進(jìn)階篇（第5-7章）：從執(zhí)行原理、用法詳解、應(yīng)用舉例3個維度詳細(xì)講解了Doris的數(shù)據(jù)導(dǎo)入、數(shù)據(jù)查詢和查詢優(yōu)化，層層遞進(jìn)。
拓展篇（第8-10章）：結(jié)合目前流行的Flink框架和各種常用外部表講解了Doris的拓展應(yīng)用，還講解了Doris的集群管理。
實戰(zhàn)篇（第11-14章）：首先從具體應(yīng)用的角度介紹了離線數(shù)據(jù)倉庫和實時數(shù)據(jù)倉庫搭建的痛點和難點，然后用2個綜合項目講解了如何結(jié)合Doris實現(xiàn)離線數(shù)據(jù)倉庫和實時數(shù)據(jù)倉庫。
作者簡介
王春波
資深架構(gòu)師和大數(shù)據(jù)技術(shù)專家，曾任上海啟高信息科技有限公司大數(shù)據(jù)架構(gòu)師，現(xiàn)就職于一家互聯(lián)網(wǎng)公司，任高級數(shù)倉工程師，負(fù)責(zé)電商數(shù)倉項目。
具有10余年的數(shù)據(jù)倉庫開發(fā)經(jīng)驗，對主流大數(shù)據(jù)技術(shù)、產(chǎn)品與解決方案都有深入研究，尤其擅長用優(yōu)雅的SQL實現(xiàn)復(fù)雜的邏輯。
交付達(dá)人，常年奔波在各個項目交付現(xiàn)場，曾成功主導(dǎo)過中國郵政銀行、南海農(nóng)商銀行、順德農(nóng)商銀行、廣東省聯(lián)社、廣東南粵銀行等多家銀行和卡賓、安踏、特步等多家零售鞋服企業(yè)的數(shù)據(jù)倉庫項目。
公眾號“數(shù)據(jù)中臺研習(xí)社”運營者，Apache Doris和Greenplum貢獻(xiàn)者，《高效使用Greenplum：入門、進(jìn)階與數(shù)據(jù)中臺》作者。
精彩書評
本書理論與實踐相結(jié)合，不僅系統(tǒng)闡述了Doris的技術(shù)原理與應(yīng)用場景，還將企業(yè)數(shù)據(jù)倉庫構(gòu)建之道融入項目實踐，凝聚了作者豐富的實戰(zhàn)經(jīng)驗，能幫助讀者更好地理解和掌握Doris。
——張家峰 Apache Doris PMC
本書全面介紹了Doris的技術(shù)特性和功能用例，并從實戰(zhàn)的角度深入淺出地為讀者展開相關(guān)的技術(shù)細(xì)節(jié)，是一本含金量高、可操作性強的工具書。
——楊宏武 賽美特科技有限公司BIT事業(yè)部大數(shù)據(jù)總監(jiān)
這是社區(qū)和廣大Doris用戶期待已久的Doris專著。從基礎(chǔ)、進(jìn)階、拓展和實戰(zhàn)四個方面層層遞進(jìn)、深入淺出地介紹了 Doris 數(shù)據(jù)庫的各個方面，相信無論是新手還是資深用戶都能受益匪淺。
——李德 騰訊云 Doris 技術(shù)負(fù)責(zé)人/Apache Doris PMC
本書從操作實踐角度全面介紹了Doris的架構(gòu)設(shè)計、系統(tǒng)安裝、常用操作和應(yīng)用實戰(zhàn)，能夠幫讀者全面快速地了解Doris的使用方法、領(lǐng)略Doris系統(tǒng)運維的精髓。
——魏祚 小米集團(tuán)數(shù)據(jù)庫內(nèi)核研發(fā)工程師/Apache Doris PMC
近年來，Doris在各種場景和各大公司中被廣泛使用并迅猛發(fā)展。本書是一本體系化介紹Doris的書籍，可以指導(dǎo)讀者穩(wěn)定高效地使用Doris，并助力公司數(shù)智化轉(zhuǎn)型。
——李海波 京東大數(shù)據(jù)架構(gòu)師
本書既有理論，又有實踐；既關(guān)注整體結(jié)構(gòu)，又注重細(xì)節(jié)；從基礎(chǔ)到進(jìn)階，從拓展到實戰(zhàn)。特別適合Doris工程師入門學(xué)習(xí)和當(dāng)作工具參考書。
——賴志明 數(shù)據(jù)治理專家/《志明與數(shù)據(jù)》公眾號作者
目錄
Contents 目 錄
推薦序一
推薦序二
前 言
第一部分 基礎(chǔ)
第1章 Doris概述 3
1.1 Doris的前世今生 3
1.1.1 Doris應(yīng)需而生 3
1.1.2 Doris架構(gòu)重組 5
1.1.3 Doris引擎升級 6
1.1.4 Doris擁抱開源 7
1.2 Doris的特點 7
1.2.1 極簡架構(gòu) 7
1.2.2 使用簡單 9
1.2.3 功能豐富 11
1.2.4 開源開放 13
1.3 Doris核心設(shè)計 13
1.3.1 存儲引擎 13
1.3.2 查詢引擎 15
1.3.3 查詢優(yōu)化器 17
1.3.4 向量化執(zhí)行引擎 19
1.4 Doris應(yīng)用場景 20
1.5 Doris的競爭對手 23
1.5.1 Doris的“前浪”
— Greenplum 24
1.5.2 Doris的“表哥”
— Kylin 24
1.5.3 Doris的“知音”
— ClickHouse 25
1.5.4 Doris的“傷痕”
— StarRocks 25
第2章 Doris的安裝與部署 27
2.1 集群規(guī)劃和環(huán)境準(zhǔn)備 27
2.1.1 環(huán)境要求 27
2.1.2 硬件要求 28
2.1.3 節(jié)點規(guī)劃 28
2.1.4 通信端口 29
2.1.5 IP地址綁定 30
2.2 Doris源碼編譯 30
2.2.1 環(huán)境準(zhǔn)備 30
2.2.2 通過Git下載Doris源碼 31
2.2.3 拉取Docker編譯環(huán)境 32
2.2.4 啟動編譯環(huán)境 32
2.2.5 進(jìn)入Docker進(jìn)行編譯 33
2.2.6 編譯Broker 33
2.3 安裝和部署 34
2.3.1 安裝前的準(zhǔn)備 35
2.3.2 安裝FE 36
2.3.3 安裝BE 39
2.3.4 安裝Broker 41
2.4 數(shù)據(jù)庫訪問和常用命令 41
2.4.1 訪問Doris數(shù)據(jù)庫 41
2.4.2 Doris常用命令 44
2.4.3 Doris用戶管理 45
第3章 Doris數(shù)據(jù)對象 47
3.1 數(shù)據(jù)類型 47
3.1.1 數(shù)值類型 48
3.1.2 日期時間類型 48
3.1.3 字符串類型 48
3.1.4 其他擴展類型 48
3.2 OLAP表定義 51
3.2.1 列定義 51
3.2.2 鍵描述 51
3.2.3 分布描述 52
3.2.4 鍵值對 53
3.3 分區(qū)表定義 55
3.3.1 Range分區(qū) 56
3.3.2 List分區(qū) 57
3.4 外部表定義 58
3.4.1 MySQL表引擎 58
3.4.2 Broker表引擎 59
3.4.3 Hive表引擎 61
3.4.4 Iceberg表引擎 61
3.5 表的基本操作 62
3.5.1 修改表 62
3.5.2 刪除表 65
3.5.3 清空表 65
3.6 視圖 66
3.6.1 創(chuàng)建視圖 66
3.6.2 修改視圖 67
3.6.3 刪除視圖 67
3.7 函數(shù) 67
3.7.1 日期函數(shù) 67
3.7.2 正則匹配函數(shù) 68
3.7.3 BITMAP函數(shù) 68
3.7.4 JSON函數(shù) 69
3.7.5 表函數(shù) 70
3.7.6 窗口函數(shù) 71
第4章 Doris數(shù)據(jù)模型詳解 73
4.1 數(shù)據(jù)模型及原理 73
4.1.1 Duplicate模型 73
4.1.2 Aggregate模型 74
4.1.3 Unique模型 75
4.2 數(shù)據(jù)模型實戰(zhàn) 76
4.3 數(shù)據(jù)模型應(yīng)用場景 79
4.4 表數(shù)據(jù)存儲 80
4.5 分區(qū)與分桶 84
4.6 DDL語句執(zhí)行過程 85
第二部分 進(jìn)階
第5章 數(shù)據(jù)導(dǎo)入實戰(zhàn) 91
5.1 INSERT INTO 91
5.1.1 用法詳解 92
5.1.2 應(yīng)用舉例 93
5.2 Stream Load 94
5.2.1 執(zhí)行原理 94
5.2.2 用法詳解 96
5.2.3 應(yīng)用舉例 100
5.3 Broker Load 102
5.3.1 執(zhí)行原理 102
5.3.2 用法詳解 103
5.3.3 應(yīng)用舉例 105
5.4 Routine Load 108
5.4.1 執(zhí)行原理 109
5.4.2 用法詳解 110
5.4.3 應(yīng)用舉例 112
5.5 Binlog Load 115
5.5.1 基本原理 115
5.5.2 用法詳解 116
5.5.3 應(yīng)用舉例 118
5.6 DataX 122
5.6.1 DataX執(zhí)行原理 122
5.6.2 DataX DorisWriter插件 124
5.6.3 應(yīng)用舉例 126
5.7 Spark Load 129
5.7.1 執(zhí)行原理 129
5.7.2 用法詳解 130
5.7.3 應(yīng)用舉例 131
第6章 Doris數(shù)據(jù)查詢 134
6.1 簡單查詢 136
6.1.1 簡單的SQL語法 136
6.1.2 WITH特性 140
6.1.3 IN語句和EXISTS語句 143
6.2 多表關(guān)聯(lián) 145
6.2.1 JOIN操作類型 145
6.2.2 JOIN算法實現(xiàn) 152
6.2.3 分布式JOIN優(yōu)化策略 152
6.3 開窗查詢 155
6.4 BITMAP精準(zhǔn)去重 160
6.5 HLL近似去重 164
6.6 GROUPING SETS多維組合 165
第7章 Doris查詢優(yōu)化 168
7.1 執(zhí)行計劃 168
7.2 查詢優(yōu)化器 173
7.3 索引 176
7.4 物化視圖 179
7.5 ROLLUP 183
7.6 向量化查詢引擎 185
7.7 查詢優(yōu)化總結(jié) 186
第三部分 拓展
第8章 Doris流數(shù)據(jù) 193
8.1 Flink簡介 193
8.2 Flink基本概念 196
8.3 Flink SQL和Table API 200
8.4 Flink CDC技術(shù) 202
8.5 Flink Doris Connector 206
8.5.1 插件編譯與安裝 206
8.5.2 環(huán)境配置 206
8.5.3 單表增、刪、改 209
8.5.4 多表關(guān)聯(lián) 212
8.5.5 匯總數(shù)據(jù) 213
第9章 Doris外部表 215
9.1 ODBC外部表 215
9.2 Hive外部表 219
9.3 ES外部表 222
9.4 Iceberg外部表 225
第10章 Doris集群管理 227
10.1 集群管理 227
10.1.1 數(shù)據(jù)庫管理 227
10.1.2 用戶管理 228
10.1.3 權(quán)限管理 228
10.2 集群資源管理 229
10.2.1 節(jié)點資源劃分 229
10.2.2 節(jié)點資源限制 231
10.3 集群備份和恢復(fù) 232
10.3.1 數(shù)據(jù)導(dǎo)出 232
10.3.2 數(shù)據(jù)備份 234
10.3.3 數(shù)據(jù)恢復(fù) 236
10.3.4 模式備份 237
10.4 集群高可用 238
10.4.1 Doris一鍵啟動 238
10.4.2 Doris自啟動 239
10.4.3 Doris升級版本 242
10.5 集群擴縮容 243
10.5.1 FE擴容 243
10.5.2 FE縮容 244
10.5.3 BE擴容 244
10.5.4 BE縮容 244
10.5.5 Broker擴縮容 245
10.6 刪除恢復(fù) 245
第四部分 實戰(zhàn)
第11章 數(shù)據(jù)倉庫概述 249
11.1 數(shù)據(jù)倉庫的起源 249
11.2 數(shù)據(jù)倉庫的流行 250
11.3 數(shù)據(jù)倉庫的分布式之路 251
11.4 MPP架構(gòu)的崛起 253
11.5 數(shù)據(jù)倉庫的未來 255
11.6 概念對比 256
11.6.1 數(shù)據(jù)倉庫與數(shù)據(jù)庫 256
11.6.2 數(shù)據(jù)倉庫與大數(shù)據(jù)
技術(shù) 257
11.6.3 數(shù)據(jù)倉庫與數(shù)據(jù)中臺 257
11.6.4 數(shù)據(jù)倉庫與數(shù)據(jù)湖 258
第12章 數(shù)據(jù)倉庫設(shè)計 259
12.1 數(shù)據(jù)倉庫架構(gòu) 259
12.1.1 Inmon的企業(yè)信息
化工廠 260
12.1.2 Kimball的維度建模
數(shù)據(jù)倉庫 261
12.1.3 兩種建模方式對比 261
12.2 數(shù)據(jù)倉庫分層 262
12.2.1 操作數(shù)據(jù)存儲層 263
12.2.2 數(shù)據(jù)倉庫層 263
12.2.3 應(yīng)用數(shù)據(jù)層 265
12.3 實時數(shù)據(jù)倉庫的兩條
線路 266
12.4 實時數(shù)據(jù)倉庫的新
選擇 269
第13章 基于Doris的OLAP查詢和實時
數(shù)據(jù)倉庫實戰(zhàn) 272
13.1 項目背景 272
13.2 項目需求 273
13.3 技術(shù)方案實現(xiàn) 273
13.3.1 基于DataX的接口
數(shù)據(jù)抽取 274
13.3.2 基于Hive構(gòu)建數(shù)據(jù)
倉庫 275
13.3.3 基于Doris構(gòu)建數(shù)據(jù)
集市 277
13.3.4 基于Flink SQL的實時
數(shù)據(jù)流 278
13.3.5 代碼發(fā)布和作業(yè)監(jiān)控 280
13.4 業(yè)務(wù)方案實現(xiàn) 280
13.4.1 零售流水及本期、
同期計算 280
13.4.2 有效店、同店及
渠道分析 281
13.4.3 庫存及齊碼率分析 283
13.4.4 庫銷比及售罄率分析 283
13.5 項目總結(jié) 285
第14章 基于Doris的流批一體數(shù)據(jù)倉庫
實戰(zhàn) 287
14.1 項目背景 287
14.2 項目需求 288
14.3 技術(shù)方案實現(xiàn) 289
14.3.1 批量數(shù)據(jù)同步 290
14.3.2 實時數(shù)據(jù)入庫 292
14.3.3 數(shù)據(jù)倉庫分層 294
14.3.4 全增量一體化數(shù)據(jù)
加工 295
14.3.5 流批融合的實時大屏 298
14.3.6 調(diào)度任務(wù) 299
14.4 開發(fā)規(guī)范 300
14.4.1 數(shù)據(jù)對象命名規(guī)范 300
14.4.2 建表規(guī)范 301
14.4.3 字段命名規(guī)范 302
14.4.4 調(diào)度任務(wù)命名規(guī)范 303
14.5 項目交付成果 303
14.5.1 PC端報表 303
14.5.2 移動端報表 305
14.5.3 自助分析報表 305
14.6 項目總結(jié) 308
查看全部↓
