隨著企業(yè)數(shù)據(jù)量的增多，為了配合企業(yè)的業(yè)務(wù)分析、商業(yè)智能等應(yīng)用場(chǎng)景，從而驅(qū)動(dòng)數(shù)據(jù)化的商業(yè)決策，分析型數(shù)據(jù)庫(kù)誕生了。由于數(shù)據(jù)分析一般涉及的數(shù)據(jù)量大，計(jì)算復(fù)雜，分析型數(shù)據(jù)庫(kù)一般都是采用大規(guī)模并行計(jì)算或者分布式計(jì)算來(lái)提升它的數(shù)據(jù)處理能力。本篇文章將詳細(xì)介紹 MPP 數(shù)據(jù)庫(kù)的概念，解決的問(wèn)題、典型的廠商以及它的技術(shù)架構(gòu)和未來(lái)的發(fā)展方向。

— MPP數(shù)據(jù)庫(kù)簡(jiǎn)介?—分析型數(shù)據(jù)庫(kù)是數(shù)據(jù)庫(kù)的一個(gè)分支，主要設(shè)計(jì)目標(biāo)是存儲(chǔ)、管理和分析數(shù)據(jù)，一般存儲(chǔ)的數(shù)據(jù)類型多，時(shí)間維度長(zhǎng)，主要配合企業(yè)的業(yè)務(wù)分析、商業(yè)智能等應(yīng)用場(chǎng)景，驅(qū)動(dòng)數(shù)據(jù)化的商業(yè)決策。由于數(shù)據(jù)分析一般涉及的數(shù)據(jù)量大，計(jì)算復(fù)雜，分析型數(shù)據(jù)庫(kù)一般都是采用大規(guī)模并行計(jì)算或者分布式計(jì)算來(lái)提升它的數(shù)據(jù)處理能力。行業(yè)內(nèi)從1984年開(kāi)始推出基于多個(gè)關(guān)系數(shù)據(jù)庫(kù)（Postgres為主）組成的MPP數(shù)據(jù)庫(kù)方式來(lái)提升計(jì)算能力，代表性的產(chǎn)品有Teradata、Netezza、Vertica等。MPP全稱為Massive Parallel Processing，是一種并行化的編程模型，其思想是通過(guò)管理來(lái)協(xié)調(diào)的，由多個(gè)處理單元并行處理一個(gè)程序中的不同部分，從而最終完成整個(gè)程序的計(jì)算模式。每個(gè)處理單元有自己獨(dú)立的運(yùn)行環(huán)境和資源。MPP數(shù)據(jù)庫(kù)中每個(gè)處理單元就是一個(gè)關(guān)系數(shù)據(jù)庫(kù)，通過(guò)大規(guī)模并行的關(guān)系數(shù)據(jù)庫(kù)的協(xié)同來(lái)提升數(shù)據(jù)庫(kù)能夠處理的數(shù)據(jù)的量級(jí)和性能?；旧厦總€(gè)主流的關(guān)系數(shù)據(jù)庫(kù)廠商都有自己的MPP版本，另外也有一些主要開(kāi)發(fā)MPP的數(shù)據(jù)庫(kù)廠商和開(kāi)源的MPP數(shù)據(jù)庫(kù)，國(guó)內(nèi)近幾年也涌現(xiàn)了不少的MPP數(shù)據(jù)庫(kù)。廠商數(shù)據(jù)庫(kù)名稱介紹TeradataTeradata Database1984年推出的首個(gè)MPP數(shù)據(jù)庫(kù)，采用列式存儲(chǔ)加速分析性能，以一體機(jī)方式交付HPVertica圖靈獎(jiǎng)得主Michael Stonebraker創(chuàng)立的首個(gè)真正意義上采用列式存儲(chǔ)的MPP數(shù)據(jù)庫(kù)，可運(yùn)行在標(biāo)準(zhǔn)硬件上PivotalGreenplum開(kāi)源的MPP數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)實(shí)例采用PostgreSQL，可運(yùn)行在標(biāo)準(zhǔn)硬件上華為GaussDB基于Postgres-XC深度自研的分析型數(shù)據(jù)庫(kù)，可運(yùn)行在標(biāo)準(zhǔn)硬件上，可擴(kuò)展性較好

—?總體架構(gòu)?—

MPP數(shù)據(jù)庫(kù)一般會(huì)包含多個(gè)控制節(jié)點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)，控制節(jié)點(diǎn)負(fù)責(zé)計(jì)算任務(wù)的編譯、執(zhí)行計(jì)劃的生成和計(jì)算結(jié)果的聚合，而計(jì)算節(jié)點(diǎn)負(fù)責(zé)計(jì)算劃分到具體數(shù)據(jù)庫(kù)實(shí)例的計(jì)算任務(wù)。為了更好的可擴(kuò)展性，MPP數(shù)據(jù)庫(kù)一般采用Shared-nothing架構(gòu)，每個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)之間沒(méi)有數(shù)據(jù)共享。MPP數(shù)據(jù)庫(kù)一般可以通過(guò)增加數(shù)據(jù)庫(kù)計(jì)算能力，此外因?yàn)槎鄠€(gè)實(shí)例，數(shù)據(jù)庫(kù)總體的數(shù)據(jù)加載性能相比較單實(shí)例數(shù)據(jù)庫(kù)也有很高的提升。

數(shù)據(jù)分片是能夠?qū)崿F(xiàn)并行化計(jì)算的核心，MPP數(shù)據(jù)庫(kù)有多種數(shù)據(jù)分片方式，主要包括3大類：

• Hash模式

一般適用于事實(shí)表或大表，根據(jù)一條記錄的某個(gè)字段或組合字段的hash值將數(shù)據(jù)分散到某個(gè)節(jié)點(diǎn)上，hash函數(shù)可以有多種方式。通過(guò)根據(jù)對(duì)給定字段的hash值來(lái)做數(shù)據(jù)分布，一個(gè)大表可以均勻的分散到MPP數(shù)據(jù)庫(kù)的多個(gè)節(jié)點(diǎn)上，當(dāng)對(duì)這個(gè)表查詢時(shí)，MPP數(shù)據(jù)庫(kù)編譯器可以根據(jù)SQL中相應(yīng)的檢索字段將查詢快速定位到某個(gè)或幾個(gè)相關(guān)的數(shù)據(jù)庫(kù)節(jié)點(diǎn)并將SQL下發(fā)，對(duì)應(yīng)的數(shù)據(jù)庫(kù)節(jié)點(diǎn)就可以快速響應(yīng)查詢結(jié)果。Hash模式在真實(shí)生產(chǎn)中使用的比較多，不過(guò)它也有幾個(gè)較明顯的問(wèn)題：一是Hash取值一般是跟數(shù)據(jù)庫(kù)節(jié)點(diǎn)數(shù)量密切相關(guān)，如果數(shù)據(jù)庫(kù)添加或者減少節(jié)點(diǎn)后，那么已經(jīng)存在的數(shù)據(jù)的Hash分布就不再正確，因此需要做數(shù)據(jù)庫(kù)的數(shù)據(jù)重分布，帶來(lái)較大的運(yùn)維成本；二是在實(shí)際操作中需要根據(jù)業(yè)務(wù)特點(diǎn)來(lái)設(shè)計(jì)或選擇Hash字段，否則容易出現(xiàn)性能熱點(diǎn)等影響數(shù)據(jù)庫(kù)整體性能的問(wèn)題。

• 均勻分布模式

一般適用于一些過(guò)程中的臨時(shí)表，在對(duì)表的數(shù)據(jù)的持久化過(guò)程中按照均勻分布的方式在每個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)上均勻?qū)懭霐?shù)據(jù)。這個(gè)模式下數(shù)據(jù)庫(kù)的IO吞吐可以得到最大化利用，無(wú)論是讀取還是寫(xiě)入，僅適合表只做一次讀寫(xiě)的場(chǎng)景。

• 全復(fù)制模式

一般適合記錄數(shù)比較少的表，一般情況下在各個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)都完整的存儲(chǔ)一份數(shù)據(jù)。這類表一般情況下用于大量的分析類場(chǎng)景，事務(wù)類操作比較少，因此雖然存儲(chǔ)上有明顯的浪費(fèi)，但是在分析性場(chǎng)景下不再需要將這個(gè)表在多個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)上傳輸或復(fù)制，從而提升分析性能。

基于數(shù)據(jù)分片的方式實(shí)現(xiàn)了數(shù)據(jù)無(wú)共享架構(gòu)，因此可以通過(guò)增加數(shù)據(jù)庫(kù)實(shí)例的方式來(lái)提升數(shù)據(jù)庫(kù)的性能，因此與早期的SMP共享架構(gòu)數(shù)據(jù)庫(kù)（典型代表Oracle RAC）相比，MPP數(shù)據(jù)庫(kù)的分析性能要遠(yuǎn)遠(yuǎn)超出。此外數(shù)據(jù)庫(kù)的整體并發(fā)響應(yīng)，以及數(shù)據(jù)庫(kù)的讀寫(xiě)吞吐量，MPP數(shù)據(jù)庫(kù)都能夠通過(guò)有效的業(yè)務(wù)優(yōu)化達(dá)到一個(gè)很高的水平。在MPP數(shù)據(jù)庫(kù)的可擴(kuò)展性方面，從中國(guó)信通院的相關(guān)測(cè)試來(lái)看，開(kāi)源的MPP數(shù)據(jù)庫(kù)能夠支持一百節(jié)點(diǎn)左右的集群規(guī)模，而一些商業(yè)MPP數(shù)據(jù)庫(kù)通過(guò)更好的軟硬件結(jié)合已經(jīng)可以實(shí)現(xiàn)單集群達(dá)到五百個(gè)節(jié)點(diǎn)。

—?開(kāi)源MPP數(shù)據(jù)庫(kù)Greenplum?—

Greenplum是以PostgreSQL為單實(shí)例的MPP數(shù)據(jù)庫(kù)，于2003年誕生，在2012年之后演進(jìn)成為Pivotal Greenplum Database。Greenplum用于存儲(chǔ)、處理海量的數(shù)據(jù)，主要用于OLAP業(yè)務(wù)。Greenplum采用MPP架構(gòu)，底層的邏輯數(shù)據(jù)庫(kù)采用PostgreSQL，客戶端支持psql和ODBC。

Greenplum集群中有三種角色組件，Master、Segment、Interconnect。數(shù)據(jù)的分片方式以及SQL計(jì)算的分解/聚合和通用的MPP數(shù)據(jù)庫(kù)原理基本一致，在此不做贅述。Master是Greenplum數(shù)據(jù)庫(kù)系統(tǒng)的入口，接受客戶端連接及提交的SQL語(yǔ)句，將工作負(fù)載分發(fā)給其它數(shù)據(jù)庫(kù)實(shí)例（segment實(shí)例），由它們存儲(chǔ)和處理數(shù)據(jù)。Master也負(fù)責(zé)持久化和查詢系統(tǒng)級(jí)元數(shù)據(jù)，負(fù)責(zé)認(rèn)證用戶連接，接收來(lái)自客戶端的SQL處理請(qǐng)求，最終匯總Segments的結(jié)果并返回客戶端。Master Server本身采用主備方式來(lái)保證高可用。Segment是獨(dú)立的PostgreSQL數(shù)據(jù)庫(kù)，負(fù)責(zé)數(shù)據(jù)存儲(chǔ)和分析的具體執(zhí)行，集群中的數(shù)據(jù)分布在各個(gè)Segment上，用戶不直接與Segment通信，而是通過(guò)Master交互。每個(gè)Segment的數(shù)據(jù)冗余存放在另一個(gè)Segment上，數(shù)據(jù)實(shí)時(shí)同步，當(dāng)Primary Segment失效時(shí)，Mirror Segment將自動(dòng)提供服務(wù)。Interconnect負(fù)責(zé)不同PostgreSQL實(shí)例之間的通信，它默認(rèn)使用UDP協(xié)議以提供更好的網(wǎng)絡(luò)性能，并通過(guò)對(duì)數(shù)據(jù)包的檢驗(yàn)來(lái)保證可靠性。從2019年中國(guó)信通院組織的分析數(shù)據(jù)庫(kù)基準(zhǔn)測(cè)試結(jié)果來(lái)看，一共有14個(gè)產(chǎn)品通過(guò)測(cè)試，其中6個(gè)產(chǎn)品是基于Greenplum來(lái)二次開(kāi)發(fā)的，這說(shuō)明了Greenplum是開(kāi)源MPP數(shù)據(jù)庫(kù)的最受歡迎項(xiàng)目。除了本身開(kāi)源以外，Greenplum在以下幾方面也比較獨(dú)特：

• SQL兼容度：由于Greenplum基于PostgreSQL內(nèi)核，因此其本身保持了關(guān)系數(shù)據(jù)庫(kù)的特性以及SQL的兼容性，以及與PostgreSQL相似的安全和權(quán)限模型。此外，Greenplum支持完整的分布式事務(wù)操作和MVCC，因此在事務(wù)相關(guān)操作上也兼容標(biāo)準(zhǔn)SQL語(yǔ)義。

• 分析性能：在SQL優(yōu)化方面， GPORCA優(yōu)化器是基于代價(jià)的優(yōu)化器的一個(gè)出色的開(kāi)源項(xiàng)目，為各種復(fù)雜的分析SQL有個(gè)極佳的執(zhí)行計(jì)劃。

• 并行數(shù)據(jù)加載：Greenplum提供了并行加載的技術(shù)，其自帶的gpfdist工具能夠直接和每個(gè)Segment交互做并行導(dǎo)入。

• 開(kāi)放式的架構(gòu)：由于PostgreSQL能夠支持插件化的方式來(lái)自定義數(shù)據(jù)類型、函數(shù)、存儲(chǔ)過(guò)程等能力，Greenplum也自然繼承了這一特點(diǎn)，因此社區(qū)的開(kāi)發(fā)者先后貢獻(xiàn)了包括地理時(shí)空數(shù)據(jù)處理、機(jī)器學(xué)習(xí)、圖分析、文本分析等在內(nèi)的多個(gè)擴(kuò)展模塊，以及支持了JSON、XML等半結(jié)構(gòu)化數(shù)據(jù)類型。

由于Greenplum數(shù)據(jù)庫(kù)仍然是基于典型的MPP架構(gòu)，因此MPP數(shù)據(jù)庫(kù)的規(guī)模問(wèn)題（單個(gè)集群規(guī)模在200節(jié)點(diǎn)以內(nèi)）、多租戶資源隔離問(wèn)題、落后者問(wèn)題等仍然存在，因此在支撐大型企業(yè)的多個(gè)業(yè)務(wù)場(chǎng)景時(shí)存在較大的技術(shù)挑戰(zhàn)。由于其比較良好的SQL兼容、分布式事務(wù)、優(yōu)秀的優(yōu)化器等能力，Greenplum可以比較好的支持一些中小型企業(yè)的結(jié)構(gòu)化數(shù)據(jù)分析任務(wù)。Greenplum自身也在努力和云計(jì)算結(jié)合來(lái)解決多租戶資源隔離問(wèn)題，其已經(jīng)和多個(gè)公有云廠商合作推出云上的數(shù)據(jù)庫(kù)服務(wù)。另外，Greenplum也在更加緊密的與PostgreSQL社區(qū)合作，積極的跟進(jìn)其最新的功能。

—?MPP數(shù)據(jù)庫(kù)的架構(gòu)問(wèn)題與未來(lái)發(fā)展方向?—

MPP數(shù)據(jù)庫(kù)通過(guò)并行計(jì)算來(lái)解決了很多的數(shù)據(jù)分析的能力問(wèn)題，不過(guò)也有它的架構(gòu)缺陷，主要包括以下幾個(gè)問(wèn)題：數(shù)據(jù)的分布對(duì)業(yè)務(wù)的性能影響極大：在選擇數(shù)據(jù)分布算法以及對(duì)應(yīng)的分片字段的時(shí)候，不僅要考慮數(shù)據(jù)分布的均勻問(wèn)題，還需要考慮到業(yè)務(wù)中對(duì)這個(gè)表的使用特點(diǎn)。如果多個(gè)業(yè)務(wù)的使用方式有明顯差異，往往很難選擇一個(gè)非常好的表分片字段，因此會(huì)導(dǎo)致一些因?yàn)閿?shù)據(jù)或業(yè)務(wù)不均勻分布或跨節(jié)點(diǎn)數(shù)據(jù)shuffle可能引起的性能問(wèn)題。落后者問(wèn)題（又稱Straggler Node Problem）是MPP數(shù)據(jù)庫(kù)的一個(gè)重要架構(gòu)問(wèn)題。工作負(fù)載節(jié)點(diǎn)（對(duì)GPDB而言是Segment節(jié)點(diǎn)）是完全對(duì)稱的，數(shù)據(jù)均勻的存儲(chǔ)在這些節(jié)點(diǎn)，處理過(guò)程中每個(gè)節(jié)點(diǎn)（即該節(jié)點(diǎn)上的Executor）使用本地的CPU、內(nèi)存和磁盤(pán)等資源完成本地的數(shù)據(jù)加工。當(dāng)某個(gè)節(jié)點(diǎn)出現(xiàn)問(wèn)題導(dǎo)致速度比其他節(jié)點(diǎn)慢時(shí)，該節(jié)點(diǎn)會(huì)成為Straggler。此時(shí)，無(wú)論集群規(guī)模多大，批處理的整體執(zhí)行速度都由Straggler決定，其他節(jié)點(diǎn)上的任務(wù)執(zhí)行完畢后則進(jìn)入空閑狀態(tài)等待Straggler，而無(wú)法分擔(dān)其工作，如下圖所示Executor 7即為落后者并最終拖慢了整個(gè)集群。當(dāng)集群規(guī)模達(dá)到一定程度時(shí)，故障會(huì)頻繁出現(xiàn)使straggler成為一個(gè)常規(guī)問(wèn)題。

集群規(guī)模問(wèn)題：由于MPP的“完全對(duì)稱性”，即當(dāng)查詢開(kāi)始執(zhí)行時(shí)，每個(gè)節(jié)點(diǎn)都在并行執(zhí)行完全相同的任務(wù)，這意味著MPP支持的并發(fā)數(shù)和集群的節(jié)點(diǎn)數(shù)完全無(wú)關(guān)。在大數(shù)據(jù)時(shí)代，對(duì)于聯(lián)機(jī)查詢的并發(fā)能力要求增加非常迅速，也極大的挑戰(zhàn)了MPP架構(gòu)本身。此外，MPP架構(gòu)中的Master節(jié)點(diǎn)承擔(dān)了一定的工作負(fù)載，所有聯(lián)機(jī)查詢的數(shù)據(jù)流都要經(jīng)過(guò)該節(jié)點(diǎn)，這樣Master也存在一定的性能瓶頸。因此很多MPP數(shù)據(jù)庫(kù)在集群規(guī)模上是存在一定限制的。多租戶資源隔離問(wèn)題是MPP數(shù)據(jù)庫(kù)一個(gè)非常難解決的一個(gè)架構(gòu)問(wèn)題。由于一個(gè)企業(yè)的MPP數(shù)據(jù)庫(kù)一般支撐多個(gè)業(yè)務(wù)或多個(gè)租戶，假如某個(gè)業(yè)務(wù)的部分SQL分析在數(shù)據(jù)庫(kù)節(jié)點(diǎn)Node 1上產(chǎn)生了熱點(diǎn)并占用了該節(jié)點(diǎn)絕大部分的資源，從而拖慢了所有的可能使用Node 1的其他租戶或業(yè)務(wù)，導(dǎo)致整體業(yè)務(wù)服務(wù)能力惡化。從我們對(duì)行業(yè)的一些大型企業(yè)客戶的調(diào)研結(jié)果看，這個(gè)問(wèn)題是非常致命的問(wèn)題，只能通過(guò)運(yùn)維的手段來(lái)檢測(cè)并關(guān)閉類似的熱點(diǎn)SQL來(lái)緩解。更好的支撐AI程序處理半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)是MPP數(shù)據(jù)庫(kù)的一個(gè)重要挑戰(zhàn)，尤其是在人工智能相關(guān)的需求爆發(fā)后，NLP、智能識(shí)別等技術(shù)都需要有效的半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、檢索和計(jì)算需求，而這些都不是關(guān)系數(shù)據(jù)庫(kù)擅長(zhǎng)的能力。隨著硬件技術(shù)的快速發(fā)展，尤其是SSD和網(wǎng)絡(luò)性能的大幅度提升，MPP數(shù)據(jù)庫(kù)廠商都開(kāi)始基于這些新硬件技術(shù)來(lái)解決當(dāng)前的軟件架構(gòu)問(wèn)題，如采用更高速的網(wǎng)絡(luò)來(lái)提升總體的可擴(kuò)展性，解決集群規(guī)模存在上限的問(wèn)題。另外部分MPP數(shù)據(jù)庫(kù)重新設(shè)計(jì)其執(zhí)行模式，調(diào)整其計(jì)算架構(gòu)同時(shí)支持MPP和DAG模式，通過(guò)更加的執(zhí)行計(jì)劃和Lazy Evaluation方式來(lái)解決常見(jiàn)的“落后者”問(wèn)題。此外，近幾年MPP數(shù)據(jù)庫(kù)廠商都在推動(dòng)存算分離架構(gòu)，讓底層可以直接依賴云存儲(chǔ)等方式，從而實(shí)現(xiàn)云化服務(wù)，并以此來(lái)實(shí)現(xiàn)多租戶隔離等管理能力。—?小結(jié)—本文介紹了分析型數(shù)據(jù)庫(kù)MPP數(shù)據(jù)庫(kù)，它通過(guò)大規(guī)模并行的關(guān)系數(shù)據(jù)庫(kù)的協(xié)同來(lái)提升數(shù)據(jù)庫(kù)能夠處理的數(shù)據(jù)的量級(jí)和性能。那么，分析型數(shù)據(jù)庫(kù)的另外一個(gè)發(fā)展方向是以分布式技術(shù)來(lái)代替MPP的并行計(jì)算，一方面比MPP有更好的可擴(kuò)展性，另一方面可以解決MPP數(shù)據(jù)庫(kù)的幾個(gè)關(guān)鍵架構(gòu)問(wèn)題，下篇我們將介紹分布式分析型數(shù)據(jù)庫(kù)。專欄回顧【專欄 13】星環(huán)科技自研技術(shù)，加速大數(shù)據(jù)從持久化、統(tǒng)一化、資產(chǎn)化、業(yè)務(wù)化到生態(tài)化【專欄 12】分布式場(chǎng)景下，Apache YARN、Google Kubernetes 如何解決資源管理問(wèn)題？【專欄 11】分布式計(jì)算技術(shù)（下）：Impala、Apache Flink、星環(huán)Slipstream【專欄 10】分布式計(jì)算技術(shù)（上）：經(jīng)典計(jì)算框架MapReduce、Spark 解析【專欄 09】分布式存儲(chǔ)技術(shù)（下）：寬表存儲(chǔ)與全文搜索引擎的架構(gòu)原理、特性、優(yōu)缺點(diǎn)解析【專欄 08】分布式存儲(chǔ)技術(shù)（上）：HDFS 與 Ceph的架構(gòu)原理、特性、優(yōu)缺點(diǎn)解析【專欄 07】分布式技術(shù)介紹【專欄 06】如何創(chuàng)造數(shù)據(jù)資產(chǎn)價(jià)值？如何對(duì)內(nèi)賦能業(yè)務(wù)運(yùn)營(yíng)，對(duì)外創(chuàng)造市場(chǎng)價(jià)值？【專欄 05】企業(yè)如何兩步實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化？【專欄 04】企業(yè)數(shù)據(jù)平臺(tái)建設(shè)的基石：構(gòu)建統(tǒng)一的數(shù)據(jù)存算能力
大數(shù)據(jù)開(kāi)放實(shí)驗(yàn)室由星環(huán)信息科技（上海）股份有限公司運(yùn)營(yíng)，專門(mén)致力于大數(shù)據(jù)技術(shù)的研究和傳播。若轉(zhuǎn)載請(qǐng)?jiān)谖恼麻_(kāi)頭明顯注明“文章來(lái)源于微信訂閱號(hào)——大數(shù)據(jù)開(kāi)放實(shí)驗(yàn)室”，并保留作者和賬號(hào)介紹。