來(lái)源：與數(shù)據(jù)同行

作者：傅一平

很多同學(xué)跟我一樣，對(duì)于數(shù)據(jù)湖充滿好奇，也許還讀了不少數(shù)據(jù)湖文章，有不覺(jué)明歷的，也有認(rèn)為是概念炒作的，但無(wú)論別人怎么說(shuō)，你還是會(huì)覺(jué)得難以把握數(shù)據(jù)湖的本質(zhì)。

有些人會(huì)望文生義說(shuō)，數(shù)據(jù)湖嘛，就是什么東西都可以往里面扔，特別是對(duì)非結(jié)構(gòu)數(shù)據(jù)的處理比較方便。
是這樣嗎？
有案例才有鑒別，有的人找了數(shù)據(jù)湖的始作俑者AWS來(lái)說(shuō)明數(shù)據(jù)湖是什么東西，比如下圖：

但光看產(chǎn)品的介紹，不懂?dāng)?shù)據(jù)的人也許會(huì)覺(jué)得數(shù)據(jù)湖很厲害，而懂?dāng)?shù)據(jù)的人也許會(huì)覺(jué)得僅是一堆數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的堆砌包裝而已，你看上面那張框架圖，哪個(gè)專(zhuān)業(yè)詞匯數(shù)據(jù)人士會(huì)不懂？憑什么數(shù)據(jù)湖被炒作成了一個(gè)新概念？
有比較才有鑒別，因此很多文章對(duì)數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)做了比較，下面是網(wǎng)上流傳的一些說(shuō)法：

這種比較似乎能找到點(diǎn)區(qū)別，又會(huì)覺(jué)得隔靴搔癢，難道結(jié)構(gòu)化與非結(jié)構(gòu)化就成了數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的一個(gè)主要區(qū)別？BI和機(jī)器學(xué)習(xí)成為了主要區(qū)別？
事實(shí)上，這種比較有較大邏輯漏洞：即是從結(jié)果出發(fā)來(lái)看差異，然后又用這個(gè)差異來(lái)說(shuō)明區(qū)別，顛倒了因果，因此受到了不少專(zhuān)業(yè)人士的鄙視。比如AWS的數(shù)據(jù)湖能夠處理非結(jié)構(gòu)化數(shù)據(jù)，而數(shù)據(jù)倉(cāng)庫(kù)無(wú)法處理非結(jié)構(gòu)化數(shù)據(jù)，就認(rèn)為這是數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)的本質(zhì)區(qū)別之一。
筆者這次較了一下真，來(lái)跟大家聊聊我所理解的數(shù)據(jù)湖的本質(zhì)，對(duì)于一種新事物不了解本質(zhì)，你就很難駕馭它，更別說(shuō)實(shí)踐它了，下面這張圖道盡了一切。

下面我用一篇文章來(lái)具體說(shuō)明數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別，更多的是給出why，知其所以然是我理解事物的一個(gè)原則。
數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的處理流程可以用下圖來(lái)示意，其中用紅圈標(biāo)出了5個(gè)對(duì)標(biāo)的流程節(jié)點(diǎn)。

可以看到，數(shù)據(jù)湖并不比數(shù)據(jù)倉(cāng)庫(kù)在處理流程上多出了什么內(nèi)容，更多的在于結(jié)構(gòu)性的變化，下面就從數(shù)據(jù)存儲(chǔ)、模型設(shè)計(jì)、加工工具、開(kāi)發(fā)人員和消費(fèi)人員五個(gè)方面來(lái)進(jìn)行比較。

01

數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)倉(cāng)庫(kù)采集、處理過(guò)程中存儲(chǔ)下來(lái)的數(shù)據(jù)一般是以結(jié)構(gòu)化的形式存在的，即使原始數(shù)據(jù)是非結(jié)構(gòu)化的，但這些非結(jié)構(gòu)化數(shù)據(jù)也只是在源頭暫存一下，它通過(guò)結(jié)構(gòu)化數(shù)據(jù)的形式進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)，成了數(shù)據(jù)倉(cāng)庫(kù)的基本存儲(chǔ)格式，這個(gè)跟數(shù)據(jù)倉(cāng)庫(kù)的模型（維度或關(guān)系建模）都是建立在關(guān)系型數(shù)據(jù)基礎(chǔ)上的特點(diǎn)有關(guān)。
事實(shí)上，是傳統(tǒng)的數(shù)據(jù)建模負(fù)擔(dān)讓數(shù)據(jù)倉(cāng)庫(kù)只處理結(jié)構(gòu)化數(shù)據(jù)，其實(shí)誰(shuí)都沒(méi)規(guī)定過(guò)數(shù)據(jù)倉(cāng)庫(kù)只處理和存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)。
數(shù)據(jù)湖包羅萬(wàn)象，輕裝上陣，結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)都成為了數(shù)據(jù)湖本身的一部分，這體現(xiàn)了數(shù)據(jù)湖中“湖”這個(gè)概念。因?yàn)闆](méi)有數(shù)據(jù)倉(cāng)庫(kù)建模的限制，當(dāng)然什么東西都可以往里面扔，但這為其變成數(shù)據(jù)沼澤埋下了伏筆。
看了這段肯定無(wú)法讓人信服，不要急，接著往下看。

02

模型設(shè)計(jì)

數(shù)據(jù)倉(cāng)庫(kù)中所有的Schema(比如表結(jié)構(gòu))都是預(yù)先設(shè)計(jì)并生成好的，數(shù)據(jù)倉(cāng)庫(kù)建設(shè)最重要的工作就是建模，其通過(guò)封裝好的、穩(wěn)定的模型對(duì)外提供有限的、標(biāo)準(zhǔn)化的數(shù)據(jù)服務(wù)，模型能否設(shè)計(jì)的高內(nèi)聚、松耦合成了評(píng)估數(shù)據(jù)倉(cāng)庫(kù)好壞的一個(gè)標(biāo)準(zhǔn)，就好比數(shù)據(jù)中臺(tái)非常強(qiáng)調(diào)數(shù)據(jù)服務(wù)的復(fù)用性一樣。
你會(huì)發(fā)現(xiàn)，數(shù)據(jù)倉(cāng)庫(kù)很像數(shù)據(jù)領(lǐng)域的計(jì)劃經(jīng)濟(jì)，所有的產(chǎn)品（模型）都是預(yù)先生成好的，模型可以變更，但相當(dāng)緩慢。
數(shù)據(jù)湖的模型不是預(yù)先生成的，而是隨著每個(gè)應(yīng)用的需要即時(shí)設(shè)計(jì)生成的，其更像是市場(chǎng)經(jīng)濟(jì)的產(chǎn)物，犧牲了復(fù)用性卻帶來(lái)了靈活性，這也是為什么數(shù)據(jù)湖的應(yīng)用更多強(qiáng)調(diào)探索分析的原因。

03

加工工具

數(shù)據(jù)倉(cāng)庫(kù)的采集、處理工具一般是比較封閉的，很多采取硬編碼（代碼）的方式暴力實(shí)現(xiàn)，大多只向集中的專(zhuān)業(yè)開(kāi)發(fā)人員開(kāi)放，主要的目的是實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一采集和建模，它不為消費(fèi)者（應(yīng)用方）服務(wù)，也沒(méi)這個(gè)必要。
數(shù)據(jù)湖的采集和處理工具是完全開(kāi)放的，因?yàn)榈冢?）點(diǎn)提到過(guò)：數(shù)據(jù)湖的模型是由應(yīng)用即席設(shè)計(jì)生成的，意味著應(yīng)用必須具備針對(duì)數(shù)據(jù)湖數(shù)據(jù)的直接ETL能力和加工能力才能完成定制化模型的建設(shè)，否則就沒(méi)有落地的可能，更無(wú)靈活性可言。
工具能否開(kāi)放、體驗(yàn)是否足夠好是數(shù)據(jù)湖能夠成功的一個(gè)前提，顯然傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的一些采集和開(kāi)發(fā)工具是不行的，它們往往非常丑陋，不可能向普通大眾開(kāi)放。

04

開(kāi)發(fā)人員

數(shù)據(jù)倉(cāng)庫(kù)集中開(kāi)發(fā)人員處理數(shù)據(jù)涵蓋了數(shù)據(jù)采集、存儲(chǔ)、加工等各個(gè)階段，其不僅要管理數(shù)據(jù)流，也要打造工具流。由于數(shù)據(jù)流最終要為應(yīng)用服務(wù)，因此其特別關(guān)注數(shù)據(jù)模型的質(zhì)量，而工具流只要具備基本的功能、滿足性能要求就可以了，反正是數(shù)據(jù)倉(cāng)庫(kù)團(tuán)隊(duì)人員自己用，導(dǎo)致的后果是害苦了運(yùn)營(yíng)人員。
數(shù)據(jù)湖完全不一樣，集中開(kāi)發(fā)人員在數(shù)據(jù)流階段只負(fù)責(zé)把原始數(shù)據(jù)扔到數(shù)據(jù)湖，更多的精力花在對(duì)工具流的改造上，因?yàn)檫@些工具是直接面向最終使用者的，假如不好用，數(shù)據(jù)湖就死了，據(jù)說(shuō)AWS數(shù)據(jù)湖的ETL工具GLue很強(qiáng)大。

05

應(yīng)用人員

數(shù)據(jù)倉(cāng)庫(kù)對(duì)于應(yīng)用人員暴露的所有東西就是建好的數(shù)據(jù)模型，應(yīng)用方的所有角色只能在數(shù)據(jù)倉(cāng)庫(kù)限定好的數(shù)據(jù)模型范圍內(nèi)倒騰，這在一定程度上限制了應(yīng)用方的創(chuàng)新能力。比如原始數(shù)據(jù)有個(gè)字段很有價(jià)值，但數(shù)據(jù)倉(cāng)庫(kù)集中開(kāi)發(fā)人員卻把它過(guò)濾了。
這種問(wèn)題在數(shù)據(jù)倉(cāng)庫(kù)中很常見(jiàn)，很多取數(shù)人員只會(huì)取寬表，對(duì)于源端數(shù)據(jù)完全不清楚，成了井底之蛙，這是數(shù)據(jù)倉(cāng)庫(kù)集中開(kāi)發(fā)人員造的“孽”，所謂成也數(shù)據(jù)倉(cāng)庫(kù)，敗也數(shù)據(jù)倉(cāng)庫(kù)。
數(shù)據(jù)湖的應(yīng)用方則可以利用數(shù)據(jù)湖提供的工具流接觸到最生鮮的原始數(shù)據(jù)，涵蓋了從數(shù)據(jù)采集、抽取、存儲(chǔ)、加工的各個(gè)階段，其可以基于對(duì)業(yè)務(wù)的理解，壓榨出原始數(shù)據(jù)的最大價(jià)值。
當(dāng)然由于缺乏數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范的約束，數(shù)據(jù)湖的數(shù)據(jù)管理能力不會(huì)高，而由于每個(gè)應(yīng)用方都在建設(shè)豎井，因此資源的壓力會(huì)越來(lái)越大。
可以看到，數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖，代表著兩種數(shù)據(jù)處理模式和服務(wù)模式，是數(shù)據(jù)技術(shù)領(lǐng)域的一次輪回。
早在ORACLE的DBLINK時(shí)代，我們就有了第一代的數(shù)據(jù)湖，因?yàn)槟莻€(gè)時(shí)候ORACLE一統(tǒng)天下，ORALCE的DBLINK讓直接探索原始數(shù)據(jù)有了可能。
隨著數(shù)據(jù)量的增長(zhǎng)和數(shù)據(jù)類(lèi)型的不斷豐富，我們不得不搞出一種新的“數(shù)據(jù)庫(kù)”來(lái)集成各種數(shù)據(jù)。
但那個(gè)時(shí)候搞出的為什么是數(shù)據(jù)倉(cāng)庫(kù)而不是數(shù)據(jù)湖呢？
主要還是應(yīng)用驅(qū)動(dòng)力的問(wèn)題。
因?yàn)槟莻€(gè)時(shí)候大家關(guān)注的是報(bào)表，而報(bào)表最核心的要求就是準(zhǔn)確性和一致性，標(biāo)準(zhǔn)化、規(guī)范化的維度和關(guān)系建模正好適應(yīng)了這一點(diǎn)，集中化的數(shù)據(jù)倉(cāng)庫(kù)支撐模式就是一種變相的計(jì)劃經(jīng)濟(jì)。
隨著大數(shù)據(jù)時(shí)代到來(lái)和數(shù)字化的發(fā)展，很多企業(yè)發(fā)現(xiàn)，原始數(shù)據(jù)的非結(jié)構(gòu)化比例越來(lái)越高，前端應(yīng)用響應(yīng)的要求越來(lái)越高，海量數(shù)據(jù)挖掘的要求越來(lái)越對(duì)，報(bào)表取數(shù)已經(jīng)滿足不了數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的要求了.
一方面企業(yè)需要深挖各種數(shù)據(jù)，從展示數(shù)據(jù)為主（報(bào)表）逐步向挖掘數(shù)據(jù)（探索預(yù)測(cè)）轉(zhuǎn)變，另一方面企業(yè)也需要從按部就班的支撐模式向快速靈活的方向轉(zhuǎn)變，要求數(shù)據(jù)倉(cāng)庫(kù)能夠開(kāi)放更多的靈活性給應(yīng)用方，這個(gè)時(shí)候數(shù)據(jù)倉(cāng)庫(kù)就有點(diǎn)撐不住了。
數(shù)據(jù)湖就是在這種背景下誕生的。
其實(shí)早在數(shù)據(jù)湖出來(lái)之前，很多企業(yè)就在做類(lèi)似數(shù)據(jù)湖的工作了，比如我們5年前重構(gòu)hadoop大數(shù)據(jù)平臺(tái)的時(shí)候，就已經(jīng)要求源端能將各種格式的數(shù)據(jù)直接扔過(guò)來(lái)，然后用不同的引擎處理，結(jié)構(gòu)化的就采用商業(yè)的ETL產(chǎn)品，非結(jié)構(gòu)化的就自己做一個(gè)定制化的ETL工具（比如爬蟲(chóng)），只是沒(méi)有統(tǒng)一進(jìn)行整合而已。
ETL之所以不開(kāi)放，主要是驅(qū)動(dòng)力不夠，其實(shí)我們沒(méi)有那么多類(lèi)型的數(shù)據(jù)要定制化抽取，也許后續(xù)會(huì)需要吧。
而可視化開(kāi)發(fā)平臺(tái)使用比較廣泛，只是因?yàn)槭袌?chǎng)覺(jué)得IT做的太慢了，需要一個(gè)可視化平臺(tái)來(lái)直接操作。
很多企業(yè)不搞可視化開(kāi)發(fā)平臺(tái)也是容易理解的，報(bào)表就能活得很好，干嘛業(yè)務(wù)人員要自己開(kāi)發(fā)和挖掘?，F(xiàn)在數(shù)據(jù)湖叫的歡的，大多是互聯(lián)網(wǎng)公司，比如亞馬遜，這是很正常的。
數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)有點(diǎn)像市場(chǎng)經(jīng)濟(jì)和計(jì)劃經(jīng)濟(jì)，不能說(shuō)誰(shuí)更好誰(shuí)更差，大家都有可取之處，阿里最近一篇文章提到的數(shù)湖一體是很好的概念，可以實(shí)現(xiàn)雙方的優(yōu)勢(shì)互補(bǔ)，我這里畫(huà)一張圖，方便你的理解：

何謂數(shù)湖一體？
（1）湖和倉(cāng)的數(shù)據(jù)/元數(shù)據(jù)無(wú)縫打通，互相補(bǔ)充，數(shù)據(jù)倉(cāng)庫(kù)的模型反哺到數(shù)據(jù)湖（成為原始數(shù)據(jù)一部分），湖的結(jié)構(gòu)化應(yīng)用知識(shí)沉淀到數(shù)據(jù)倉(cāng)庫(kù)

（2）湖和倉(cāng)有統(tǒng)一的開(kāi)發(fā)體驗(yàn)，存儲(chǔ)在不同系統(tǒng)的數(shù)據(jù)，可以通過(guò)一個(gè)統(tǒng)一的開(kāi)發(fā)/管理平臺(tái)操作

（3）數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)，系統(tǒng)可以根據(jù)自動(dòng)的規(guī)則決定哪些數(shù)據(jù)放在數(shù)倉(cāng)，哪些保留在數(shù)據(jù)湖，進(jìn)而形成一體化

我們只有看透了數(shù)據(jù)湖的本質(zhì)，才能結(jié)合企業(yè)做出理性的選擇，既不跪舔，也沒(méi)必要不屑，請(qǐng)分享給有需要的人，至于理解的對(duì)不對(duì)，大家自由評(píng)說(shuō)吧！

更多數(shù)據(jù)分析內(nèi)容

掃描二維碼即可了解