數(shù)據(jù)中臺(tái)的數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能BI的數(shù)據(jù)倉(cāng)庫(kù)本質(zhì)上沒(méi)有任何區(qū)別，都是在底層業(yè)務(wù)系統(tǒng)數(shù)據(jù)源和上層應(yīng)用之間做了一個(gè)隔離層，進(jìn)行上下兩層的解耦合。從數(shù)據(jù)分析應(yīng)用角度來(lái)講，不管是大數(shù)據(jù)還是小數(shù)據(jù)，都是把業(yè)務(wù)系統(tǒng)中不規(guī)范、不規(guī)則的、不可分析的數(shù)據(jù)變成規(guī)范、規(guī)則、可分析的數(shù)據(jù)過(guò)程，都是把描述業(yè)務(wù)過(guò)程的數(shù)據(jù)模型變成描述業(yè)務(wù)分析數(shù)據(jù)模型的轉(zhuǎn)換過(guò)程。不管你是做大數(shù)據(jù)、數(shù)據(jù)中臺(tái)還是商業(yè)智能BI，只要實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)，本質(zhì)過(guò)程就是這樣的。

只是現(xiàn)在各種各樣新的概念滿(mǎn)天飛，很多人分不清楚。今天我想通過(guò)文字盡量把這個(gè)問(wèn)題給大家講清楚，能讓大家看到一些本質(zhì)上的問(wèn)題。大家也可以看下之前講的有關(guān)大數(shù)據(jù)、數(shù)據(jù)中臺(tái)、商業(yè)智能BI方面的視頻，可以結(jié)合起來(lái)看下。

一、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)類(lèi)型的選擇

從技術(shù)實(shí)現(xiàn)角度上來(lái)說(shuō)，我們?cè)谕ǔ５纳虡I(yè)智能BI項(xiàng)目中，數(shù)據(jù)倉(cāng)庫(kù)大多構(gòu)建在以關(guān)系型數(shù)據(jù)庫(kù)為代表的數(shù)據(jù)庫(kù)上。數(shù)據(jù)中臺(tái)的數(shù)據(jù)倉(cāng)庫(kù)在底層是以大數(shù)據(jù)為基礎(chǔ)架構(gòu)的。

比如大數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)Hive，就是構(gòu)建在大數(shù)據(jù)Hadoop分布式基礎(chǔ)架構(gòu)之上。底層的HDFS分布式文件系統(tǒng)為海量數(shù)據(jù)提供文件式的存儲(chǔ)，MapReduce為海量數(shù)據(jù)提供了計(jì)算能力。在Hive數(shù)據(jù)倉(cāng)庫(kù)上可以將Hive SQL轉(zhuǎn)化成MapReduce任務(wù)與底層HDFS文件系統(tǒng)進(jìn)行因映射和數(shù)據(jù)交互。

二、實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的SQL

在商業(yè)智能BI的數(shù)據(jù)倉(cāng)庫(kù)中通過(guò)標(biāo)準(zhǔn)的SQL就可以進(jìn)行數(shù)據(jù)的操作，數(shù)據(jù)中臺(tái)大數(shù)據(jù)架構(gòu)Hive數(shù)據(jù)倉(cāng)庫(kù)中是通過(guò)Hive SQL進(jìn)行數(shù)據(jù)操作。但Hive SQL最初的設(shè)計(jì)目的就是為了讓會(huì)SQL但是不會(huì)編程MapReduce的人也能使用Hadoop進(jìn)行數(shù)據(jù)處理，所以在很多語(yǔ)法上不像標(biāo)準(zhǔn)的SQL那么靈活。所以商業(yè)智能BI的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)中臺(tái)數(shù)據(jù)倉(cāng)庫(kù)在技術(shù)架構(gòu)上，一個(gè)是基于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)，一個(gè)是基于大數(shù)據(jù)來(lái)實(shí)現(xiàn)。操作底層數(shù)據(jù)的基本SQL有一些語(yǔ)法上的差異，但也大同小異。

三、數(shù)據(jù)倉(cāng)庫(kù)的分層實(shí)現(xiàn)

只要是數(shù)據(jù)倉(cāng)庫(kù)都會(huì)對(duì)數(shù)據(jù)進(jìn)行分層處理和規(guī)劃，比如在商業(yè)智能BI的數(shù)據(jù)倉(cāng)庫(kù)中我們講到要構(gòu)建ODS層，再構(gòu)建DW里面的Dimension維度和標(biāo)準(zhǔn)的Fact事實(shí)層，到Data Mart 數(shù)據(jù)集市層，最后面向前端的商業(yè)智能BI可視化分析應(yīng)用。數(shù)據(jù)中臺(tái)數(shù)據(jù)倉(cāng)庫(kù)就提到了貼源層、統(tǒng)一數(shù)據(jù)倉(cāng)庫(kù)DW層、TDM、ADS層等等，最后也是面向應(yīng)用端比如商業(yè)智能BI可視化分析。

這些分層從本質(zhì)上有區(qū)別嗎？并沒(méi)有，都是在講一些概念。比如標(biāo)簽層，不就是描述一個(gè)對(duì)象、一個(gè)實(shí)體的分析維度屬性嗎？應(yīng)用數(shù)據(jù)ADS層不就是我們通常講到的數(shù)據(jù)集市層做一些數(shù)據(jù)的特定加工，比如聚合、跨事實(shí)的聚合去組裝各種分析的基礎(chǔ)數(shù)據(jù)表嗎？所謂的One ID 打通的不就是在一個(gè)或者多個(gè)業(yè)務(wù)流程中通過(guò)ID編碼將各類(lèi)數(shù)據(jù)串聯(lián)起來(lái)做一個(gè)ID的對(duì)照和映射關(guān)系嗎？本質(zhì)上都在做什么事情？數(shù)據(jù)的標(biāo)準(zhǔn)化分類(lèi)、歸檔，將不規(guī)范、不規(guī)則、不可分析的數(shù)據(jù)變成一種規(guī)范、規(guī)則、可分析的數(shù)據(jù)過(guò)程。這就是為什么像商業(yè)智能BI數(shù)據(jù)倉(cāng)庫(kù)要進(jìn)行分層實(shí)現(xiàn)。

可以這么來(lái)說(shuō)，十來(lái)年前商業(yè)智能BI的數(shù)據(jù)倉(cāng)庫(kù)怎么構(gòu)建的，現(xiàn)在的數(shù)據(jù)中臺(tái)數(shù)據(jù)倉(cāng)庫(kù)就是怎么構(gòu)建的，一樣的寫(xiě)SQL、做分層、打標(biāo)簽、建模型，并沒(méi)有什么特殊的。

四、指標(biāo)的定義

像原子指標(biāo)、衍生指標(biāo)、組合指標(biāo)、過(guò)程指標(biāo)、結(jié)果指標(biāo)，這也不就是我們通常在商業(yè)智能BI里面按照用戶(hù)分層，越面向一線業(yè)務(wù)的越關(guān)注的是原子性的基礎(chǔ)性指標(biāo)，看的是基礎(chǔ)的二維明細(xì)數(shù)據(jù)統(tǒng)計(jì)報(bào)表，越偏向高層管理的越關(guān)注的是高度聚合的結(jié)果性指標(biāo)。

中間要是去追過(guò)程的話就去看過(guò)程指標(biāo)，所謂衍生、組合不都是基于原子性指標(biāo)計(jì)算來(lái)的嗎？這不就是非常簡(jiǎn)單的指標(biāo)梳理、指標(biāo)計(jì)算的商業(yè)智能BI實(shí)現(xiàn)過(guò)程嗎？有非常特別的地方嗎？并沒(méi)有。

五、ETL和ELT

還有人會(huì)提到傳統(tǒng)的商業(yè)智能BI數(shù)據(jù)倉(cāng)庫(kù)是ETL，數(shù)據(jù)中臺(tái)就是ELT，這些還是在玩一些概念。所謂的ELT就是先把原始數(shù)據(jù)抽取加載到數(shù)據(jù)倉(cāng)庫(kù)貼源層，再進(jìn)行數(shù)據(jù)的轉(zhuǎn)換，這樣既保留了原始數(shù)據(jù)，又可以充分利用大數(shù)據(jù)的計(jì)算能力做轉(zhuǎn)化操作。

我想問(wèn)下這些概念的提出者，商業(yè)智能BI的數(shù)據(jù)倉(cāng)庫(kù)在處理數(shù)據(jù)的時(shí)候不也是這么干的嗎？不也是把各個(gè)業(yè)務(wù)系統(tǒng)原始數(shù)據(jù)給抽取到ODS原始數(shù)據(jù)層之后再去加工形成DW，做維度表和事實(shí)表的劃分嗎？有沒(méi)有區(qū)別，也沒(méi)有區(qū)別啊，都是這么干的啊。

只是按照ELT的說(shuō)法，商業(yè)智能BI數(shù)據(jù)倉(cāng)庫(kù)在從業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)的時(shí)候就直接在SQL里面對(duì)數(shù)據(jù)進(jìn)行一些轉(zhuǎn)換，落到數(shù)據(jù)倉(cāng)庫(kù)表的時(shí)候存儲(chǔ)的是已經(jīng)進(jìn)行清洗和格式轉(zhuǎn)化之后的數(shù)據(jù)，所以這樣就不好。所以結(jié)論就是你們還在講ETL，太Low了，現(xiàn)在大家都是ELT了。

說(shuō)到這里也差不多了，通過(guò)上面幾個(gè)點(diǎn)大家就能夠看出來(lái)，很多概念本質(zhì)上都是相通的，也回到了主題的數(shù)據(jù)中臺(tái)的數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能BI的數(shù)據(jù)倉(cāng)庫(kù)區(qū)別之間的討論上。

所以，如果你只是聽(tīng)了一個(gè)新鮮的概念，就急于拿這些概念來(lái)否定一些傳統(tǒng)的概念，我覺(jué)得大可不必，還是先把一些基礎(chǔ)的概念弄明白了再回頭看看這些說(shuō)法對(duì)不對(duì)。

總結(jié)

這樣講并不是去否定大數(shù)據(jù)、數(shù)據(jù)中臺(tái)。傳統(tǒng)商業(yè)智能BI數(shù)據(jù)倉(cāng)庫(kù)也是有它自己的不足之處的，比如傳統(tǒng)商業(yè)智能BI數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)能力、傳統(tǒng)ETL的數(shù)據(jù)處理能力、算力就擺在那，是有數(shù)據(jù)存儲(chǔ)和處理效率瓶頸的。

比如每天要是處理多少個(gè)TB以上的數(shù)據(jù)，一般的ETL肯定是搞不定的，就算是T+1的方式，晚上跑八個(gè)小時(shí)到早上也有可能就處理不完，這個(gè)時(shí)候底層就一定要借助大數(shù)據(jù)的數(shù)據(jù)處理能力來(lái)解決這些問(wèn)題。但對(duì)于大部分的企業(yè)，數(shù)據(jù)量達(dá)不到這種程度，一般的商業(yè)智能BI數(shù)據(jù)倉(cāng)庫(kù)和ETL是完全可以搞定的，根本就到不了大數(shù)據(jù)、數(shù)據(jù)中臺(tái)這種量級(jí)。

還有像實(shí)時(shí)數(shù)據(jù)處理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)等等，這些也都是傳統(tǒng)的商業(yè)智能BI數(shù)據(jù)倉(cāng)庫(kù)都不具備的能力，如果企業(yè)對(duì)這種訴求非常迫切也是可以考慮規(guī)劃大數(shù)據(jù)、數(shù)據(jù)中臺(tái)這些技術(shù)架構(gòu)的。并且現(xiàn)在很多大數(shù)據(jù)、數(shù)據(jù)中臺(tái)的搞法是把它們數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)推送到一個(gè)中間庫(kù)，商業(yè)智能BI再?gòu)闹虚g庫(kù)取數(shù)做分析展現(xiàn)。

所以是把原來(lái)商業(yè)智能BI的數(shù)據(jù)倉(cāng)庫(kù)算力的那一部分釋放到大數(shù)據(jù)、數(shù)據(jù)中臺(tái)的數(shù)據(jù)倉(cāng)庫(kù)中去實(shí)現(xiàn)，中間庫(kù)的作用就相當(dāng)于原來(lái)商業(yè)智能BI數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)集市層，純粹是未來(lái)分析展現(xiàn)來(lái)使用。但我們的建議這個(gè)中間庫(kù)其實(shí)還是要做成數(shù)據(jù)倉(cāng)庫(kù)，只是會(huì)做的薄一些，還是要保留基礎(chǔ)的維度和事實(shí)，只不過(guò)事實(shí)表做的寬一些而已。

我認(rèn)為技術(shù)并沒(méi)有高低之分，面對(duì)不同的問(wèn)題解決的方式不同，選擇的技術(shù)路線不同。

所以，創(chuàng)新一些概念本來(lái)也沒(méi)有錯(cuò)，錯(cuò)的是把這些概念當(dāng)成尚方寶劍就去急于否定一些很傳統(tǒng)的、有著很多年實(shí)踐落地沉淀的經(jīng)驗(yàn)總結(jié)，這種做法是不對(duì)的。