一、?什么是數(shù)據(jù)倉庫？

數(shù)據(jù)倉庫(Data Warehouse)，簡稱DW。數(shù)據(jù)倉庫顧名思義，是?個很?的數(shù)據(jù)存儲集合，出于企業(yè)的分析性報告和決策?持?的?創(chuàng)建，對多樣的業(yè)務數(shù)據(jù)進?篩選與整合。它能為企業(yè)提供?定的BI（商業(yè)智能：例如數(shù)據(jù)挖掘、數(shù)據(jù)分析和數(shù)據(jù)報表）能?。有了數(shù)據(jù)報表，還可以指導業(yè)務流程改進。

二、?數(shù)據(jù)倉庫解決什么問題？

數(shù)據(jù)倉庫是應景大數(shù)據(jù)而生的，解決的問題無非就是存儲和快速提取， 另外還有跨部門應?的功能。

?

對于不同數(shù)據(jù)整合到了數(shù)據(jù)倉庫之后，也就是大數(shù)據(jù)有了存儲的位置；我們可以不同的部門進行不同的應用（例如數(shù)據(jù)挖掘、數(shù)據(jù)分析、報表展示和查詢等等）；而快速提取是我們對于數(shù)據(jù)倉庫的基本需求，所以數(shù)據(jù)倉庫在設計起初就要具備快速提取的功能。而技術實現(xiàn)呢，就是分布式。

三、?數(shù)據(jù)倉庫的主要特征

1、?向主題的

傳統(tǒng)數(shù)據(jù)庫最大的特點就是面向應用進行組織數(shù)據(jù)，一個業(yè)務系統(tǒng)管理一部分企業(yè)數(shù)據(jù)，多個業(yè)務系統(tǒng)之間呢是相互分離的，而數(shù)據(jù)倉庫則是面向主題的

我們可以通過從上圖中的源數(shù)據(jù)那部分看到，它把多個業(yè)務的數(shù)據(jù)來整合，所以是面向主題的

2、集成的

集成是指數(shù)據(jù)倉庫中數(shù)據(jù)必須是一致的，也就是我們要通過ETL進行軟碼編輯。

數(shù)據(jù)倉庫的數(shù)據(jù)是從原有的、分散多個數(shù)據(jù)倉庫、數(shù)據(jù)文件、用戶日志中抽取出來的，那數(shù)據(jù)來源上可能既有內(nèi)部數(shù)據(jù)，又有外部數(shù)據(jù)。

數(shù)據(jù)倉庫中的數(shù)據(jù)是為分析而服務的，而分析呢又需要多種、廣泛的不同數(shù)據(jù)源、數(shù)據(jù)，以便進行比較、鑒別。因此數(shù)據(jù)倉庫中的數(shù)據(jù)必須從多個數(shù)據(jù)源中獲取。

那這些數(shù)據(jù)源就包括內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)、文件系統(tǒng)以及網(wǎng)上的其他數(shù)據(jù)等。這些是通過數(shù)據(jù)集成而形成數(shù)據(jù)倉庫的數(shù)據(jù)，所以它是集成的。

3、穩(wěn)定的

數(shù)據(jù)倉庫中的數(shù)據(jù)反映的是一段相當長時間內(nèi)歷史數(shù)據(jù)的內(nèi)容，是不同時間點的數(shù)據(jù)庫快照的集合，以及基于這些快照進行統(tǒng)計、綜合和重組的一個導出數(shù)據(jù)，一旦數(shù)據(jù)進入倉庫以后，一般情況下會較長時間的保留。

數(shù)據(jù)經(jīng)加工和集成進入數(shù)據(jù)倉庫后極少更新，所以是穩(wěn)定的，它保留的時間長也是穩(wěn)定的、不易失的。

?

4、時變的

數(shù)據(jù)倉庫中包含各種意思的歷史數(shù)據(jù)。數(shù)據(jù)倉庫中的數(shù)據(jù)與某個特定的日期，例如星期、月份是有關系的。雖然數(shù)據(jù)倉庫不會修改數(shù)據(jù)，但并不是說數(shù)據(jù)倉庫的數(shù)據(jù)啊是永遠不變的，數(shù)據(jù)倉庫的數(shù)據(jù)也需要更新以適應新的需求。

數(shù)據(jù)倉庫的數(shù)據(jù)隨時間的變化主要表現(xiàn)在以下幾個方面：

1.數(shù)據(jù)倉庫的數(shù)據(jù)時限一般來說遠遠長于操作類型的數(shù)據(jù)庫時限；

2.業(yè)務系統(tǒng)存儲的是當前數(shù)據(jù)，而數(shù)據(jù)倉庫中的數(shù)據(jù)是歷史數(shù)據(jù)；

3.數(shù)據(jù)倉庫中的數(shù)據(jù)是按照時間順序進行追加的，都在于時間屬性，這就是反映了歷史變化的數(shù)據(jù)。

四、數(shù)據(jù)倉庫與數(shù)據(jù)庫區(qū)別

數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別，實際上就是OLTP（聯(lián)機事物處理過程），也稱為面向交易的處理過程，和OLAP（聯(lián)機分析處理）的區(qū)別。

在看具體的差異之前，需要特別提醒的是，數(shù)據(jù)倉庫的出現(xiàn)并不是要取代數(shù)據(jù)庫，它們是各有各的用處的。

先從面向來看，數(shù)據(jù)庫面向的是事務，也就是OLTP(聯(lián)機事務處理過程)，而數(shù)據(jù)倉庫呢面向的是分析，也就是OLAP(聯(lián)機分析處理)。

再看一下用戶，對于數(shù)據(jù)庫來說，它的用戶是DBA開發(fā)；對于數(shù)據(jù)倉庫來說呢，它的用戶就是經(jīng)理、主管、分析人員，可以看出數(shù)據(jù)倉庫是針對于分析的；

對于功能而言，數(shù)據(jù)庫是針對于日常操作的，而數(shù)據(jù)倉庫是對于長期信息需求，用來決策支持的。

再看一下數(shù)據(jù)，數(shù)據(jù)庫當中存儲的是當前的、最新的，而數(shù)據(jù)倉庫呢存儲的是歷史的、跨時間維護的，所以數(shù)據(jù)庫當中信息比較久遠的數(shù)據(jù)可以入倉，也就是存儲到數(shù)據(jù)倉庫中來。

再看一下用戶數(shù)，數(shù)據(jù)庫是數(shù)百到數(shù)億的，例如我們是一個電商數(shù)據(jù)庫，那他的用戶可能就達到了上億，而對于數(shù)據(jù)倉庫可能只達到了數(shù)百，因為是給企業(yè)內(nèi)部人員來進行使用的。

再看一下設計規(guī)模，數(shù)據(jù)庫是GB到TB的，那對于數(shù)據(jù)倉庫來說呢，它存在是歷史數(shù)據(jù)，所以肯定是大于TB的。

因此數(shù)據(jù)倉庫是在數(shù)據(jù)庫已經(jīng)大量存在的情況下，為了進一步挖掘數(shù)據(jù)資源、決策需要而產(chǎn)生的，它絕不是所謂的大型數(shù)據(jù)庫。

五、數(shù)據(jù)倉庫架構

數(shù)據(jù)倉庫是大數(shù)據(jù)時代的必然產(chǎn)物，而且它還具有四個特征：面向主題的、集成的、穩(wěn)定的、時變的。那么我們用它來解決的問題就是存儲大數(shù)據(jù)量、快速提取、還有跨部門應用。那針對于跨部門應用和快速提取，我們就要設計好數(shù)據(jù)倉庫的架構。

?

那數(shù)據(jù)倉庫的架構主要從四個方面來考慮：

第一層，ODS層，是數(shù)據(jù)準備區(qū)，數(shù)據(jù)來源是各個業(yè)務系統(tǒng)的數(shù)據(jù)，物理模型和業(yè)務系統(tǒng)模型是一致的。

第二層，DWD層，數(shù)據(jù)來至于ODS層，數(shù)學模型與ODS層一致，那其實也是與業(yè)務系統(tǒng)模型一致。

第三層，DW層，數(shù)據(jù)來自是第二層DWD層，是DW事實層，采用維度建模，星型架構。這一層可細分為dwb和dws。

第四層，DM層，數(shù)據(jù)來自于下一層的DW層，采用了維度建模，也是星型架構，和DW層是一樣的。

第五層，ST層，數(shù)據(jù)來自于DW層，采用的也是維度建模和星型架構。

上述內(nèi)容是從數(shù)據(jù)來源及建模方式來說的這樣五層的作用。

接下來我們從服務領域、數(shù)據(jù)ETL來看一下這五層的作用。

數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)來源于不同的數(shù)據(jù)源，例如MySQL、ORACLE和文檔等等，而且還提供不同的數(shù)據(jù)應用。

數(shù)據(jù)是自下層流入到數(shù)據(jù)倉庫，然后向上層開放數(shù)據(jù)應用。數(shù)據(jù)倉庫只是中間的一個數(shù)據(jù)管理平臺，所以我們在架構數(shù)據(jù)倉庫系統(tǒng)的時候都采用分層架構。

六、?數(shù)據(jù)倉庫元數(shù)據(jù)管理

我們介紹在數(shù)據(jù)倉庫進行架構的時候，從四個方面進行考量和平衡，如質(zhì)量、性能、效率、還有成本。

那分層架構上可以看出來，它是在效率和效能上進行考察的，質(zhì)量方面就要靠元數(shù)據(jù)的管理和數(shù)據(jù)治理來實現(xiàn)了。

什么是元數(shù)據(jù)？

1、元數(shù)據(jù)

元數(shù)據(jù)主要是記錄數(shù)據(jù)倉庫中模型的定義、各層級間的映射關系（例如我們架構的這五層，層與層之間的映射關系要靠元數(shù)據(jù)來保存），監(jiān)控數(shù)據(jù)倉庫的數(shù)據(jù)狀態(tài)以及ETL任務的運行。

一般會通過元數(shù)據(jù)質(zhì)量庫來統(tǒng)一地存儲和管理原數(shù)據(jù)，其主要目的呢就是使數(shù)據(jù)倉庫的設計、部署、操作和管理達成協(xié)同和一致，保證數(shù)據(jù)質(zhì)量，這是元數(shù)據(jù)的定義。

?

而我們關鍵要看的就是模型的定義、層級的映射關系、ETL的任務運行狀態(tài)，這都是元數(shù)據(jù)來負責的。所以說元數(shù)據(jù)是數(shù)據(jù)倉庫系統(tǒng)的一個重要的組成部分，貫穿數(shù)據(jù)倉庫構建的整個過程，直接影響了數(shù)據(jù)倉庫的構建、使用和維護。

由于數(shù)據(jù)倉庫的數(shù)據(jù)來源種類比較多，例如MySQL、日志、外部數(shù)據(jù)等。

在這些元數(shù)據(jù)進入數(shù)據(jù)倉庫時，要經(jīng)歷ETL（抽取、轉(zhuǎn)換、加載）這些操作步驟，所以元數(shù)據(jù)就是定義源數(shù)據(jù)到數(shù)據(jù)倉庫的映射關系、轉(zhuǎn)換規(guī)則等等。

同理，在數(shù)據(jù)應用層，也就是用戶在使用數(shù)據(jù)的時候，也是通過元數(shù)據(jù)來訪問數(shù)據(jù)的，因為元數(shù)據(jù)記錄了數(shù)據(jù)的位置。

2、元數(shù)據(jù)具體的工作內(nèi)容

元數(shù)據(jù)針對于ETL，它存儲了抽取方法、映射規(guī)則等等。

對于清洗工具，它又存儲了這樣清洗的一些規(guī)則。

對于相關人員使用，它存儲了一些數(shù)據(jù)質(zhì)量、數(shù)據(jù)是如何組織的。

對于數(shù)據(jù)倉庫的建模，它存儲數(shù)據(jù)是如何定義的、數(shù)據(jù)有效值、數(shù)據(jù)倉庫的模型等。

對于查詢工具、前端工具、報表工具，也就是數(shù)據(jù)應用層，用戶在使用的時候，元數(shù)據(jù)它包含了查詢的定義、數(shù)據(jù)導出屬性以及數(shù)據(jù)之間的映射關系。

元數(shù)據(jù)分為技術元數(shù)據(jù)和業(yè)務元數(shù)據(jù)

從我們介紹元數(shù)據(jù)保存的信息，我們可以看出，元數(shù)據(jù)分為技術性的元數(shù)據(jù)，還有業(yè)務性的元數(shù)據(jù)。

技術元數(shù)據(jù)，它是被開發(fā)或者是管理數(shù)據(jù)倉庫的這些IT人員使用的，它描述了與數(shù)據(jù)倉庫的開發(fā)管理，以及維護相關的數(shù)據(jù)。例如包含數(shù)據(jù)源的信息都來自于哪一個部分的數(shù)據(jù)（比如MySQL，或者哪一個業(yè)務的）、數(shù)據(jù)轉(zhuǎn)換的描述（也就是不同的數(shù)據(jù)源是如何入倉的）、數(shù)據(jù)倉庫的模型、數(shù)據(jù)的清洗與更新的規(guī)則、數(shù)據(jù)映射和訪問權限等等。

對于業(yè)務元數(shù)據(jù)呢，它是對管理層和分析人員來服務的，但是從業(yè)務角度來描述數(shù)據(jù)，包括一些商務數(shù)據(jù)、數(shù)據(jù)倉庫中有什么數(shù)據(jù)、數(shù)據(jù)的具體位置在什么地方和數(shù)據(jù)可用性等等。

這就是我們元數(shù)據(jù)的作用，所以說元數(shù)據(jù)貫穿了數(shù)據(jù)倉庫構建的整個過程，直接影響了數(shù)據(jù)倉庫的構建（也就是IT人員使用的那部分元數(shù)據(jù)）、使用（也就是管理層和分析人員）和維護（也是IT人員）。

所以數(shù)據(jù)倉庫的元數(shù)據(jù)管理記錄很重要，保證數(shù)據(jù)倉庫中的數(shù)據(jù)質(zhì)量，可以對元數(shù)據(jù)進行管理。

七、?數(shù)據(jù)治理

都知道數(shù)據(jù)是企業(yè)的核心資產(chǎn)，而數(shù)據(jù)治理能成就企業(yè)的未來，特別是那種進行數(shù)據(jù)服務的公司，還有銀行等。數(shù)據(jù)治理涉及到數(shù)據(jù)質(zhì)量、數(shù)據(jù)管理、數(shù)據(jù)政策以及商業(yè)過程管理等。治理呢主要治理的是臟數(shù)據(jù)。

臟數(shù)據(jù)的種類

1、數(shù)據(jù)缺失。

為了不影響分析的準確性，一般情況下我們是有兩種方案來應對這種缺失數(shù)據(jù)的。

第一種就是對于這種缺失數(shù)據(jù)，我們不把它納入到分析范圍里面，那這種情況適合于我們數(shù)據(jù)量比較多的情況下，也就是當我們數(shù)據(jù)量比較多，那對于缺失的數(shù)據(jù)我們刪除可能不會影響我們最終的分析結果。但是如果我們樣本量比較少，又把缺失的刪除掉，那它可能會影響我們的分析。

第二種方式，就是想辦法想一些計算邏輯，或者是數(shù)據(jù)進行重新提取這樣的方式來對數(shù)據(jù)進行填充。如填充中位數(shù)、眾數(shù)或者均值。

2、數(shù)據(jù)重復。

那在這種時候，就要進行分析去掉重復記錄了。

3、數(shù)據(jù)錯誤。

數(shù)據(jù)沒有嚴格按照規(guī)范進行記錄，這種情況下只能人工干預了，而干預的方式呢就有很多種了。那因為公司、業(yè)務、甚至數(shù)據(jù)，干預手段都是不一樣的，可以做一張清洗規(guī)則表來進行錯誤匹配

?

4、數(shù)據(jù)不可用。

也就是數(shù)據(jù)正確但不可用，也就是這個數(shù)據(jù)沒有價值了。例如我們要收集所有的全國學生的一些基本信息，結果只收集了學生的姓名，名字是沒有錯，但是不知道是哪個學校的，不知道年齡、專業(yè)、班級等等，甚至所在的城市。那這樣的數(shù)據(jù)是毫無價值的，即數(shù)據(jù)不可用。從源頭也就是你數(shù)據(jù)收集就出錯了，就只能從源頭來改了。

八、數(shù)據(jù)治理原則

雖然不同的臟數(shù)據(jù)種類，我們有不同的解決方案，但是真的有一些臟數(shù)據(jù)出現(xiàn)了，我們的代價是很大的。比如第四類數(shù)據(jù)不可用，真的是從頭再來。所以說我們一定要對數(shù)據(jù)進行治理，治理的原則就是兩方面。

一方面是約束輸入，比如必須添加的、數(shù)據(jù)的類型是什么，也就是規(guī)則要統(tǒng)一；另一方面就是規(guī)范的輸出——統(tǒng)一語義，也就是我們口徑、計算方式都一樣，然后要有一個公司級別的語義字典。這樣我們在用數(shù)據(jù)的時候就不會出現(xiàn)錯誤了，在收集數(shù)據(jù)的時候也不會出現(xiàn)數(shù)據(jù)不可用了。

?

九、知識拓展（數(shù)據(jù)集市）

數(shù)據(jù)倉庫規(guī)模?、周期，?些規(guī)模?較?的企業(yè)?戶難以承擔。

因此，作為快速解決企業(yè)當前存在的實際問題的?種有效?法，獨?型數(shù)據(jù)集市成為?種既成事實。

數(shù)據(jù)集市(Data Mart) ，也叫數(shù)據(jù)市場，數(shù)據(jù)集市就是滿?特定的部?或者?戶的需求，按照多維的?式進?存儲，包括定義維度、需要計算的指標、維度的層次等，?成?向決策分析需求的數(shù)據(jù)??體

數(shù)據(jù)集市主要是針對?組特定的某個主題域、部?或者特殊?戶需求的數(shù)據(jù)集合。這些數(shù)據(jù)需要針對?戶的快速訪問和報表展示進?優(yōu)化，優(yōu)化的?式包括對數(shù)據(jù)進?輕量級匯總，在數(shù)據(jù)結構的基礎上創(chuàng)建索引。

數(shù)據(jù)集市的?標分析過程包括對數(shù)據(jù)集市的需求進?拆分，按照不同的業(yè)務規(guī)則進?組織，將與業(yè)務主題相關的實體組織成主題域，并且對各類指標進?維度分析，從?形成數(shù)據(jù)集市?標說明書。內(nèi)容包括詳細的業(yè)務主題、業(yè)務主題域和各項指標及其分析維度。

（免責聲明：本公眾號所發(fā)布的文章為本公眾號原創(chuàng)，或者是在網(wǎng)絡搜索到的優(yōu)秀文章進行的編輯整理，文章版權歸原作者所有，僅供讀者朋友們學習、參考。對于分享的非原創(chuàng)文章，有些因為無法找到真正來源，如果標錯來源或者對于文章中所使用的圖片、鏈接等所包含但不限于軟件、資料等，如有侵權，請直接聯(lián)系后臺，說明具體的文章，后臺會盡快刪除。給您帶來的不便，深表歉意。）