數(shù)據(jù)倉庫

顧名思義，存放數(shù)據(jù)的倉庫，它集合了各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，以金融業(yè)為例，數(shù)倉包含了貸款業(yè)務(wù)、CRM、存款業(yè)務(wù)等數(shù)據(jù)。用于企業(yè)做數(shù)據(jù)分析、出報(bào)告、做決策；在有些公司也作為各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)來源。

?

從邏輯上理解，數(shù)據(jù)庫和數(shù)倉沒有區(qū)別，都是通過數(shù)據(jù)庫軟件實(shí)現(xiàn)存放數(shù)據(jù)的地方，只不過從數(shù)據(jù)量來說，數(shù)據(jù)倉庫要比數(shù)據(jù)庫更龐大。

它們最主要的區(qū)別在于，傳統(tǒng)事務(wù)型數(shù)據(jù)庫如 MySQL 用于做聯(lián)機(jī)事務(wù)處理（OLTP），例如交易事件的發(fā)生等；而數(shù)據(jù)倉庫主要用于聯(lián)機(jī)分析處理（OLAP），例如出報(bào)表等。

有些同學(xué)可能想，數(shù)據(jù)分析、出報(bào)表等工作也可以直接通過業(yè)務(wù)數(shù)據(jù)庫完成，數(shù)據(jù)倉庫似乎也不是必需品。

如果是簡單的系統(tǒng)，比如初創(chuàng)時(shí)期，業(yè)務(wù)量少，用戶和數(shù)據(jù)少，幾臺(tái)服務(wù)器和幾個(gè)MySQL組成的系統(tǒng)，那確實(shí)可以實(shí)現(xiàn)。但當(dāng)業(yè)務(wù)越做越多，用戶和數(shù)據(jù)量很龐大，出報(bào)表需要跨集群關(guān)聯(lián)多個(gè)系統(tǒng)的數(shù)據(jù)實(shí)現(xiàn)的話，那數(shù)倉還是很有必要的。

如果還不能理解，先想幾個(gè)問題

?

如果你要的數(shù)據(jù)分別存放在很多個(gè)不同的數(shù)據(jù)庫，甚至存在于各種日志文件中，你要如何獲取這些數(shù)據(jù)？

如果你從各數(shù)據(jù)源中取出了你要的數(shù)據(jù)，但是發(fā)現(xiàn)格式不一樣，或者數(shù)據(jù)類型不一樣，你要怎么規(guī)范？

如果有一天你需要在業(yè)務(wù)系統(tǒng)查歷史數(shù)據(jù)，但發(fā)現(xiàn)這些數(shù)據(jù)被修改過的，你要怎么辦？

如果要跨集群關(guān)聯(lián)各個(gè)不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，要怎么做？怎么優(yōu)化查詢時(shí)間？

數(shù)倉的出現(xiàn)，可以很好的解決上面這些問題。它通過數(shù)據(jù)抽取和清洗，將各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)整合落地到一個(gè)系統(tǒng)（數(shù)倉），規(guī)范化數(shù)據(jù)，方便在出報(bào)表做決策的時(shí)候獲取數(shù)據(jù)。

數(shù)據(jù)倉庫的特點(diǎn)

集成性

數(shù)倉中存儲(chǔ)的數(shù)據(jù)來源于多個(gè)數(shù)據(jù)源，原始數(shù)據(jù)在不同數(shù)據(jù)源中的存儲(chǔ)方式各不相同。要整合成為最終的數(shù)據(jù)集合，需要從數(shù)據(jù)源經(jīng)過一系列抽取、清洗、轉(zhuǎn)換的過程。

?

穩(wěn)定性

數(shù)倉中保存的數(shù)據(jù)是歷史記錄，不允許被修改。用戶只能通過分析工具進(jìn)行查詢和分析。

?

動(dòng)態(tài)性

數(shù)倉的數(shù)據(jù)會(huì)隨時(shí)間變化而定期更新，這里的定期更新不是指修改數(shù)據(jù)，一般是將業(yè)務(wù)系統(tǒng)發(fā)生變化的數(shù)據(jù)定期同步到數(shù)倉，和穩(wěn)定性不沖突。不可更新是針對(duì)應(yīng)用而言，即用戶分析處理時(shí)不更新數(shù)據(jù)。

?

主題性

傳統(tǒng)數(shù)據(jù)庫對(duì)應(yīng)的業(yè)務(wù)不同，數(shù)倉需要根據(jù)需求，將不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行整合，即數(shù)據(jù)一般都圍繞某一業(yè)務(wù)主題進(jìn)行建模。例如“貸款”主題、“存款”主題等。

數(shù)倉分層

?

數(shù)倉一般是分層的，而且各個(gè)公司都基于自己的業(yè)務(wù)場景進(jìn)行分層，目前的分層可以說是五花八門，沒有標(biāo)準(zhǔn)答案。但是最主流的還是按照這樣進(jìn)行分層：

數(shù)據(jù)倉庫分層的意義

減少重復(fù)開發(fā)，在數(shù)據(jù)開發(fā)的過程中可以產(chǎn)生中間層，將公共邏輯下沉，減少重復(fù)計(jì)算；

清晰數(shù)據(jù)結(jié)構(gòu)，每個(gè)分層分工明確，方便開發(fā)人員理解；

方便定位問題，通過分層了解數(shù)據(jù)血緣關(guān)系，在出問題的時(shí)候通過回溯定位問題；

簡單化復(fù)雜問題，和分治法思想類似，分而治之，將復(fù)雜的問題簡單化。

免責(zé)聲明：本公眾號(hào)所發(fā)布的文章為本公眾號(hào)原創(chuàng)，或者是在網(wǎng)絡(luò)搜索到的優(yōu)秀文章進(jìn)行的編輯整理，文章版權(quán)歸原作者所有，僅供讀者朋友們學(xué)習(xí)、參考。對(duì)于分享的非原創(chuàng)文章，有些因?yàn)闊o法找到真正來源，如果標(biāo)錯(cuò)來源或者對(duì)于文章中所使用的圖片、鏈接等所包含但不限于軟件、資料等，如有侵權(quán)，請(qǐng)直接聯(lián)系后臺(tái)，說明具體的文章，后臺(tái)會(huì)盡快刪除。給您帶來的不便，深表歉意。