解讀商業(yè)智能BI,數(shù)據(jù)倉庫中的元數(shù)據(jù)
之前的文章討論過數(shù)據(jù)分析、數(shù)據(jù)治理、數(shù)據(jù)倉庫等等,即使是非業(yè)內人員從字面意思,也是可以了解一二的,但是,很多人對于元數(shù)據(jù)可能就比較陌生了。那么,今天我們就來聊一聊元數(shù)據(jù)管理。
一、數(shù)據(jù)倉庫
要說元數(shù)據(jù),那就離不開數(shù)據(jù)倉庫。
數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間變化但信息本身相對穩(wěn)定的數(shù)據(jù)集合,用于支持管理決策過程。其本質就是完成從面向業(yè)務過程數(shù)據(jù)的組織管理到面向業(yè)務分析數(shù)據(jù)的組織和管理的轉變過程,也是商業(yè)智能BI中數(shù)據(jù)倉庫的主要作用。

數(shù)據(jù)倉庫就像企業(yè)的總的大倉庫,能夠存儲不同來源、不同格式的數(shù)據(jù),并且可以通過ETL和數(shù)據(jù)模型,對數(shù)據(jù)進行高質量的篩選,分級分類進行存儲。具有很強的穩(wěn)定性,不會頻繁的進行增刪改等操作,能夠反應歷史變化。
用通俗的話來說就是數(shù)據(jù)倉庫就像一個終端的大倉庫,其他小倉庫的各種貨品會通過各種方式統(tǒng)一存儲到這里,然后通過倉庫位置的劃分、貨品的擺放進行歸納分類,實現(xiàn)規(guī)范、標準的從存放,到分類,再到使用的完整過程。
二、元數(shù)據(jù)的定義
簡而言之,元數(shù)據(jù)就是數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)倉庫系統(tǒng)中,元數(shù)據(jù)可以幫助數(shù)據(jù)倉庫管理員和數(shù)據(jù)倉庫的開發(fā)人員非常方便地找到他們所關心的數(shù)據(jù);元數(shù)據(jù)是描述數(shù)據(jù)倉庫內數(shù)據(jù)的結構和建立方法的數(shù)據(jù),可將其按用途的不同分為兩類:技術元數(shù)據(jù)和業(yè)務元數(shù)據(jù)。
●業(yè)務元數(shù)據(jù)從業(yè)務角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù),它提供了介于使用者和實際系統(tǒng)之間的語義層,使得不懂計算機技術的業(yè)務人員也能夠“讀懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。
●技術元數(shù)據(jù)是存儲關于數(shù)據(jù)倉庫系統(tǒng)技術細節(jié)的數(shù)據(jù),是用于開發(fā)和管理數(shù)據(jù)倉庫使用的數(shù)據(jù)。
?

三、元數(shù)據(jù)的應用場景
1、血緣關系:提供實時血緣查詢能力,解決數(shù)據(jù)來源不容易確定、難以評估數(shù)據(jù)變動造成的影響等問題。
2、元數(shù)據(jù)查詢:開發(fā)平臺、指標模型管理、商業(yè)智能BI工具等通過元數(shù)據(jù)服務查詢庫表信息。
3、資產(chǎn)管理:通過系統(tǒng)采集的元數(shù)據(jù)信息,對數(shù)據(jù)資產(chǎn)進行集中管理,設置生命周期、安全等級等關鍵屬性。
4、影響分析:支持查詢當前節(jié)點全部下游,支持變更通知模塊根據(jù)影響范圍進行變更消息的發(fā)送。
5、價值評估:數(shù)據(jù)資產(chǎn)價值評估模型通過元數(shù)據(jù)中心提供的豐富的元數(shù)據(jù)得以落地。

?四、元數(shù)據(jù)管理的挑戰(zhàn)
日趨復雜的數(shù)據(jù)環(huán)境,隨著越來越多的非結構化、半結構化數(shù)據(jù)滲透到企業(yè)的數(shù)字環(huán)境中,采用傳統(tǒng)的元數(shù)據(jù)管理方式來采集、處理和檢索元數(shù)據(jù),尤其是在處理復雜的數(shù)據(jù)關系時,雖然人們很容易根據(jù)認知關聯(lián)來判斷兩個或多個事物是否相關,但目前的元數(shù)據(jù)管理工具卻常常無法做到。
企業(yè)的數(shù)據(jù)是在數(shù)據(jù)供應鏈中不斷移動的。這里所說的數(shù)據(jù)供應鏈,是指從數(shù)據(jù)創(chuàng)建到數(shù)據(jù)的加工處理、存儲使用的整個生命周期鏈條。隨著數(shù)據(jù)的不斷創(chuàng)建、抽取和轉換,有關數(shù)據(jù)來源、血緣、轉換過程、質量級別以及與其他數(shù)據(jù)的關系的元數(shù)據(jù)也會隨時變化。
?

元數(shù)據(jù)管理能夠增強數(shù)據(jù)理解,是企業(yè)內部IT和業(yè)務部門的紐帶,做好元數(shù)據(jù)管理能夠在企業(yè)內部追溯業(yè)務指標,報表數(shù)據(jù)來源,同時也能敏捷的應對企業(yè)數(shù)據(jù)分析的需求。
?