進(jìn)入到大數(shù)據(jù)時(shí)代，數(shù)據(jù)領(lǐng)域里的工程師、分析師和科學(xué)家們可以很輕易的使用開源世界的各種技術(shù)（比如離線處理有MapReduce、Spark，實(shí)時(shí)處理有Flink、Spark Streaming，數(shù)據(jù)存儲(chǔ)有HDFS、Hbase等等）處理數(shù)據(jù)、應(yīng)用數(shù)據(jù)，但是如何將繁雜的數(shù)據(jù)結(jié)構(gòu)、龐大的數(shù)據(jù)集、不斷變化的元數(shù)據(jù)信息變成資產(chǎn)，變成可積累的知識(shí)，卻是一個(gè)很難回答的問題。

對(duì)于業(yè)務(wù)驅(qū)動(dòng)的公司，做數(shù)據(jù)治理并不能直接產(chǎn)生業(yè)務(wù)價(jià)值和效益；技術(shù)驅(qū)動(dòng)的公司，數(shù)據(jù)治理也沒有很高的技術(shù)含量，但是一個(gè)沒有經(jīng)過治理的數(shù)據(jù)，只會(huì)隨著業(yè)務(wù)規(guī)模的增大，越來越混亂，直到?jīng)]有人想去碰。因此如何讓這繁雜的數(shù)據(jù)變成數(shù)據(jù)資產(chǎn)，讓數(shù)據(jù)團(tuán)隊(duì)不做重復(fù)地工作，擁有更高的效率成了每一個(gè)數(shù)據(jù)團(tuán)隊(duì)需要解決的問題。

在大數(shù)據(jù)領(lǐng)域，數(shù)據(jù)治理可以說是高頻次的出現(xiàn)，那么為什么需要數(shù)據(jù)治理？應(yīng)該怎么來實(shí)施數(shù)據(jù)治理？下面一起來探討一下

大數(shù)據(jù)治理的背景

說起數(shù)據(jù)治理，往往會(huì)跟數(shù)據(jù)倉庫進(jìn)行對(duì)標(biāo)，數(shù)據(jù)治理跟數(shù)據(jù)倉庫是什么關(guān)系呢？

一般而言數(shù)據(jù)倉庫主要解決多源數(shù)據(jù)匯聚、存儲(chǔ)和數(shù)據(jù)分析的問題，在數(shù)據(jù)倉庫的體系中極少提到數(shù)據(jù)資產(chǎn)化的概念，那么數(shù)據(jù)治理在傳統(tǒng)的數(shù)據(jù)倉庫的基礎(chǔ)上，更多的體現(xiàn)數(shù)據(jù)資產(chǎn)化的概念，所以數(shù)據(jù)治理的核心能力并不是有限的數(shù)據(jù)分析，而是數(shù)據(jù)價(jià)值的充分挖掘和體現(xiàn)。

那么數(shù)據(jù)治理為什么不叫數(shù)據(jù)管理呢？

數(shù)據(jù)管理更多的是如何來管理數(shù)據(jù)，而數(shù)據(jù)治理更充分的體現(xiàn)數(shù)據(jù)的價(jià)值，通過一系列的治理活動(dòng)來提升數(shù)據(jù)的價(jià)值，發(fā)揮數(shù)據(jù)應(yīng)有的作用，使數(shù)據(jù)驅(qū)動(dòng)應(yīng)用。

另外，數(shù)據(jù)治理與當(dāng)前比較火熱的數(shù)據(jù)中臺(tái)又是什么關(guān)系呢？

數(shù)據(jù)治理是數(shù)據(jù)中臺(tái)的技術(shù)實(shí)現(xiàn)，通過數(shù)據(jù)治理的技術(shù)體系來建立數(shù)據(jù)中臺(tái)。

綜上所述，數(shù)據(jù)治理就是在數(shù)據(jù)爆發(fā)式增長的形勢下，數(shù)據(jù)價(jià)值發(fā)揮越來越顯得緊迫和重要，甚至可以說未來市場的競爭就是數(shù)據(jù)價(jià)值的競爭。所以只有建立完整的數(shù)據(jù)治理體系，才能保障數(shù)據(jù)內(nèi)容的質(zhì)量，才能真正有效的挖掘數(shù)據(jù)價(jià)值，提升競爭力。
?

?
數(shù)據(jù)治理的設(shè)計(jì)方法
?
這里就不長篇大論的描述數(shù)據(jù)治理的設(shè)計(jì)方案了，主要以關(guān)鍵點(diǎn)的方式來進(jìn)行簡要闡述。

首先我們要考慮數(shù)據(jù)治理的目標(biāo)，其一對(duì)數(shù)據(jù)通過統(tǒng)一的視圖進(jìn)行管理；其二對(duì)多源數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理；其三數(shù)據(jù)資產(chǎn)化最重要的活動(dòng)，數(shù)據(jù)價(jià)值挖掘的基礎(chǔ)。
?
1.標(biāo)準(zhǔn)先行，一般來說需要事先制定“數(shù)據(jù)分類及編碼標(biāo)準(zhǔn)”、“數(shù)據(jù)目錄標(biāo)準(zhǔn)”、“數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)”、“數(shù)據(jù)安全標(biāo)準(zhǔn)”、“數(shù)據(jù)交換共享標(biāo)準(zhǔn)”。

2.依據(jù)標(biāo)準(zhǔn)建立數(shù)據(jù)目錄管理功能，通過數(shù)據(jù)目錄管理來落實(shí)數(shù)據(jù)分類編碼、數(shù)據(jù)目錄和數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)。

3.建立數(shù)據(jù)清洗規(guī)則，使數(shù)據(jù)目錄與源數(shù)據(jù)表建立映射，數(shù)據(jù)項(xiàng)與源表數(shù)據(jù)項(xiàng)建立映射，通過ETL實(shí)現(xiàn)對(duì)源數(shù)據(jù)的清洗。

4.建立數(shù)據(jù)質(zhì)量管理功能，按照數(shù)據(jù)目錄定期檢查數(shù)據(jù)的質(zhì)量問題，并通過數(shù)據(jù)問題庫來記錄和跟蹤數(shù)據(jù)的質(zhì)量問題，從而達(dá)到持續(xù)改進(jìn)數(shù)據(jù)治理的效果。

5.建立數(shù)據(jù)安全管理功能，數(shù)據(jù)安全主要通過三方面來實(shí)現(xiàn)，其一是數(shù)據(jù)加密、脫敏等技術(shù)，其二是數(shù)據(jù)權(quán)限，包括表級(jí)、行級(jí)和列級(jí)權(quán)限定義，其三對(duì)數(shù)據(jù)交換共享進(jìn)行日志記錄，并定時(shí)自動(dòng)審計(jì)數(shù)據(jù)安全問題。

6.建立數(shù)據(jù)服務(wù)功能，一般都會(huì)提供通過文件、接口的方式來提供數(shù)據(jù)服務(wù)功能，按照數(shù)據(jù)安全標(biāo)準(zhǔn)對(duì)數(shù)據(jù)服務(wù)方式進(jìn)行處理。

7.ETL，支持通過表對(duì)接、文件、接口等方式歸集數(shù)據(jù)，通過數(shù)據(jù)清洗規(guī)則對(duì)數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)換的處理，從而加載到數(shù)據(jù)庫中，用Hive來作為加載數(shù)據(jù)的數(shù)據(jù)倉庫。

8.數(shù)據(jù)治理的高級(jí)功能，包括數(shù)據(jù)血緣、數(shù)據(jù)關(guān)聯(lián)等分析的能力。

伴隨以互聯(lián)網(wǎng)、大數(shù)據(jù)、物聯(lián)網(wǎng)、5G、AI、數(shù)據(jù)中臺(tái)、新基建等為代表的新一代信息技術(shù)發(fā)展，企業(yè)數(shù)字化轉(zhuǎn)型的需求加劇，但企業(yè)轉(zhuǎn)型過程中，各種數(shù)據(jù)信息會(huì)成為轉(zhuǎn)型的首要內(nèi)容，而數(shù)據(jù)治理則是轉(zhuǎn)型工作的重中之重。

通常來講數(shù)據(jù)治理作為一項(xiàng)系統(tǒng)性工程，在企業(yè)數(shù)字化轉(zhuǎn)型過程中暴露的問題也較多，如：

數(shù)據(jù)異構(gòu)系統(tǒng)多，信息系統(tǒng)孤島現(xiàn)象普遍存在；

數(shù)據(jù)整合難，數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、質(zhì)量差、資源共享與協(xié)同支撐作用薄弱、價(jià)值發(fā)掘難度大等；

方法及技術(shù)局限，傳統(tǒng)的數(shù)據(jù)治理技術(shù)方法存在較大的局限性，咨詢-標(biāo)準(zhǔn)-系統(tǒng)建設(shè)的模式往往在咨詢后就難以為繼，不是找不到落地抓手，就是因工作量巨大而半途而廢。

…

面臨當(dāng)下這些問題，企業(yè)如何突破現(xiàn)有瓶頸讓數(shù)據(jù)治理項(xiàng)目可以順利進(jìn)行，成功實(shí)現(xiàn)企業(yè)數(shù)字化轉(zhuǎn)型？

DAMA數(shù)據(jù)治理認(rèn)證給你安排上了，讓您掌握數(shù)據(jù)治理專業(yè)知識(shí)，有效助力企業(yè)數(shù)字化轉(zhuǎn)型。