數(shù)據(jù)治理|提高數(shù)據(jù)質量的步驟和措施

由于大多數(shù)系統(tǒng)和應用程序會持續(xù)不斷接收到新數(shù)據(jù),數(shù)據(jù)量也在不斷增加,因此確保數(shù)據(jù)質量并不是一次就能完成的。所有企業(yè)都應該使用一種反復進行的階段性過程來管理數(shù)據(jù)質量,此過程包括數(shù)據(jù)質量評估、規(guī)劃以及策略的選擇和實施。
?

?
第一步對數(shù)據(jù)質量進行評估。評估當前的數(shù)據(jù)質量狀態(tài)是第一步。對數(shù)據(jù)質量進行評估能幫助企業(yè)準確地了解數(shù)據(jù)的內容、質量和結構。主管人員參與數(shù)據(jù)質量評估以及分析在數(shù)據(jù)檢查過程中發(fā)現(xiàn)的問題對于數(shù)據(jù)質量評估來說都很重要。在最有效的數(shù)據(jù)質量評估中,所有問題都將按照對業(yè)務影響從大到小的順序列出,這將幫助IT機構節(jié)省項目成本。
第二步,制訂數(shù)據(jù)質量計劃。徹底了解企業(yè)數(shù)據(jù)的內容和質量后,接下來的步驟是制訂一個計劃,來修改當前的錯誤并避免未來錯誤的發(fā)生。有效的計劃不但可以提高企業(yè)當前所有應用程序中數(shù)據(jù)的質量,還將制定一些方式以確保新應用程序從一開始就遵循數(shù)據(jù)質量規(guī)則。
第三步,選擇和實施數(shù)據(jù)質量策略。選擇改善企業(yè)數(shù)據(jù)質量的策略,要求決策者權衡每個數(shù)據(jù)質量計劃的成本以及該策略產生的影響。目前的策略類型有兩種: 在企業(yè)輸入數(shù)據(jù)時提高數(shù)據(jù)質量的方法 稱為“上游”方法,而從運營系統(tǒng)提取數(shù)據(jù)的應用程序(如數(shù)據(jù)倉庫)中改善數(shù)據(jù)質量的方法是“下游”方法。
?

?
上游策略研究當前應用程序的邏輯、數(shù)據(jù)和流程,解決檢查過程中發(fā)現(xiàn)的異常情況。此策略可能涉及到更改應用程序邏輯、添加更好的表驗證、改善與數(shù)據(jù)輸入相關的流程,它致力于企業(yè)數(shù)據(jù)的高準確性。另外,此策略還要求使用應用程序本身附帶的數(shù)據(jù)質量功能。
下游策略解決目標應用程序或數(shù)據(jù)倉庫(而非數(shù)據(jù)源)中的數(shù)據(jù)質量問題。由于數(shù)據(jù)可以根據(jù)需要隨時進行修改,所以企業(yè)能夠在流程(尤其是數(shù)據(jù)轉換、名稱和地址清洗以及查找驗證)中改善數(shù)據(jù)質量。下游策略僅為目標應用程序或數(shù)據(jù)倉庫改善數(shù)據(jù)質量,但與上游策略相比,它的實施過程更簡單,成本更低。
1.建立數(shù)據(jù)的標準,明確數(shù)據(jù)的定義。
通常,獨立的應用系統(tǒng)會有一個比較模糊的、有時也會有比較清晰的數(shù)據(jù)標準和數(shù)據(jù)定義。為了保證系統(tǒng)的正常運行,這些系統(tǒng)的用戶必須在數(shù)據(jù)的標準和數(shù)據(jù)的定義上達成一致。不過,這些標準和定義大多數(shù)時候與企業(yè)中其他系統(tǒng)中的數(shù)據(jù)標準和定義并不一致。因此,需要從整個企業(yè)的角度出發(fā),建立統(tǒng)一的數(shù)據(jù)標準和數(shù)據(jù)定義,同時,整個企業(yè)必須就這個數(shù)據(jù)標準和數(shù)據(jù)定義達成共識。這一句話說起來容易做起來難。因為人通常本能地會拒絕改變,改變數(shù)據(jù)標準和定義并不是輕而易舉的。為此,強烈建立在企業(yè)中除了設立一個高管級別的數(shù)據(jù)質量管理委員會外,還需要選定一個執(zhí)行能力強的項目負責人,需要他推動相關人員接受新的數(shù)據(jù)標準和定義。
在具體建立新的數(shù)據(jù)標準和數(shù)據(jù)定義時,需要仔細權衡,哪些定義和標準是出于企業(yè)內部的原因?(比如出于方便、習慣等)制訂的,哪些定義和標準是因為要有效反映外部的真實世界而制訂的。相對而言,前者更容易執(zhí)行一些。
?

?
2.建立一個可重復的數(shù)據(jù)收集、數(shù)據(jù)修改和數(shù)據(jù)維護流程。
數(shù)據(jù)管理面臨的兩個主要挑戰(zhàn)是企業(yè)本身的復雜性和身份信息不斷變化。這兩個客觀原因的存在意味著企業(yè)的數(shù)據(jù)質量保證行動永遠沒有結束之日,因此,企業(yè)在制訂數(shù)據(jù)質量的保證措施和數(shù)據(jù)質量指標時,必須保證這些措施和指標能夠不斷重復。
3.在數(shù)據(jù)轉化流程中設立多個性能監(jiān)控點。
數(shù)據(jù)的質量高低可以根據(jù)最終用戶的需求來評價,也可以通過與同類數(shù)據(jù)源的比較來評價,還可以通過與前一階段的數(shù)據(jù)質量進行比較來評價。但在制訂數(shù)據(jù)質量的戰(zhàn)略時,比較理想的辦法還是根據(jù)最終用戶的需求來進行。不過這里存在一個問題是,等到最終用戶拿到數(shù)據(jù)時再針對數(shù)據(jù)的問題進?行修正已經(jīng)太遲了。
一個有效的數(shù)據(jù)質量保證辦法是在每當數(shù)據(jù)發(fā)生轉換后就與前一時期進行比較,從而對數(shù)據(jù)質量進行評估。如果此前所采用的數(shù)據(jù)質量改進方法有助于提高最終用戶的滿意度,那么,這些中間指標的達標也預示著項目的最終成功。
?

?
4.對流程不斷進行改善和優(yōu)化。
我們常常聽到有人說,他們制訂了很多辦法來迅速而且大幅度提升數(shù)據(jù)的質量,但很少聽說最后他們能真正得到滿意的結果。其原因就在于數(shù)據(jù)的質量改進絕非一朝一夕的事情,而是一個持續(xù)的過程。正確的辦法是通過一個不斷改進的流程,持續(xù)不斷地排除錯誤、對數(shù)據(jù)進行整合和標準化,最后達到流程的自動化,從而降低數(shù)據(jù)質量保證計劃的總體開銷。實際上,排除錯誤、數(shù)據(jù)整合和數(shù)據(jù)標 準化從來就不是一件容易的事情。
數(shù)據(jù)質量管理計劃的負責人將配合公司高管組成的數(shù)據(jù)質量管理委員會來保證這個流程的順利執(zhí)行。要注意的是,作為該項目的負責人,不能墨守成規(guī),僅僅因為自己以前一向采用某種方法,就要求別人也必須采用這一方法,特別是當發(fā)現(xiàn)這些方法成本高昂的時候,?就應該考慮換一種方式了。
5.把責任落實到人。
通常,我們認為那些與數(shù)據(jù)的產生、維護相關的人員是負責任的,但是,很有可能,他們有很多其他的工作要做,因此作為數(shù)據(jù)質量的負責人光有善良的想法是難以提高數(shù)據(jù)的質量,很有可能一輩子也達不到目標。
對于那些負責數(shù)據(jù)的產生、數(shù)據(jù)的合理化以及對數(shù)據(jù)進行清理和維護的人,應該給他們的活動制訂明確的指標,這樣他們才能真正理解人們到底希望他們達到什么目標。更重要的,他們還需要針對這些指標細化對他們自己的要求,當然,他們會因為達到或者超過這些指標而得到獎勵。其中,一個執(zhí)行力強的負責人的價值體現(xiàn)出來,他會針對具體情況適時調整數(shù)據(jù)質量的目標。
最后,再次強調考慮與數(shù)據(jù)管理和數(shù)據(jù)質量的改進項目有關的人的因素,他們的行為是非常重要的。從某種程度上說,要比具體選擇什么軟件要重要得多。上述5點有助于幫助組織規(guī)范數(shù)據(jù)質量管理中與人有關的流程。
更多數(shù)據(jù)治理相關專業(yè)知識建議參加系統(tǒng)的數(shù)據(jù)治理課程,不僅僅是知識的增長,考試通過后還能獲得專業(yè)領域的認證證書。
為了便于國內廣大數(shù)據(jù)從業(yè)者學習相關認證,DAMA中國以國際數(shù)據(jù)管理協(xié)會(簡稱“DAMA國際”) DAMA數(shù)據(jù)管理知識體系為基礎,結合國內實際需求,對DAMA國際數(shù)據(jù)管理專業(yè)人員認證( CDMP )的考試語言、考試形式、考試內容、證書類型等進行了適當本地化重構。
?

?
重構后認證考試分為數(shù)據(jù)治理工程師( CDGA )和數(shù)據(jù)治理專家( CDGP ),DAMA中國承擔認證考試命題工作,并定期組織中文考試,對考試通過者由DAMA中國頒發(fā)認證證書。證書有效期為三年,獲得CDGA認證才能申請CDGP認證考試。
幫助數(shù)據(jù)管理從業(yè)人士獲得企業(yè)數(shù)字化轉型戰(zhàn)略下的必備職業(yè)能力,促進開展工作實踐應用及實際問題解決,形成企業(yè)所需的新數(shù)字經(jīng)濟下的核心職業(yè)競爭能力。
十三大知識模塊
