CDGA|大數(shù)據(jù)時(shí)代,保障數(shù)據(jù)質(zhì)量的六大方法!

我們正處于大數(shù)據(jù)時(shí)代,每時(shí)每刻都會(huì)產(chǎn)生大量的數(shù)據(jù)。
大多數(shù)企業(yè)都會(huì)使用高級(jí)數(shù)據(jù)工具來(lái)收集大量數(shù)據(jù),但是原始數(shù)據(jù)通常包含錯(cuò)誤數(shù)據(jù),如果不做數(shù)據(jù)質(zhì)量管理,可能會(huì)導(dǎo)致錯(cuò)誤的結(jié)果。
為了企業(yè)更好的使用這些數(shù)據(jù),數(shù)據(jù)管理人士必須保障數(shù)據(jù)的質(zhì)量。

一般來(lái)說(shuō),數(shù)據(jù)質(zhì)量管理的方法有以下六點(diǎn):
?
一、設(shè)置質(zhì)量標(biāo)準(zhǔn)
?
數(shù)據(jù)質(zhì)量管理的第一步是建立一套質(zhì)量標(biāo)準(zhǔn)。必須明確定義標(biāo)準(zhǔn),以從數(shù)據(jù)集中過(guò)程中過(guò)濾掉“臟數(shù)據(jù)”??梢远x以下幾個(gè)條件。
數(shù)據(jù)約束:有多種類型的數(shù)據(jù)約束可確保收集的數(shù)據(jù)具有最佳質(zhì)量,例如:
·數(shù)據(jù)類型約束:僅限于注冊(cè)值的范圍,例如布爾值,數(shù)字,日期等。
·范圍限制:數(shù)值不是絕對(duì)的,而是具有最小和/或最大允許值。
·強(qiáng)制性約束:必須填寫所有列。
·唯一性約束:每個(gè)字段或字段組合在整個(gè)數(shù)據(jù)集中都必須是唯一的。
·成員資格約束:每列中的一組離散值或代碼。
·外鍵約束:子值可以通過(guò)一組允許值添加到其他列。
·正則表達(dá)式模式:設(shè)置允許的模式,例如電話號(hào)碼,站號(hào),密碼等模式。
設(shè)置數(shù)據(jù)約束有助于在數(shù)據(jù)收集過(guò)程的一開始就保持?jǐn)?shù)據(jù)質(zhì)量。

二、確保準(zhǔn)確性
?
盡管數(shù)據(jù)約束在一定程度上確保了正確的數(shù)據(jù)值,但考慮到該領(lǐng)域的主觀方面,準(zhǔn)確性仍然是一個(gè)挑戰(zhàn)。
?
三、刪除重復(fù)數(shù)據(jù)
?
當(dāng)組合多個(gè)數(shù)據(jù)集以生成洞察力時(shí),數(shù)據(jù)集中就會(huì)出現(xiàn)重復(fù)。
重復(fù)的數(shù)據(jù)可能是數(shù)據(jù)不完整的結(jié)果,也可能是數(shù)據(jù)結(jié)構(gòu)中的問(wèn)題。?
?
四、僅接受完整數(shù)據(jù)
?
盡管大多數(shù)軟件工具不接受不完整的數(shù)據(jù),但是使用電子表格或基于紙張的表格可能會(huì)導(dǎo)致數(shù)據(jù)不完整。?
?
五、保持一致性和統(tǒng)一性
?
當(dāng)不同字段中的兩個(gè)值相互矛盾時(shí),數(shù)據(jù)不一致。
合并多個(gè)部門或時(shí)間范圍的數(shù)據(jù)時(shí),會(huì)發(fā)生這種情況。
數(shù)據(jù)的一致性是指度量單位。
數(shù)據(jù)的一致性和統(tǒng)一性對(duì)于獲得準(zhǔn)確的結(jié)果至關(guān)重要。

六、提高準(zhǔn)確性
?
數(shù)據(jù)質(zhì)量管理是一個(gè)三步過(guò)程,其中包括考慮上述所有條件以維護(hù)數(shù)據(jù)完整性。根據(jù)上述標(biāo)準(zhǔn)收集數(shù)據(jù)后,可以采取以下措施來(lái)提高準(zhǔn)確性。
?
·檢驗(yàn):執(zhí)行檢驗(yàn)以檢測(cè)整個(gè)質(zhì)量標(biāo)準(zhǔn)中數(shù)據(jù)的不準(zhǔn)確性
?
·清理:從數(shù)據(jù)集中刪除異常
?
·驗(yàn)證:對(duì)清潔過(guò)程進(jìn)行交叉驗(yàn)證,以確保消除了每個(gè)方面的不準(zhǔn)確性和不一致性
?
·報(bào)告:創(chuàng)建有關(guān)所做的更改以及有關(guān)系統(tǒng)中記錄的數(shù)據(jù)的當(dāng)前質(zhì)量的報(bào)告。
?
數(shù)據(jù)質(zhì)量管理必須是一個(gè)連續(xù)的過(guò)程,因?yàn)闀r(shí)間,情況會(huì)發(fā)生變化,并且會(huì)影響記錄的數(shù)據(jù)質(zhì)量。
過(guò)時(shí)的舊數(shù)據(jù)可能沒(méi)有幫助。
定期進(jìn)行數(shù)據(jù)治理管理有助于您獲得準(zhǔn)確的見解。準(zhǔn)確的數(shù)據(jù)會(huì)助力您的業(yè)務(wù)決策并成功推動(dòng)您的戰(zhàn)略。
?
數(shù)據(jù)質(zhì)量管理是企業(yè)數(shù)據(jù)治理一個(gè)重要的組成部分,企業(yè)數(shù)據(jù)治理的所有工作都是圍繞提升數(shù)據(jù)質(zhì)量目標(biāo)而開展的。
要做好數(shù)據(jù)質(zhì)量的管理,應(yīng)抓住影響數(shù)據(jù)質(zhì)量的關(guān)鍵因素,設(shè)置質(zhì)量管理點(diǎn)或質(zhì)量控制點(diǎn),從數(shù)據(jù)的源頭抓起,從根本上解決數(shù)據(jù)質(zhì)量問(wèn)題。
數(shù)據(jù)治理的成功實(shí)現(xiàn)需要大量的數(shù)據(jù)治理人才,需要數(shù)據(jù)管理人士充分發(fā)揮自己專業(yè)知識(shí)與技能去解決這些難題。

為了解決社會(huì)對(duì)數(shù)據(jù)管理人才的緊迫需求,規(guī)范化數(shù)字要素市場(chǎng),推進(jìn)政府?dāng)?shù)據(jù)開放共享、提升社會(huì)數(shù)據(jù)資源價(jià)值、加強(qiáng)數(shù)據(jù)資源整合和安全保護(hù)三項(xiàng)要求,DAMA中國(guó)特決定建立一個(gè)長(zhǎng)期的“數(shù)據(jù)人才”成長(zhǎng)計(jì)劃,面向個(gè)人開展培訓(xùn)認(rèn)證。
為了便于國(guó)內(nèi)廣大數(shù)據(jù)從業(yè)者學(xué)習(xí)相關(guān)認(rèn)證,DAMA中國(guó)以國(guó)際數(shù)據(jù)管理協(xié)會(huì)(簡(jiǎn)稱“DAMA國(guó)際”) DAMA數(shù)據(jù)管理知識(shí)體系為基礎(chǔ),結(jié)合國(guó)內(nèi)實(shí)際需求,對(duì)DAMA國(guó)際數(shù)據(jù)管理專業(yè)人員認(rèn)證( CDMP )的考試語(yǔ)言、考試形式、考試內(nèi)容、證書類型等進(jìn)行了適當(dāng)本地化重構(gòu)。
重構(gòu)后認(rèn)證考試分為數(shù)據(jù)治理工程師( CDGA )和數(shù)據(jù)治理專家( CDGP ),DAMA中國(guó)承擔(dān)認(rèn)證考試命題工作,并定期組織中文考試,對(duì)考試通過(guò)者由DAMA中國(guó)頒發(fā)認(rèn)證證書。
證書有效期為三年,獲得CDGA認(rèn)證才能申請(qǐng)CDGP認(rèn)證考試。
