一.數(shù)據(jù)質(zhì)量管理背景

??以大數(shù)據(jù)平臺的核心理念是構(gòu)建于業(yè)務(wù)之上，用數(shù)據(jù)為業(yè)務(wù)創(chuàng)造價值。大數(shù)據(jù)平臺、數(shù)據(jù)倉庫的搭建之初，優(yōu)先滿足業(yè)務(wù)的使用需求，數(shù)據(jù)質(zhì)量往往是被忽視的一環(huán)。但隨著業(yè)務(wù)的逐漸穩(wěn)定，數(shù)據(jù)質(zhì)量越來越被人們所重視。

? ?現(xiàn)在數(shù)據(jù)倉庫層面的工作越來越多，開發(fā)人員也越來越多，如何保障數(shù)據(jù)準(zhǔn)確性是一項非常重要的工作，數(shù)據(jù)倉庫的很多應(yīng)用數(shù)據(jù)直接呈現(xiàn)給用戶或者支撐企業(yè)分析決策的，容不得數(shù)據(jù)出現(xiàn)錯誤。隨著開展的業(yè)務(wù)越來越多，數(shù)據(jù)模型越來也多,我們管控的越晚就越容易出問題。盡管有數(shù)據(jù)倉庫建設(shè)規(guī)范，同樣在數(shù)據(jù)模型命名，數(shù)據(jù)邏輯開發(fā)，每個人都可能不一樣，而這些也容易導(dǎo)致數(shù)據(jù)模型準(zhǔn)確性的問題。

? ? 千里之堤，潰于蟻穴，糟糕的數(shù)據(jù)質(zhì)量往往就會帶來低效的數(shù)據(jù)開發(fā)，不準(zhǔn)確的數(shù)據(jù)分析，最終導(dǎo)致錯誤的業(yè)務(wù)決策。所以我們迫切需要制定一套數(shù)據(jù)的準(zhǔn)確性驗證流程，讓大家都按規(guī)范流程來做，保障數(shù)據(jù)的準(zhǔn)確性。

二.數(shù)據(jù)質(zhì)量管理定義

? ? 數(shù)據(jù)質(zhì)量管理（Data Quality Management），是指對數(shù)據(jù)從計劃、獲取、存儲、共享、維護、應(yīng)用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題，進行識別、度量、監(jiān)控、預(yù)警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進一步提高。

? ? 數(shù)據(jù)質(zhì)量管理不是一時的數(shù)據(jù)治理手段，而是循環(huán)的管理過程。其終極目標(biāo)是通過可靠的數(shù)據(jù)，提升數(shù)據(jù)在使用中的價值，并最終為企業(yè)贏得經(jīng)濟效益

三.數(shù)據(jù)質(zhì)量管理影響因素

? ? ?數(shù)據(jù)問題的來源可能產(chǎn)生于從數(shù)據(jù)源頭到數(shù)據(jù)存儲介質(zhì)的各個環(huán)節(jié)。在數(shù)據(jù)采集階段，數(shù)據(jù)的真實性、準(zhǔn)確性、完整性、時效性都會影響數(shù)據(jù)質(zhì)量。除此之外，數(shù)據(jù)的加工、存儲過程都有可能涉及對原始數(shù)據(jù)的修改，從而引發(fā)數(shù)據(jù)的質(zhì)量問題。所以，技術(shù)、流程、管理等多方面的因素都有可能會影響到數(shù)據(jù)質(zhì)量。

? ? ?在企業(yè)中，隨著企業(yè)業(yè)務(wù)的增長，數(shù)據(jù)也是一個增量積累的過程。隨著數(shù)據(jù)類型、數(shù)據(jù)來源的不斷豐富以及數(shù)據(jù)數(shù)量的快速增長，企業(yè)在數(shù)據(jù)管理工作和數(shù)據(jù)流程中面臨越來越多的數(shù)據(jù)質(zhì)量問題。而且數(shù)據(jù)質(zhì)量的管理并沒有被企業(yè)重視起來，其根本原因還是ROI并沒有那么明顯。? ? ?

? ? 數(shù)據(jù)質(zhì)量管理相對來說成本比較高。因為它涉及到企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)的制定、規(guī)范的落地、生命周期的管理等多個環(huán)節(jié)。從收益上來說，數(shù)據(jù)質(zhì)量的效益和結(jié)果并不是十分明顯，大部分企業(yè)不會把數(shù)據(jù)質(zhì)量作為KPI。在企業(yè)的不同系統(tǒng)中，業(yè)務(wù)領(lǐng)域的關(guān)鍵指標(biāo)不一致，數(shù)據(jù)無法共享導(dǎo)致出現(xiàn)數(shù)據(jù)孤島，大量數(shù)據(jù)無法關(guān)聯(lián)，并且有明顯的數(shù)據(jù)冗余等問題，還有數(shù)據(jù)的維護需要投入大量的人員、時間、軟硬件成本。所以數(shù)據(jù)的質(zhì)量管理往往被會邊緣化甚至趨向于無。

四.數(shù)據(jù)質(zhì)量管理的維度

1、數(shù)據(jù)完整性

完整性指的是數(shù)據(jù)信息是否存在缺失的狀況，數(shù)據(jù)缺失的情況可能是整個數(shù)據(jù)記錄缺失，也可能是數(shù)據(jù)中某個字段信息的記錄缺失。

2、數(shù)據(jù)規(guī)范性

規(guī)范性指的是描述數(shù)據(jù)遵循預(yù)定的語法規(guī)則的程度，是否符合其定義，比如數(shù)據(jù)的類型、格式、取值范圍等。

3、數(shù)據(jù)一致性

一致性是指數(shù)據(jù)是否遵循了統(tǒng)一的規(guī)范，數(shù)據(jù)集合是否保持了統(tǒng)一的格式。數(shù)據(jù)質(zhì)量的一致性主要體現(xiàn)在數(shù)據(jù)記錄的規(guī)范和數(shù)據(jù)是否符合邏輯，一致性并不意味著數(shù)值上的絕對相同，而是數(shù)據(jù)收集、處理的方法和標(biāo)準(zhǔn)的一致。常見的一致性指標(biāo)有：ID 重合度、屬性一致、取值一致、采集方法一致、轉(zhuǎn)化步驟一致。

4、數(shù)據(jù)準(zhǔn)確性

準(zhǔn)確性是指數(shù)據(jù)記錄的信息是否存在異?；蝈e誤。和一致性不一樣，存在準(zhǔn)確性問題的數(shù)據(jù)不僅僅只是規(guī)則上的不一致，更為常見的數(shù)據(jù)準(zhǔn)確性錯誤就如亂碼，其次異常的大或者小的數(shù)據(jù)也是不符合條件的數(shù)據(jù)。常見的準(zhǔn)確性指標(biāo)有：缺失值占比、錯誤值占比、異常值占比、抽樣偏差、數(shù)據(jù)噪聲。

5、數(shù)據(jù)唯一性

唯一性指的是數(shù)據(jù)庫的數(shù)據(jù)不存在重復(fù)的情形。比如真實成交 1 萬條，但數(shù)據(jù)表有 3000 條重復(fù)了，成了 1.3 萬條成交記錄，這種數(shù)據(jù)不符合數(shù)據(jù)唯一性。

6、數(shù)據(jù)及時性

及時性是指數(shù)據(jù)從產(chǎn)生到可以查看的時間間隔，也叫數(shù)據(jù)的延時時長。比如一份數(shù)據(jù)是統(tǒng)計離線今日的，結(jié)果都是第二天甚至第三天才能統(tǒng)計完，這種數(shù)據(jù)不符合數(shù)據(jù)及時性。

五. 數(shù)據(jù)質(zhì)量實施流程

1、事前管理

1）測試驗證

測試驗證方法如下：

• 總量核對，核對上下兩步的數(shù)據(jù)總條數(shù)，沒有過濾條件的話應(yīng)該是一致的。

• 多維度統(tǒng)計，復(fù)雜的多維度指標(biāo)拆分成單維度SQL統(tǒng)計，對每個指標(biāo)分別進行核查。

• 多表關(guān)聯(lián)統(tǒng)計，拆分成中間表進行核對每一步驟的指標(biāo)。

• 明細到指標(biāo)統(tǒng)計，比如隨機找一臺車的明細和最后統(tǒng)計的指標(biāo)進行核對。

• 新老統(tǒng)計對比，比如有些指標(biāo)是遷移或者之前業(yè)務(wù)手工制作，可以開發(fā)后的新指標(biāo)同老指標(biāo)進行對比。

測試需要有專門的數(shù)據(jù)測試人員進行測試，輸出測試用例和測試報告。

2）上線審核

需要對上線的SQL代碼進行審核，主要從以下幾個方面：

• 對查詢表的where后面的條件、join關(guān)聯(lián)字段、group by分組字段等重點檢查邏輯，和需求理解結(jié)合審核。

• 數(shù)據(jù)集命名、數(shù)據(jù)集字段命名、任務(wù)名稱進行審核，是否按照數(shù)據(jù)倉庫建設(shè)規(guī)范中的業(yè)務(wù)域、維度、原子指標(biāo)、修飾類型、修飾詞、時間周期、派生指標(biāo)等標(biāo)準(zhǔn)進行命名。

• 代碼注釋審核，每一步處理需要有注釋該步驟的作用，每個指標(biāo)也要有注釋，where條件等也要添加注釋。

• 重要任務(wù)是否開啟短信告警，任務(wù)啟動時間等審核。

• 任務(wù)上線的位置是否符合上線標(biāo)準(zhǔn)，比如上線的數(shù)據(jù)層級與業(yè)務(wù)層級等。

上線審核需要審核人員按照以上步驟進行審核，對不合理的地方進行指正，審核人員和開發(fā)人員共同保障代碼質(zhì)量。

3）流程規(guī)范

l 需求上線時候需要在知識庫中完成所開發(fā)需求邏輯說明

l 復(fù)雜需求（比如項目指標(biāo)），需要團隊至少兩人以上評審需求后開發(fā)。

提交上線申請的同事需要備注上需求邏輯說明。

l 審核上線人員為“輪值”，審核上線人員需要review開發(fā)人員的代碼，需要和開發(fā)人員共同承擔(dān)代碼質(zhì)量

2、事中監(jiān)控數(shù)據(jù)質(zhì)量

指標(biāo)開發(fā)完成后，需要對指標(biāo)的波動情況進行監(jiān)控，發(fā)現(xiàn)波動較大的進行核查，指標(biāo)波動范圍需要具體業(yè)務(wù)具體制定，需要業(yè)務(wù)人員協(xié)助確認(rèn)。常用的數(shù)據(jù)質(zhì)量監(jiān)控方法如下：

1）校驗每天的記錄數(shù)

分析師遇到的最常見數(shù)據(jù)異常是其報告的輸出突然降至0。我們通常會發(fā)現(xiàn)最后的罪魁禍?zhǔn)资钱?dāng)天沒有將新記錄添加到相應(yīng)的表中。一種簡單的檢查方法是確保每天一個表中的新記錄數(shù)>0。

2）NULL和0值校驗

分析師常遇到的第二個問題是NULL或0值。我們要保證每天增量數(shù)據(jù)中的NULL或0值不能超過新增數(shù)據(jù)的99%。要檢查這一點，只需將一個循環(huán)腳本設(shè)置為每天用NULL或0計數(shù)一個表中的新記錄數(shù)。如果看到記錄數(shù)急劇增加，則可能存在轉(zhuǎn)換錯誤或源業(yè)務(wù)系統(tǒng)就存在異常。

3）每天新增的記錄數(shù)波動范圍

某一天你發(fā)現(xiàn)數(shù)據(jù)量出現(xiàn)大幅增長或下降，而規(guī)則1和2都已校驗通過。這種波動可能是正常的，比如電商行業(yè)某天的大促活動，或者社交軟件的營銷活動。但是也可能這就是異常的，是因為從源系統(tǒng)抽取了重復(fù)的記錄。所以針對此種情況，我們也要制定數(shù)據(jù)質(zhì)量規(guī)則，檢查這些波動何時發(fā)生，并主動進行診斷。比如自動執(zhí)行的一個簡單的SQL過程，每天檢查COUNT個新記錄是否在7天跟蹤平均值的誤差范圍內(nèi)。閾值和誤差范圍可能因公司和產(chǎn)品而異，經(jīng)驗值一般是加減25％。當(dāng)然，你可也可以直接和前一天的數(shù)據(jù)對比，增量不超過前一天的1倍。

4）重復(fù)記錄數(shù)據(jù)校驗

不管是電商系統(tǒng)或者是社交系統(tǒng)或者是物聯(lián)網(wǎng)設(shè)備上報的數(shù)據(jù)，正常情況下都不會出現(xiàn)兩條完全一樣的記錄（包括ID，時間，值都一樣）。筆者曾遇到一個終端上報的兩條數(shù)據(jù)完全一樣的場景，導(dǎo)致我在做時間分段時候，劃分不正確。所以，對數(shù)據(jù)值唯一性校驗是有必要的。

5）數(shù)據(jù)時間校驗

? 一般我們業(yè)務(wù)系統(tǒng)的數(shù)據(jù)都是帶有時間戳的，這個時間戳肯定比當(dāng)前的時間要小。但是由于采集數(shù)據(jù)設(shè)備異常（業(yè)務(wù)系統(tǒng)異常），我們會碰到“未來時間”的數(shù)據(jù)，那如果我們以時間作為分區(qū)，后期可能就會出現(xiàn)異常的分析結(jié)果。當(dāng)然，如果你的公司業(yè)務(wù)是跨國的，你需要考慮時差因素。

3、事后分析和問題跟蹤

? ? 每周定時跑一次程序，對全局?jǐn)?shù)據(jù)進行質(zhì)量稽核控制，如唯一性，非空性等對于程序跑出來的數(shù)據(jù)：數(shù)據(jù)質(zhì)量概覽在數(shù)據(jù)質(zhì)量管理系統(tǒng)查詢數(shù)據(jù)質(zhì)量明細數(shù)據(jù)在數(shù)據(jù)質(zhì)量管理系統(tǒng)查詢根據(jù)異常數(shù)據(jù)統(tǒng)計出來的各種數(shù)據(jù)質(zhì)量報表也可以在數(shù)據(jù)質(zhì)量管理系統(tǒng)查詢，包括表覆蓋率，歷史趨勢，綜合分析，排名分析等(質(zhì)量報告支持導(dǎo)出為word，pdf，excel)對異常進行評估、嚴(yán)重程度、影響范圍、問題分類等可以訂閱自己比較關(guān)心的主題，表或者規(guī)則，郵件只會發(fā)送訂閱內(nèi)容對于打分比較低的表或者業(yè)務(wù)，可以反推業(yè)務(wù)方進行整改

六.最后總結(jié)一下

? ? ?要想真正解決數(shù)據(jù)質(zhì)量問題，就要明確業(yè)務(wù)需求并從需求開始控制數(shù)據(jù)質(zhì)量，并建立數(shù)據(jù)質(zhì)量管理機制。從業(yè)務(wù)出發(fā)做問題定義，由工具自動、及時發(fā)現(xiàn)問題，明確問題責(zé)任人，通過郵件、短信等方式進行通知，保證問題及時通知到責(zé)任人。跟蹤問題整改進度，保證數(shù)據(jù)質(zhì)量問題全過程的管理。