什么是數(shù)據(jù)和數(shù)據(jù)質(zhì)量
1. 什么是數(shù)據(jù)?
數(shù)據(jù)(data):是事實(shí)或觀察的結(jié)果,是對(duì)客觀事物的邏輯歸納,是用于表示客觀事物的未經(jīng)加工的原始素材。數(shù)據(jù)可以是連續(xù)的值,比如聲音、圖像,稱為模擬數(shù)據(jù)或者計(jì)量型數(shù)據(jù)。也可以是離散的,如符號(hào)、文字,稱為數(shù)字?jǐn)?shù)據(jù)或計(jì)數(shù)型數(shù)據(jù)。在計(jì)算機(jī)系統(tǒng)中,數(shù)據(jù)以二進(jìn)制信息單元0,1的形式表示。
2020年3月30日,中共中央國(guó)務(wù)院《關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置體制機(jī)制的意見(jiàn)》(以下簡(jiǎn)稱《意見(jiàn)》)正式公布。這是中央第一份關(guān)于要素市場(chǎng)化配置的文件。文件中分類提出了土地、勞動(dòng)力、資本、技術(shù)、數(shù)據(jù)五個(gè)要素領(lǐng)域改革的方向。當(dāng)中備受關(guān)注的亮點(diǎn)是,“數(shù)據(jù)”作為一種新型生產(chǎn)要素,首次與其他傳統(tǒng)要素并列為要素之一。

2. 什么是數(shù)據(jù)質(zhì)量?
2.1數(shù)據(jù)質(zhì)量:數(shù)據(jù)的一組固有屬性滿足數(shù)據(jù)消費(fèi)者要求的程度。
真實(shí)性、及時(shí)性和相關(guān)性是數(shù)據(jù)的固有屬性。
真實(shí)性:即數(shù)據(jù)是客觀世界的真實(shí)反映;
及時(shí)性:即數(shù)據(jù)是隨著變化及時(shí)更新的;
相關(guān)性:即數(shù)據(jù)是數(shù)據(jù)消費(fèi)者關(guān)注和需要的;
2.2 高質(zhì)量的數(shù)據(jù)應(yīng)從組織、戰(zhàn)略、運(yùn)營(yíng)、項(xiàng)目、質(zhì)量管理、相關(guān)方角度等滿足數(shù)據(jù)消費(fèi)者的要求。總結(jié)起來(lái),數(shù)據(jù)消費(fèi)者對(duì)數(shù)據(jù)的需求有如下幾個(gè)方面。
a.?可得性 - 當(dāng)需要數(shù)據(jù)時(shí)能夠獲取到;
b.?及時(shí)性 - 當(dāng)需要時(shí),數(shù)據(jù)獲得且是及時(shí)更新的;
c.?完整性 - 數(shù)據(jù)是完整沒(méi)有遺漏的;
d.?安全性 - 數(shù)據(jù)是安全的,避免非授權(quán)的訪問(wèn)和操控;
e.?可理解性 - 數(shù)據(jù)是可理解和解釋的;
f.?正確性 - 數(shù)據(jù)是現(xiàn)實(shí)世界的真實(shí)反映。
基于以上,需要評(píng)估數(shù)據(jù)是否滿足消費(fèi)者要求,這就是數(shù)據(jù)質(zhì)量管理。
?

3. 什么是數(shù)據(jù)質(zhì)量管理?
3.1數(shù)據(jù)質(zhì)量管理:是指對(duì)數(shù)據(jù)從計(jì)劃、獲取、存儲(chǔ)、共享、維護(hù)、應(yīng)用、消亡生命周期的每個(gè)階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問(wèn)題,進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警等一系列管理活動(dòng),并通過(guò)改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進(jìn)一步提高。
3.2數(shù)據(jù)質(zhì)量的評(píng)估維度:
a.?完整性,是指數(shù)據(jù)信息是否完整,是否存在缺失情況。
b.?規(guī)范性,是指記錄是否符合規(guī)范,是否按照規(guī)定的格式存儲(chǔ)(例如標(biāo)準(zhǔn)編碼規(guī)則)。
c.?一致性,是指數(shù)據(jù)是否符合邏輯,數(shù)據(jù)內(nèi)單項(xiàng)或多項(xiàng)數(shù)據(jù)間存在邏輯關(guān)系。
d.?準(zhǔn)確性,用于度量哪些數(shù)據(jù)和信息是不正確的,或者數(shù)據(jù)是超期的。
e.?時(shí)效性,數(shù)據(jù)從產(chǎn)生到可以查看的時(shí)間間隔,也叫數(shù)據(jù)的延時(shí)時(shí)長(zhǎng)。
f.?唯一性,用于度量哪些數(shù)據(jù)是重復(fù)數(shù)據(jù)或者數(shù)據(jù)的哪些屬性是重復(fù)的。
g.?合理性,是從業(yè)務(wù)邏輯角度判斷數(shù)據(jù)是否正確。評(píng)估方面可參照規(guī)范性、一致性做法。
h.?冗余性,是指多層次數(shù)據(jù)中,中是否存在不必要的數(shù)據(jù)冗余。
i.?獲取性,是指數(shù)據(jù)是否易于獲取、易于理解和易于使用。
3.3影響數(shù)據(jù)質(zhì)量的因素:主要來(lái)源于四方面:信息因素、技術(shù)因素、流程因素和管理因素。
信息因素:產(chǎn)生這部分?jǐn)?shù)據(jù)質(zhì)量問(wèn)題的原因主要有:元數(shù)據(jù)描述及理解錯(cuò)誤、數(shù)據(jù)度量的各種性質(zhì)(如:數(shù)據(jù)源規(guī)格不統(tǒng)一)得不到保證和變化頻度不恰當(dāng)?shù)取?/p>
技術(shù)因素:主要是指由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)的異常造成的數(shù)據(jù)質(zhì)量問(wèn)題。數(shù)據(jù)質(zhì)量問(wèn)題的產(chǎn)生環(huán)節(jié)主要包括數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)使用、數(shù)據(jù)維護(hù)等方面的內(nèi)容。
流程因素:是指由于系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)造成的數(shù)據(jù)質(zhì)量問(wèn)題,主要來(lái)源于系統(tǒng)數(shù)據(jù)的創(chuàng)建流程、傳遞流程、裝載流程、使用流程、維護(hù)流程和稽核流程等各環(huán)節(jié)。
管理因素:是指由于人員素質(zhì)及管理機(jī)制方面的原因造成的數(shù)據(jù)質(zhì)量問(wèn)題。如人員培訓(xùn)、人員管理、培訓(xùn)或者獎(jiǎng)懲措施不當(dāng)導(dǎo)致的管理缺失或者管理缺陷。
組織如何解決數(shù)據(jù)質(zhì)量問(wèn)題?可以從戴明環(huán)PDCA的角度,來(lái)解決數(shù)據(jù)存在的質(zhì)量問(wèn)題,云質(zhì)信息總結(jié)如下圖:
?

4.云質(zhì)觀點(diǎn)
數(shù)據(jù)作為一種新型生產(chǎn)要素寫入了《意見(jiàn)》。如何解讀這背后釋放的政策信號(hào)?如何讓數(shù)據(jù)要素的分配更加“有數(shù)”?大數(shù)據(jù)交易市場(chǎng)如何從“0”到“1”實(shí)現(xiàn)突破?此舉旨在通過(guò)加快數(shù)據(jù)要素市場(chǎng)培育,充分發(fā)揮數(shù)據(jù)要素對(duì)其他要素效率的倍增作用,使大數(shù)據(jù)成為推動(dòng)經(jīng)濟(jì)高質(zhì)量發(fā)展的新動(dòng)能。
國(guó)際通用的質(zhì)量管理體系ISO9001中的不同條款也多次提到,組織應(yīng)評(píng)價(jià)和分析數(shù)據(jù)以改進(jìn)組織的過(guò)程。
在此我們先留下一個(gè)問(wèn)題待分解,即組織如何利用好質(zhì)量數(shù)據(jù)來(lái)改善組織的過(guò)程呢?
ISO9001:2015中摘錄部分條款如下:
0.3.1總則
在質(zhì)量管理體系中應(yīng)用過(guò)程方法能夠:
a) 理解并持續(xù)滿足要求;
b) 從增值的角度考慮過(guò)程;
c) 獲得有效的過(guò)程績(jī)效;
d) 在評(píng)價(jià)數(shù)據(jù)和信息的基礎(chǔ)上改進(jìn)過(guò)程。
9.1.3 Analysis and evaluation分析和評(píng)價(jià)
組織應(yīng)分析和評(píng)價(jià)通過(guò)監(jiān)視和測(cè)量獲得的適當(dāng)?shù)臄?shù)據(jù)和信息。
應(yīng)利用分析結(jié)果評(píng)價(jià):
a) 產(chǎn)品和服務(wù)的符合性;
b) 顧客滿意程度;
c) 質(zhì)量管理體系的績(jī)效和有效性;
d) 策劃是否得到有效實(shí)施;
e) 應(yīng)對(duì)風(fēng)險(xiǎn)和機(jī)遇所采取措施的有效性;
f) 外部供方的績(jī)效;
g) 質(zhì)量管理體系改進(jìn)的需求。
注:數(shù)據(jù)分析方法可包括統(tǒng)計(jì)技術(shù)。
?