數(shù)據(jù)指標體系建設(shè)思考(一)

從數(shù)據(jù)治理到分析治理,搭建高可信、高質(zhì)量的數(shù)據(jù)指標體系。
關(guān)于指標,大多數(shù)對它都不會陌生,不僅僅是與數(shù)據(jù)相關(guān)的人員熟悉它,幾乎所有人都多少與它有所關(guān)系,與我們工作考核的相關(guān)的KPI指標、與國家監(jiān)管報送要求的數(shù)據(jù)指標、與財務(wù)工作相關(guān)的統(tǒng)計指標、與銷售或營銷相關(guān)的銷售指標及營銷指標等等。都與我們?nèi)粘I?、工作相關(guān),與數(shù)據(jù)分析工作相關(guān)的人員更有深刻體會。
我們在這里來思考的主要是數(shù)據(jù)指標,而且是指與企業(yè)數(shù)據(jù)資產(chǎn)相關(guān)較強的數(shù)據(jù)指標,我們專注于此類數(shù)據(jù)指標及它的體系的建設(shè)思考。這件工作是數(shù)據(jù)管理、數(shù)據(jù)治理、數(shù)據(jù)分析(或數(shù)據(jù)科學)相關(guān)工作的人員關(guān)注的內(nèi)容之一。關(guān)于以上類型工作的度量指標是另一層面的內(nèi)容,將作為衡量企業(yè)數(shù)據(jù)指標及數(shù)據(jù)指標體系建設(shè)工作的評價指標。
作為數(shù)據(jù)治理從業(yè)人員,我們會深刻體會在現(xiàn)如今的大數(shù)據(jù)時代,數(shù)據(jù)驅(qū)動甚至是知識驅(qū)動的時代,我們除了通過傳統(tǒng)的數(shù)據(jù)管理理論來管理數(shù)據(jù),并保障數(shù)據(jù)的質(zhì)量,我們也必須關(guān)注于數(shù)據(jù)價值的輸出及數(shù)據(jù)資產(chǎn)的變現(xiàn)。對于一個組織來說,高可信、高質(zhì)量的數(shù)據(jù)指標正是作為數(shù)據(jù)資產(chǎn)評估、數(shù)據(jù)驅(qū)動依據(jù)的強有力數(shù)據(jù)支撐。
首先,我們明確概念。

由于數(shù)據(jù)科學的發(fā)展及數(shù)據(jù)量的激增,數(shù)據(jù)分析工作不再僅僅是統(tǒng)計分析數(shù)據(jù)的工作,也必須考慮與數(shù)據(jù)分析相關(guān)的治理工作。這一類的工作我們可以稱為數(shù)據(jù)分析治理。
01、數(shù)據(jù)治理與數(shù)據(jù)分析治理
關(guān)于數(shù)據(jù)管理成熟度模型,國內(nèi)外都不少可以參考的成熟模型,有老牌的DMM、Gartner的EIM、EDM委員會的DCAM、國內(nèi)的DCMM等。其中DCAM從2.0升級到2.2版本時,根據(jù)現(xiàn)如今數(shù)據(jù)分析的重要性,增加了第8職能域:數(shù)據(jù)分析。

從上圖,我們可以清晰地了解到,數(shù)據(jù)治理及分析治理都屬于數(shù)據(jù)管理的范圍內(nèi),數(shù)據(jù)治理可以為分析治理提供如指標數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量保障、元數(shù)據(jù)管理等支撐,而分析治理關(guān)注于數(shù)據(jù)指標體系、數(shù)據(jù)分析模型、數(shù)據(jù)分析生命周期等內(nèi)容。
與數(shù)據(jù)治理和數(shù)據(jù)管理相似,分析治理也有對應(yīng)的分析管理。

數(shù)據(jù)量的激增、數(shù)據(jù)科學分析和數(shù)據(jù)驅(qū)動的需求、分析模型和分析領(lǐng)域的復雜性是分析治理的內(nèi)在驅(qū)動力。
分析治理注重體系建設(shè)、治理組織及角色分配、分析模型素養(yǎng)、評估及監(jiān)控信任模型等內(nèi)容。
在分析管理中,分析生命周期管理與一般我們了解到數(shù)據(jù)生命周期管理是有所側(cè)重的,它們分別會有以下一些內(nèi)容:
請求接收:?定義如何管理分析需求,使用系統(tǒng)或其他管理管道的請求方式。用例:?請求必須經(jīng)過分析師,該分析師可以詳細了解請求的最低要求,并且可以評估解決方案是否可行。這些請求應(yīng)得到及時和公正的處理。
模型優(yōu)先級:這個過程最好由分析治理委員會來處理,而不是把優(yōu)先級委托給一個人。?當決策由一個群體做出時,他們更有可能被認為是公平的。不要設(shè)置諸如無休止的表格之類的障礙或允許請求累積,因為它們必須等到下一次會議。保持一致很重要,但也要足夠靈活。?
第三方模型獲取:內(nèi)部構(gòu)建模型并不總是最佳選擇,分析治理委員會應(yīng)考慮聘請第三方提供模型。在這種情況下,應(yīng)仔細審查第三方合同的條款和條件,因為有些條款和條件技術(shù)性很強。
開發(fā)模型:應(yīng)確定模型所需的最小可行數(shù)據(jù):“這是分析、治理和數(shù)據(jù)治理的交匯點?!边€有待確定的是最小可行模型——實際解決用例所需的最小值。?
數(shù)據(jù)發(fā)現(xiàn):應(yīng)啟動開發(fā)方法以確定是否有可用的數(shù)據(jù)可以滿足質(zhì)量需求或是否需要外部數(shù)據(jù)。
模型驗證:驗證過程確定模型是否能夠充分泛化,或者它是否過于特定于它所訓練的數(shù)據(jù)集。業(yè)務(wù)方可以對結(jié)果提供“健全性檢查”,并幫助將假設(shè)輸入模型。他們還可以幫助獲取數(shù)據(jù)。?
模型存儲:模型在建模請求時添加到存儲清單中,并在其整個生命周期的重要時間點進行更新,例如驗證、創(chuàng)建新版本時等。模型存儲清單是分析治理的戰(zhàn)略要求。?
維護:隨著模型被插入到業(yè)務(wù)流程中,角色和職責必須是明確的。隨著業(yè)務(wù)的變更確實需要一些流程重新設(shè)計以及模型維護。
模型操作:使用信息的一線工作人員如果從業(yè)務(wù)角度認為出了問題,他們需要一種方法來進行報告。由于模型會隨著時間的推移而漂移并失去準確性,因此還應(yīng)建立監(jiān)控過程。?
02、什么是數(shù)據(jù)指標
我們可以通過已發(fā)行的銀行行業(yè)標準《JR/T0137-2017銀行經(jīng)營管理指標數(shù)據(jù)元》來理解數(shù)據(jù)指標的定義。在銀行業(yè),數(shù)據(jù)指標可以定義為反映銀行經(jīng)營管理在一定時間和條件下的規(guī)模、程度、比例、結(jié)構(gòu)等的概念和數(shù)值。針對其它行業(yè),我們可根據(jù)行業(yè)特點來參考定義數(shù)據(jù)指標。

一般情況下,我們會將數(shù)據(jù)指標分為原子指標及派生指標。也有將數(shù)據(jù)指標分為原子指標、復合指標、派生指標,在這里復合指標一般是指由多個原子指標綜合得到的數(shù)據(jù)指標。當然還有基礎(chǔ)數(shù)據(jù)指標的概念說法,一般情況下基礎(chǔ)數(shù)據(jù)指標是指上面提到過的原子指標和復合指標。從上圖我們可以了解到原子指標與派生指標的關(guān)系。派生指標=時間周期+修飾詞+原子指標,派生指標可以理解為對原子指標業(yè)務(wù)統(tǒng)計范圍的圈定。左邊的部分是對于圖中的一些概念的說明,這些說明是參考阿里的文檔得到的。數(shù)據(jù)指標可以根據(jù)數(shù)據(jù)指標來業(yè)務(wù)流程中的位置來分為結(jié)果性指標和過程性指標兩大類。下面的這張圖是對這兩類的指標說明,并且對于原子指標和派生指標用實例展示。

03、什么是指標數(shù)據(jù)標準
指標數(shù)據(jù)標準是數(shù)據(jù)標準體系中的一部分,同樣我們以銀行業(yè)為例,在銀行業(yè)中,會將數(shù)據(jù)標準分為三大類或者兩大類,兩大類就是基礎(chǔ)數(shù)據(jù)標準和指標數(shù)據(jù)標準,三大類的分法是基礎(chǔ)數(shù)據(jù)標準、參考數(shù)據(jù)標準和指標數(shù)據(jù)標準。實際上框架沒什么區(qū)別,無非就是基礎(chǔ)數(shù)據(jù)標準的范圍不同而已。

指標數(shù)據(jù)標準通過基礎(chǔ)屬性、業(yè)務(wù)屬性、技術(shù)屬性和管理屬性來描述指標數(shù)據(jù)規(guī)范化要求。指標數(shù)據(jù)標準,可以說是企業(yè)內(nèi)數(shù)據(jù)分析應(yīng)用的基石。我們在數(shù)據(jù)分析應(yīng)用的實際工作中,最頭痛問題就是指標口徑不同、指標體系不完整及指標追溯難這幾類問題。所以規(guī)范的指標數(shù)據(jù)標準,才能保障我們數(shù)據(jù)分析應(yīng)用工作。

04、什么是數(shù)據(jù)指標體系

有了標準的數(shù)據(jù)指標,我們還需要數(shù)據(jù)指標體系來規(guī)范數(shù)據(jù)指標的定位、應(yīng)用并承接組織的業(yè)務(wù)策略及業(yè)務(wù)目標。一般我們會通過橫向及縱向分析這兩種方式,最終形成數(shù)據(jù)指標體系。橫向上可以采用OSM模型的思想,有可能會不少人感覺OSM模型不太落地,有點虛,所以我們是理解它的作用,利用它的思想,來充分分析組織中的業(yè)務(wù)目標與數(shù)據(jù)指標的關(guān)系,通過這樣的思考方式,我們明確各數(shù)據(jù)指標的相互關(guān)系,提取或制定出符合組織策略的關(guān)鍵指標。

縱向劃分可以形成我們一般指標體系的三層框架,一級指標、二級指標、三級指標。指標框架一般為三層框架,不建議層級太深,不利于通過數(shù)據(jù)指標來有效反饋業(yè)務(wù)目標。在縱向劃分時也有可以參考的模型,如AARRRR模型。它教會我們在分析時,可以通過某種核心業(yè)務(wù)數(shù)據(jù)的生命周期來制定數(shù)據(jù)指標體系的框架。我們都知道,數(shù)據(jù)指標體系的落地及應(yīng)用一般都會通過如數(shù)倉這類的數(shù)據(jù)中心的應(yīng)用輸出來實現(xiàn),所以如數(shù)倉的建設(shè)同時也會充分考慮數(shù)據(jù)指標體系的內(nèi)容。

下面是一些數(shù)據(jù)指標體系的示例。


