什么是主數(shù)據(jù)？
主數(shù)據(jù)(Master Data)是指滿足跨部門業(yè)務(wù)協(xié)同需要的、反映核心業(yè)務(wù)實(shí)體狀態(tài)屬性的企業(yè)（組織機(jī)構(gòu)）基礎(chǔ)信息。主數(shù)據(jù)有兩個(gè)價(jià)值，價(jià)值一是建立企業(yè)基礎(chǔ)數(shù)據(jù)共享“語(yǔ)言”，打破各系統(tǒng)信息交互壁壘，使數(shù)據(jù)能夠在多個(gè)系統(tǒng)內(nèi)充分共享、高度復(fù)用；價(jià)值二是通過(guò)制定主數(shù)據(jù)標(biāo)準(zhǔn)，為業(yè)務(wù)報(bào)表編制、數(shù)據(jù)統(tǒng)計(jì)分析提供基礎(chǔ)條件；通過(guò)主數(shù)據(jù)建設(shè)，能為企業(yè)在數(shù)據(jù)應(yīng)用與管理奠定基礎(chǔ)。

主數(shù)據(jù)是數(shù)據(jù)之源，也被稱為企業(yè)的“黃金數(shù)據(jù)”，是數(shù)據(jù)資產(chǎn)管理的核心、信息系統(tǒng)互聯(lián)互通的基石、更是信息化和數(shù)字化的重要基礎(chǔ)。主數(shù)據(jù)管理重要性體現(xiàn)在它可以消除數(shù)據(jù)冗余、提升數(shù)據(jù)處理效率、提高公司戰(zhàn)略協(xié)同力。通過(guò)構(gòu)建準(zhǔn)確、唯一、權(quán)威的數(shù)據(jù)來(lái)源，建立企業(yè)主數(shù)據(jù)標(biāo)準(zhǔn)管理體系，是提高企事業(yè)單位數(shù)據(jù)質(zhì)量和數(shù)據(jù)資產(chǎn)價(jià)值的關(guān)鍵因素。
而主數(shù)據(jù)管理的第一步，就是對(duì)主數(shù)據(jù)進(jìn)行識(shí)別。一般來(lái)說(shuō)，主數(shù)據(jù)具有高價(jià)值性、實(shí)體獨(dú)立性、相對(duì)穩(wěn)定性、高共享性、識(shí)別唯一性、長(zhǎng)期有效性的特征，常見(jiàn)識(shí)別方法是深入調(diào)研企業(yè)的業(yè)務(wù)狀況和信息現(xiàn)狀，但這類方法帶來(lái)的問(wèn)題也顯而易見(jiàn)：
?門檻高：依賴咨詢顧問(wèn)和外部專家；
?見(jiàn)效慢：時(shí)間周期長(zhǎng)，至少一個(gè)月起步；
?成本高：需要咨詢顧問(wèn)、業(yè)務(wù)人員、IT人員共同完成人工咨詢；
?滯后性：業(yè)務(wù)出現(xiàn)問(wèn)題后才會(huì)被識(shí)別出來(lái)。
面對(duì)這些挑戰(zhàn)，企業(yè)該如何破局？

解決思路
明確了問(wèn)題，就可以制定針對(duì)性的解決思路，想要高效識(shí)別出主數(shù)據(jù)，所采用的方案需要具備以下幾個(gè)要求：
?要大幅度縮短項(xiàng)目實(shí)施周期和成本；
?要能通過(guò)技術(shù)或者工具的支持，快速識(shí)別企業(yè)各業(yè)務(wù)系統(tǒng)中主數(shù)據(jù)分布的現(xiàn)狀；
?要能夠?yàn)槠髽I(yè)業(yè)務(wù)和信息現(xiàn)狀調(diào)研提供方向，實(shí)現(xiàn)看得見(jiàn)的價(jià)值。
想要實(shí)現(xiàn)這些要求其實(shí)也不難，通過(guò)構(gòu)建機(jī)器學(xué)習(xí)模型，訓(xùn)練相應(yīng)的數(shù)據(jù)進(jìn)行主數(shù)據(jù)管理，就能夠完美解決主數(shù)據(jù)識(shí)別的問(wèn)題，快速了解企業(yè)的數(shù)據(jù)情況，為后續(xù)的主數(shù)據(jù)管理提供數(shù)據(jù)基礎(chǔ)。但是這個(gè)過(guò)程涉及到數(shù)據(jù)抽取、處理、特征工程、建模等多個(gè)環(huán)節(jié)，對(duì)企業(yè)而言是個(gè)不小的挑戰(zhàn)，有沒(méi)有更快、更智能的辦法？
Tempo主數(shù)據(jù)管理平臺(tái)了解下！

解決方案
Tempo主數(shù)據(jù)管理平臺(tái)是一個(gè)以業(yè)務(wù)驅(qū)動(dòng)、智能輔助的企業(yè)級(jí)主數(shù)據(jù)管理平臺(tái)，將主數(shù)據(jù)的實(shí)施方法論融入到產(chǎn)品能力中，滿足不同業(yè)務(wù)角度的主數(shù)據(jù)管理需求，能夠解決企業(yè)以傳統(tǒng)模式治理數(shù)據(jù)帶來(lái)的成本高見(jiàn)效慢的問(wèn)題，打破單一的主數(shù)據(jù)管理思路，以最小的成本實(shí)現(xiàn)最大的價(jià)值。

△主數(shù)據(jù)識(shí)別算法方案框架圖

Tempo主數(shù)據(jù)管理平臺(tái)的主數(shù)據(jù)識(shí)別算法方案從兩方面入手，先從企業(yè)各業(yè)務(wù)系統(tǒng)進(jìn)行信息提取，再根據(jù)內(nèi)置的算法進(jìn)行機(jī)器模型的構(gòu)建，最終實(shí)現(xiàn)對(duì)主數(shù)據(jù)的自動(dòng)化識(shí)別。
第一步：數(shù)據(jù)庫(kù)信息提取
主要圍繞表、字段和字段值3個(gè)基本元素，并從表信息和字段/值信息兩個(gè)維度對(duì)數(shù)據(jù)庫(kù)基本情況信息進(jìn)行梳理，梳理的數(shù)據(jù)能夠?qū)?shù)據(jù)庫(kù)有絕對(duì)高的解釋度，進(jìn)而為后續(xù)相關(guān)識(shí)別算法構(gòu)建提供數(shù)據(jù)支撐。
同時(shí)，由于不同數(shù)據(jù)庫(kù)的數(shù)據(jù)類型存在較大的偏差，Tempo主數(shù)據(jù)管理平臺(tái)規(guī)定了統(tǒng)一數(shù)據(jù)類型標(biāo)準(zhǔn)，在字段特征提取過(guò)程中，分別對(duì)字段值的最大值、最小值和平均值都進(jìn)行了提取，以便于進(jìn)一步了解各字段值特征，增加準(zhǔn)確度。
第二步：主數(shù)據(jù)表識(shí)別算法構(gòu)建
主要以數(shù)據(jù)庫(kù)信息提取結(jié)果數(shù)據(jù)作為輸入數(shù)據(jù)，采用多種方式梳理及初步歸納主數(shù)據(jù)表的表征特征，融合綜合評(píng)價(jià)模型及機(jī)器學(xué)習(xí)算法等關(guān)鍵算法，從而實(shí)現(xiàn)主數(shù)據(jù)表識(shí)別。
算法實(shí)現(xiàn)過(guò)程
Step1：數(shù)據(jù)輸入
主要來(lái)源為數(shù)據(jù)庫(kù)信息提取結(jié)果數(shù)據(jù)。
Step2：數(shù)據(jù)處理
數(shù)據(jù)處理過(guò)程主要是針對(duì)抽取到的數(shù)據(jù)庫(kù)特征數(shù)據(jù)，通過(guò)篩選、合并、計(jì)算、異常值、缺失值處理等方式。
Step3：特征工程
針對(duì)不同的任務(wù)梳理出與目標(biāo)結(jié)果相關(guān)的關(guān)鍵指標(biāo)，這些指標(biāo)的構(gòu)建及確定將從業(yè)務(wù)、統(tǒng)計(jì)學(xué)等角度進(jìn)行確定和選擇。
Step4：綜合評(píng)價(jià)/機(jī)器學(xué)習(xí)模型
基于當(dāng)前數(shù)據(jù)情況，綜合應(yīng)用綜合評(píng)價(jià)和機(jī)器學(xué)習(xí)模型實(shí)現(xiàn)主數(shù)據(jù)模型構(gòu)建。
Step5：結(jié)果輸出
將主數(shù)據(jù)識(shí)別結(jié)果分高、中、低三個(gè)等級(jí)，從而實(shí)現(xiàn)主數(shù)據(jù)表的推薦。
在此過(guò)程中，表數(shù)據(jù)特征是描述表主體信息的關(guān)鍵，Tempo主數(shù)據(jù)管理平臺(tái)不僅可以識(shí)別到14種表字段值的特征，還基于Bert模型，實(shí)現(xiàn)了對(duì)事件、組織類特征表達(dá)、描述方式等其他多樣性特征的識(shí)別。

方案價(jià)值
該方案在某煤礦項(xiàng)目上得到了應(yīng)用，并通過(guò)分層+隨機(jī)抽樣的驗(yàn)證，以及人工標(biāo)記+核查的復(fù)核方式，對(duì)主數(shù)據(jù)及參考數(shù)據(jù)的精準(zhǔn)度和查全率進(jìn)行了檢驗(yàn)：
主數(shù)據(jù)精準(zhǔn)度：65.1% ；查全率：100%
參考數(shù)據(jù)精準(zhǔn)度：61.2%；查全率：100%
Tempo主數(shù)據(jù)管理平臺(tái)的主數(shù)據(jù)識(shí)別算法還可以運(yùn)用到以下場(chǎng)景：
1）建立企業(yè)級(jí)的主數(shù)據(jù)統(tǒng)一視圖，識(shí)別各業(yè)務(wù)系統(tǒng)主數(shù)據(jù)，形成統(tǒng)一的數(shù)據(jù)信息，明確企業(yè)各主數(shù)據(jù)間的關(guān)聯(lián)性；
2）協(xié)助企業(yè)制定統(tǒng)一的主數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范的管理制度與流程，從而保障主數(shù)據(jù)的產(chǎn)生與存儲(chǔ)的準(zhǔn)確性，數(shù)據(jù)的流轉(zhuǎn)與維護(hù)的可控性，幫助企業(yè)建立一套完善、權(quán)威且高質(zhì)量的主數(shù)據(jù)；
3）通過(guò)主數(shù)據(jù)的更新變化趨勢(shì)等因素進(jìn)行分析，可以一定程度上促進(jìn)管理體系的不斷完善和業(yè)務(wù)發(fā)展不斷提升。
通過(guò)Tempo主數(shù)據(jù)管理平臺(tái)進(jìn)行主數(shù)據(jù)識(shí)別，可以幫助企業(yè)和組織更好地管理和維護(hù)主數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量和可靠性，同時(shí)也可以更快地進(jìn)行數(shù)據(jù)分析和決策，從而提高業(yè)務(wù)效率和公司整體的戰(zhàn)略協(xié)同力，為后續(xù)的數(shù)據(jù)共享和跨系統(tǒng)業(yè)務(wù)協(xié)同打好數(shù)據(jù)基礎(chǔ)，保障企業(yè)數(shù)字化轉(zhuǎn)型的順利進(jìn)行。