偶數(shù)科技亮相服貿(mào)會(huì) -用湖倉一體實(shí)現(xiàn)基于業(yè)務(wù)本質(zhì)的監(jiān)管數(shù)據(jù)治理
2022-09-07 09:35 作者:偶數(shù)實(shí)驗(yàn)室 | 我要投稿
以上是當(dāng)前數(shù)據(jù)應(yīng)用過程中遇到的問題和特點(diǎn)，由這幾個(gè)特點(diǎn)可以得出：我們的數(shù)據(jù)治理工作過去10到15年雖然取得了非常不錯(cuò)的成效，但是仍然有進(jìn)一步的提升空間，這個(gè)提升空間就是我們做好數(shù)據(jù)治理工作的目標(biāo)，我們把這個(gè)目標(biāo)再提煉一下，至少從偶數(shù)科技實(shí)踐和觀察角度應(yīng)該包括三個(gè)部分：第一點(diǎn)，要形成一套基于業(yè)務(wù)視角的統(tǒng)一數(shù)據(jù)模型，這套數(shù)據(jù)模型是要解決底層業(yè)務(wù)邏輯復(fù)雜性的。第二點(diǎn)，這套數(shù)據(jù)模型能夠切實(shí)解決數(shù)據(jù)應(yīng)用過程中數(shù)據(jù)看不懂、數(shù)據(jù)找不到、數(shù)據(jù)找不全，以及數(shù)據(jù)應(yīng)用過程中主要依靠個(gè)人經(jīng)驗(yàn)的問題。第三點(diǎn)，能夠形成一套滿足不同用戶、不同應(yīng)用場景的數(shù)據(jù)架構(gòu)。這是我們認(rèn)為做好數(shù)據(jù)資產(chǎn)化工作最基礎(chǔ)的三點(diǎn)。為什么要基于業(yè)務(wù)本質(zhì)進(jìn)行數(shù)據(jù)治理工作？過往在數(shù)據(jù)治理過程中更多的是偏向于業(yè)務(wù)的數(shù)據(jù)質(zhì)量治理，以及業(yè)務(wù)數(shù)據(jù)的可讀性，主要集中在元數(shù)據(jù)缺失治理和準(zhǔn)確性治理，這種治理帶來的好處是在使用數(shù)據(jù)的時(shí)候可以用表的名稱來判斷表中業(yè)務(wù)數(shù)據(jù)的范圍以及業(yè)務(wù)含義，比如，我們經(jīng)?？吹降摹秾?duì)公客戶信息表》可以判斷其包含所有對(duì)公客戶的信息，這種判斷大多數(shù)情況是有效的。但是我們也發(fā)現(xiàn)，今年一季度銀保監(jiān)會(huì)發(fā)布了一個(gè)EAST處罰信息，1/5以上的金融機(jī)構(gòu)都被處罰，總共罰款8000多萬。處罰原因是數(shù)據(jù)的錯(cuò)報(bào)、漏報(bào)、瞞報(bào)，為什么會(huì)發(fā)生錯(cuò)報(bào)、漏報(bào)、瞞報(bào)？我們可以通過一個(gè)簡單的例子分析其原因。假如要統(tǒng)計(jì)全機(jī)構(gòu)風(fēng)險(xiǎn)數(shù)據(jù)資產(chǎn)，針對(duì)委托貸款風(fēng)險(xiǎn)數(shù)據(jù)資產(chǎn)是否應(yīng)該納入進(jìn)來，這是非常細(xì)節(jié)的問題。委托貸款可以在現(xiàn)金管理項(xiàng)下，也可以在非現(xiàn)金管理項(xiàng)下。（1）從業(yè)務(wù)口徑角度，我們可能對(duì)“委托貸款風(fēng)險(xiǎn)數(shù)據(jù)資產(chǎn)”的定義有理解偏差，進(jìn)而直接影響到監(jiān)管報(bào)送的數(shù)據(jù)質(zhì)量；（2）即便沒有理解偏差，我們?cè)趯?shí)際進(jìn)行“委托貸款風(fēng)險(xiǎn)數(shù)據(jù)資產(chǎn)”數(shù)據(jù)提取整合過程中，該數(shù)據(jù)分散在不同的業(yè)務(wù)系統(tǒng)（如信貸、國際結(jié)等系統(tǒng)）仍然會(huì)對(duì)數(shù)據(jù)提取造成障礙，最終造成錯(cuò)報(bào)和漏報(bào)。因此，偶數(shù)科技通過實(shí)踐和分析發(fā)現(xiàn)，錯(cuò)報(bào)、漏報(bào)背后的根本原因是金融機(jī)構(gòu)在數(shù)據(jù)處理過程中沒有基于業(yè)務(wù)本質(zhì)對(duì)底層邏輯化繁為簡。除了基于業(yè)務(wù)本質(zhì)的數(shù)據(jù)治理，還有一個(gè)關(guān)鍵詞是監(jiān)管數(shù)據(jù)治理。前面我們分享提到，金融行業(yè)數(shù)據(jù)管理及應(yīng)用領(lǐng)域普遍外包的現(xiàn)象，少有企業(yè)有意愿、有能力投入大量的資源進(jìn)行相關(guān)工作。但監(jiān)管機(jī)構(gòu)例外，監(jiān)管機(jī)構(gòu)面向的是幾千家不同的金融機(jī)構(gòu)，無論從業(yè)務(wù)能力、技術(shù)能力以及職能目標(biāo)，都需要建立一個(gè)基于風(fēng)控視角的數(shù)據(jù)模型，這個(gè)數(shù)據(jù)模型現(xiàn)在以EAST最為典型（審計(jì)署也有一套統(tǒng)計(jì)數(shù)據(jù)模型起到了同樣的作用）。實(shí)踐層面來看，EAST從1.0、2.0到5.0，一直是基于業(yè)務(wù)本質(zhì)的設(shè)計(jì)思路，我們是可以借鑒監(jiān)管研究成果進(jìn)行基于業(yè)務(wù)本質(zhì)的數(shù)據(jù)治理工作的。我們前面說到的相關(guān)數(shù)據(jù)治理成果，形成風(fēng)控視角的統(tǒng)一數(shù)據(jù)模型，其應(yīng)用場景也是豐富的、有價(jià)值的。應(yīng)用場景最有價(jià)值之處在于如何構(gòu)建數(shù)據(jù)湖或者湖倉一體平臺(tái)。通過這張圖，我們看到的是技術(shù)發(fā)展的脈絡(luò)，通過技術(shù)發(fā)展這個(gè)脈絡(luò)，我們總結(jié)出數(shù)據(jù)管理平臺(tái)的現(xiàn)狀和不足。
第一個(gè)階段是早期傳統(tǒng)OLTP數(shù)據(jù)庫的出現(xiàn)。從第二階段，大規(guī)模并行處理技術(shù)MPP出現(xiàn)的同時(shí)，數(shù)據(jù)管理平臺(tái)對(duì)應(yīng)的是我們數(shù)據(jù)倉庫建設(shè)的階段，大概是在2004年、2005。有些起步較早的國際廠商（如IBM和TD）既有底層的數(shù)據(jù)庫平臺(tái)，也有上層的數(shù)據(jù)倉庫建設(shè)方法和統(tǒng)一的數(shù)據(jù)模型，這套數(shù)據(jù)模型在市面上得到了金融客戶的認(rèn)可?，F(xiàn)在數(shù)據(jù)湖廠商的一個(gè)特點(diǎn)是只關(guān)注底層技術(shù)平臺(tái)，上層的平臺(tái)建設(shè)方法呈現(xiàn)出百家爭鳴的特點(diǎn)，并沒有形成一套行業(yè)標(biāo)準(zhǔn)和被認(rèn)可的數(shù)據(jù)模型，偶數(shù)也在思考和探索湖倉一體的數(shù)據(jù)模型到底應(yīng)該如何建設(shè)。實(shí)際上，基于監(jiān)管數(shù)據(jù)治理后形成的面向風(fēng)險(xiǎn)管控的統(tǒng)一數(shù)據(jù)模型是非常重要的，能夠指導(dǎo)我們建設(shè)湖倉一體平臺(tái)。高性能的底層基礎(chǔ)平臺(tái)加上上層的整合的數(shù)據(jù)模型，能夠更便捷的支撐我們的數(shù)據(jù)應(yīng)用，成為數(shù)據(jù)應(yīng)用的加速器。當(dāng)然數(shù)據(jù)治理不僅是剛才說到的基于業(yè)務(wù)本質(zhì)做數(shù)據(jù)整合，還包括數(shù)據(jù)資產(chǎn)本身的盤點(diǎn)、傳統(tǒng)數(shù)據(jù)管控三大項(xiàng)、基于數(shù)據(jù)向上做的元數(shù)據(jù)治理、業(yè)務(wù)數(shù)據(jù)治理、數(shù)據(jù)畫像工作和數(shù)據(jù)資產(chǎn)運(yùn)營。傳統(tǒng)的數(shù)據(jù)管控或數(shù)據(jù)治理是為治而治，并沒有建立管控與應(yīng)用之間的抓手，抓手的問題其實(shí)要通過數(shù)據(jù)應(yīng)用相關(guān)策略和手段進(jìn)行。以上是偶數(shù)科技數(shù)據(jù)治理的研究，目前偶數(shù)已經(jīng)有一些實(shí)踐和探索成果，并且我們研發(fā)了一套統(tǒng)一的監(jiān)管數(shù)據(jù)模型，我們把這套統(tǒng)一的監(jiān)管數(shù)據(jù)模型叫做偶數(shù)模式。偶數(shù)模式與進(jìn)階模式不同，在進(jìn)階模式，雖然很多銀行都有統(tǒng)一的監(jiān)管數(shù)據(jù)平臺(tái)或監(jiān)管報(bào)送系統(tǒng)，但是其底層架構(gòu)仍然是數(shù)據(jù)分體的，這也是為什么金融機(jī)構(gòu)即便正確理解了某一業(yè)務(wù)口徑（如委托貸款風(fēng)險(xiǎn)數(shù)據(jù)資產(chǎn)），實(shí)操層面仍然不可避免受到技術(shù)架構(gòu)掣肘，造成疏漏。
偶數(shù)不但已經(jīng)探索研發(fā)的監(jiān)管數(shù)據(jù)模型以外，還有一套完整的實(shí)施方法和流程，這套實(shí)施方法流程區(qū)別于傳統(tǒng)方法的，是引入了數(shù)據(jù)資產(chǎn)這個(gè)概念，結(jié)合前面提到的數(shù)據(jù)資產(chǎn)的運(yùn)營手段，偶數(shù)實(shí)施方法論完成底層業(yè)務(wù)復(fù)雜邏輯所要求的模型整合。此外，我們還有配套的工具類產(chǎn)品，包括基于數(shù)據(jù)開發(fā)和數(shù)據(jù)管理的組件 Lava，向上數(shù)據(jù)應(yīng)用、數(shù)據(jù)分析的組件 Kepler 和 Littleboy 建模平臺(tái)。因此，偶數(shù)從工具層面、實(shí)施方法層面、模型層面都能更好的支撐金融機(jī)構(gòu)完成基于業(yè)務(wù)本質(zhì)的監(jiān)管數(shù)據(jù)治理，應(yīng)用到統(tǒng)一的報(bào)送平臺(tái)。當(dāng)然，這套方法也可以擴(kuò)展出如剛才提到的面向?qū)徲?jì)的統(tǒng)一數(shù)據(jù)治理和數(shù)據(jù)模型、面向營銷的統(tǒng)一數(shù)據(jù)治理和數(shù)據(jù)模型。我的分享就到這里。謝謝大家！
標(biāo)簽：
