2016年證監(jiān)會《證券公司全面風(fēng)險管理規(guī)范》提出建立健全數(shù)據(jù)治理和質(zhì)量控制機(jī)制。

2018年證監(jiān)會發(fā)布《證券數(shù)據(jù)治理操作指引（征求意見稿）》及《證券期貨業(yè)數(shù)據(jù)分類分級指引》。同年，國家工信部發(fā)布DCMM數(shù)據(jù)管理能力成熟度評估模型，提煉組織數(shù)據(jù)管理的八大過程域，將數(shù)據(jù)能力成熟度劃分5個發(fā)展等級，幫助進(jìn)行評價。

2022年，《證券期貨業(yè)科技發(fā)展“十四五”規(guī)劃》《金融標(biāo)準(zhǔn)化“十四五”發(fā)展規(guī)劃》的相繼發(fā)布，以夯實(shí)證券期貨業(yè)通用基礎(chǔ)標(biāo)準(zhǔn)體系，促進(jìn)證券期貨業(yè)數(shù)字化轉(zhuǎn)型與標(biāo)準(zhǔn)化的深度融合，為證券期貨業(yè)高質(zhì)量發(fā)展提供更多助力。標(biāo)準(zhǔn)化對數(shù)字化轉(zhuǎn)型的引領(lǐng)和推動作用日益顯現(xiàn)。

但許多證券機(jī)構(gòu)在推進(jìn)數(shù)據(jù)治理的過程中，仍然存在數(shù)據(jù)治理驅(qū)動力不足、缺少數(shù)據(jù)治理體系規(guī)劃、數(shù)據(jù)認(rèn)責(zé)體系不完善、數(shù)據(jù)質(zhì)量難提升等諸多問題，數(shù)據(jù)治理亟須快速提升。

為充分發(fā)揮數(shù)據(jù)的資產(chǎn)價值，通過梳理證券期貨行業(yè)監(jiān)管大數(shù)據(jù)治理的需求與特殊性，對證券期貨行業(yè)的大數(shù)據(jù)治理體系搭建，包括構(gòu)建證券期貨行業(yè)數(shù)據(jù)模型、搭建公共數(shù)據(jù)平臺、建設(shè)數(shù)據(jù)服務(wù)體系以及構(gòu)建組織保障體系等方面。

證券機(jī)構(gòu)數(shù)據(jù)治理解決方案

基于DataOps體系數(shù)據(jù)治理新范式

DataOps從環(huán)境管理開始，每個環(huán)境下都可以支持任務(wù)的編排、監(jiān)控和自動化測試。每次進(jìn)行跨環(huán)境的發(fā)布時，記錄每次發(fā)布代碼的版本，進(jìn)行后期排查問題。在發(fā)布上線至生產(chǎn)后，袋鼠云的數(shù)據(jù)中臺產(chǎn)品可將券商用戶上述各個環(huán)節(jié)串聯(lián)起來，券商用戶從開發(fā)階段可以一鍵發(fā)布至測試環(huán)境，經(jīng)測試環(huán)境驗(yàn)證后，觀察任務(wù)實(shí)例、數(shù)據(jù)產(chǎn)出的運(yùn)行情況，運(yùn)行無誤后可發(fā)布至生產(chǎn)環(huán)境。

如下圖所示，資訊、交易、風(fēng)控等主題的數(shù)據(jù)從左側(cè)的源系統(tǒng)流入，中間環(huán)節(jié)是各類數(shù)據(jù)處理的工具，例如數(shù)據(jù)倉庫或數(shù)據(jù)集市、AI分析等，數(shù)據(jù)經(jīng)過清洗、加工、匯總統(tǒng)計、數(shù)據(jù)治理等過程，最終通過BI、定制化報表、API等工具服務(wù)于投研、營銷、經(jīng)營分析等各類需求方。

基于SDOM模型高效數(shù)倉搭建與治理

通過梳理市場證券、基金、期貨、債券、回購等主要交易行為，形成行業(yè)交易模式；通過逆向梳理即將上線和線上化的信息披露項(xiàng)目，形成行業(yè)信息披露模式。根據(jù)證券行業(yè)相關(guān)法律法規(guī)、業(yè)務(wù)規(guī)則、制度及流程等，提取市場全業(yè)務(wù)流程和數(shù)據(jù)共性，形成具有通用性、穩(wěn)定性和可擴(kuò)展性的圍繞客戶、公司、監(jiān)管、產(chǎn)品、交易等數(shù)據(jù)模型。

基于OLAP的資訊數(shù)據(jù)校驗(yàn)

資訊數(shù)據(jù)作為券商主要數(shù)據(jù)源之一，應(yīng)用廣泛，涉及投資交易、資產(chǎn)管理、經(jīng)紀(jì)與財富管理、資產(chǎn)托管等各個領(lǐng)域，往往會將資訊數(shù)據(jù)應(yīng)用到資管投研一體化、投資交易、資產(chǎn)托管、融資融券等系統(tǒng)。同時由于業(yè)務(wù)的需求，往往需要從市面上采購多種異構(gòu)數(shù)據(jù)源接口，例如Wind、聚源、財聯(lián)、通聯(lián)、港澳資訊等，有的券商甚至采購多達(dá)二三十種的資訊數(shù)據(jù)。

這些資訊面臨以下問題：一是數(shù)據(jù)質(zhì)量參差不齊，數(shù)據(jù)問題難以及時發(fā)現(xiàn)，頻繁收到業(yè)務(wù)方的投訴：二是數(shù)據(jù)質(zhì)量管理成本大，規(guī)則開發(fā)難度高：三是問題排查鏈路長，難以快速定位數(shù)據(jù)問題，缺乏全局統(tǒng)計視角：四是質(zhì)量問題沒有經(jīng)驗(yàn)沉淀，類似問題頻繁發(fā)生。

對于各種資訊數(shù)據(jù)，進(jìn)行跨源比對，在源頭進(jìn)行落標(biāo)、治標(biāo)的工作。通過事前規(guī)則配置、事中規(guī)則校驗(yàn)、事后分析報告的流程化方式，對數(shù)據(jù)的完整性、準(zhǔn)確性、規(guī)范性、唯一性、一致性等方面進(jìn)行多維度評估，保障券商數(shù)據(jù)質(zhì)量。

基于數(shù)據(jù)模型的標(biāo)簽數(shù)據(jù)治理

金融科技的快速發(fā)展，使得證券行業(yè)的載體與社交媒體、電子商務(wù)的融合越來越緊密，券商借助數(shù)據(jù)戰(zhàn)略打破數(shù)據(jù)邊界，來構(gòu)建更為全面的企業(yè)營銷全景視圖。面對客戶活動開發(fā)周期長，運(yùn)營不精準(zhǔn)，營銷效果缺乏及時追蹤、運(yùn)行反饋不及時，通過袋鼠云客戶數(shù)據(jù)洞察平臺，業(yè)務(wù)人員可透明化地使用標(biāo)簽，將數(shù)據(jù)黑盒變成業(yè)務(wù)語言的白盒，輔助業(yè)務(wù)決策，驅(qū)動業(yè)務(wù)增長。使用場景包括網(wǎng)絡(luò)金融部的營銷運(yùn)營、異常交易監(jiān)控及用戶生命周期管理等。

基于OneService理念打造數(shù)據(jù)服務(wù)市場

數(shù)據(jù)平臺將投研、資訊、投顧數(shù)據(jù)以服務(wù)化、接口化的方式提供數(shù)據(jù)使用方，屏蔽底層數(shù)據(jù)存儲、計算細(xì)節(jié)，簡化和加強(qiáng)數(shù)據(jù)的使用。可視化生成與注冊數(shù)據(jù)服務(wù)管理，快速構(gòu)建數(shù)據(jù)共享服務(wù)，通過多種手段標(biāo)準(zhǔn)化管控服務(wù)，可完成從數(shù)據(jù)接口創(chuàng)建、發(fā)布、申請/審批、調(diào)用的全生命周期管控，形成數(shù)據(jù)市場和數(shù)據(jù)服務(wù)管理平臺，提高數(shù)據(jù)開發(fā)與共享效率。

證券機(jī)構(gòu)數(shù)據(jù)治理交付內(nèi)容

數(shù)據(jù)平臺建設(shè)

數(shù)據(jù)平臺包含數(shù)據(jù)實(shí)時開發(fā)平臺和數(shù)據(jù)應(yīng)用平臺，實(shí)現(xiàn)數(shù)據(jù)的“管、 治、用”。

一是構(gòu)建大數(shù)據(jù)實(shí)時開發(fā)平臺，覆蓋從實(shí)時數(shù)據(jù)采集到實(shí)時數(shù)據(jù)開發(fā)全鏈路流程，并提供運(yùn)維監(jiān)控曲線和日志功能。具體功能如下：

1）實(shí)時采集，具備基于日志的實(shí)時數(shù)據(jù)采集和基于間隔輪詢的實(shí)時數(shù)據(jù)采集方式，具有通過采集數(shù)據(jù)庫的變化并進(jìn)行還原的方式，將數(shù)據(jù)庫靜態(tài)的數(shù)據(jù)插入、更新、刪除的動作轉(zhuǎn)換為消息中間件的動態(tài)數(shù)據(jù)變化，或直接寫入到Hive進(jìn)行數(shù)據(jù)落庫。

2）任務(wù)管理，平臺應(yīng)支持對實(shí)時同步任務(wù)的統(tǒng)一管理，支持FlinkSQL和Flink API作業(yè)開發(fā)支持，支持環(huán)境參數(shù)配置，歷史版本管理等內(nèi)容。

3）資源管理，平臺支持對實(shí)時開發(fā)過程中所使用的資源進(jìn)行統(tǒng)一管理，支持用戶上傳本地jar資源，注冊自定義函數(shù)等操作，并可實(shí)現(xiàn)對資源進(jìn)行多版本管理。

4）函數(shù)管理，平臺集成開發(fā)過程中的常用函數(shù)，同時平臺支持通過本地資源創(chuàng)建UDF、UDAF、UDTF函數(shù)，創(chuàng)建完成后用戶可通過函數(shù)名稱使用對應(yīng)函數(shù)，也可以通過修改對應(yīng)的資源文件，修改完成后重新提交任務(wù)即可實(shí)現(xiàn)在不修改代碼的情況下實(shí)現(xiàn)函數(shù)更新。

二是構(gòu)建數(shù)據(jù)應(yīng)用平臺，這里主要為數(shù)據(jù)服務(wù)平臺，這是數(shù)據(jù)中臺中最頂層的組成部分，是數(shù)據(jù)能力對外提供的接口層，通過數(shù)據(jù)服務(wù)平臺賦能前端應(yīng)用，是數(shù)據(jù)能力的出口。通過數(shù)據(jù)服務(wù)平臺的建設(shè)，對數(shù)據(jù)能力進(jìn)行抽象封裝，系統(tǒng)實(shí)現(xiàn)以下目標(biāo)：

1）封裝數(shù)據(jù)能力，對外提供RESTful接口。應(yīng)用通過調(diào)用RESTful服務(wù)即可獲取數(shù)據(jù)內(nèi)容，應(yīng)用程序無需了解表結(jié)構(gòu)、分庫分表等細(xì)節(jié)信息。

2）橫向擴(kuò)展能力支持高并發(fā)和數(shù)據(jù)增長。通過增加存儲節(jié)點(diǎn)支持?jǐn)?shù)據(jù)量的增長，通過增加服務(wù)處理節(jié)點(diǎn)支持高并發(fā)。

3）配置化創(chuàng)建數(shù)據(jù)服務(wù)。開發(fā)人員可以基于底層的數(shù)據(jù)庫，在管理界面配置SQL數(shù)據(jù)查詢語句、參數(shù)、數(shù)據(jù)庫連接、權(quán)限等內(nèi)容，即可創(chuàng)建發(fā)布一個新的數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)平臺的建設(shè)，將帶來以下效益：

1）減少數(shù)據(jù)復(fù)制，降低成本。應(yīng)用系統(tǒng)無需拷貝數(shù)據(jù)內(nèi)容，通過服務(wù)調(diào)用獲取數(shù)據(jù)，從而降低數(shù)據(jù)存儲成本，特別是包含歷史數(shù)據(jù)查詢的應(yīng)用場景。同時，降低備份、安全等管理成本。

2）提升應(yīng)用開發(fā)效率。應(yīng)用程序無需考慮大數(shù)據(jù)的分庫分表設(shè)計、無需了解底層的數(shù)據(jù)存儲細(xì)節(jié)，通過服務(wù)調(diào)用即可獲得返回結(jié)果。大大避免數(shù)據(jù)不一致的沖突。由于同樣數(shù)據(jù)無需管理多個副本，在數(shù)據(jù)發(fā)生變更時，無需復(fù)制更新，減少數(shù)據(jù)不一致的沖突。

數(shù)據(jù)應(yīng)用實(shí)施

完成面向大數(shù)據(jù)平臺的數(shù)據(jù)血緣關(guān)系梳理。重構(gòu)大數(shù)據(jù)平臺合約、賬戶資金、持倉、特殊證券場景數(shù)據(jù)模型，并進(jìn)行落標(biāo)實(shí)施。完成兩融客戶資產(chǎn)負(fù)債實(shí)時統(tǒng)計推送、財務(wù)憑證流水實(shí)時統(tǒng)計推送、原生Flink作業(yè)SQL數(shù)倉化改造。

銀行機(jī)構(gòu)數(shù)據(jù)治理建設(shè)成果

海量業(yè)務(wù)數(shù)據(jù)匯聚，構(gòu)建金融級數(shù)據(jù)平臺

大數(shù)據(jù)引擎+流批一體數(shù)據(jù)采集滿足證券公司業(yè)務(wù)系統(tǒng)的數(shù)據(jù)匯聚，對線上和線下業(yè)務(wù)數(shù)據(jù)進(jìn)行采集匯聚，提供集中的大數(shù)據(jù)技術(shù)和存儲能力，保障實(shí)時多樣化數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)計算；提供強(qiáng)大的大數(shù)據(jù)平臺基礎(chǔ)，滿足現(xiàn)在和未來的數(shù)據(jù)采集、存儲和技術(shù)需求。

統(tǒng)一數(shù)據(jù)開發(fā)，降低大數(shù)據(jù)開發(fā)門檻

實(shí)時開發(fā)平臺滿足證券公司科技部門能統(tǒng)一在一個平臺上進(jìn)行集中開發(fā)和對內(nèi)外各種租戶數(shù)據(jù)加工，提供統(tǒng)一一體化數(shù)據(jù)開發(fā)平臺，滿足大數(shù)據(jù)、SQL、圖形化各種數(shù)據(jù)開發(fā)加工要求，降低開發(fā)工具的復(fù)雜度、數(shù)據(jù)開發(fā)成本，快速構(gòu)建數(shù)據(jù)倉庫。

滿足監(jiān)管報送，實(shí)現(xiàn)一體化數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)平臺，提供對內(nèi)的統(tǒng)一數(shù)據(jù)服務(wù)和數(shù)據(jù)交換，滿足金融第三方機(jī)構(gòu)的監(jiān)管報送要求，證券公司提供標(biāo)準(zhǔn)化的數(shù)據(jù)報送服務(wù)出口，對外能滿足第三方監(jiān)管報送的數(shù)據(jù)服務(wù)方式和數(shù)據(jù)使用要求。

數(shù)據(jù)分析場景服務(wù)

根據(jù)某證券公司應(yīng)用需求，袋鼠云為其設(shè)計了以下三種數(shù)據(jù)分析場景服務(wù)：

一是客戶辦理的兩融業(yè)務(wù)進(jìn)行信用賬戶資產(chǎn)負(fù)債實(shí)時計算：

1）實(shí)時獲取柜臺行情數(shù)據(jù)，并按照分鐘級進(jìn)行行情聚合。

2）實(shí)時獲取客戶的股票持倉數(shù)據(jù)，并將客戶持倉數(shù)據(jù)按照狀態(tài)進(jìn)行管理并動態(tài)更新，同時按照客戶持倉股票代碼和分鐘級行情進(jìn)行關(guān)聯(lián)實(shí)時計算客戶總持倉資產(chǎn)。

3）實(shí)時獲取兩融客戶合約流數(shù)據(jù)，根據(jù)合約類型分類計算融資負(fù)債、融券負(fù)債。按照客戶融券合約股票代碼和分鐘級股票行情進(jìn)行關(guān)聯(lián)，實(shí)時動態(tài)計算并更新客戶融券負(fù)債。

4）實(shí)時獲取客戶資金轉(zhuǎn)入數(shù)據(jù)，并更新客戶的總資金資產(chǎn)和可用資金。

5）實(shí)時獲取客戶的融券賣出獲得資金以及資金使用情況并動態(tài)更新客戶資產(chǎn)負(fù)債表。并計算持倉集中度、分組持倉市值、高風(fēng)險證券持倉市值、跌破下限價證券持倉市值等指標(biāo)。

6）通過多流關(guān)聯(lián)的方式整合持倉、合約、資金轉(zhuǎn)入、融券交易的數(shù)據(jù)最終輸出客戶資產(chǎn)負(fù)債表。

7）實(shí)時獲取客戶兩融授信申請、客戶征信申請、客戶征信審批等數(shù)據(jù)，實(shí)時監(jiān)控客戶的授信申請額度、授信狀態(tài)、征信審批狀態(tài)、審批額度等變化，推送到下游系統(tǒng)。

二是實(shí)時獲取財務(wù)憑證流水：關(guān)聯(lián)輔助核算維表（維表也存在日間變動的可能），根據(jù)財務(wù)指標(biāo)計算規(guī)則，按照部門、科目維度計算財務(wù)指標(biāo)日間變動數(shù)據(jù)并推送到下游。

三是原生FLink服務(wù)缺少監(jiān)控，為增強(qiáng)運(yùn)維監(jiān)控工作，擬將以下數(shù)據(jù)遷移到實(shí)時平臺：

1）當(dāng)日股基交易量、當(dāng)日理財交易量

2）當(dāng)日開戶數(shù)和開戶流水

3）可轉(zhuǎn)債提前贖回提醒

4）中證易簽私募回訪：生成回訪任務(wù)提醒、回訪任務(wù)成功提醒

《數(shù)據(jù)治理行業(yè)實(shí)踐白皮書》下載地址：https://fs80.cn/l134d5?

《數(shù)棧V6.0產(chǎn)品白皮書》下載地址：https://fs80.cn/cw0iw1

想了解或咨詢更多有關(guān)袋鼠云大數(shù)據(jù)產(chǎn)品、行業(yè)解決方案、客戶案例的朋友，瀏覽袋鼠云官網(wǎng)：https://www.dtstack.com/?src=szbzhan

同時，歡迎對大數(shù)據(jù)開源項(xiàng)目有興趣的同學(xué)加入「袋鼠云開源框架釘釘技術(shù) qun」，交流最新開源技術(shù)信息，qun 號碼：30537511，項(xiàng)目地址：https://github.com/DTStack