3、建設(shè)規(guī)劃

4、方案設(shè)計(jì)

湖倉(cāng)一體平臺(tái)整體設(shè)計(jì)采用存儲(chǔ)與計(jì)算分離架構(gòu)，從而實(shí)現(xiàn)既支持基于數(shù)據(jù)湖的高性價(jià)比硬件存儲(chǔ)及存儲(chǔ)引擎，又支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)的多功能高性能分析引擎。

實(shí)現(xiàn)對(duì)海量原始數(shù)據(jù)（結(jié)構(gòu)化、非結(jié)構(gòu)化、流式數(shù)據(jù)）以及數(shù)據(jù)倉(cāng)庫(kù)的匯總數(shù)據(jù)（對(duì)原始數(shù)據(jù)進(jìn)行治理和分析后的數(shù)據(jù)）統(tǒng)一存儲(chǔ)、分析、管理，集群具有在線擴(kuò)容到上萬(wàn)節(jié)點(diǎn)的能力。

湖倉(cāng)一體平臺(tái)技術(shù)架構(gòu)

●數(shù)據(jù)采集方面，通過(guò)偶數(shù) Wasp 工具提高數(shù)據(jù)采集能力，同時(shí)推動(dòng)上游數(shù)據(jù)改造。

數(shù)據(jù)架構(gòu)

在原平臺(tái)的數(shù)據(jù)架構(gòu)中，數(shù)據(jù)源通過(guò)ETL服務(wù)器分別進(jìn)入到數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)平臺(tái)，在數(shù)據(jù)倉(cāng)庫(kù)中，數(shù)據(jù)加載到緩沖層(O)后在明細(xì)層(D)、整合層(M)、集市層(G)逐層進(jìn)行加工，在每個(gè)數(shù)據(jù)分層完成加工后都會(huì)通過(guò)同庫(kù)直連或者FEX/FTP向大數(shù)據(jù)平臺(tái)進(jìn)行同步，最終以大數(shù)據(jù)平為主提供數(shù)據(jù)應(yīng)用。
湖倉(cāng)分體各司其職，在邏輯上為統(tǒng)一數(shù)據(jù)應(yīng)用提供支撐，但是中間的數(shù)據(jù)流向是非常復(fù)雜和冗余的，以資產(chǎn)負(fù)債這個(gè)主題的數(shù)據(jù)為例，其可能來(lái)自于數(shù)據(jù)倉(cāng)庫(kù)的不同分層，在大數(shù)據(jù)平臺(tái)中，存放了資產(chǎn)負(fù)債相關(guān)的明細(xì)層、整合層和集市層，數(shù)據(jù)處理時(shí)效難以保障，同時(shí)數(shù)據(jù)冗余也加大了現(xiàn)有平臺(tái)管理的難度。

原平臺(tái)架構(gòu)

通過(guò)搭建湖倉(cāng)一體平臺(tái)，新的數(shù)據(jù)架構(gòu)則變得很簡(jiǎn)潔。數(shù)據(jù)源通過(guò)前置文件緩沖服務(wù)器后，加載到湖倉(cāng)一體平臺(tái)緩沖層(O)后在明細(xì)層(D)、整合層(M)、集市層(G)、集市計(jì)算層(GA)逐層進(jìn)行加工，最終由湖倉(cāng)一體平臺(tái)統(tǒng)一對(duì)外提供數(shù)據(jù)應(yīng)用，既提升了數(shù)據(jù)處理時(shí)效，也減少了數(shù)據(jù)冗余，避免數(shù)據(jù)孤島。

新平臺(tái)數(shù)據(jù)架構(gòu)

5、項(xiàng)目實(shí)施

2022年8月，湖倉(cāng)一體平臺(tái)項(xiàng)目正式啟動(dòng)，偶數(shù)按照如下幾個(gè)重點(diǎn)步驟進(jìn)行整體實(shí)施：調(diào)研現(xiàn)狀、整合資料、搭建環(huán)境、技術(shù)驗(yàn)證、實(shí)施遷移、數(shù)據(jù)核對(duì)、性能優(yōu)化。

實(shí)施步驟

通過(guò)調(diào)研和資料整合，我們確定了原平臺(tái)報(bào)表應(yīng)用，ETL（數(shù)據(jù)抽取、轉(zhuǎn)換和加載）作業(yè)，接口數(shù)量，DDL（數(shù)據(jù)定義語(yǔ)言）的實(shí)際情況和工作邊界。通過(guò)搭建 OushuDB 及相關(guān)組件（如數(shù)據(jù)同步和調(diào)度工具）實(shí)現(xiàn)模擬環(huán)境，在大規(guī)模遷移之前，我們進(jìn)行了重點(diǎn)技術(shù)問(wèn)題驗(yàn)證，包括原有大數(shù)據(jù)平臺(tái)和 OushuDB 的語(yǔ)法差異分析，將接口數(shù)據(jù)文件加載、加工處理生成應(yīng)用數(shù)據(jù)等。
在關(guān)鍵的遷移工作中，偶數(shù)工程師先后完成了源系統(tǒng)數(shù)據(jù)采集文件加載入庫(kù)、大數(shù)據(jù)平臺(tái)模型遷移、作業(yè)遷移、新建作業(yè)調(diào)度、應(yīng)用系統(tǒng)對(duì)接。針對(duì)腳本遷移內(nèi)容，進(jìn)行了單元測(cè)試，O、F、D、M、G層及集市托管計(jì)算腳本，以及大數(shù)據(jù)平臺(tái)腳本測(cè)試優(yōu)化。
2022年11月，遼寧農(nóng)信新一代湖倉(cāng)一體平臺(tái)開(kāi)始試運(yùn)行，2023年5月，農(nóng)信正式完成新平臺(tái)的生產(chǎn)切換。

6、建設(shè)成效

統(tǒng)一存算，減少數(shù)據(jù)冗余

湖倉(cāng)一體平臺(tái)歸集了數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)平臺(tái)歷史數(shù)據(jù)，承載1.5萬(wàn)余個(gè)表實(shí)體、500億條數(shù)據(jù)，總量超過(guò)150TB并減少了22TB數(shù)據(jù)冗余。通過(guò)虛擬計(jì)算與存儲(chǔ)集群，全天候?yàn)槭÷?lián)社40多個(gè)系統(tǒng)、1690個(gè)基層行社下轄的業(yè)務(wù)人員及用戶提供數(shù)據(jù)應(yīng)用支撐。

提升時(shí)效，毫秒級(jí)響應(yīng)

使用OushuDB并優(yōu)化4691個(gè)存算程序后，標(biāo)準(zhǔn)聯(lián)機(jī)查詢達(dá)到毫秒級(jí)響應(yīng)，比數(shù)據(jù)倉(cāng)庫(kù)查詢速度提升2倍以上，業(yè)務(wù)日結(jié)批量時(shí)效壓縮3倍以上，湖倉(cāng)一體平臺(tái)將原來(lái)的“數(shù)倉(cāng)+大數(shù)據(jù)平臺(tái)”日主批量的22小時(shí)，壓縮到8小時(shí)內(nèi)。

“T+0”應(yīng)用，擴(kuò)展實(shí)時(shí)能力

湖倉(cāng)一體平臺(tái)歸集并覆蓋存款、貸款、網(wǎng)銀3個(gè)渠道的38個(gè)業(yè)務(wù)指標(biāo)，實(shí)現(xiàn)了從“T+1”到“T+0”的應(yīng)用方式突破。

7、平臺(tái)建設(shè)展望

（一）以經(jīng)營(yíng)戰(zhàn)略為基礎(chǔ)，夯實(shí)數(shù)據(jù)資產(chǎn)

湖倉(cāng)一體數(shù)據(jù)平臺(tái)是遼寧農(nóng)信數(shù)字能力建設(shè)的基礎(chǔ)技術(shù)底座，后續(xù)伴隨業(yè)務(wù)開(kāi)展將不遺余力地收集遼寧農(nóng)信自有大數(shù)據(jù)資產(chǎn)。同時(shí)將優(yōu)化行為數(shù)據(jù)的采集，為客戶畫像和風(fēng)險(xiǎn)識(shí)別建模提供數(shù)據(jù)。將對(duì)接機(jī)構(gòu)部門和場(chǎng)景擴(kuò)充場(chǎng)景數(shù)據(jù)，建立場(chǎng)景化、小而美的主題數(shù)據(jù)。

（二）以模型算法為驅(qū)動(dòng)，促活數(shù)據(jù)智能

大數(shù)據(jù)的智能化應(yīng)用賦予銀行業(yè)務(wù)新的“生命”。遼寧農(nóng)信將加強(qiáng)企業(yè)級(jí)業(yè)務(wù)規(guī)則及算法管理平臺(tái)，推動(dòng)對(duì)模型應(yīng)用、模型有效性、模型管理進(jìn)行統(tǒng)一規(guī)范，建立數(shù)據(jù)模型算法的管理機(jī)制，確保模型算法在自主可控的范圍內(nèi)發(fā)揮效能。

（三）以應(yīng)用需求為導(dǎo)向，釋放數(shù)據(jù)價(jià)值

大數(shù)據(jù)的資產(chǎn)化和業(yè)務(wù)化，賦予大數(shù)據(jù)“靈魂”。在各業(yè)務(wù)條線傳統(tǒng)應(yīng)用方式的基礎(chǔ)上，加快推動(dòng)各條線工作中探索數(shù)字化運(yùn)營(yíng)模式，形成數(shù)據(jù)和運(yùn)營(yíng)結(jié)合的閉環(huán)。