不同的企業(yè)對(duì)數(shù)據(jù)有不同的需求。企業(yè)數(shù)據(jù)應(yīng)用不斷更新迭代，企業(yè)的中臺(tái)系統(tǒng)也需要不斷變化。從數(shù)據(jù)處理與數(shù)據(jù)治理兩個(gè)維度出發(fā)，可以設(shè)計(jì)一個(gè)解耦的數(shù)據(jù)中臺(tái)體系架構(gòu)。該數(shù)據(jù)中臺(tái)體系架構(gòu)具有一定的柔性，可按照企業(yè)應(yīng)用需求進(jìn)行組合，或者對(duì)單個(gè)模塊進(jìn)行擴(kuò)充，能滿足大多數(shù)企業(yè)數(shù)據(jù)中臺(tái)建設(shè)的需求。

一、數(shù)據(jù)中臺(tái)通用體系架構(gòu)

1.?數(shù)據(jù)存儲(chǔ)框架數(shù)據(jù)中臺(tái)的核心是數(shù)據(jù)，數(shù)據(jù)通過采集系統(tǒng)獲取，然后數(shù)據(jù)經(jīng)過處理框架加工，并接受數(shù)據(jù)治理框架的管理，同時(shí)也要接受數(shù)據(jù)安全管理框架的管理，最后開放的價(jià)值數(shù)據(jù)將通過數(shù)據(jù)運(yùn)營(yíng)框架對(duì)外提供數(shù)據(jù)服務(wù)。數(shù)據(jù)中臺(tái)的數(shù)據(jù)架構(gòu)應(yīng)該獨(dú)立規(guī)劃，并采用合理的技術(shù)架構(gòu)對(duì)不同類型的數(shù)據(jù)進(jìn)行存儲(chǔ)。數(shù)據(jù)存儲(chǔ)框架中，無(wú)論數(shù)據(jù)采用對(duì)象存儲(chǔ)、塊存儲(chǔ)還是數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù)。

?

● 源數(shù)據(jù)主要由采集框架進(jìn)行管理，數(shù)據(jù)治理框架按照數(shù)據(jù)特征把數(shù)據(jù)簡(jiǎn)單分為結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)兩大類，而規(guī)范化分域數(shù)據(jù)則是數(shù)據(jù)治理框架對(duì)全量數(shù)據(jù)的規(guī)范化分域整理。

● 寬表數(shù)據(jù)是數(shù)據(jù)關(guān)聯(lián)的結(jié)果，利用寬表數(shù)據(jù)可以對(duì)人、事、地、物、組等對(duì)象進(jìn)行完整的數(shù)據(jù)畫像，同時(shí)寬表數(shù)據(jù)也可以作為上層模型數(shù)據(jù)的中間層數(shù)據(jù)。

● 元數(shù)據(jù)和標(biāo)簽數(shù)據(jù)都是對(duì)數(shù)據(jù)的描述，其中元數(shù)據(jù)用來(lái)對(duì)數(shù)據(jù)的客觀屬性進(jìn)行表示，標(biāo)簽數(shù)據(jù)更傾向于管理者對(duì)數(shù)據(jù)的主觀表述及等級(jí)劃分，比如質(zhì)量等級(jí)標(biāo)簽、安全標(biāo)簽、屬性標(biāo)簽等。

● 主數(shù)據(jù)需要在各系統(tǒng)間頻繁更新、交換，且需要獨(dú)立的存儲(chǔ)空間進(jìn)行維護(hù)管理。

2. 數(shù)據(jù)采集框架

數(shù)據(jù)中臺(tái)的采集框架應(yīng)對(duì)納入數(shù)據(jù)中臺(tái)的各種源數(shù)據(jù)進(jìn)行統(tǒng)一采集管理。數(shù)據(jù)采集框架中應(yīng)提供多種數(shù)據(jù)采集方式，如文件傳輸協(xié)議采集、數(shù)據(jù)庫(kù)采集、接口應(yīng)用程序接入采集、流式采集及網(wǎng)絡(luò)爬蟲采集。同時(shí)采集框架應(yīng)按照數(shù)據(jù)采集規(guī)范對(duì)源數(shù)據(jù)進(jìn)行預(yù)處理，從而去除明顯不需要的數(shù)據(jù)及多余數(shù)據(jù)，并對(duì)采集過程進(jìn)行管理。雖然數(shù)據(jù)中臺(tái)的體系架構(gòu)沒有統(tǒng)一模板，但各企業(yè)數(shù)據(jù)采集框架基本一致。

?

3.?數(shù)據(jù)處理框架數(shù)據(jù)處理是每個(gè)數(shù)據(jù)應(yīng)用的基本環(huán)節(jié)之一，經(jīng)典的數(shù)據(jù)抽取、轉(zhuǎn)換和加載（ETL）處理流程在數(shù)據(jù)采集預(yù)處理、數(shù)據(jù)整合、數(shù)據(jù)建模等多個(gè)地方均要使用。單獨(dú)建設(shè)數(shù)據(jù)處理框架有利于數(shù)據(jù)處理工具組件的集中開發(fā)與管理，也有利于數(shù)據(jù)中臺(tái)數(shù)據(jù)處理任務(wù)的協(xié)調(diào)與調(diào)度。

數(shù)據(jù)處理框架專門負(fù)責(zé)數(shù)據(jù)處理相關(guān)的任務(wù)，包括批處理、流處理、人工智能分析、數(shù)據(jù)清洗、數(shù)據(jù)交換及查詢，此外數(shù)據(jù)處理的相關(guān)工具組件可在處理框架中配置。任務(wù)調(diào)度模塊在數(shù)據(jù)處理框架中處于居中指揮的作用，并對(duì)運(yùn)行的數(shù)據(jù)處理任務(wù)進(jìn)行監(jiān)控及異常處理等操作。

4.?數(shù)據(jù)治理框架廣義的數(shù)據(jù)治理不僅包含提升數(shù)據(jù)價(jià)值的內(nèi)容，如數(shù)據(jù)管理、數(shù)據(jù)目錄、數(shù)據(jù)質(zhì)量等，也包含數(shù)據(jù)安全管理及數(shù)據(jù)共享服務(wù)。數(shù)據(jù)安全管理與數(shù)據(jù)價(jià)值提升是一個(gè)矛盾體，如果由一個(gè)廠商或開發(fā)團(tuán)隊(duì)進(jìn)行數(shù)據(jù)安全管理及數(shù)據(jù)價(jià)值提升相關(guān)軟件的開發(fā)，則開發(fā)者的操作難免有所偏向，而且矛盾不容易公開，少了沖突也就少了優(yōu)質(zhì)的解決方案。

5.?數(shù)據(jù)安全框架數(shù)據(jù)已經(jīng)成為數(shù)據(jù)資產(chǎn)，數(shù)據(jù)安全框架是數(shù)據(jù)中臺(tái)必不可少的組成部分。數(shù)據(jù)安全疊加在數(shù)據(jù)中臺(tái)其他功能框架之上，數(shù)據(jù)采集、處理、交換、共享等每個(gè)環(huán)節(jié)均必須實(shí)施安全控制策略。安全框架可以分為日志管理、用戶認(rèn)證、權(quán)限管理及加解密等幾個(gè)功能模塊。

?

6. 數(shù)據(jù)運(yùn)營(yíng)框架數(shù)據(jù)中臺(tái)的核心功能是綜合眾多數(shù)據(jù)應(yīng)用的數(shù)據(jù)處理及數(shù)據(jù)治理功能，集中建設(shè)、集中管理、減少冗余、增加復(fù)用。數(shù)據(jù)中臺(tái)的最終目的還是為其他應(yīng)用或開發(fā)者提供數(shù)據(jù)服務(wù)，而對(duì)外數(shù)據(jù)服務(wù)功能將直接面向不確定的外部對(duì)象。因此單獨(dú)建設(shè)數(shù)據(jù)運(yùn)營(yíng)，一方面有利于針對(duì)外部用戶提供針對(duì)性功能；另一方面，數(shù)據(jù)運(yùn)營(yíng)模塊作為用戶與數(shù)據(jù)中臺(tái)核心數(shù)據(jù)服務(wù)之間的中間層，可以有效隔離外部用戶直接控制、接觸核心數(shù)據(jù)及應(yīng)用，可保護(hù)數(shù)據(jù)中臺(tái)的安全性及內(nèi)部功能的穩(wěn)定性。

二、數(shù)據(jù)中臺(tái)的目標(biāo)

數(shù)據(jù)中臺(tái)的目標(biāo)是讓數(shù)據(jù)持續(xù)用起來(lái)，通過數(shù)據(jù)中臺(tái)提供的工具、方法和運(yùn)行機(jī)制，把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，讓數(shù)據(jù)更方便地被業(yè)務(wù)所使用。

數(shù)據(jù)中臺(tái)屏蔽掉底層存儲(chǔ)平臺(tái)的計(jì)算技術(shù)復(fù)雜性，降低對(duì)技術(shù)人才的需求，讓數(shù)據(jù)的使用成本更低。通過數(shù)據(jù)中臺(tái)的數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊建立企業(yè)數(shù)據(jù)資產(chǎn)。通過資產(chǎn)管理與治理、數(shù)據(jù)服務(wù)把數(shù)據(jù)資產(chǎn)變?yōu)閿?shù)據(jù)服務(wù)能力，服務(wù)于企業(yè)業(yè)務(wù)。

?

數(shù)據(jù)安全體系、數(shù)據(jù)運(yùn)營(yíng)體系保障數(shù)據(jù)中臺(tái)可以長(zhǎng)期健康、持續(xù)運(yùn)轉(zhuǎn)。運(yùn)營(yíng)體系和安全體系是數(shù)據(jù)中臺(tái)得以健康、持續(xù)運(yùn)轉(zhuǎn)的基礎(chǔ)，如果沒有它們，數(shù)據(jù)中臺(tái)很可能像個(gè)一般項(xiàng)目一樣，一期搭建起平臺(tái)、建設(shè)部分?jǐn)?shù)據(jù)、嘗試一兩個(gè)應(yīng)用場(chǎng)景之后而止步，無(wú)法正常地持續(xù)運(yùn)營(yíng)，不能持續(xù)發(fā)揮數(shù)據(jù)應(yīng)用價(jià)值。這也就完全達(dá)不到建設(shè)數(shù)據(jù)中臺(tái)的目標(biāo)。

?