在企業(yè)數(shù)倉建設(shè)初期，為了保障數(shù)字化轉(zhuǎn)型的落地效果，需要提供充足的數(shù)據(jù)資源，除了基礎(chǔ)的數(shù)據(jù)抽取、轉(zhuǎn)換和加載等過程，數(shù)據(jù)的同步也是重要環(huán)節(jié)之一。數(shù)據(jù)同步常用于數(shù)倉ODS、ADS層的建設(shè)，通過不同數(shù)據(jù)源的同步，保障數(shù)據(jù)的及時性和準(zhǔn)確性，從而滿足不同業(yè)務(wù)部門和用戶的需求。

在過去，企業(yè)在處理數(shù)據(jù)同步時，常常需要SQL編碼輔助完成，隨著業(yè)務(wù)發(fā)展，企業(yè)的數(shù)據(jù)量飛速增長，傳統(tǒng)的編碼方式也逐漸顯露弊端：

?

? 無法精準(zhǔn)匹配：通過編寫SQL進(jìn)行同步策略，難以與場景實現(xiàn)精準(zhǔn)匹配；

? 操作門檻高：涉及到前置SQL、后置SQL等代碼過程，需要配備專業(yè)的技術(shù)開發(fā)人員；

? 開發(fā)周期長：如有多個任務(wù)，需一個個單獨配置，耗時較長，效率低。

?

針對以上痛點，Tempo 數(shù)據(jù)工廠新推出【場景化數(shù)據(jù)同步】功能，根據(jù)業(yè)務(wù)需求及數(shù)據(jù)特征，提取關(guān)鍵場景，通過點選方式，快速匹配不同的集成場景。

?

?

該功能將常用數(shù)據(jù)集成業(yè)務(wù)場景進(jìn)行抽取，包含周期增量、一次全量周期增量、周期全量三種同步策略，可快速完成數(shù)據(jù)集成任務(wù)配置。

01、周期增量

周期增量通常指的是在數(shù)據(jù)集成過程中，從源系統(tǒng)中提取數(shù)據(jù)到目標(biāo)系統(tǒng)中的增量數(shù)據(jù)量。數(shù)據(jù)集成是將來自不同數(shù)據(jù)源的數(shù)據(jù)整合到一個統(tǒng)一的目標(biāo)系統(tǒng)中的過程，以實現(xiàn)數(shù)據(jù)的統(tǒng)一管理和共享。

以T企業(yè)為例，由于企業(yè)內(nèi)部數(shù)據(jù)存量較大，每次全量讀取數(shù)據(jù)都需要很長時間才能完成遷移工作，于是T企業(yè)采用增量的方式，按照一定的調(diào)度頻率讀取周期內(nèi)的新增數(shù)據(jù)，遷移到數(shù)據(jù)倉庫中。

讀取到來源端的增量數(shù)據(jù)后，可以采用不同的策略，寫入到目標(biāo)庫中。根據(jù)不同的業(yè)務(wù)需求，Tempo數(shù)據(jù)工廠可提供以下兩種策略：

?先刪后增：清理當(dāng)期數(shù)據(jù)，插入增量數(shù)據(jù)

?更新：唯一鍵相同更新，新增插入

02、一次全量周期增量

一次全量周期增量是指在數(shù)據(jù)集成過程中，進(jìn)行一次全量數(shù)據(jù)抽取后的下一個周期內(nèi)的增量數(shù)據(jù)量。全量數(shù)據(jù)抽取是指將源系統(tǒng)中的所有數(shù)據(jù)都抽取到目標(biāo)系統(tǒng)中，以確保目標(biāo)系統(tǒng)中的數(shù)據(jù)與源系統(tǒng)中的數(shù)據(jù)完全一致。

T企業(yè)內(nèi)部有一定的歷史存量數(shù)據(jù)，每天也會產(chǎn)生新的數(shù)據(jù)，建設(shè)數(shù)倉時采用一次全量周期增量的模式，先把歷史存量數(shù)據(jù)全部抽取到目標(biāo)端，之后每次都只取增量數(shù)據(jù)。

?

?

讀取到來源端的數(shù)據(jù)后，可以采用不同的策略，寫入到目標(biāo)庫中。根據(jù)不同的業(yè)務(wù)需求，Tempo 數(shù)據(jù)工廠平臺提供以下兩種策略：

?先刪后增：清理當(dāng)期數(shù)據(jù)，插入增量數(shù)據(jù)

?更新：唯一鍵相同更新，新增插入

03、周期全量

周期全量是指在一定的時間周期內(nèi)，將所有的數(shù)據(jù)源進(jìn)行全量的數(shù)據(jù)抽取和集成。這意味著每個周期都會將所有的數(shù)據(jù)源中的數(shù)據(jù)全部抽取出來，并進(jìn)行整合和合并，以保證數(shù)據(jù)的完整性和一致性。

T企業(yè)的歷史數(shù)據(jù)存量小，數(shù)據(jù)中沒有日期時間字段幫助獲取增量數(shù)據(jù)，因此采用全量方式進(jìn)行數(shù)據(jù)抽取。

讀取到來源端的增量數(shù)據(jù)后，可以采用不同的策略，寫入到目標(biāo)庫中。根據(jù)不同的業(yè)務(wù)需求，Tempo 數(shù)據(jù)工廠提供以下三種策略：

?先刪后增：清理當(dāng)期數(shù)據(jù)，插入增量數(shù)據(jù)

?緩存表：緩存輸出數(shù)據(jù)，交換加載目標(biāo)數(shù)據(jù)

?備份表：目標(biāo)表數(shù)據(jù)，對歷史數(shù)據(jù)進(jìn)行備份

?

*緩存表：當(dāng)目標(biāo)端數(shù)據(jù)一直被應(yīng)用時（如被BI看板引用時），目標(biāo)表不能為空，則需要將包含新增或修改的全量數(shù)進(jìn)行緩存，再將緩存表和目標(biāo)表重命名替換。

*備份表：當(dāng)歷史數(shù)據(jù)需要備份時，先按照版本寫入目標(biāo)數(shù)據(jù)，再次進(jìn)行寫入時將清理數(shù)據(jù)過期版本數(shù)據(jù)。

?

另外，在實際數(shù)倉建設(shè)過程中，會面臨多系統(tǒng)多表的集成工作，為了提高集成效率，TempoDF新增支持【批量數(shù)據(jù)同步】任務(wù)配置，可快速將來源端的多張表批量遷移至目標(biāo)數(shù)據(jù)源。

功能亮點

? 更匹配業(yè)務(wù)場景

對同步場景進(jìn)行細(xì)化，便于運維人員、實施人員、客戶方更好理解，更好進(jìn)行業(yè)務(wù)匹配。

? 降低操作門檻

將編寫SQL方式修改為點選方式，無需技術(shù)人員上手，業(yè)務(wù)人員也能快速完成數(shù)據(jù)集成任務(wù)配置。

? 大幅提升效率

將編碼方式改為點選方式，預(yù)計提高效率60%，大幅縮減了配置時間。

? 支持批量操作

可批量進(jìn)行任務(wù)配置，提高集成效率。

?

數(shù)字化轉(zhuǎn)型過程中，數(shù)據(jù)是核心。作為支撐數(shù)據(jù)分析的強(qiáng)大底座，Tempo DF的每一次的功能上新，都以給用戶提供更加敏捷、高效、智能的解決方案為目標(biāo)，為企業(yè)的數(shù)字化轉(zhuǎn)型提供更多助力。