ELT 哲學(xué)的核心原則，即數(shù)據(jù)在提取和加載階段移動(dòng)時(shí)應(yīng)保持不變，以便始終可以在目標(biāo)中訪問(wèn)原始數(shù)據(jù)。由于目標(biāo)中存在數(shù)據(jù)的未修改版本，因此將來(lái)可以重新轉(zhuǎn)換該版本，而無(wú)需從源系統(tǒng)重新同步數(shù)據(jù)。

基于此哲學(xué)，我們看看Airbyte提供的數(shù)據(jù)同步模式和相關(guān)概念：

同步運(yùn)行

Airbyte 復(fù)制可以被認(rèn)為是一個(gè)循環(huán)，它定期從數(shù)據(jù)源請(qǐng)求記錄并將其發(fā)送到目的地。此循環(huán)的每次迭代稱(chēng)為同步運(yùn)行。

什么是游標(biāo)

在增量復(fù)制的上下文中，可以將游標(biāo)視為指向源數(shù)據(jù)集的指針，該指針用于跟蹤從該源發(fā)送到目標(biāo)的最新記錄。它用于確保將來(lái)不會(huì)再次發(fā)送已發(fā)送的記錄。

在每次同步運(yùn)行中，都會(huì)對(duì)源執(zhí)行一個(gè)查詢(xún)以選擇要復(fù)制的記錄，并且此查詢(xún)被構(gòu)造為包含游標(biāo)，以便僅返回比游標(biāo)更新（即以前未復(fù)制）的記錄。

對(duì)于 CDC 復(fù)制，不需要指定游標(biāo)，因?yàn)槭聞?wù)日志中的時(shí)間戳和/或序列號(hào)（用作 CDC 復(fù)制的源）具有相同的用途。

主鍵的用途

主鍵唯一標(biāo)識(shí)源數(shù)據(jù)表中的每條記錄。在某些復(fù)制模式下，這是必需的，用于確保對(duì)源系統(tǒng)中單個(gè)記錄的多個(gè)更新將正確應(yīng)用于目標(biāo)系統(tǒng)中的單個(gè)記錄。此外，如果使用增量更改數(shù)據(jù)捕獲 （CDC） 復(fù)制。

全量刷新同步與增量同步

全量刷新復(fù)制和增量同步復(fù)制之間的主要區(qū)別在于，在每次同步運(yùn)行中，從源讀取哪些記錄并將其發(fā)送到目標(biāo)：

下圖比較了全量刷新復(fù)制與增量同步復(fù)制 – 此圖表示在不同時(shí)間插入的記錄：t1、t2 和 t3，每次插入后跟同步運(yùn)行。新插入的記錄在源上用紅色框進(jìn)行批注，發(fā)送到目標(biāo)的記錄用亮綠色框進(jìn)行批注。

?