從ETL到ELT

就傳統(tǒng)的 ETL而言，當(dāng)我們開始構(gòu)建數(shù)據(jù)倉庫時，都要先去了解業(yè)務(wù)流程，明晰業(yè)務(wù)是如何運(yùn)轉(zhuǎn)的，數(shù)據(jù)是如何留痕的。通過收集用戶的相關(guān)需求，從而去規(guī)劃設(shè)計報表。企業(yè)需要進(jìn)行數(shù)倉分域、分層、邏輯建模等一系列操作，完成這些后才會去數(shù)據(jù)倉庫中建表。

在這之后，企業(yè)就需要進(jìn)行 ETL 操作了，由于多數(shù)數(shù)倉僅接受 SQL 的關(guān)系數(shù)據(jù)結(jié)構(gòu)，因此，企業(yè)需要將不符合要求的數(shù)據(jù)轉(zhuǎn)換為基于 SQL 的數(shù)據(jù)。這種方式在有限內(nèi)存和處理能力的本地數(shù)據(jù)庫中普遍存在。我們不難發(fā)現(xiàn) ETL 的問題，主要是流程長和笨重。如果企業(yè)業(yè)務(wù)或者底層數(shù)據(jù)頻繁變化，ETL 流程就要隨之調(diào)整，這不僅浪費(fèi)時間，而且也受制于吞吐量，成本極高。

因此，ELT 應(yīng)運(yùn)而生。工程師發(fā)現(xiàn) ETL 復(fù)雜的地方主要是在 T 和 L 的強(qiáng)耦合，所以 ELT 的核心思想就是解耦。與 ETL 不同，ELT 不需要在加載過程之前進(jìn)行數(shù)據(jù)轉(zhuǎn)換。ELT 將原始數(shù)據(jù)直接加載到數(shù)倉中。使用 ELT 數(shù)據(jù)管道，數(shù)據(jù)清理、豐富和數(shù)據(jù)轉(zhuǎn)換等過程都在數(shù)倉內(nèi)完成。原始數(shù)據(jù)無限期地存儲在數(shù)倉中，允許進(jìn)行多次轉(zhuǎn)換。

企業(yè)數(shù)據(jù)量的爆發(fā)。數(shù)據(jù)已經(jīng)成為現(xiàn)代企業(yè)成功的必備要素。越來越多的企業(yè)需要數(shù)據(jù)的聚合，無論是結(jié)構(gòu)化、非結(jié)構(gòu)化抑或半結(jié)構(gòu)化數(shù)據(jù)，他們都希望以統(tǒng)一的平臺接口來收集和處理。也正是因為這些數(shù)據(jù)資源的增長，推動了企業(yè)的數(shù)字化進(jìn)程，他們需要更靈活和敏捷的方式來處理數(shù)據(jù)，顯然，傳統(tǒng)的 ETL 并不能滿足這些需求。

Airbyte的簡單流程

1. 從Airbyte支持的“Sources”中選擇想要連接的數(shù)據(jù)源，并配置相應(yīng)信息。

   
   

2. 從Airbyte支持的“Destinations”中選擇數(shù)據(jù)寫入的目標(biāo)，并配置相應(yīng)信息。

3. 有了數(shù)據(jù)源和目標(biāo)的信息，我們就可以建立一條連接（connection），并設(shè)置一個同步周期來同步數(shù)據(jù)了

至此這個數(shù)據(jù)同步任務(wù)算是完成配置，可以按照周期定時跑起來了。

Airbyte看似功能單一，但正如很多流行的開源軟件一樣，Airbyte強(qiáng)大的地方是：它定義了一個被廣泛接受的標(biāo)準(zhǔn)，并形成了一個龐大的“連接器”（Connectors）生態(tài)。

Airbyte 的商業(yè)模式

開源版本可用作自助服務(wù)、免費(fèi)解決方案。它可以訪問無限連接器、復(fù)制、監(jiān)控和通過社區(qū)為用戶提供支持。云版本除了提供開源的所有功能之外，還提供其平臺的云托管服務(wù)，并按積分收費(fèi)。其信用消耗與基礎(chǔ)設(shè)施計算時間相關(guān)。它帶有云數(shù)據(jù)托管、數(shù)據(jù)管理、多個工作區(qū)等。

云版本提供 14 天的免費(fèi)試用期，之后按每個積分 2.50 美元的價格按月收費(fèi)。

企業(yè)版是針對處理大數(shù)據(jù)量需求的用戶，依據(jù)客戶用例收費(fèi)。Airbyte 不對失敗的客戶用例收費(fèi)。Airbyte 希望通過開源模式和付費(fèi)貢獻(xiàn)者計劃，解決行業(yè)對長尾連接器的需求。從這方面來看，閉源產(chǎn)品大多是無法滿足的。此外，他們還希望通過開源加快業(yè)界使用他們的連接器，從而提高產(chǎn)品可靠性。