Airbyte架構
作為一款技術復雜的數(shù)據(jù)集成管道,Airbyte的架構模式非常清晰明了。


UI:一個易于使用的圖形界面,用于與Airbyte API進行交互。
WebApp Server:處理 UI 和 API 之間的連接。
Config Store:存儲所有連接信息(憑據(jù)、頻率等)。
Scheduler Store:存儲調度程序簿記的狀態(tài)和作業(yè)信息。
Config API:Airbyte 的主控制平面。Airbyte 中的所有操作,例如創(chuàng)建源、目標、連接、管理配置等。從 API 配置和調用。
Scheduler:調度程序從 API 獲取工作請求,并將其發(fā)送到臨時服務進行并行化。它負責跟蹤成功/失敗,并根據(jù)配置的頻率觸發(fā)同步。
Temporal Service:管理計劃程序的任務隊列和工作流。
Worker:工作線程連接到源連接器,拉取數(shù)據(jù)并將其寫入目標。
Temporary Storage:工作人員在需要將數(shù)據(jù)溢出到磁盤上時可以使用的存儲。
標簽: