Airbyte架構(gòu)
2023-02-23 17:23 作者:bili_42440936711 | 我要投稿
作為一款技術(shù)復(fù)雜的數(shù)據(jù)集成管道,Airbyte的架構(gòu)模式非常清晰明了。


UI:一個(gè)易于使用的圖形界面,用于與Airbyte API進(jìn)行交互。
WebApp Server:處理 UI 和 API 之間的連接。
Config Store:存儲(chǔ)所有連接信息(憑據(jù)、頻率等)。
Scheduler Store:存儲(chǔ)調(diào)度程序簿記的狀態(tài)和作業(yè)信息。
Config API:Airbyte 的主控制平面。Airbyte 中的所有操作,例如創(chuàng)建源、目標(biāo)、連接、管理配置等。從 API 配置和調(diào)用。
Scheduler:調(diào)度程序從 API 獲取工作請求,并將其發(fā)送到臨時(shí)服務(wù)進(jìn)行并行化。它負(fù)責(zé)跟蹤成功/失敗,并根據(jù)配置的頻率觸發(fā)同步。
Temporal Service:管理計(jì)劃程序的任務(wù)隊(duì)列和工作流。
Worker:工作線程連接到源連接器,拉取數(shù)據(jù)并將其寫入目標(biāo)。
Temporary Storage:工作人員在需要將數(shù)據(jù)溢出到磁盤上時(shí)可以使用的存儲(chǔ)。
標(biāo)簽: