Airbyte 后端技術(shù)棧

Java 17

框架：Jersey

API： OAS3

數(shù)據(jù)庫(kù)：PostgreSQL

單元和E2E測(cè)試：JUnit 5

編排：Temporal

連接器技術(shù)棧

連接器可以用任何語(yǔ)言編寫(xiě)。但是，最常見(jiàn)的語(yǔ)言是：

Python3.9.0

Java 17

前端技術(shù)棧

Node.js 16

TypeScript

Web 框架/庫(kù)：React

部署

部署Airbyte開(kāi)源只需要兩個(gè)步驟。

在您的工作站上安裝 Docker。確保您使用的是最新版本的 .docker-compose

在終端中運(yùn)行以下命令：

git clone https://github.com/airbytehq/airbyte.git

cd airbyte

docker compose up

一旦您看到Airbyte橫幅，就可以在瀏覽器輸入 http://localhost:8000 訪(fǎng)問(wèn)Airbyte了！系統(tǒng)將要求您輸入用戶(hù)名和密碼，默認(rèn)用戶(hù)名和密碼是 airbyte 和password，部署到服務(wù)器后，請(qǐng)務(wù)必在.env文件中更改默認(rèn)用戶(hù)和密碼。

內(nèi)部數(shù)據(jù)庫(kù)

Airbyte 使用Postgres來(lái)存儲(chǔ)內(nèi)部狀態(tài)和元數(shù)據(jù)。此數(shù)據(jù)由各種 Airbyte 組件存儲(chǔ)和操作，但您可以通過(guò)以下兩種方式管理此數(shù)據(jù)庫(kù)的部署：

使用 Airbyte Docker 服務(wù)的默認(rèn) Postgres 數(shù)據(jù)庫(kù)：。docker-compose.ymlairbyte/db

通過(guò)專(zhuān)用的自定義 Postgres 實(shí)例。在Docker或Kubernetes上部署關(guān)鍵任務(wù)數(shù)據(jù)庫(kù)不是一個(gè)好的做法。 使用專(zhuān)用實(shí)例將為您的 Airbyte 部署提供更高的可靠性。 此外，使用云托管的 Postgres 實(shí)例（例如 AWS RDS 我們的 GCP 云 SQL），您將受益于自動(dòng)備份和細(xì)粒度大小調(diào)整。您可以從一個(gè)非常小的實(shí)例開(kāi)始，但根據(jù)您的 Airbyte 使用情況，如果不截?cái)嘧鳂I(yè)歷史記錄，作業(yè)數(shù)據(jù)庫(kù)可能會(huì)增長(zhǎng)并需要更多存儲(chǔ)空間。airbyte/dbdocker-compose.yml

各種實(shí)體持久保存在兩個(gè)內(nèi)部數(shù)據(jù)庫(kù)中：

作業(yè)數(shù)據(jù)庫(kù)

有關(guān) Airbyte 作業(yè)和各種運(yùn)行時(shí)元數(shù)據(jù)執(zhí)行的數(shù)據(jù)。

有關(guān) Airbyte 使用的內(nèi)部業(yè)務(wù)流程協(xié)調(diào)程序的數(shù)據(jù)，http://Temporal.io（任務(wù)、工作流數(shù)據(jù)、事件和可見(jiàn)性數(shù)據(jù)）。

配置數(shù)據(jù)庫(kù)

連接器、同步連接和各種 Airbyte 配置對(duì)象。

注意：管道傳輸?shù)膶?shí)際數(shù)據(jù)永遠(yuǎn)不會(huì)保留在此內(nèi)部數(shù)據(jù)庫(kù)中

請(qǐng)注意，源（或目標(biāo)）連接器中的實(shí)際數(shù)據(jù)永遠(yuǎn)不會(huì)傳輸或保留在此內(nèi)部數(shù)據(jù)庫(kù)中。