Airbyte入門
Airbyte 后端技術(shù)棧 Java 17 框架:Jersey API: OAS3 數(shù)據(jù)庫(kù):PostgreSQL 單元和E2E測(cè)試:JUnit 5 編排:Temporal 連接器技術(shù)棧 連接器可以用任何語言編寫。但是,最常見的語言是: Python3.9.0 Java 17 前端技術(shù)棧 Node.js 16 TypeScript Web 框架/庫(kù):React 部署 部署Airbyte開源只需要兩個(gè)步驟。 在您的工作站上安裝 Docker。確保您使用的是最新版本的 .docker-compose 在終端中運(yùn)行以下命令: git clone https://github.com/airbytehq/airbyte.git cd airbyte docker compose up 一旦您看到Airbyte橫幅,就可以在瀏覽器輸入 http://localhost:8000 訪問Airbyte了!系統(tǒng)將要求您輸入用戶名和密碼,默認(rèn)用戶名和密碼是 airbyte 和password,部署到服務(wù)器后,請(qǐng)務(wù)必在.env文件中更改默認(rèn)用戶和密碼。 內(nèi)部數(shù)據(jù)庫(kù) Airbyte 使用Postgres來存儲(chǔ)內(nèi)部狀態(tài)和元數(shù)據(jù)。此數(shù)據(jù)由各種 Airbyte 組件存儲(chǔ)和操作,但您可以通過以下兩種方式管理此數(shù)據(jù)庫(kù)的部署: 使用 Airbyte Docker 服務(wù)的默認(rèn) Postgres 數(shù)據(jù)庫(kù):。docker-compose.ymlairbyte/db 通過專用的自定義 Postgres 實(shí)例。在Docker或Kubernetes上部署關(guān)鍵任務(wù)數(shù)據(jù)庫(kù)不是一個(gè)好的做法。 使用專用實(shí)例將為您的 Airbyte 部署提供更高的可靠性。 此外,使用云托管的 Postgres 實(shí)例(例如 AWS RDS 我們的 GCP 云 SQL),您將受益于自動(dòng)備份和細(xì)粒度大小調(diào)整。您可以從一個(gè)非常小的實(shí)例開始,但根據(jù)您的 Airbyte 使用情況,如果不截?cái)嘧鳂I(yè)歷史記錄,作業(yè)數(shù)據(jù)庫(kù)可能會(huì)增長(zhǎng)并需要更多存儲(chǔ)空間。airbyte/dbdocker-compose.yml 各種實(shí)體持久保存在兩個(gè)內(nèi)部數(shù)據(jù)庫(kù)中: 作業(yè)數(shù)據(jù)庫(kù)有關(guān) Airbyte 作業(yè)和各種運(yùn)行時(shí)元數(shù)據(jù)執(zhí)行的數(shù)據(jù)。 有關(guān) Airbyte 使用的內(nèi)部業(yè)務(wù)流程協(xié)調(diào)程序的數(shù)據(jù),http://Temporal.io(任務(wù)、工作流數(shù)據(jù)、事件和可見性數(shù)據(jù))。 配置數(shù)據(jù)庫(kù)連接器、同步連接和各種 Airbyte 配置對(duì)象。 注意:管道傳輸?shù)膶?shí)際數(shù)據(jù)永遠(yuǎn)不會(huì)保留在此內(nèi)部數(shù)據(jù)庫(kù)中 請(qǐng)注意,源(或目標(biāo))連接器中的實(shí)際數(shù)據(jù)永遠(yuǎn)不會(huì)傳輸或保留在此內(nèi)部數(shù)據(jù)庫(kù)中。