在平時(shí)和開發(fā)者們交流的過程中，發(fā)現(xiàn)許多開發(fā)朋友尤其是新入門 Taier 的開發(fā)者，對(duì)于本地調(diào)試都有著諸多的不理解和問題。本文就大家平時(shí)問的最多的三個(gè)問題，服務(wù)編譯，配置&本地運(yùn)行，如何在 Taier 運(yùn)行 Flink-standalone，進(jìn)行簡(jiǎn)單的介紹，希望和大家共同交流學(xué)習(xí)。

服務(wù)編譯

在本章將介紹服務(wù)編譯中的兩大插件 WorkerPlugins 及 DataSourcePlugin，以及 Taier 的前后端 UI & datadevelop 的作用。

WorkerPlugins 的作用

平臺(tái)通過在 Taier-UI 運(yùn)行任務(wù)之后，在 Taier-data-develop 中通過集群綁定到租戶，再通過當(dāng)前租戶綁定集群中的組件類型以及版本號(hào)獲取到不同的 WorkerPlugin，通過不同組件類型以及版本號(hào)進(jìn)行提交任務(wù)。下圖為整體的運(yùn)行架構(gòu)圖：

WorkerPlugins 的編譯

運(yùn)行任務(wù)時(shí)這是一個(gè)必要的選項(xiàng)，當(dāng)我們需要本地調(diào)試或者部署運(yùn)行時(shí)，WorkerPlugins 的編譯是必須進(jìn)行的，在編譯之后會(huì)獲取到一個(gè) WorkerPlugins 的目錄，具體的編譯過程請(qǐng)看文末視頻鏈接中的演示講解。

DataSourcePlugin 的作用

介紹完 WorkerPlugins 這個(gè)插件之后，來介紹一下另一個(gè)插件 DataSourcePlugin。

在 Taier-UI 中我們可以配置諸多不同類型的數(shù)據(jù)源，如 MySQL，Doris，Oracle 等，這些功能都是依賴著強(qiáng)大的 DataSourcePlugin 來進(jìn)行實(shí)現(xiàn)。同時(shí)在使用離線同步中的 GUI 任務(wù)配置相關(guān)功能時(shí)，獲取數(shù)據(jù)庫(kù)信息也都是依賴 DataSourcePlugin 來完成的。

DataSourcePlugin 的編譯

運(yùn)行任務(wù)時(shí)這是一個(gè)必要的選項(xiàng)，當(dāng)我們需要本地調(diào)試或者部署運(yùn)行時(shí)，DataSourcePlugin 的編譯是必須進(jìn)行的，在編譯之后會(huì)獲取到一個(gè) DataSourcePlugin 的目錄，具體的編譯過程請(qǐng)看文末視頻鏈接中的演示講解。

Taier-UI 的作用

在 Taier-UI 中我們可以進(jìn)行配置不同類型的數(shù)據(jù)源、創(chuàng)建任務(wù)、任務(wù)運(yùn)維、提交調(diào)度、集群配置、集群綁定等各種操作。

TaierDataDevelop 的作用

在 Taier- UI 中進(jìn)行操作的所有后端服務(wù) API 的支持都是來自于 TaierDataDevelop 的支持，該服務(wù)主要是與前后端交互。

配置&本地運(yùn)行

該節(jié)內(nèi)容主要介紹 TaierDataDevelop 的配置，在此進(jìn)行后端服務(wù)的端口 ZK、WorkerPlugins、DataSourcePlugin 數(shù)據(jù)庫(kù)等相關(guān)配置，前后端的啟動(dòng)，以及集群配置(Flink-standalone)和綁定。

具體的代碼流程請(qǐng)看文末視頻鏈接中的演示講解。

運(yùn)行 Flink-Standalone 實(shí)踐

配置集群

在任務(wù)運(yùn)行時(shí)，通過配置的 CDH 集群，使用配置 YARN 組裝任務(wù)，通過 ChunJun 或直接提交任務(wù)至 Flink、Doris、Spark 等計(jì)算引擎中。

配置&運(yùn)行任務(wù)

通過任務(wù) GUI 組裝任務(wù)配置，包括數(shù)據(jù)來源和去向，通過字段映射、任務(wù)自定義參數(shù)等相關(guān)配置從而進(jìn)行任務(wù)配置。

視頻課程&PPT獲取

視頻課程：

https://www.bilibili.com/video/BV19M411L7f2/?spm_id_from=333.999.0.0

課件獲?。?/p>

https://www.dtstack.com/resources/1031

《數(shù)據(jù)治理行業(yè)實(shí)踐白皮書》下載地址：https://fs80.cn/l134d5?

《數(shù)棧V6.0產(chǎn)品白皮書》下載地址：https://fs80.cn/cw0iw1

想了解或咨詢更多有關(guān)袋鼠云大數(shù)據(jù)產(chǎn)品、行業(yè)解決方案、客戶案例的朋友，瀏覽袋鼠云官網(wǎng)：https://www.dtstack.com/?src=szbzhan

同時(shí)，歡迎對(duì)大數(shù)據(jù)開源項(xiàng)目有興趣的同學(xué)加入「袋鼠云開源框架釘釘技術(shù) qun」，交流最新開源技術(shù)信息，qun 號(hào)碼：30537511，項(xiàng)目地址：https://github.com/DTStack