2022 年 2 月 22 日，在今天這個特殊的日子里，歷經(jīng)多年持續(xù)迭代和千萬周期實(shí)例并發(fā)調(diào)度考驗(yàn)的 Taier（太阿）終于開源了！

?

Github 開源地址：

https://github.com/DTStack/Taier

官方文檔地址：

https://dtstack.github.io/Taier/

?

這是袋鼠云開源項(xiàng)目的重要里程碑事件，代表著袋鼠云技術(shù)研發(fā)團(tuán)隊對開源的決心。我們希望通過技術(shù)分享，幫助更多人探索大數(shù)據(jù)平臺的業(yè)務(wù)場景，同時也由衷歡迎更多開發(fā)者參與到社區(qū)中來，Committer 虛位以待！

?

｜緣起：太阿出鞘

Taier 的命名，源自中國十大名劍太阿。

?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

Taier?Logo

?

太阿是春秋戰(zhàn)國時期楚國的鎮(zhèn)國至寶，由鑄劍名師歐冶子和干將聯(lián)手打造。相傳楚國在生死存亡之際，靠太阿劍氣擊敗晉國大軍，被世人譽(yù)為諸侯威武之劍，象征了威武不屈、內(nèi)心強(qiáng)大的實(shí)力，正如 Taier 強(qiáng)悍穩(wěn)定的任務(wù)調(diào)度能力，每天可處理 15w + 超龐大任務(wù)體量，不但大大降低企業(yè) ETL 的開發(fā)成本，還能有效保障大數(shù)據(jù)平臺的平穩(wěn)運(yùn)行，功能強(qiáng)大，一如太阿劍威力無窮。?

?

｜亮劍：Taier 誕生

Taier 的誕生，與時代的發(fā)展息息相關(guān)。

如今，數(shù)字化轉(zhuǎn)型已成為全球浪潮，大數(shù)據(jù)平臺建設(shè)成為新時代必不可少的基礎(chǔ)設(shè)施。隨著數(shù)字化轉(zhuǎn)型的深入，很多企業(yè)在建設(shè)數(shù)據(jù)中臺過程中，將涉及大量數(shù)據(jù)采集、處理、計算等方面的工作，需求的不斷疊加，出現(xiàn)了單個系統(tǒng)難以滿足復(fù)雜業(yè)務(wù)的情況，迫切需要一種兼容多個子系統(tǒng)互相協(xié)作的任務(wù)調(diào)度系統(tǒng)協(xié)調(diào)，正是基于這種背景，Taier 分布式 DAG 任務(wù)調(diào)度系統(tǒng)應(yīng)運(yùn)而生。

?

Taier 是一個開箱即用的分布式可視化的 DAG 任務(wù)調(diào)度系統(tǒng)，技術(shù)開發(fā)人員可以在 Taier 直接進(jìn)行業(yè)務(wù)邏輯的開發(fā)，而不用關(guān)心任務(wù)錯綜復(fù)雜的依賴關(guān)系與底層的大數(shù)據(jù)平臺的架構(gòu)實(shí)現(xiàn)，將工作的重心更多地聚焦在業(yè)務(wù)之中。

?

Taier（太阿）調(diào)度系統(tǒng)架構(gòu)圖

?

在 Taier?Logo 的設(shè)計上，我們圍繞系統(tǒng)本身開放包容、簡單易用的特性，在設(shè)計中融入了積木、劍、蜂巢等元素。主體 Logo 由四塊積木交疊而成，形若利劍，有組合，有分離，傳達(dá)開源項(xiàng)?開放包容的理念，同時也表現(xiàn) Taier 采?分布式模式 —— 具有很強(qiáng)的解耦性、擴(kuò)展性。

?

Taier?Logo 創(chuàng)意闡釋

?

Logo 底層采?六邊形蜂巢結(jié)構(gòu)，六邊形蜂巢是大自然中最省勞動?、最省材料、最穩(wěn)定的排列?式，其六條對稱軸可以經(jīng)過各種旋轉(zhuǎn)?不改變形狀，選用六邊形作為 Logo 的邊框，意在傳達(dá) Taier 降低開發(fā)成本、提??數(shù)據(jù)平臺穩(wěn)定性的特點(diǎn)。

?

｜亮點(diǎn)：Taier 功能優(yōu)勢

作為一個分布式可視化的 DAG 任務(wù)調(diào)度系統(tǒng)，太阿 Taier 脫胎于袋鼠云的一站式大數(shù)據(jù)開發(fā)平臺 —— 數(shù)棧 DTinsight，技術(shù)實(shí)現(xiàn)來源于數(shù)棧分布式調(diào)度引擎 DAGScheduleX，DAGScheduleX 是數(shù)棧產(chǎn)品的重要基礎(chǔ)設(shè)施之一，負(fù)責(zé)大數(shù)據(jù)平臺所有任務(wù)實(shí)例的調(diào)度運(yùn)行。太阿 Taier 是 DAGScheduleX 的重要樞紐，負(fù)責(zé)調(diào)度日常龐大的任務(wù)體量，多年的持續(xù)迭代與沉淀，造就了太阿 Taier 六大核心優(yōu)勢：

一、超高的穩(wěn)定性

• 單點(diǎn)故障：去中心化的分布式模式

• 高可用方式：Zookeeper

• 過載處理：分布式節(jié)點(diǎn) +?兩級存儲策略?+?隊列機(jī)制。每個節(jié)點(diǎn)都可以處理任務(wù)調(diào)度與提交；任務(wù)多時會優(yōu)先緩存在內(nèi)存隊列，超出可配置的隊列最大數(shù)量值后會全部落數(shù)據(jù)庫；任務(wù)處理以隊列方式消費(fèi)，隊列異步從數(shù)據(jù)庫獲取可執(zhí)行實(shí)例

• 實(shí)戰(zhàn)檢驗(yàn)：得到數(shù)百家企業(yè)客戶生產(chǎn)環(huán)境實(shí)戰(zhàn)檢驗(yàn)

二、超強(qiáng)的易用性，一站式任務(wù)調(diào)度

• 支持大數(shù)據(jù)作業(yè) Spark、Flink、Hive、MR 的調(diào)度

• 支持眾多的任務(wù)類型，目前支持 Spark SQL、Flinkx；后續(xù)開源支持：SparkMR、PySpark、FlinkMR、Python、Shell、Jupyter、Tersorflow、Pytorch、HadoopMR、Kylin、Odps、SQL 類任務(wù) (MySQL、PostgreSQL、Hive、Impala、Oracle、SQLServer、TiDB、greenplum、inceptor、kingbase、presto)

• 可視化工作流配置：支持封裝工作流、支持單任務(wù)運(yùn)行，不必封裝工作流、支持拖拽模式繪制 DAG

• DAG 監(jiān)控界面：運(yùn)維中心、支持集群資源查看，了解當(dāng)前集群資源的剩余情況、支持對調(diào)度隊列中的任務(wù)批量停止、任務(wù)狀態(tài)、任務(wù)類型、重試次數(shù)、任務(wù)運(yùn)行機(jī)器、可視化變量等關(guān)鍵信息一目了然

• 調(diào)度時間配置：可視化配置

• 多集群連接：支持一套調(diào)度系統(tǒng)連接多套 Hadoop 集群

三、超凡的兼容性，支持多版本引擎

• 支持 Spark?、Flink、Hive、MR 等引擎的多個版本共存，例如可同時支持 Flink1.10、Flink1.12（后續(xù)開源）

四、安全可靠，支持 Kerberos

• Spark、Flink、Hive

五、豐富的系統(tǒng)參數(shù)

• 支持 3 種時間基準(zhǔn)，且可以靈活設(shè)置輸出格式

六、卓越的擴(kuò)展性，支持多種方式擴(kuò)容

• 設(shè)計之處就考慮分布式模式，目前支持整體 Taier 水平擴(kuò)容方式；后續(xù)開源支持：Scheduler/Worker 分離部署模式。

• 調(diào)度能力隨集群線性增長

?

｜終端：Taier 用戶界面?

?

?

｜展望：未來迭代計劃

Taier 調(diào)度平臺是數(shù)據(jù)平臺框架中的一個組件，可以滿足企業(yè)日常數(shù)據(jù)分析、處理、展示需要。未來隨著業(yè)務(wù)的接入和數(shù)據(jù)規(guī)模的增大，Taier 將持續(xù)提升用戶體驗(yàn)，計劃將優(yōu)化：

• 任務(wù)類型：支持 SparkMR、PySpark、FlinkMR、Python、Shell、Jupyter、Tersorflow、Pytorch、HadoopMR、Kylin、Odps、SQL (MySQL、PostgreSQL、Hive、Impala、Oracle、SQLServer、TiDB、greenplum、inceptor、kingbase、presto

• 調(diào)度方式：同時支持 Yarn/K8s

• 計算引擎：同時支持 Spark-2.1.x/2.4.x、Flink-1.10/1.12（與 Flink 后續(xù)版本）

• 部署方式：同時支持 Scheduler/Worker 整合與分離部署

• 功能支持：支持交易日歷、事件驅(qū)動

• 外部系統(tǒng)對接：支持 Taier 系統(tǒng)對接外部調(diào)度系統(tǒng)（AZKBAN、Control-M、DS 調(diào)度）

?

｜結(jié)語：

Taier 使用了 Apache 的多個開源項(xiàng)目如 Flink、Spark 作為計算組件實(shí)現(xiàn)數(shù)據(jù)同步和批處理計算，得益于開源社區(qū)才有如今的太阿 Taier。正因?yàn)?Taier?取之于社區(qū)，?所以我們希望通過開源此項(xiàng)技術(shù)的方式，回饋社區(qū)，共同弘揚(yáng) “Community Over Code“的 Apache 文化。未來，我們?nèi)詫⒈屑嫒莶c開放多樣化的心態(tài)，將繼續(xù)推出 Taier 后續(xù)版本，歡迎更多的公司和個人參與到開發(fā)者隊伍中來，讓 Taier 社區(qū)更加健壯、健康的發(fā)展，讓更多人享受開源帶來的技術(shù)革命！