技術(shù)交流：30537511（釘釘群）

我們興奮的向大家宣布一個(gè)好消息

DTstackCon 新成員

袋鼠云一站式全自動化全生命周期運(yùn)維管家

ChengYing（承影）

正式開源

項(xiàng)目地址

Github 開源地址：

https://github.com/DTStack/chengying

Gitee 開源地址：

https://gitee.com/dtstack_dev_0/chengying

官方文檔：

https://dtstack.github.io/chengying-web/

這是繼 ChunJun（純鈞）、Taier（太阿）后，袋鼠云數(shù)棧大數(shù)據(jù)名劍家族開源的第三支名劍，是袋鼠云開源項(xiàng)目史上又一里程碑事件，代表著數(shù)棧開源技術(shù)團(tuán)隊(duì)對于開源的決心與努力。

?

一、蛟 分 承 影

?

ChengYing（承影）—— 承襲于袋鼠云開源項(xiàng)目名劍家族的概念，取自十大名劍之承影劍。

ChengYing logo

?

承影鑄于商朝，其出爐時(shí)兩道劍光飛出，猶如蛟龍，有 “蛟分承影，雁落忘歸” 之言，故名承影。承影為商天子佩劍，后由春秋時(shí)衛(wèi)國藏劍名家孔周收藏，相傳其有影無形，為氣隨機(jī)而動，代表著如影隨形時(shí)刻守護(hù)的意義，正如 ChengYing 作為袋鼠云數(shù)棧的運(yùn)維管家，提供大數(shù)據(jù)產(chǎn)品的一站式部署、運(yùn)維、監(jiān)控服務(wù)，為客戶提供安全穩(wěn)定的產(chǎn)品部署與監(jiān)控。

?

二、緣 啟 承 影

?

ChengYing 脫胎于袋鼠云數(shù)棧自主研發(fā)的一站式運(yùn)維管家 EasyManager，在 ChengYing 正式開源之前，開源技術(shù)團(tuán)隊(duì)于去年先開源了一款為遠(yuǎn)程統(tǒng)一管理主機(jī)端 Agent 生命周期而設(shè)計(jì)的系統(tǒng) ——EasyAgent，作為 EasyManager 的關(guān)鍵組件，可以實(shí)現(xiàn)數(shù)棧服務(wù)的安裝、升級、卸載、啟停和配置管理。

?

在 EasyAgent 開源后，受到了社區(qū)同學(xué)的廣泛支持，與此同時(shí)社區(qū)對于 EasyManager 開源的呼聲越發(fā)高昂，秉持著袋鼠技術(shù)人 “源于開源，回饋開源” 的一貫初心，數(shù)棧開源技術(shù)團(tuán)隊(duì)經(jīng)過決定將 EasyManager 也就是 ChengYing 開源，而 EasyAgent 作為 ChengYing Agent 重新與大家見面。

?

經(jīng)過不懈的努力，曾經(jīng)的設(shè)想終于在今天實(shí)現(xiàn)。ChengYing（承影）作為一站式全自動化全生命周期運(yùn)維管家，提供大數(shù)據(jù)產(chǎn)品的一站式部署、運(yùn)維、監(jiān)控服務(wù)，其可實(shí)現(xiàn)產(chǎn)品部署、產(chǎn)品升級、版本回滾、擴(kuò)縮節(jié)點(diǎn)、日志診斷、集群監(jiān)控、實(shí)時(shí)告警等功能，致力于最大化節(jié)省運(yùn)維成本，降低線上故障率與運(yùn)維難度，為客戶提供安全穩(wěn)定的產(chǎn)品部署與監(jiān)控。

?

三、形 自 承 影

?

ChengYing 的 logo 設(shè)計(jì)沿襲十大名劍的概念，結(jié)合項(xiàng)目本身特性，以字母 “Y” 為設(shè)計(jì)主元素，融合進(jìn)劍的鋒利與尖銳進(jìn)行設(shè)計(jì)，利用堅(jiān)固的三角形去體現(xiàn)產(chǎn)品 “穩(wěn)定” 的特性，而倒三角又體現(xiàn)著產(chǎn)品 “支撐” 的特性，而選擇比較暗的藍(lán)色也體現(xiàn)著我們 “幕后” 的特點(diǎn)。

LOGO 主體以字母 “Y” 與六邊形的幾何圖形組成，有完整、有組合、有分布、傳達(dá)出本項(xiàng)目核心觀念是一個(gè)全自動化生命周期的運(yùn)維管家，其功能具有多樣性與穩(wěn)定性。

四、鋒 出 承 影

?

ChengYing 作為一站式全自動化全生命周期的運(yùn)維管家，具備以下六大特性：

1?自動化部署

ChengYing 通過規(guī)范化的步驟和參數(shù)約定制作出產(chǎn)品安裝包，發(fā)布包中的 Schema 文件中配置了安裝包中所有的服務(wù)，包含各服務(wù)的配置參數(shù)、健康檢查參數(shù)，服務(wù)之間的依賴關(guān)系等。產(chǎn)品部署時(shí)可根據(jù) Schema 中的相關(guān)配置實(shí)現(xiàn)一鍵全自動化部署。

?

2?界面化集群運(yùn)維

Hadoop 集群、大數(shù)據(jù)平臺在日常運(yùn)維中涉及到的節(jié)點(diǎn)擴(kuò)容縮容、組件停止啟動、服務(wù)滾動重啟、服務(wù)參數(shù)修改、版本升級與回滾等多種運(yùn)維操作，通過邏輯化、流程化的產(chǎn)品界面展現(xiàn)，方便運(yùn)維人員操作和監(jiān)控，提高運(yùn)維效率。

?

3?儀表盤集群監(jiān)控

通過集成開源的 prometheus 和 grafana，實(shí)現(xiàn)對集群、服務(wù)、節(jié)點(diǎn)的核心參數(shù)監(jiān)控，并通過靈活形象的儀表盤進(jìn)行數(shù)據(jù)展現(xiàn)。包含 CPU 占用率，RAM 使用率、磁盤空間、I/O 讀寫速率等核心參數(shù)進(jìn)行監(jiān)控，實(shí)時(shí)掌握集群、服務(wù)、節(jié)點(diǎn)的運(yùn)行狀態(tài)，降低運(yùn)維故障率。同時(shí)，支持用戶自建儀表盤及監(jiān)控項(xiàng)，實(shí)現(xiàn)自定義監(jiān)控項(xiàng)。

?

4?實(shí)時(shí)告警

支持實(shí)時(shí)監(jiān)控集群中各組件服務(wù)的運(yùn)行指標(biāo)，如 CPU、內(nèi)存、磁盤、讀寫 IO 等，并支持短信、釘釘、郵件告警通道配置，集成多種第三方消息插件。當(dāng)集群服務(wù)出現(xiàn)異常時(shí)，可觸發(fā)告警條件，系統(tǒng)將及時(shí)通知接收人。

?

5?強(qiáng)拓展性

通過自研的 ChengYing Agent Server 抽象出七大 REST 接口，安裝、啟動、停止、更新、配置修改、卸載、執(zhí)行等與上層應(yīng)用進(jìn)行交互，可使 agent 類別和功能可輕松無限擴(kuò)展。

?

6?安全穩(wěn)定

數(shù)據(jù)安全、產(chǎn)品安全是大數(shù)據(jù)產(chǎn)品需要重點(diǎn)考慮的問題。ChengYing 在產(chǎn)品設(shè)計(jì)中過濾掉 rm、drop 等命令行，防止對數(shù)據(jù)庫的誤操作，通過更加安全的方式執(zhí)行相關(guān)命令。同時(shí)提供服務(wù)的滾動重啟、產(chǎn)品的斷電重啟，解決運(yùn)維時(shí)服務(wù)不停止運(yùn)行的場景并節(jié)省運(yùn)維時(shí)間。

?

?ChengYing 操作頁面

?

?

?

四、承 影 迭 代

?

ChengYing 是一個(gè)用于大數(shù)據(jù)產(chǎn)品的一站式部署、運(yùn)維、監(jiān)控的標(biāo)準(zhǔn)產(chǎn)品，可以用于企業(yè)快速搭建企業(yè)內(nèi)部的大數(shù)據(jù)平臺，基于現(xiàn)有版本已經(jīng)實(shí)現(xiàn)的功能，未來 ChengYing 將會計(jì)劃：

?

1) 服務(wù)編排：支持基于主機(jī)角色與服務(wù)類型自動編排，減少人工操作成本；

?

2) 部署方式：支持自定義部署產(chǎn)品包流水線順序；

?

3) 安全認(rèn)證：支持集群開啟 Kerberos 認(rèn)證，票據(jù)生成與下載；

?

4) 監(jiān)控告警：支持基于 PromQL 的自定義告警設(shè)置，豐富告警類型；

?

5) 對接外部：支持對接外部 LDAP 連接；

?

6) 操作系統(tǒng)：支持 ubuntu 系統(tǒng)主機(jī)接入。

?

六、雁 落 忘 歸

?

今天我們開源了 ChengYing，我們知道開源不是結(jié)束，而恰恰是開始。從 2018 年我們開源了第一個(gè)項(xiàng)目開始，4 年間我們先后開源了 ChunJun（原 FlinkX）、FlinkStreamSQL、jlogstash、EasyAgent、Doraemon、Molecule、Taier 等項(xiàng)目，這段時(shí)間里我們不斷探索技術(shù)上的突破，將最新的技術(shù)成果與大家共享，也從許多社區(qū)同學(xué)中獲得頗多助益，在互助共享的氛圍中與大家一同成長。

?

未來，我們將持續(xù)秉持 “源于開源 回饋開源” 的初心，繼續(xù)推出 ChengYing 后續(xù)版本，同時(shí)我們歡迎更多的公司和個(gè)人參與到開發(fā)者隊(duì)伍中來，讓 ChengYing 社區(qū)更加健壯、健康的發(fā)展，讓更多人享受開源帶來的技術(shù)紅利！