新版發(fā)布 | 流式應(yīng)用開發(fā)管理系統(tǒng) Streamis 0.2.0

Streamis 簡介
GitHub:https://github.com/WeBankFinTech/Streamis
Streamis是一個(gè)基于開源社區(qū)聯(lián)合共建的流式應(yīng)用開發(fā)管理系統(tǒng),初期版本由微眾銀行、天翼云、仙翁科技和薩摩耶云參與共建開發(fā)。
Streamis在框架層面直接接壤DataSphere Studio,同時(shí)底層引擎層面又直接對接了Linkis的Flink引擎,可以讓用戶低成本完成流式應(yīng)用的開發(fā)、調(diào)試、發(fā)布和生產(chǎn)管理。同時(shí)隨著Linkis和DataSphereStudio開源版本的發(fā)布迭代,對Streamis的功能特性也是持續(xù)地優(yōu)化和增強(qiáng)。
Streamis 0.2.0版本發(fā)布,主要增加了對架構(gòu)的優(yōu)化和調(diào)整,并提供了一些重要功能特性,為后續(xù)版本迭代打下基礎(chǔ)。
新增的核心功能特性主要包括:
流式任務(wù)狀態(tài)(Checkpoint和Savepoint)管理,使得用戶可以為Flink應(yīng)用程序做快照處理并具備從快照中恢復(fù)的能力;
新的流式任務(wù)配置模塊,支持彈性增刪流式任務(wù)的配置定義項(xiàng);
Streamis AppConn, 數(shù)據(jù)層面打通和DataSphereStudio的同步;
流式作業(yè)批量管理(如批量啟動(dòng)和批量暫停),讓用戶可以對流式任務(wù)進(jìn)行批操作,結(jié)合任務(wù)狀態(tài)管理功能,從而做到任務(wù)異常自恢復(fù);
縮寫列表:
SJL: Stream Job Launcher Module
SJDA: Stream Job Deploy API Module
SJHV: Stream Job History And Version Module
SBO: Stream Bulk Operation Module
SA: Stream AppConn Module
版本新特性
SJL: 添加任務(wù)作業(yè)狀態(tài)管理模塊,并提供狀態(tài)獲取器JobStateFetcher來獲取作業(yè)狀態(tài)信息(包括checkpoint/savepoint).[Streamis-23]
SJL: 能夠自動(dòng)重啟失敗的流式任務(wù)作業(yè),并自動(dòng)恢復(fù)其狀態(tài).[Streamis-22]
SBO: 任務(wù)作業(yè)批量操作接口集合. [Streamis-19]
SJDA: 能夠獲取任務(wù)作業(yè)對應(yīng)的Yarn應(yīng)用日志 (該特性依賴Linkis版本>=1.1.2). [Streamis-27]
SA: Streamis AppConn 同步項(xiàng)目和權(quán)限信息(該特性依賴DSS版本>=1.1.0). [Streamis-24]
功能增強(qiáng)
SJHV: 重構(gòu)作業(yè)配置模塊,提供新的作業(yè)配置獲取和添加接口.[Streamis-21]
SJDA: 增加兩種停止作業(yè)的方式:“直接停止”和“快照并停止” [Streamis-20]
修復(fù)功能
SJDA: 修復(fù)流式作業(yè)出現(xiàn)異常,但無法查看錯(cuò)誤日志的問題 [Streamis-17]
云資源
前端編譯包:
https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.2.0/streamis-0.2.0-dist.zip
后端編譯包:
https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.2.0/wedatasphere-streamis-0.2.0-dist.tar.gz
項(xiàng)目部署安裝手冊:
https://github.com/WeBankFinTech/Streamis/blob/main/docs/zh_CN/0.2.0/Streamis%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.md
— END —
如何成為社區(qū)貢獻(xiàn)者
1???官方文檔貢獻(xiàn)。發(fā)現(xiàn)文檔的不足、優(yōu)化文檔,持續(xù)更新文檔等方式參與社區(qū)貢獻(xiàn)。通過文檔貢獻(xiàn),讓開發(fā)者熟悉如何提交PR和真正參與到社區(qū)的建設(shè)。參考攻略:保姆級教程:如何成為Apache Linkis文檔貢獻(xiàn)者
2???代碼貢獻(xiàn)。我們梳理了社區(qū)中簡單并且容易入門的的任務(wù),非常適合新人做代碼貢獻(xiàn)。請查閱新手任務(wù)列表:https://github.com/apache/incubator-linkis/issues/1161
3???內(nèi)容貢獻(xiàn):發(fā)布WeDataSphere開源組件相關(guān)的內(nèi)容,包括但不限于安裝部署教程、使用經(jīng)驗(yàn)、案例實(shí)踐等,形式不限,請投稿給小助手。例如:
技術(shù)干貨 | Linkis實(shí)踐:新引擎實(shí)現(xiàn)流程解析
技術(shù)干貨 | Prophecis保姆級部署教程
社區(qū)開發(fā)者專欄 | MariaCarrie:Linkis1.0.2安裝及使用指南
4???社區(qū)答疑:積極在社區(qū)中進(jìn)行答疑、分享技術(shù)、幫助開發(fā)者解決問題等;
5???其他:積極參與社區(qū)活動(dòng)、成為社區(qū)志愿者、幫助社區(qū)宣傳、為社區(qū)發(fā)展提供有效建議等;
? ? ? ? ?