國(guó)家 2035 遠(yuǎn)景規(guī)劃提出要加快全面數(shù)字化轉(zhuǎn)型的步伐，而“大數(shù)據(jù)平臺(tái)”是數(shù)字化轉(zhuǎn)型的基礎(chǔ)技術(shù)之一。對(duì)于任何企業(yè)來(lái)說(shuō)，建立和維護(hù)一個(gè)大數(shù)據(jù)平臺(tái)都不是一件容易的事情，而建設(shè)一個(gè)有特色的、完整易用的大數(shù)據(jù)平臺(tái)，顯然更是一件技術(shù)難度極高的事情。
經(jīng)過(guò)七年多的探索和實(shí)踐，微眾銀行打造了一套一站式、金融級(jí)、全連通、開(kāi)源開(kāi)放的大數(shù)據(jù)平臺(tái)套件：WeDataSphere。基礎(chǔ)平臺(tái)由數(shù)據(jù)交換、數(shù)據(jù)分發(fā)、計(jì)算、存儲(chǔ)四大層次組成，關(guān)注底層數(shù)據(jù)傳輸計(jì)算存儲(chǔ)能力；功能平臺(tái)由平臺(tái)工具、數(shù)據(jù)工具、應(yīng)用工具三大層次組成，關(guān)注用戶各類功能工具需求實(shí)現(xiàn)。形成了完整的大數(shù)據(jù)平臺(tái)技術(shù)體系，提供一站式的豐富數(shù)據(jù)平臺(tái)組件及功能支撐。
GitHub：https://github.com/WeBankFinTech/WeDataSphere

2019年開(kāi)源以來(lái)，面向社區(qū)發(fā)布了 9 個(gè)開(kāi)源組件，填補(bǔ)了業(yè)界 “開(kāi)源體系化大數(shù)據(jù)平臺(tái)套件”的空白，受到了各行業(yè)的廣泛歡迎和采用。沙箱用戶超 1,600 個(gè)，自建試用企業(yè)超 800 家，收到超 80 家企業(yè)投入生產(chǎn)的反饋，生產(chǎn)環(huán)境支撐的數(shù)據(jù)量達(dá) 400 PB，生產(chǎn)用戶超 5,000 ，開(kāi)源社區(qū)成員人數(shù)近 7,000 ；涉及金融、互聯(lián)網(wǎng)、通信、制造、教育等眾多行業(yè)。其中，計(jì)算中間件 Linkis 已進(jìn)入國(guó)際開(kāi)源基金會(huì) Apache 孵化。
近期WeDataSphere的各大開(kāi)源組件已經(jīng)完成了全面升級(jí)，從性能、功能、易用性等各方面得到了提升，是個(gè)重要的里程碑時(shí)刻。那么接下來(lái)由小編給大家介紹各大開(kāi)源組件的最新情況。

01 Apache Linkis(incubating) 計(jì)算中間件?

https://github.com/apache/incubator-linkis

02 DataSphereStudio 一站式數(shù)據(jù)應(yīng)用開(kāi)發(fā)管理門戶?

https://github.com/WeBankFinTech/DataSphereStudio

03 Qualitis 數(shù)據(jù)質(zhì)量管理平臺(tái)?

https://github.com/WeBankFinTech/Qualitis

04 Schedulis 工作流任務(wù)調(diào)度系統(tǒng)?

https://github.com/WeBankFinTech/Schedulis

05 Exchangis 數(shù)據(jù)交換平臺(tái)?

https://github.com/WeBankFinTech/Exchangis

06 Visualis 數(shù)據(jù)可視化工具?

https://github.com/WeBankFinTech/Visualis

07 Prophecis 一站式機(jī)器學(xué)習(xí)平臺(tái)?

https://github.com/WeBankFinTech/Prophecis

08 Streamis 流式應(yīng)用開(kāi)發(fā)管理系統(tǒng)?

https://github.com/WeBankFinTech/Streamis

說(shuō)明：Scriptis項(xiàng)目已經(jīng)集成到DSS，可以直接使用

01 Apache Linkis(incubating) 計(jì)算中間件

Linkis是一個(gè)打通了多個(gè)計(jì)算存儲(chǔ)引擎如：Spark、Flink、Hive、Python和HBase等，對(duì)外提供統(tǒng)一REST/WS/JDBC接口，提交執(zhí)行SQL、Pyspark、HiveQL、Scala等腳本的計(jì)算中間件。
本次發(fā)布主要支持在無(wú) HDFS 的環(huán)境下進(jìn)行精簡(jiǎn)化部署（支持部分引擎），方便更輕量化的學(xué)習(xí)使用和調(diào)試；新增對(duì)數(shù)據(jù)遷移工具 Sqoop 引擎的支持；異常處理日志優(yōu)化；部分安全漏洞組件升級(jí)等；修復(fù)社區(qū)反饋的已知 bug。

新版詳情：版本動(dòng)態(tài) | Apache Linkis(Incubating) 1.1.2 版本發(fā)布

02 DataSphereStudio 一站式數(shù)據(jù)應(yīng)用開(kāi)發(fā)管理門戶

DataSphere Studio（簡(jiǎn)稱 DSS）是微眾銀行自研的數(shù)據(jù)應(yīng)用開(kāi)發(fā)管理集成框架?；诓灏问降募煽蚣茉O(shè)計(jì)，及計(jì)算中間件 Linkis ，可輕松接入上層各種數(shù)據(jù)應(yīng)用系統(tǒng)，讓數(shù)據(jù)開(kāi)發(fā)變得簡(jiǎn)潔又易用。

在統(tǒng)一的 UI 下，DataSphere Studio 以工作流式的圖形化拖拽開(kāi)發(fā)體驗(yàn)，將滿足從數(shù)據(jù)交換、脫敏清洗、分析挖掘、質(zhì)量檢測(cè)、可視化展現(xiàn)、定時(shí)調(diào)度到數(shù)據(jù)輸出應(yīng)用等，數(shù)據(jù)應(yīng)用開(kāi)發(fā)全流程場(chǎng)景需求。
DSS 通過(guò)插拔式的集成框架設(shè)計(jì)，讓用戶可以根據(jù)需要，簡(jiǎn)單快速替換 DSS 已集成的各種功能組件，或新增功能組件。
DSS1.1.0 主要特性如下：

• 已集成 WeDataSphere 已開(kāi)源的所有生態(tài)組件，包括 Apache Linkis1.1.1、Exchangis1.0.0、Schedulis0.7.0、Qualitis0.9.2、Visualis1.0.0、Streamis0.2.0 和 Prophecis0.3.2。

• 集成了 Apache DolphinScheduler1.3.X。支持將 DSS 工作流一鍵發(fā)布為 DolphinScheduler 工作流，為工作流調(diào)度設(shè)計(jì)并開(kāi)發(fā)了全新的調(diào)度中心。

• 用戶體驗(yàn)優(yōu)化。如支持換膚、頂部導(dǎo)航欄改版、DSS 開(kāi)發(fā)中心改版等。

• 幫助手冊(cè)和新手指引。

• 安裝部署優(yōu)化。進(jìn)一步簡(jiǎn)化 DSS&Linkis 全家桶一鍵安裝部署流程，讓 DSS 和 Linkis 的安裝在半個(gè)小時(shí)內(nèi)完成。

• 支持優(yōu)雅升級(jí)。提供了如何從DSS1.0.1升級(jí)到DSS1.1.0，以及DSS0.9如何遷移到DSS1.1.0的詳細(xì)升級(jí)流程。

• AppConn 架構(gòu)優(yōu)化。架構(gòu)更加簡(jiǎn)化清晰，文檔更加全面細(xì)膩，手把手教您如何實(shí)現(xiàn)一個(gè)新的AppConn，以及添加一個(gè)新的工作流節(jié)點(diǎn)。

新版詳情：【里程碑】| DataSphere Studio 1.1.0 新版本發(fā)布

03 Qualitis 數(shù)據(jù)質(zhì)量管理平臺(tái)

Qualitis 是微眾銀行開(kāi)源的一款數(shù)據(jù)質(zhì)量管理系統(tǒng)，用于解決業(yè)務(wù)系統(tǒng)運(yùn)行、數(shù)據(jù)中心建設(shè)及數(shù)據(jù)治理過(guò)程中的各種數(shù)據(jù)質(zhì)量問(wèn)題。它提供了一整套統(tǒng)一的流程來(lái)定義和檢測(cè)數(shù)據(jù)集的質(zhì)量并及時(shí)報(bào)告問(wèn)題。
本次發(fā)布的 0.9.2 版本，與上一版本 Qualitis 0.9.0 版本相比，主要完成了與 DSS 1.1.0 以及 Apache Linkis 1.1.1 的適配，修復(fù)了用戶在使用過(guò)程中反饋的問(wèn)題，完善了工作流接入的升級(jí)安裝文檔。推薦用戶升級(jí)或直接使用該版本。
新版詳情：版本動(dòng)態(tài) | Qualitis 0.9.2 新版本發(fā)布

04 Schedulis 工作流任務(wù)調(diào)度系統(tǒng)

Schedulis 是一個(gè)基于LinkedIn 的開(kāi)源項(xiàng)目 Azkaban 開(kāi)發(fā)的工作流任務(wù)調(diào)度系統(tǒng)。該調(diào)度系統(tǒng)具備高性能，高可用（去中心化多調(diào)度中心和多執(zhí)行器）和多租戶資源隔離等金融級(jí)特性；現(xiàn)已被集成到數(shù)據(jù)應(yīng)用開(kāi)發(fā)門戶 DataSphere Studio。

本次發(fā)布的 0.7.0 版本，與上個(gè)版本 0.6.2 相比，主要完成與DSS 1.1.0 以及Apache Linkis 1.1.1 的適配，修復(fù)用戶在使用過(guò)程中出現(xiàn)的一些問(wèn)題和優(yōu)化文檔。推薦用戶升級(jí)到此版本。
新版詳情：版本動(dòng)態(tài) | Schedulis 0.7.0 新版本發(fā)布

05 Exchangis 數(shù)據(jù)交換平臺(tái)

Exchangis1.0.0是微眾銀行聯(lián)合中國(guó)電信天翼云和仙翁科技共建的全新數(shù)據(jù)交換工具，支持異構(gòu)數(shù)據(jù)源之間的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)傳輸同步。

Exchangis1.0.0 還抽象了一套統(tǒng)一的數(shù)據(jù)源和同步作業(yè)定義插件，允許用戶快速接入新的數(shù)據(jù)源，允許用戶快速集成對(duì)接 Apache Linkis 新的數(shù)據(jù)同步引擎，用戶只需在數(shù)據(jù)庫(kù)中簡(jiǎn)單配置即可在頁(yè)面中使用新的數(shù)據(jù)源和數(shù)據(jù)同步引擎。
借助于Linkis計(jì)算中間件的連接、復(fù)用和簡(jiǎn)化能力，Exchangis天生具備了高并發(fā)、高可用、多租戶隔離和資源管控的金融級(jí)數(shù)據(jù)同步能力。
新版詳情：版本動(dòng)態(tài) | Exchangis 1.0.0 版本發(fā)布

06 Visualis 數(shù)據(jù)可視化工具

Visualis是一個(gè)基于宜信開(kāi)源項(xiàng)目Davinci開(kāi)發(fā)的數(shù)據(jù)可視化BI工具?，F(xiàn)已集成到一站式數(shù)據(jù)應(yīng)用開(kāi)發(fā)門戶DataSphere Studio中。Visualis支持拖拽式報(bào)表定義、圖表聯(lián)動(dòng)、鉆取、全局篩選、多維分析、實(shí)時(shí)查詢等數(shù)據(jù)開(kāi)發(fā)探索的分析模式，并提供水印、數(shù)據(jù)質(zhì)量校驗(yàn)等金融級(jí)增強(qiáng)功能。
本次發(fā)布的1.0.0版本，完成了針對(duì)DSS1.1.0和Linkis1.1.1的適配，對(duì)接了DSS的結(jié)果集可視化分析、工作流報(bào)表開(kāi)發(fā)、郵件發(fā)送等多個(gè)功能，是接入DSS1.0和Linkis1.0的第一個(gè)正式版本，與1.0.0-rc1版本相比，新增工作流View節(jié)點(diǎn)，完成多個(gè)增強(qiáng)特性，修復(fù)多個(gè)功能缺陷。推薦用戶升級(jí)到此版本。
通過(guò)Visualis可以制作出多種圖形的數(shù)據(jù)看板，并支持在DSS工作流中通過(guò)數(shù)據(jù)輸出節(jié)點(diǎn)發(fā)送郵件報(bào)表。

新版詳情：版本動(dòng)態(tài) | Visualis 1.0.0 版本發(fā)布

07 Prophecis 一站式機(jī)器學(xué)習(xí)平臺(tái)

Prophecis 是微眾銀行自研的一站式機(jī)器學(xué)習(xí)平臺(tái)，集成多種開(kāi)源機(jī)器學(xué)習(xí)框架，具備機(jī)器學(xué)習(xí)計(jì)算集群的多租戶管理能力，提供生產(chǎn)環(huán)境全?；萜鞑渴鹋c管理服務(wù)。
本次版本更新內(nèi)容主要為Prophecis MLFlow模塊對(duì)接DSS 1.1.0 版本，實(shí)驗(yàn)?zāi)K、MLFlow Appconn、MLSS Appconn均對(duì)DSS 1.1.0版本進(jìn)行了適配。
新版詳情：新版發(fā)布 | 一站式機(jī)器學(xué)習(xí)平臺(tái) Prophecis 0.3.2

08 Streamis 流式應(yīng)用開(kāi)發(fā)管理系統(tǒng)

Streamis是一個(gè)基于開(kāi)源社區(qū)聯(lián)合共建的流式應(yīng)用開(kāi)發(fā)管理系統(tǒng)，初期版本由微眾銀行、天翼云、仙翁科技和薩摩耶云參與共建開(kāi)發(fā)。
Streamis在框架層面直接接壤DataSphere Studio，同時(shí)底層引擎層面又直接對(duì)接了Linkis的Flink引擎，可以讓用戶低成本完成流式應(yīng)用的開(kāi)發(fā)、調(diào)試、發(fā)布和生產(chǎn)管理。同時(shí)隨著Linkis和DataSphereStudio開(kāi)源版本的發(fā)布迭代，對(duì)Streamis的功能特性也是持續(xù)地優(yōu)化和增強(qiáng)。
Streamis 0.2.0版本發(fā)布，主要增加了對(duì)架構(gòu)的優(yōu)化和調(diào)整，并提供了一些重要功能特性，為后續(xù)版本迭代打下基礎(chǔ)。
新版詳情：新版發(fā)布 | 流式應(yīng)用開(kāi)發(fā)管理系統(tǒng) Streamis 0.2.0
— END —

如何成參與社區(qū)貢獻(xiàn)

1???官方文檔貢獻(xiàn)。發(fā)現(xiàn)文檔的不足、優(yōu)化文檔，持續(xù)更新文檔等方式參與社區(qū)貢獻(xiàn)。通過(guò)文檔貢獻(xiàn)，讓開(kāi)發(fā)者熟悉如何提交PR和真正參與到社區(qū)的建設(shè)。參考攻略：保姆級(jí)教程：如何成為Apache Linkis文檔貢獻(xiàn)者

2???代碼貢獻(xiàn)。我們梳理了社區(qū)中簡(jiǎn)單并且容易入門的的任務(wù)，非常適合新人做代碼貢獻(xiàn)。請(qǐng)查閱新手任務(wù)列表：https://github.com/apache/incubator-linkis/issues/1161

3???內(nèi)容貢獻(xiàn)：發(fā)布WeDataSphere開(kāi)源組件相關(guān)的內(nèi)容，包括但不限于安裝部署教程、使用經(jīng)驗(yàn)、案例實(shí)踐等，形式不限，請(qǐng)投稿給小助手。例如：

• 技術(shù)干貨 | Linkis實(shí)踐：新引擎實(shí)現(xiàn)流程解析

• 技術(shù)干貨 | Prophecis保姆級(jí)部署教程

• 社區(qū)開(kāi)發(fā)者專欄 | MariaCarrie：Linkis1.0.2安裝及使用指南

4???社區(qū)答疑：積極在社區(qū)中進(jìn)行答疑、分享技術(shù)、幫助開(kāi)發(fā)者解決問(wèn)題等；

5???其他：積極參與社區(qū)活動(dòng)、成為社區(qū)志愿者、幫助社區(qū)宣傳、為社區(qū)發(fā)展提供有效建議等；

? ? ? ? ?

本文使用 文章同步助手 同步