偶數(shù)科技發(fā)布實(shí)時(shí)湖倉(cāng)數(shù)據(jù)平臺(tái) Skylab 5.0
2023-04-11 18:07 作者:偶數(shù)實(shí)驗(yàn)室 | 我要投稿
2023 年 4 月 11 日， 偶數(shù)發(fā)布了最新的實(shí)時(shí)湖倉(cāng)數(shù)據(jù)平臺(tái) Skylab 5.0，平臺(tái)各個(gè)組件進(jìn)行了全面升級(jí)。新版 Skylab 的發(fā)布標(biāo)志著偶數(shù)科技具有從數(shù)據(jù)存儲(chǔ)、計(jì)算、管理到分析、應(yīng)用和 AI 能力的完整的數(shù)據(jù)管理生態(tài)閉環(huán)，幫助用戶實(shí)現(xiàn)批流一體、實(shí)時(shí)數(shù)據(jù)處理、自動(dòng)化機(jī)器學(xué)習(xí)、自助可視化分析和數(shù)據(jù)資產(chǎn)管理。依托 Skylab，用戶可以輕松實(shí)現(xiàn)智慧營(yíng)銷、智能風(fēng)控、智慧審計(jì)、智慧監(jiān)管等數(shù)據(jù)應(yīng)用場(chǎng)景。
Skylab 核心組件包括云原生分布式數(shù)據(jù)庫(kù) OushuDB、自動(dòng)化機(jī)器學(xué)習(xí)平臺(tái) LittleBoy、數(shù)據(jù)分析與應(yīng)用平臺(tái) Kepler、數(shù)據(jù)資產(chǎn)管理平臺(tái) Orbit、數(shù)據(jù)開發(fā)與調(diào)度平臺(tái) Flow、數(shù)據(jù)工廠 Wasp 和系統(tǒng)管理軟件 Lava。
OushuDB
OushuDB 是由偶數(shù)科技自主研發(fā)的云原生分布式數(shù)據(jù)庫(kù)，具有高性能、高并發(fā)、高可用的技術(shù)優(yōu)勢(shì)。OushuDB 兼容國(guó)產(chǎn)軟硬件平臺(tái)，符合國(guó)家信創(chuàng)標(biāo)準(zhǔn)。新一代執(zhí)行器顯著提升批處理和按需即席查詢效率，面向 PB 級(jí)大數(shù)據(jù)的復(fù)雜查詢，OushuDB 相比傳統(tǒng) MPP 和 SQL-on-Hadoop 快一個(gè)數(shù)量級(jí)。采用計(jì)算存儲(chǔ)分離架構(gòu)深度優(yōu)化數(shù)據(jù)庫(kù)的擴(kuò)展能力，支持騰訊云、阿里云、華為云、金山云、微軟 Azure、AWS 等主流云平臺(tái)，充分滿足云端應(yīng)用高度彈性、無(wú)限擴(kuò)容的要求。OushuDB 的 5.1 版本通過(guò)對(duì)接 Hive 元數(shù)據(jù)，可以原生使用 Hive 存儲(chǔ)在 HDFS 的數(shù)據(jù)。同時(shí)，偶數(shù)分布式表存儲(chǔ) Magma 的穩(wěn)定性和性能也進(jìn)一步增強(qiáng)。另外，新版本增加了對(duì)Copy to/from HDFS 協(xié)議 URL 的完整支持，以及對(duì)Text/Csv格式、GZ壓縮類型的支持。
LittleBoy
LittleBoy 自動(dòng)化機(jī)器學(xué)習(xí)平臺(tái)提供完整的 MLOps 鏈路，集成數(shù)據(jù)清洗、特征工程、深度學(xué)習(xí)、AutoML、模型管理和AI服務(wù)。其可視化交互可通過(guò)拖拽、對(duì)話引導(dǎo)等方式幫助用戶清晰直觀建模。LittleBoy 同時(shí)支持有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)，近百種內(nèi)置算法滿足不同場(chǎng)景建模需求。結(jié)合 OushuDB 高性能讀寫速度，LittleBoy 相比同類產(chǎn)品大幅提升模型收斂效率，幫助分析師和數(shù)據(jù)科學(xué)家將機(jī)器學(xué)習(xí)快速轉(zhuǎn)化為業(yè)務(wù)價(jià)值。
Kepler
Kepler 是一款功能強(qiáng)大且簡(jiǎn)單易用的數(shù)據(jù)分析與應(yīng)用平臺(tái)，滿足不同行業(yè)的數(shù)據(jù)開發(fā)、分析、應(yīng)用等復(fù)合需求。通過(guò)橫向打通指標(biāo)、標(biāo)簽、報(bào)表、模型四種數(shù)據(jù)資產(chǎn)，實(shí)現(xiàn)不同類型數(shù)據(jù)的資產(chǎn)共享。作為 Skylab 的數(shù)據(jù)訪問(wèn)和應(yīng)用的通道，Kepler 將海量數(shù)據(jù)分析與應(yīng)用的性能發(fā)揮到極致。
Orbit
Orbit 數(shù)據(jù)資產(chǎn)管理平臺(tái)為用戶提供可視化的數(shù)據(jù)資產(chǎn)圖譜、自動(dòng)化的數(shù)據(jù)資產(chǎn)分類、多維度的數(shù)據(jù)血緣分析，以及可持續(xù)的數(shù)據(jù)標(biāo)準(zhǔn)貫徹實(shí)施。通過(guò)對(duì)存量和新增的數(shù)據(jù)資產(chǎn)進(jìn)行全方位的規(guī)劃管理，為企業(yè)搭建領(lǐng)先的數(shù)據(jù)運(yùn)營(yíng)體系，減少數(shù)據(jù)污染和治理成本，提高數(shù)據(jù)可見(jiàn)性和使用效率，助力數(shù)字經(jīng)濟(jì)下的數(shù)據(jù)確權(quán)和定價(jià)，加快數(shù)據(jù)要素流通。
Flow
Flow 是一款擁有強(qiáng)大 Web 界面交互能力的數(shù)據(jù)開發(fā)與調(diào)度平臺(tái)，為 Skylab 平臺(tái)提供任務(wù)調(diào)度能力。Flow 不僅支持豐富的任務(wù)類型，還擁有百萬(wàn)級(jí)任務(wù)節(jié)點(diǎn)的前端交互能力，靈活實(shí)現(xiàn)大規(guī)模集群任務(wù)的調(diào)度服務(wù)。支持作業(yè)重跑、單點(diǎn)跑以及下游跑等多種運(yùn)行模式，既可以查看實(shí)時(shí)運(yùn)行日志也可以追溯歷史任務(wù)。通過(guò)任務(wù)、任務(wù)組、作業(yè)、作業(yè)空間等資源組織，可實(shí)現(xiàn)多級(jí)別并發(fā)和優(yōu)先級(jí)配置。
Wasp
Wasp 數(shù)據(jù)工廠可以輕松對(duì)接多種數(shù)據(jù)源，靈活可擴(kuò)展。支持存量和增量同步、離線和實(shí)時(shí)持續(xù)同步、自動(dòng)和定時(shí)同步、數(shù)據(jù)容錯(cuò)和斷點(diǎn)續(xù)傳。用戶可以通過(guò)零代碼可視化操作進(jìn)行一套任務(wù)的批流數(shù)據(jù)加工，Wasp 在保證數(shù)據(jù)一致性的同時(shí)，為用戶提供高性能、高吞吐的數(shù)據(jù)加工和同步。
Lava
Lava 負(fù)責(zé) Skylab 平臺(tái)集群管理、監(jiān)控運(yùn)維、用戶管理、認(rèn)證、審計(jì)、權(quán)限、消息等基礎(chǔ)服務(wù)。通過(guò)靈活可擴(kuò)展的技術(shù)架構(gòu)、云中立的技術(shù)路線，為用戶提供簡(jiǎn)單易用、安全可靠、性能穩(wěn)定的系統(tǒng)管理服務(wù)。降低運(yùn)維成本，提高管理效率。
除了完整的生態(tài)組件，偶數(shù) Skylab 平臺(tái)還率先實(shí)現(xiàn)了湖倉(cāng)一體 ANCHOR 標(biāo)準(zhǔn)六大特性，通過(guò)虛擬計(jì)算集群技術(shù)，真正在數(shù)據(jù)和查詢層面形成一體化架構(gòu)。在超大規(guī)模集群上支持高并發(fā)，保障事務(wù)支持，提供實(shí)時(shí)能力，實(shí)現(xiàn)一個(gè)技術(shù)平臺(tái)、一份業(yè)務(wù)數(shù)據(jù)、一份元數(shù)據(jù)。通過(guò)偶數(shù)首創(chuàng)的 Omega 架構(gòu)保障了 ANCHOR 的實(shí)時(shí)優(yōu)勢(shì)特性，形成了具備全實(shí)時(shí)能力的實(shí)時(shí)湖倉(cāng)數(shù)據(jù)平臺(tái)。
- All Disparate Data 多源異構(gòu)數(shù)據(jù)
- Native on Cloud 云原生
- Consistency 數(shù)據(jù)一致性
- High Concurrency 超高并發(fā)
- One Copy of Data 一份數(shù)據(jù)
- Real-time 實(shí)時(shí) T+0
隨著全行業(yè)數(shù)字化轉(zhuǎn)型進(jìn)入深水區(qū)，企業(yè)也必然要面臨諸多技術(shù)挑戰(zhàn)，針對(duì)企業(yè) IT 系統(tǒng)尤其是數(shù)據(jù)平臺(tái)技術(shù)棧越來(lái)越復(fù)雜，運(yùn)維操作越來(lái)越繁瑣，數(shù)據(jù)應(yīng)用鏈路越來(lái)越冗長(zhǎng)等問(wèn)題，偶數(shù)通過(guò) Skylab 一個(gè)平臺(tái)將這些復(fù)雜、繁瑣和冗長(zhǎng)的 IT 難題化繁為簡(jiǎn)，通過(guò)實(shí)時(shí)湖倉(cāng)一體架構(gòu)實(shí)現(xiàn)完整的數(shù)據(jù)管理生態(tài)閉環(huán)。用更先進(jìn)的技術(shù)和更少的成本，為企業(yè)帶來(lái)全實(shí)時(shí)的洞察力、更智能的決策、更快的應(yīng)用集成，助力企業(yè)數(shù)字化轉(zhuǎn)型。
