最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會(huì)員登陸 & 注冊(cè)

一體化HTAP數(shù)據(jù)庫(kù)如此難,為什么他們還要做?

2023-07-18 10:54 作者:StoneDB  | 我要投稿


在新賽道、新興細(xì)分市場(chǎng)中,創(chuàng)新公司既要及早把握短暫的技術(shù)紅利期,又要陪伴價(jià)值型客戶(hù)一道成長(zhǎng),還要維持住自身的市場(chǎng)生命力。


國(guó)產(chǎn)數(shù)據(jù)庫(kù)賽道終于要“卷”起來(lái)了。


特別是在全球經(jīng)濟(jì)增長(zhǎng)預(yù)期持續(xù)下調(diào),科技創(chuàng)新引擎更難挖掘的當(dāng)下。但這并不影響數(shù)據(jù)庫(kù)賽道的創(chuàng)業(yè)者投入熱情。


據(jù)中國(guó)信通院《數(shù)據(jù)庫(kù)發(fā)展研究報(bào)告(2021年)》給出的數(shù)據(jù),2020年全球數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模為671億美元,其中中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模為35億美元,占全球5.2%。招商證券梳理的一份研究則指出,金融、電信、政務(wù)、制造、互聯(lián)網(wǎng)作為數(shù)據(jù)庫(kù)產(chǎn)品及服務(wù)采購(gòu)份額top5的行業(yè),其合計(jì)市場(chǎng)份額(按信通院統(tǒng)計(jì)口徑)高達(dá)80%以上,2020年整體采購(gòu)額超過(guò)192億元。


中國(guó)已經(jīng)成為全球舉足輕重的數(shù)據(jù)庫(kù)大市場(chǎng)。而在這樣的市場(chǎng)中,有從2000年伊始的“四朵金花”的達(dá)夢(mèng)、人大金倉(cāng)、南大通用、神舟通用,到2014年至今逐漸成熟起來(lái)的,基于云時(shí)代潮流下的創(chuàng)新企業(yè),如阿里云PolarDB、華為GaussDB、PingCAP等。根據(jù)其面向的應(yīng)用場(chǎng)景,又可分為:基于開(kāi)源MySQL技術(shù)路線或MySQL兼容的關(guān)系型數(shù)據(jù)庫(kù),互聯(lián)網(wǎng)細(xì)分應(yīng)用場(chǎng)景的圖數(shù)據(jù)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)、文本搜索等等。


上述信通院研究報(bào)告還指出,我國(guó)金融行業(yè)各類(lèi)數(shù)據(jù)庫(kù)應(yīng)用占比為:Oracle 55%、DB2 19%、MySQL 13%、PostgreSQL 6%,其他7%。


早期以阿里為代表的互聯(lián)網(wǎng)公司,曾掀起“去IOE”的潮流,其中“去O”就是以MySQL替代Oracle。或基于MySQL二次改造,或更多兼容MySQL的技術(shù)路線,以及相應(yīng)的數(shù)據(jù)庫(kù)社區(qū),在中國(guó)實(shí)際已成熟多年。


不過(guò)在關(guān)系型數(shù)據(jù)庫(kù)領(lǐng)域,Oracle、SQL server、IBM DB2等商用數(shù)據(jù)庫(kù)持續(xù)占據(jù)主導(dǎo)地位,國(guó)產(chǎn)數(shù)據(jù)庫(kù)想要異軍突起可沒(méi)有想象中那么容易。


2021年,國(guó)有大行之一的郵儲(chǔ)銀行公布了一則采購(gòu)成交公告,標(biāo)的為1.45億元,投標(biāo)人和中標(biāo)人都只有Oracle。其實(shí)不止郵儲(chǔ)銀行,包括銀行、保險(xiǎn)等金融業(yè)、國(guó)央企等,直到如今仍會(huì)每年支付高額費(fèi)用在Oracle產(chǎn)品,以支撐其核心業(yè)務(wù)的平穩(wěn)運(yùn)轉(zhuǎn)。


據(jù)石原子科技創(chuàng)始人葉建林(花名:自修)所述,“MySQL是一款主要面向OLTP(On-Line Transaction Processing,在線交易處理)場(chǎng)景設(shè)計(jì)的開(kāi)源數(shù)據(jù)庫(kù),其開(kāi)源社區(qū)的研發(fā)方向側(cè)重于加強(qiáng)其事務(wù)處理的能力,如提升單核性能、多核擴(kuò)展性、增強(qiáng)集群能力等。而在處理大數(shù)據(jù)量下、復(fù)雜查詢(xún)所需要的能力方面,如優(yōu)化器處理子查詢(xún)的能力、高性能算子HashJoin、SQL并行執(zhí)行等,社區(qū)一直放在比較低的優(yōu)先級(jí)上,因此MySQL的數(shù)據(jù)分析能力提升進(jìn)展緩慢?!?/p>


石原子科技創(chuàng)始人葉建林?

這也是石原子StoneDB數(shù)據(jù)庫(kù)產(chǎn)品想要有所突破的地方,力圖打造全面兼容MySQL的一體化HTAP(real-time operational analytics)數(shù)據(jù)庫(kù)。


石原子創(chuàng)業(yè)之初,已吸納不少數(shù)據(jù)庫(kù)架構(gòu)師,行業(yè)資深專(zhuān)家及連續(xù)創(chuàng)業(yè)者。“和成熟的大公司比我們還很小,但是和其他創(chuàng)業(yè)公司相比,我們有非常強(qiáng)的快速執(zhí)行能力,以及一顆心、一張圖、一場(chǎng)仗的能力?!蹦壳?,石原子是中國(guó)信通院分布式系統(tǒng)穩(wěn)定性實(shí)驗(yàn)室成員單位,中國(guó)信通院公布的第十四批“可信數(shù)據(jù)庫(kù)”成員單位,2022年浙江省唯一一家入圍工信部信創(chuàng)的數(shù)據(jù)庫(kù)廠商。

為中小市場(chǎng)服務(wù)的源動(dòng)力

早期客戶(hù)案例的積累對(duì)企業(yè)產(chǎn)品研發(fā)有重要影響。一開(kāi)始鎖定某個(gè)場(chǎng)景切入,將大大降低企業(yè)試錯(cuò)成本,但或許也是國(guó)產(chǎn)數(shù)據(jù)庫(kù)面臨高手如林的商業(yè)和社區(qū)生態(tài)競(jìng)爭(zhēng)中的無(wú)奈之舉。


在此之前,石原子團(tuán)隊(duì)曾做過(guò)一番深入調(diào)研,通過(guò)走訪國(guó)內(nèi)數(shù)百家企業(yè),他們發(fā)現(xiàn)一個(gè)很有意思的現(xiàn)象:目前所有的數(shù)據(jù)庫(kù)產(chǎn)品都是為大企業(yè)客戶(hù)服務(wù)。但這并不意味著中小企業(yè)就不存在對(duì)數(shù)據(jù)庫(kù)的需求。相反,后者這類(lèi)企業(yè)有如下特征:團(tuán)隊(duì)高管擁有一定技術(shù)背景、(業(yè)務(wù))平臺(tái)同時(shí)在線人數(shù)大于200人、有數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的意識(shí),同時(shí)企業(yè)多數(shù)也選擇MySQL作為數(shù)據(jù)庫(kù)底座。


在葉建林看來(lái),這也是最具有發(fā)展?jié)摿Φ目萍夹蛣?chuàng)業(yè)公司??梢哉f(shuō)用上MySQL的中小企業(yè)用戶(hù)就是StoneDB的潛在用戶(hù)。


“大部分互聯(lián)網(wǎng)企業(yè),在數(shù)據(jù)庫(kù)服務(wù)年支出在10萬(wàn)元以下的客戶(hù),一般都是選擇用MySQL作為首選數(shù)據(jù)庫(kù)。只有行業(yè)頂部的企業(yè),數(shù)據(jù)庫(kù)費(fèi)用年支出千萬(wàn)級(jí)別的,會(huì)做出更多選擇。傳統(tǒng)企業(yè)的非核心數(shù)據(jù)在上云的同時(shí),也會(huì)使用MySQL、Redis和MongoDB。”


但隨著數(shù)據(jù)量增加,業(yè)務(wù)多態(tài)化下,OLAP結(jié)合的場(chǎng)景越來(lái)越多,MySQL的短板問(wèn)題越來(lái)越凸出。為了解決類(lèi)似問(wèn)題,通常會(huì)采用MySQL的binlog同步機(jī)制或ETL方式抽取到對(duì)應(yīng)的分析平臺(tái),再使用Spark、Impala等計(jì)算引擎做計(jì)算,提供AP的業(yè)務(wù)支持。但是這樣的解決方案具有同步延時(shí)高、架構(gòu)復(fù)雜、運(yùn)維難度大、成本高的缺點(diǎn)。HTAP數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生,成為了學(xué)術(shù)界和工業(yè)界關(guān)注的熱點(diǎn)。


梳理StoneDB目前公開(kāi)的幾家客戶(hù)案例,有諸多原因促使其最終選擇切換到StoneDB的數(shù)據(jù)庫(kù)架構(gòu)上,但存在以下共性:一是規(guī)模較小,二是有基于業(yè)務(wù)數(shù)據(jù)的分析需求,又承擔(dān)不了數(shù)倉(cāng)之重。


葉建林稱(chēng),“StoneDB的出現(xiàn),也是在于目前市場(chǎng)上沒(méi)有比較能滿(mǎn)足這部分客戶(hù)需求的產(chǎn)品和解決方案?!?/p>


不過(guò),對(duì)AP能力要求比較高的金融場(chǎng)景,短時(shí)間內(nèi)應(yīng)該還不是StoneDB主要考慮的方向。


在代碼層解決問(wèn)題,最小代價(jià)獲取MySQL原生AP能力


就一體化HTAP數(shù)據(jù)庫(kù)的技術(shù)實(shí)現(xiàn)難度本身,葉建林明確指出:“如何讓OLTP和OLAP在系統(tǒng)運(yùn)行的過(guò)程中相互干擾最小,是HTAP系統(tǒng)設(shè)計(jì)的難題。


結(jié)合Gartner在2014年對(duì)HTAP的定義本質(zhì)來(lái)看,HTAP實(shí)際上是通過(guò)內(nèi)存計(jì)算來(lái)實(shí)現(xiàn),它可以使分析業(yè)務(wù)與事務(wù)業(yè)務(wù)共享同一份數(shù)據(jù),通過(guò)消除數(shù)據(jù)在數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)之間的數(shù)據(jù)遷移,可以對(duì)實(shí)時(shí)事務(wù)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析和態(tài)勢(shì)感知,而不只是對(duì)數(shù)據(jù)進(jìn)行事后分析。


目前傳統(tǒng)的解決方案是,在原有的OLTP系統(tǒng)基礎(chǔ)上引入獨(dú)立OLAP數(shù)據(jù)庫(kù),再通過(guò)一些同步工具將OLTP數(shù)據(jù)同步到OLAP數(shù)據(jù)庫(kù),在OLAP數(shù)據(jù)庫(kù)內(nèi)完成業(yè)務(wù)數(shù)據(jù)分析。該方案有其優(yōu)勢(shì),但目前存在的問(wèn)題也較多,如:


1. 系統(tǒng)復(fù)雜,穩(wěn)定性很難保證;

2. 數(shù)據(jù)同步鏈路長(zhǎng),工具支持不完全,經(jīng)常出現(xiàn)數(shù)據(jù)同步鏈路中斷,影響下游業(yè)務(wù);

3. 對(duì)于高并發(fā)/大事務(wù),消息隊(duì)列往往會(huì)積壓很多消息,數(shù)據(jù)延遲不可控;

4. 以及引入OLAP數(shù)據(jù)庫(kù)后,開(kāi)發(fā)語(yǔ)言與原業(yè)務(wù)不一致帶來(lái)的運(yùn)營(yíng)成本和學(xué)習(xí)成本等。


總而言之,通過(guò)同步工具+消息隊(duì)列+獨(dú)立AP數(shù)據(jù)庫(kù)的方案,在穩(wěn)定性、實(shí)時(shí)性以及管理成本上存在諸多問(wèn)題。


“客戶(hù)更期待一個(gè)生態(tài)兼容性更好、架構(gòu)更簡(jiǎn)單、數(shù)據(jù)延遲更低,和更簡(jiǎn)單易用的HTAP數(shù)據(jù)庫(kù)解決方案?!比~建林指出。


為此,StoneDB的策略是,采用一體化架構(gòu)部署的方式,即所有代碼都構(gòu)建在MySQL原生代碼基礎(chǔ)之上,而不是使用第三方OLAP系統(tǒng)來(lái)包裝。


對(duì)于客戶(hù)而言,無(wú)需進(jìn)行任何業(yè)務(wù)改造,無(wú)需做語(yǔ)法調(diào)整,也無(wú)需做數(shù)據(jù)遷移,即可在原先MySQL數(shù)據(jù)庫(kù)的基礎(chǔ)之上,無(wú)縫疊加列存加持的分析能力。性能相比于傳統(tǒng)MySQL行存,最高可達(dá)100倍加速,接近業(yè)內(nèi)主流專(zhuān)業(yè)OLAP系統(tǒng)的能力。同時(shí),還可以為客戶(hù)降低TCO,傳統(tǒng)方式下,解決OLTP和OLAP需求需要通過(guò)兩套系統(tǒng),存在OLAP采購(gòu)成本、計(jì)算和存儲(chǔ)以及同步鏈路成本、消息隊(duì)列成本。



至于如何實(shí)現(xiàn)HTAP一體化架構(gòu),避免傳統(tǒng)MySQL、ClickHouse、Elastic Search等多個(gè)系統(tǒng)搭積木方式帶來(lái)的數(shù)據(jù)同步延遲等問(wèn)題,可以試舉案例來(lái)回答一二。


以石原子服務(wù)的一家SaaS CRM廠商為例,其運(yùn)營(yíng)系統(tǒng)會(huì)實(shí)時(shí)獲取訂單數(shù)據(jù),為其客戶(hù)提供實(shí)時(shí)運(yùn)營(yíng)管理能力。為此會(huì)采用多租戶(hù)應(yīng)用架構(gòu),按照庫(kù)來(lái)分租戶(hù),單表數(shù)量可達(dá)億級(jí)別。


在此之前,該企業(yè)曾嘗試過(guò)OLTP+OLAP兩套獨(dú)立系統(tǒng)的方案,OLTP使用MySQL,OLAP使用ClickHouse,通過(guò)ClickHouse原生物化表的方式,將MySQL數(shù)據(jù)同步到ClickHouse,并在ClickHouse里完成分析業(yè)務(wù)。


但該方案正如上述所提及的,在實(shí)際使用過(guò)程中,包括在穩(wěn)定性、性能瓶頸、運(yùn)維成本等方面均存在諸多問(wèn)題。


StoneDB的出現(xiàn),使得該企業(yè)原有MySQL+Elastic Search+ClickHouse的系統(tǒng)架構(gòu)“變得沒(méi)有必要”。


“這個(gè)架構(gòu)最大的問(wèn)題在于過(guò)于復(fù)雜,你需要搭建一個(gè)集群來(lái)完成數(shù)據(jù)分析能力的提升,搭建與維護(hù)的成本較高?!比~建林指出。


從產(chǎn)品到最終交付還有多遠(yuǎn)

作為年輕的創(chuàng)業(yè)廠商,從運(yùn)營(yíng)開(kāi)源生態(tài)到開(kāi)源商業(yè)化,發(fā)展閉源產(chǎn)品,再到成功實(shí)施交付,仍是一條比較漫長(zhǎng)的路徑,需要時(shí)間積累。這個(gè)前提之一,就是如何精準(zhǔn)把握從開(kāi)發(fā)者到企業(yè)客戶(hù)的需求。


在開(kāi)源層面,不久前StoneDB也宣布將核心代碼及相關(guān)生態(tài)工具完全開(kāi)源,遵循GPL-2.0開(kāi)源協(xié)議?;A(chǔ)軟件走開(kāi)源路線有其優(yōu)勢(shì),也有助于推動(dòng)軟件創(chuàng)新,但目前國(guó)內(nèi)開(kāi)源商業(yè)化也面臨極大挑戰(zhàn)。


StoneDB的策略是,先開(kāi)放內(nèi)核,然后為StoneDB增加AP小集群的能力。下一步打造基于云基礎(chǔ)架構(gòu)的HTAP服務(wù),利用云基礎(chǔ)架構(gòu)的共享存儲(chǔ)+云原生,搭建整個(gè)HTAP的應(yīng)用層,真正讓MySQL具備大規(guī)模數(shù)據(jù)分析和處理能力的HTAP。


在這個(gè)過(guò)程中,StoneDB還會(huì)構(gòu)建數(shù)據(jù)庫(kù)生態(tài),建立開(kāi)發(fā)者社區(qū),引入上下游合作廠商,以滿(mǎn)足市場(chǎng)需求。


而在商業(yè)化層面,石原子希望以PLG模式打造商業(yè)模式:通過(guò)好產(chǎn)品滿(mǎn)足客戶(hù)需求,使數(shù)據(jù)服務(wù)SaaS化,然后讓客戶(hù)完成“自服務(wù)”,同時(shí)團(tuán)隊(duì)還會(huì)根據(jù)產(chǎn)品的數(shù)據(jù)反饋,進(jìn)行數(shù)據(jù)分析以驅(qū)動(dòng)增長(zhǎng)。


在葉建林看來(lái),業(yè)內(nèi)少有團(tuán)隊(duì)思考塑造PLG模式,團(tuán)隊(duì)也希望能夠構(gòu)建出產(chǎn)品驅(qū)動(dòng)的增長(zhǎng)飛輪。


據(jù)了解,在StoneDB之前,石原子還研發(fā)出了企業(yè)級(jí)云原生數(shù)據(jù)倉(cāng)庫(kù)AtomData,從數(shù)倉(cāng)到數(shù)據(jù)庫(kù)的背后,其實(shí)有著葉建林對(duì)企業(yè)定位和發(fā)展的深度思考。


“我們的目標(biāo)是全場(chǎng)景數(shù)據(jù)服務(wù)提供商,數(shù)倉(cāng)與數(shù)據(jù)庫(kù)分布覆蓋不同的應(yīng)用場(chǎng)景?!?/p>


在場(chǎng)景適用性上,差異顯而易見(jiàn)。StoneDB基于其TP能力拓展AP,不適合做多源數(shù)據(jù)匯總分析,其優(yōu)勢(shì)是時(shí)效性高,而AtomData適合做多源、異構(gòu)、海量數(shù)據(jù)的匯總分析,不適合高時(shí)效性要求的場(chǎng)景。


“兩個(gè)產(chǎn)品如同物聯(lián)網(wǎng)中的云和邊的關(guān)系,有云計(jì)算的需求,當(dāng)然也會(huì)有邊緣計(jì)算的需求。所帶來(lái)的價(jià)值當(dāng)然也是云和邊的全鏈條覆蓋?!?/p>


這導(dǎo)致二者在面向客戶(hù)層次上,既有交集,也有各自獨(dú)立區(qū)間,同時(shí)能夠在早期為企業(yè)構(gòu)建不同價(jià)值,“前者更多是生態(tài)價(jià)值和品牌價(jià)值,而后者則帶來(lái)商業(yè)價(jià)值。”


訪談中,葉建林毫不掩飾對(duì)技術(shù)、產(chǎn)品、商業(yè)、開(kāi)源生態(tài)的態(tài)度和策略,他還希望能夠做好面向國(guó)際市場(chǎng)的出海準(zhǔn)備,基于國(guó)內(nèi)市場(chǎng)特征如大量數(shù)據(jù)、復(fù)雜場(chǎng)景帶來(lái)的優(yōu)勢(shì),進(jìn)行產(chǎn)品錘煉,以形成出海壁壘。


業(yè)界一直認(rèn)為,如果沒(méi)有大的客戶(hù)、場(chǎng)景打磨,國(guó)產(chǎn)數(shù)據(jù)庫(kù)可能都無(wú)法達(dá)到替換Oracle的高度。除了信創(chuàng)等政策要求背景下,企業(yè)客戶(hù)仍要花大的決心和力氣來(lái)做數(shù)據(jù)庫(kù)遷移這件事情,面前的挑戰(zhàn)可能會(huì)有無(wú)數(shù)個(gè)。


但更大的問(wèn)題是,數(shù)據(jù)庫(kù)賽道越來(lái)越卷了,在新賽道、新興細(xì)分市場(chǎng)中,創(chuàng)新公司既要及早把握短暫的技術(shù)紅利期,又要陪伴價(jià)值型客戶(hù)一道成長(zhǎng),還要維持住自身的市場(chǎng)生命力。葉建林還說(shuō),數(shù)據(jù)庫(kù)是一個(gè)“長(zhǎng)坡厚雪”的賽道。那么,在激烈競(jìng)爭(zhēng)中脫穎而出的,必承其重。


本文首發(fā)鈦媒體APP

作者 | 楊麗

編輯 | 蓋虹達(dá)


StoneDB現(xiàn)已開(kāi)源,歡迎大家在Github上關(guān)注~

https://github.com/stoneatom/stonedb




一體化HTAP數(shù)據(jù)庫(kù)如此難,為什么他們還要做?的評(píng)論 (共 條)

分享到微博請(qǐng)遵守國(guó)家法律
龙川县| 张家界市| 青冈县| 武城县| 丰都县| 沈阳市| 临高县| 泰宁县| 承德市| 莱西市| 铁岭县| 佳木斯市| 凌云县| 项城市| 收藏| 恩平市| 昔阳县| 桐乡市| 永胜县| 甘德县| 叙永县| 凤台县| 安顺市| 监利县| 五常市| 鄱阳县| 进贤县| 正阳县| 遂平县| 盈江县| 庆元县| 易门县| 蒲江县| 九龙城区| 读书| 邛崃市| 许昌县| 江川县| 松江区| 黔西县| 长武县|