作者：孫妍 來源：IT時報

11月17日，由StarRocks社區(qū)發(fā)起、鏡舟科技主辦的年度大型技術(shù)交流峰會StarRocks Summit 2023在上海舉行。

這是StarRocks第三次舉行年度技術(shù)交流峰會，此次既有騰訊、阿里、京東等參與過前幾屆峰會的互聯(lián)網(wǎng)“老面孔”，也有來自金融、制造、零售等行業(yè)的“新面孔”，比如伊利、平安銀行、芒果TV等公司的大數(shù)據(jù)專家圍繞數(shù)據(jù)進化、技術(shù)進化、場景進化來探討大數(shù)據(jù)分析的最新趨勢和實踐。

性能、場景雙輪驅(qū)動 數(shù)據(jù)庫性能接近本地存儲

StarRocks是一款開源OLAP數(shù)據(jù)庫產(chǎn)品，截至目前，已有超過300家市值10億美元的企業(yè)使用StarRocks。StarRocks 社區(qū)是由鏡舟科技與阿里云、騰訊、小紅書、滴滴等互聯(lián)網(wǎng)公司共同建設(shè)，社區(qū)用戶已突破1萬。

此外，企業(yè)部署規(guī)模也在逐年增長，據(jù)騰訊游戲公共數(shù)據(jù)平臺部總監(jiān)崔玉明介紹，騰訊游戲已上線近100個StarRocks集群，共有1470個BE節(jié)點，1300個CN節(jié)點，湖數(shù)據(jù)量達4.99P。

金融營銷、用戶畫像、自助分析、報表體驗升級等場景都應(yīng)用的數(shù)倉技術(shù)，在StarRocks社區(qū)內(nèi)，不同行業(yè)、各種需求碰撞、交融，也產(chǎn)生了不少制勝場景。

過去一年，StarRocks先后發(fā)布了三個版本，其中3.0版推出的存算分離架構(gòu)，在開源業(yè)界引起巨大反響。StarRocks TSC Member、鏡舟科技 CTO 張友東介紹，升級到存算分離架構(gòu)后，存儲成本下降80%，計算節(jié)點可以通過快速彈性、跨可用區(qū)部署等方式提高計算的可用性，而且計算資源可以進行物理隔離，按需獨立彈性伸縮。

據(jù)StarRocks官方說法，升級到3.1版本，并開啟Local cache的情況下，存算分離架構(gòu)下的性能表現(xiàn)已接近本地存儲的水平。

目前， StarRocks的湖倉分析能力已支持internal、Data lake、JDBC、ES等catalog，還支持跨數(shù)據(jù)源的聯(lián)邦分析。

此外，主鍵模型的能力在過去一年也持續(xù)提升，已支持全內(nèi)存和持久化的索引，以及partial update、conditional update 的能力。在性能方面，針對批量更新的場景，引入了按列更新的模式，性能相比按行更新提升10倍以上。

湖倉一體新范式 朝云原生進化

“未來數(shù)據(jù)演進的趨勢是湖倉一體，用戶無需關(guān)注是建湖還是建倉，不管是構(gòu)建數(shù)據(jù)湖還是構(gòu)建數(shù)據(jù)倉庫，企業(yè)最終的目標是低成本、高效的解決數(shù)據(jù)分析問題。” 張友東表示，StarRocks在具備存算分離、湖倉分析、物化視圖等一系列特性后，實現(xiàn)了往Lakehouse引擎的升級，借助StarRocks可兼具數(shù)據(jù)湖和數(shù)據(jù)庫倉庫的優(yōu)勢。

目前已有數(shù)十家企業(yè)在基于StarRocks實踐湖倉新范式。芒果TV采用StarRocks存算分離作為統(tǒng)一的Lakehouse，所有數(shù)據(jù)導入到StarRocks進行統(tǒng)一管理；微信實時數(shù)據(jù)寫入到Iceberg，通過Iceberg直接分析；攜程數(shù)據(jù)統(tǒng)一存儲在 Hive，采用StarRocks直接查詢加速報等。

“未來，StarRocks還會朝著云原生的方向邁進?！睆堄褨|提到，StarRocks將推動實時分析鏈路精簡，通過“ETL on lakehouse，all in one ”的作業(yè)模式，幫助企業(yè)低成本、高效率地發(fā)掘數(shù)據(jù)價值。

StarRocks社區(qū)中，全局字典函數(shù)、同步物化視圖增強、Paimon Catalog等在內(nèi)的許多feature（特征）都由互聯(lián)網(wǎng)大廠貢獻。近年來，圍繞StarRocks形成的商業(yè)生態(tài)越來越完善，產(chǎn)品不斷落地。未來，社區(qū)還將幫助用戶完成數(shù)據(jù)進化、技術(shù)進化和場景進化。