Databend 開源周報第 108 期

Databend[1] 是一款現(xiàn)代云數(shù)倉。專為彈性和高效設(shè)計,為您的大規(guī)模分析需求保駕護(hù)航。自由且開源。即刻體驗云服務(wù):https://app.databend.cn 。
What's On In Databend
探索 Databend 本周新進(jìn)展,遇到更貼近你心意的 Databend 。
多源數(shù)據(jù)目錄
在 Databend 中,Catalog 是數(shù)據(jù)組織的最高一級抽象,可以幫助用戶高效管理和訪問數(shù)據(jù)源。
Databend 具備多源數(shù)據(jù)目錄(Multiple Catalog)能力,目前已經(jīng)支持 Apache Iceberg 和 Apache Hive 兩類外部 Catalog 。
通過掛載外部 Catalog ,無需將數(shù)據(jù)加載到 Databend 中,就可以進(jìn)行高效查詢。
如果您想了解更多信息,請查看下面列出的資源。
Docs | Catalog[2]
RFCs | Multiple Catalog[3]
Code Corner
一起來探索 Databend 和周邊生態(tài)中的代碼片段或項目。
利用 "cargo-pgo"
實現(xiàn) PGO
Profile-guided optimization (PGO) 是一種常見的編譯優(yōu)化技術(shù),可以利用程序運行時采集到的 profiling 信息來引導(dǎo)編譯器進(jìn)行針對性的優(yōu)化,生成更高質(zhì)量的代碼,從而提高程序的性能。
根據(jù)測試,利用 PGO ,Databend 在某些場景下可以取得大約 10% 的性能提高。PGO 的具體表現(xiàn)取決于實際的工作負(fù)載,你可以嘗試應(yīng)用 PGO 技術(shù)來優(yōu)化 Databend 集群的性能。
如果您想了解更多信息,請查看下面列出的資源。
Docs | Profile Guided Optimization (PGO)[4]
Highlights
以下是一些值得注意的事件,也許您可以找到感興趣的內(nèi)容。
實現(xiàn) "
json_pretty"
函數(shù)。改進(jìn)內(nèi)連接(inner join)性能。
為 HTTP 查詢接口增加更多統(tǒng)計指標(biāo)。
為 Hive Catalog 實現(xiàn) "
SHOW DATABASES"
和 "SHOW TABLES"
支持。閱讀 Blog | Revolutionizing Data Archival and Query Performance for Pharmaceutical Group[5]了解 Databend 在藥品零售領(lǐng)域的客戶成功故事。
What's Up Next
我們始終對前沿技術(shù)和創(chuàng)新理念持開放態(tài)度,歡迎您加入社區(qū),為 Databend 注入活力。
利用 SQLsmith 實施模糊測試
SQLsmith 專注于生成隨機的、類型感知和列感知的 SQL 查詢,通常能夠通過語義檢查,從而進(jìn)一步測試數(shù)據(jù)庫的執(zhí)行邏輯。
過去,Databend 已經(jīng)支持 SQLancer 以及隨機生成輸入的傳統(tǒng)模糊測試。Databend 團(tuán)隊計劃引入 SQLsmith 來實現(xiàn)域感知模糊測試,提供更全面、更具針對性的測試結(jié)果,提高發(fā)現(xiàn)漏洞的可能。
Issue #12576 | Feature: Using sqlsmith to support sql fuzzy testing
如果你對這個主題感興趣,可以嘗試解決其中的部分問題或者參與討論和 PR review ?;蛘撸憧梢渣c擊 https://link.databend.rs/i-m-feeling-lucky 來挑選一個隨機問題,祝好運!
Changelog
前往查看 Databend 每日構(gòu)建的變更日志,以了解開發(fā)的最新動態(tài)。
地址:https://github.com/datafuselabs/databend/releases
Contributors
非常感謝貢獻(xiàn)者們在本周的卓越工作。

引用鏈接
[1]
?Databend:?https://github.com/datafuselabs/databend
[2]
?Docs | Catalog:?https://databend.rs/doc/sql-commands/ddl/catalog/
[3]
?RFCs | Multiple Catalog:?https://databend.rs/doc/contributing/rfcs/multiple-catalog
[4]
?Docs | Profile Guided Optimization (PGO):?https://databend.rs/doc/contributing/pgo
[5]
?Blog | Revolutionizing Data Archival and Query Performance for Pharmaceutical Group:?**https://databend.rs/blog/2023-08-24-cdh
[6]
?Issue #12576 | Feature: Using sqlsmith to support sql fuzzy testing:?https://github.com/datafuselabs/databend/issues/12576