Databend 開源周報第 107 期
Databend 是一款現(xiàn)代云數(shù)倉。專為彈性和高效設(shè)計,為您的大規(guī)模分析需求保駕護航。自由且開源。即刻體驗云服務:https://app.databend.cn 。
What's On In Databend
探索 Databend 本周新進展,遇到更貼近你心意的 Databend 。
理解連接參數(shù)
連接參數(shù) 是建立與 Databend 支持的外部存儲服務(如Amazon S3)的連接時所需的一組身份驗證和配置信息。這些參數(shù)被括號包圍、由一組用逗號或空格分隔的鍵值對組成。在創(chuàng)建 Stage 、"COPY INTO"
和查詢外部文件時都會用到。
下面的 SQL 語句展示了如何利用連接參數(shù)創(chuàng)建用 S3 作為底層存儲的 Stage 。
如果您想了解更多信息,請查看下面列出的資源。
Docs | SQL Reference - Connection Parameters
Hive Catalog 支持配置存儲參數(shù)
在剛剛過去的一周中,Databend 為 Hive Catalog 引入了存儲參數(shù)選項,允許為其配置特定的存儲服務,不再依賴 Default Catalog 自身的存儲后端。
下面的例子展示了如何創(chuàng)建以 MinIO 作為底層存儲服務的 Hive Catalog :
如果您想了解更多信息,請查看下面列出的資源。
Issue #12407 | Feature: Add storage support for Hive catalog
PR #12469 | feat: Add storage params in hive catalog
Code Corner
一起來探索 Databend 和周邊生態(tài)中的代碼片段或項目。
使用 gitoxide
加速 Git 依賴下載
gitoxide
是一個用 Rust 編寫的高性能、現(xiàn)代化的 Git 實現(xiàn)。利用 cargo
的 gitoxide
特性(Unstable),可以使用 gitoxide
crate 替代 git2
執(zhí)行各種 git 操作,從而在下載 crates-index 和 git 依賴時獲得數(shù)倍的性能提高。
Databend 最近在 CI 中為 cargo {build | clippy | test}
啟用了這一特性,你也可以在本地開發(fā)時嘗試添加 -Zgitoxide
選項來加速構(gòu)建過程:
如果您想了解更多信息,請查看下面列出的資源。
chore(ci): cargo build with -Zgitoxide
The Cargo Book | Unstable - gitoxide
Highlights
以下是一些值得注意的事件,也許您可以找到感興趣的內(nèi)容。
不與
SELECT
共用也可以單獨使用VALUES
子句。變更列時支持修改默認值。
為 Parquet 格式的表添加虛擬列支持
支持在執(zhí)行寫入操作(
COPY INTO
和REPLACE INTO
)后對表進行自動重聚類
What's Up Next
我們始終對前沿技術(shù)和創(chuàng)新理念持開放態(tài)度,歡迎您加入社區(qū),為 Databend 注入活力。
增強 infer_schema
能力以支持文件路徑
當前,Databend 既支持查詢由文件路徑指向的文件也支持查詢位于 Stage 中的文件,例如:
然而,目前 infer_schema
只支持處理位于 Stage 中的文件:
如果需要位于其它路徑下的文件進行推斷,就會導致報錯:
我們希望可以統(tǒng)一 infer_schema
函數(shù)的行為,允許其對所有位置的文件進行推斷,使之具有更好的可用性。
Issue #12458 | Feature: infer_schema
support normal file path
如果你對這個主題感興趣,可以嘗試解決其中的部分問題或者參與討論和 PR review ?;蛘撸憧梢渣c擊 https://link.databend.rs/i-m-feeling-lucky 來挑選一個隨機問題,祝好運!
Changelog
前往查看 Databend 每日構(gòu)建的變更日志,以了解開發(fā)的最新動態(tài)。
地址:https://github.com/datafuselabs/databend/releases
Contributors
非常感謝貢獻者們在本周的卓越工作。
Connect With Us
Databend 是一款開源、彈性、低成本,基于對象存儲也可以做實時分析的新式數(shù)倉。期待您的關(guān)注,一起探索云原生數(shù)倉解決方案,打造新一代開源 Data Cloud。
Databend Website
GitHub Discussions
Twitter
Slack Channel