INFINI Labs 產品更新 | Gateway 支持基于 Kafka 的復制能力,發(fā)布 Helm Charts 部署

INFINI Labs 產品又更新啦~。本次更新概要如下:Easysearch 新增了索引字段相關統(tǒng)計 API,優(yōu)化了 source_reuse 提升壓縮效率;Gateway 新增諸多新特性,如:支持基于 Kafka 的復制能力,添加可插拔的分布式鎖實現,新增 CPU 資源限制等功能;Console 本次主要優(yōu)化了數據遷移功能,遷移任務詳情頁新增了若干指標圖和日志查看等功能。
歡迎大家下載使用和反饋。
INFINI Helm Charts v0.1.0
INFINI Helm Charts 是一組 Kubernetes 部署包管理工具?;?Helm Charts,我們將 INFINI Labs 旗下相關產品預先配置好程序資源包,大大簡化了部署流程。Github 倉庫地址:https://github.com/infinilabs/helm-charts。
Helm Charts 本次更新如下:
Features
添加 Console Chart
添加 Easysearch Chart,支持單節(jié)點以及多節(jié)點(節(jié)點角色可配置)部署
部署視頻演示:
博客文章:
INFINI Easysearch v1.6.0
INFINI Easysearch 是一個分布式的近實時搜索與分析引擎,核心引擎基于開源的 Apache Lucene。Easysearch 的目標是提供一個輕量級的 Elasticsearch 可替代版本,并繼續(xù)完善和支持更多的企業(yè)級功能。
Easysearch 本次更新如下:
Features
新增 _field_usage_stats API,統(tǒng)計索引每個字段的訪問次數
新增 _disk_usage API,可以分析指定索引每個字段的磁盤占用大小
增加 flattened 類型,將 JSON 對象作為字符串處理,可以減少嵌套 JSON 型的文檔的大小
Improvements
source_reuse 增加對 _source 中數字類型的值進行復用壓縮,可進一步降低 _source 磁盤占用
改進 source_reuse 篩選字段的邏輯
INFINI Gateway v1.18.0
INFINI Gateway 是一個面向搜索場景的高性能數據網關,所有請求都經過網關處理后再轉發(fā)到后端的搜索業(yè)務集群。基于 INFINI Gateway 可以實現索引級別的限速限流、常見查詢的緩存加速、查詢請求的審計、查詢結果的動態(tài)修改等等。
Gateway 本次更新如下:
Breaking changes
徹底移除了 request_body_truncate 和 response_body_truncate 過濾器
Features
支持基于 Kafka 的復制能力
在請求上下文中添加 _util.generate_uuid
在請求上下文中添加 _util.increment_id.BUCKET_NAME
在 Pipeline 配置中添加 singleton,防止多個 Pipeline 同時運行
添加可插拔的分布式鎖實現
添加通用應用程序的 preference 配置
泛化隊列抽象,重構磁盤隊列,完善 Kafka 實現
添加 merge_to_bulk 處理器, 廢棄 indexing_merge 處理器
添加 flow_replay 處理器,廢棄 flow_runner 處理器
為復制場景添加 replication_correlation
添加 hash_mod 過濾器
在 bulk_response_process 過濾器中添加新參數
添加 request_reshuffle 過濾器
添加資源限制,允許設置最大 CPU 數或綁定親和性
支持模板中的嵌套變量
添加 rewrite_to_bulk 過濾器
Bug fix
修復了 Pipeline 中重試延遲未生效的問題
修復了模板中不支持數字的問題
修復了隊列選擇器通過標簽的問題,如果指定了多個標簽,它們都應該一起匹配
Improvements
將所有模塊名稱轉換為小寫
在啟動期間預取 Elasticsearch 元數據
添加應用程序范圍的關閉信號
重構隊列 API,支持 Kafka 管理
在 Badger 模塊中添加 enabled
允許使用優(yōu)先級注冊模塊/插件
統(tǒng)一隊列的使用和初始化
優(yōu)化 bulk_reshuffle 過濾器的性能,添加響應頭 X-Bulk-Reshuffled
支持在 queue 過濾器中使用變量,允許輸出最后生成的消息偏移量
INFINI Console v1.8.0
INFINI Console 是一款非常輕量級的多集群、跨版本的搜索基礎設施統(tǒng)一管控平臺。通過對流行的搜索引擎基礎設施進行跨版本、多集群的集中納管, 企業(yè)可以快速方便的統(tǒng)一管理企業(yè)內部的不同版本的多套搜索集群。
Console 在線體驗:?http://demo.infini.cloud?(用戶名/密碼:readonly/readonly)。
Console 本次更新如下:
Features
數據遷移任務支持自定義名稱和添加標簽
數據遷移任務詳情頁新增若干指標
數據遷移任務詳情頁新增查看日志
Improvements
數據遷移 UI 優(yōu)化
優(yōu)化監(jiān)控報表、數據看板、數據探索的時間控件 UI


期待反饋
歡迎下載體驗使用,如果您在使用過程中遇到如何疑問或者問題,歡迎前往 INFINI Labs Github(https://github.com/infinilabs) 中的對應項目中提交 Feature Request 或提交 Bug。
INFINI Gateway:?https://github.com/infinilabs/gateway/issues
INFINI Console:?https://github.com/infinilabs/console/issues
下載地址:?https://www.infinilabs.com/download
您還可以通過郵件聯系我們:hello@infini.ltd
或者撥打我們的熱線電話:(+86) 400-139-9200
歡迎加入?Discord?聊天室:https://discord.com/invite/4tKTMkkvVX
也歡迎大家微信掃碼添加小助手(INFINI-Labs),加入用戶群一起討論交流。

關于極限科技(INFINI Labs)

極限科技,全稱極限數據(北京)科技有限公司,是一家專注于實時搜索與數據分析的軟件公司。旗下品牌極限實驗室(INFINI Labs)致力于打造極致易用的數據探索與分析體驗。
極限科技是一支年輕的團隊,采用天然分布式的方式來進行遠程協(xié)作,員工分布在全球各地,希望通過努力成為中國乃至全球企業(yè)大數據實時搜索分析產品的首選,為中國技術品牌輸出添磚加瓦。
官網:https://www.infinilabs.com