4月21日，博睿數(shù)據(jù)ONE有引力2023春季產(chǎn)品發(fā)布會(huì)圓滿落幕，一體化智能可觀測(cè)平臺(tái)Bonree ONE 2023春季正式版正式發(fā)布，這一次發(fā)布的版本更輕、更強(qiáng)、更智能。

Bonree ONE在上一版基礎(chǔ)上削減50%組件數(shù)量，下架兩大高耗能組件，單機(jī)節(jié)省20G+內(nèi)存，安裝時(shí)間加快30%，磁盤消耗縮減80%；實(shí)現(xiàn)能力的5倍提升，單臺(tái)16C 32G服務(wù)器穩(wěn)定支撐100 APM探針數(shù)據(jù)接入或2萬日活用戶會(huì)話，幫助用戶大幅降低配置成本。

架構(gòu)瘦身，讓Bonree ONE跑得更輕

本文作者

背景

在數(shù)據(jù)分析領(lǐng)域，OLAP引擎是整個(gè)服務(wù)的底座，是整個(gè)產(chǎn)品性能的發(fā)動(dòng)機(jī)。它需要強(qiáng)悍的數(shù)據(jù)寫入性能，用來支撐高時(shí)效的數(shù)據(jù)價(jià)值，同時(shí)也需要強(qiáng)悍的數(shù)據(jù)讀取性能，滿足我們?cè)贠LAP場(chǎng)景中的高效查詢需求。高性能一般會(huì)伴隨著更多資源需求量的產(chǎn)生。如果我們能在同等的數(shù)據(jù)量下，可以用更少的資源來滿足需求，無疑會(huì)給產(chǎn)品帶來更大的空間。我們從歷史Druid繁重引擎切換到了更輕量級(jí)的Clickhouse。

同時(shí)，Bonree ONE作為強(qiáng)大領(lǐng)先的一體化智能可觀測(cè)平臺(tái)，融合了RUM、APM、數(shù)據(jù)分析、ETL、Alert告警、自適應(yīng)AI等諸多微應(yīng)用能力。起初眾多組件整合在一起時(shí)，整體需要38個(gè)組件，組件多，資源占用多，維護(hù)成本高，非常繁重。每次POC需要單機(jī)64G內(nèi)存的機(jī)器才能部署，且性能非常有限?；谶@些痛點(diǎn)，需要對(duì)Bonree ONE架構(gòu)體系做整體梳理，制定瘦身技術(shù)方案。

架構(gòu)（四通一合）

首先，要解決架構(gòu)問題，好的架構(gòu)可以少走彎路。Bonree ONE架構(gòu)體系講究化繁為簡(jiǎn)，即四通一合：

● 對(duì)象通：采集。統(tǒng)一的對(duì)象采集能力，OneAgent可以統(tǒng)一采集多端、多源、多種類型對(duì)象，并且SmartGate提供了采集數(shù)據(jù)的匯聚、路由、壓縮、緩存、批傳、負(fù)載均衡、安全管理等智能化功能，讓用戶數(shù)據(jù)采的安心、用的舒心。

● 數(shù)據(jù)通：數(shù)據(jù)。OneData作為統(tǒng)一的數(shù)據(jù)平臺(tái)，可以集成指標(biāo)、調(diào)用鏈、拓?fù)洹⑹录?、日志等多種可觀測(cè)性類型數(shù)據(jù)；OneService作為統(tǒng)一數(shù)據(jù)服務(wù)，自研統(tǒng)一的BPL語句，可以同時(shí)計(jì)算和查詢多源異構(gòu)的數(shù)據(jù)集，讓數(shù)據(jù)真正的融合關(guān)聯(lián)用起來，解決傳統(tǒng)割裂數(shù)據(jù)拼湊的問題。

● 模型通：模型。基于數(shù)據(jù)標(biāo)準(zhǔn)化建模、AI多模態(tài)的湖倉一體化，支持開箱即用和AI自適應(yīng)的在線模型。

● 應(yīng)用通：標(biāo)準(zhǔn)。多個(gè)應(yīng)用遵循一套OneAPI標(biāo)準(zhǔn)，通過OneFramework可以讓微應(yīng)用插件互相通信，互相賦能。應(yīng)用也做到了插件化，微應(yīng)用可以各自單獨(dú)跑，也可以合并一起跑。能力開放，可以集成與被集成。

● 中融合：ONE架構(gòu)也到了真正意義的融合。一套體系化的數(shù)據(jù)、服務(wù)、模型都是互通互聯(lián)，能輕便支持上層業(yè)務(wù)場(chǎng)景需要的復(fù)雜數(shù)據(jù)模型抽象和計(jì)算。

OneData底座

架構(gòu)輕

優(yōu)勢(shì)明顯

● 數(shù)據(jù)平臺(tái)組件較少，OLAP引擎只有Clickhouse單個(gè)組件，在寫入和元數(shù)據(jù)協(xié)同上各有一個(gè)組件，且都支持高可用。

● 在POC場(chǎng)景下，Clickhouse精簡(jiǎn)部署，寫入效率完全達(dá)到業(yè)務(wù)需要。

● 在小型集群的場(chǎng)景下，Clickhouse只需要單shard部署，在滿足性能的前提下，支持高可用。

● 在晚回?cái)?shù)據(jù)場(chǎng)景下，Clickhouse天然支持分區(qū)，在歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)上，沒有區(qū)別對(duì)待，效率上是等同的。

● 在clickhouse上，通過物化視圖和多粒度表的支持，較大范圍時(shí)間的查詢效率同樣可以在毫秒級(jí)別完成，且是穩(wěn)定的。

Feature開發(fā)

● 寫入資源平衡。

● 表粒度入庫攢批控制。

● 多租戶的支持。

● 數(shù)據(jù)自治理。

● 復(fù)雜數(shù)據(jù)類型上查詢效率的改進(jìn)。

● 持續(xù)優(yōu)化讀寫性能，和資源瘦身。

● 數(shù)據(jù)重分布特性，針對(duì)數(shù)據(jù)擴(kuò)容情況下的數(shù)據(jù)分布改進(jìn)。

● 擴(kuò)展DDL能力，可以在線支持針對(duì)物化視圖、projection的動(dòng)態(tài)加減列。

● 輕量級(jí)運(yùn)維能力建設(shè)。

效果

相比瘦身之前，ONE技術(shù)優(yōu)化效果：

1. 整體組件從38個(gè)減少到19個(gè)。

2. 從內(nèi)存看：

1) POC配置規(guī)格從單機(jī)64G降到32G，單機(jī)可以支持運(yùn)行100探針，運(yùn)行時(shí)內(nèi)存消耗在23G左右；

2) 業(yè)務(wù)各團(tuán)隊(duì)做全鏈路組件瘦身，POC版瘦身去掉所有hadoop、kafka、brfs、zookeeper等重組件；

3) 指標(biāo)存儲(chǔ)底座從Druid切換到Clickhouse，內(nèi)存資源降了60%（集群版和POC版都適用）；

4)?SwiftAI重構(gòu)架構(gòu)，所有服務(wù)合并到一個(gè)進(jìn)程組件（集群版和POC版都適用）；

5)?OneService作為新一代聯(lián)邦數(shù)據(jù)服務(wù)，替代了傳統(tǒng)較重的Presto大數(shù)據(jù)組件集合；

6)?OneAPI和OneView支持微應(yīng)用插件合并，也可以單獨(dú)部署，替代了傳統(tǒng)的SSO和Cloud組件（集群版和POC版都適用）。

3. 從磁盤看，APM的磁盤占用存儲(chǔ)降到了1/5（日增100G->20G）：

1) POC版去kafka會(huì)大量減少磁盤占用；

2) trace也做了寫入壓縮優(yōu)化（集群版和POC版都適用）；

3) Clickhouse沒有Druid的二級(jí)hadoop存儲(chǔ)占用（集群版和POC版都適用）；

4) Clickhouse本身較Druid壓縮比會(huì)好些，各業(yè)務(wù)表的壓縮比在8到20倍（集群版和POC版都適用）；

5) AI通過Iceberg湖倉一體和數(shù)據(jù)治理，按開箱默認(rèn)指標(biāo)兩個(gè)月只需要40G的磁盤空間（集群版和POC版都適用）。

4. 從性能看，拿公有云統(tǒng)計(jì)性能數(shù)據(jù)，基于Clickhouse的OneData底座P99查詢性能比歷史Druid架構(gòu)提高了6倍以上，平均耗時(shí)從秒級(jí)降到了毫秒級(jí)。同時(shí)在晚回?cái)?shù)據(jù)場(chǎng)景，穩(wěn)定性和效率比Druid體現(xiàn)的更加優(yōu)秀，維護(hù)成本為0。

5. 從功能看，ONE較之前秋季版產(chǎn)品增加了一些功能，比如默認(rèn)會(huì)開啟AI和會(huì)話，AI和會(huì)話不再單獨(dú)追加資源（集群版和POC版都適用）。

6. 從應(yīng)用框架看，引入強(qiáng)大的插件容器框架OneFramework，提供了運(yùn)行環(huán)境和基礎(chǔ)通用能力支持（依賴管理、網(wǎng)關(guān)服務(wù)、連接池封裝、common工具類、會(huì)話共享等）。OneFramework可以讓業(yè)務(wù)只關(guān)注自己的業(yè)務(wù)代碼開發(fā)，并且各自可以獨(dú)立開發(fā)和部署，大大提高了開發(fā)迭代和發(fā)布效率。一套框架可以靈活應(yīng)對(duì)公有云和私有化不同的環(huán)境場(chǎng)景。