前言

ByteHouse 是火山引擎在 ClickHouse 的基礎(chǔ)上自研并大規(guī)模實(shí)踐的一款高性能、高可用企業(yè)級(jí)分析性數(shù)據(jù)庫(kù)，支持用戶交互式分析 PB 級(jí)別數(shù)據(jù)。其自研的表引擎，靈活支持各類數(shù)據(jù)分析和保證實(shí)時(shí)數(shù)據(jù)高效落盤，實(shí)現(xiàn)了熱數(shù)據(jù)按生命周自動(dòng)冷存，緩解存儲(chǔ)空間壓力；同時(shí)引擎內(nèi)置了圖形化運(yùn)維界面，可輕松對(duì)集群服務(wù)狀態(tài)進(jìn)行運(yùn)維；整體架構(gòu)采用多主對(duì)等架構(gòu)設(shè)計(jì)，架構(gòu)安全可靠穩(wěn)定，可確保單點(diǎn)無故障瓶頸。

ByteHouse 的架構(gòu)簡(jiǎn)潔，采用了全面向量化引擎，并配備全新設(shè)計(jì)的優(yōu)化器，查詢速度有數(shù)量級(jí)提升（尤其是多表關(guān)聯(lián)查詢）。

用戶使用 ByteHouse 可以靈活構(gòu)建包括大寬表、星型模型、雪花模型在內(nèi)的各類模型。

ByteHouse 可以滿足企業(yè)級(jí)用戶的多種分析需求，包括 OLAP 多維分析、定制報(bào)表、實(shí)時(shí)數(shù)據(jù)分析和 Ad-hoc 數(shù)據(jù)分析等各種應(yīng)用場(chǎng)景。

ByteHouse 優(yōu)勢(shì)一：實(shí)時(shí)數(shù)據(jù)高吞吐的接入能力

面對(duì)業(yè)務(wù)大數(shù)據(jù)量的產(chǎn)生，需要高效可靠實(shí)時(shí)數(shù)據(jù)的接入能力，為此我們自研了 Kafka 數(shù)據(jù)源接入表引擎 HaKafka ，該表引擎可高效的將 Kafka 的數(shù)據(jù)接入 ByteHouse ，具有有如下特性：

1. 數(shù)據(jù)接入高吞吐性，支持了多線消費(fèi) Kafka topic 對(duì)應(yīng) Partition 的數(shù)據(jù)，滿足大數(shù)據(jù)量實(shí)時(shí)數(shù)據(jù)接入的需求。

2. 數(shù)據(jù)接入高可靠性，通過 Zookeeper 來實(shí)現(xiàn)主備消費(fèi)節(jié)點(diǎn)管理，比如，當(dāng)線上出現(xiàn)某個(gè)節(jié)點(diǎn)出現(xiàn)故障或無法提供服務(wù)時(shí)，可以通過 Zookeeper 心跳感知機(jī)制自動(dòng)切換到另一個(gè)節(jié)點(diǎn)提供服務(wù)，以此來保障業(yè)務(wù)的穩(wěn)定性。

3. 數(shù)據(jù)接入原子性，引擎自行管理 Kafka offset ，將 offset 和 parts 進(jìn)行綁定在一起，來實(shí)現(xiàn)單批次消費(fèi)寫入的原子性，當(dāng)中途消費(fèi)寫入失敗，會(huì)自動(dòng)將綁定的 parts 撤銷，從而實(shí)現(xiàn)數(shù)據(jù)消費(fèi)的穩(wěn)定性。

?