大數(shù)據(jù)自 2009 年走向人們的視野，亦如所有新技術(shù)的發(fā)展，經(jīng)歷了一波炒作后，由風(fēng)口回歸理性發(fā)展。我們可以看到，隨著 IOT 技術(shù)的發(fā)展和成熟，以及 5G 業(yè)務(wù)的全面鋪開，數(shù)據(jù)規(guī)模還將持續(xù)增長。新晉技術(shù)風(fēng)口 AI、區(qū)塊鏈、RPA 的發(fā)展也都離不開大數(shù)據(jù)技術(shù)。大數(shù)據(jù)技術(shù)將作為一項通用技術(shù)，應(yīng)用在各個角落。同時，大數(shù)據(jù)技術(shù)也由解決數(shù)據(jù)規(guī)模問題，發(fā)展到如何更高效地消費大數(shù)據(jù)，數(shù)據(jù)的實時性、云上遷移等成為大數(shù)據(jù)圈的新挑戰(zhàn)。我們挑選了一些能應(yīng)對這些新挑戰(zhàn)的有代表性的技術(shù)棧，繪制了如下大數(shù)據(jù)圈生態(tài)圖，并在下文對主流的技術(shù)棧進行了介紹：

OLAP 分析引擎：Apache Kylin?

Apache Kylin? 是一個開源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查詢接口及多維分析（OLAP）能力以支持超大規(guī)模數(shù)據(jù)，與多種數(shù)據(jù)可視化工具（如 Tableau，Power BI 等）的整合能力。Apache Kylin? 已被eBay、騰訊、美團點評、滴滴等全球上千家企業(yè)采用。

Apache Kylin? 僅需三步，即可實現(xiàn)超大數(shù)據(jù)集上的亞秒級查詢：

1. 定義數(shù)據(jù)集上的一個星形或雪花形模型

2. 在定義的數(shù)據(jù)表上構(gòu)建 Cube

3. 使用標(biāo)準(zhǔn) SQL 通過 ODBC、JDBC 或 RESTFUL API 進行查詢

新一代大數(shù)據(jù)計算引擎：Apache Flink

Apache Flink 能夠以高吞吐低延時的優(yōu)異實時計算能力幫助企業(yè)和開發(fā)者實現(xiàn)數(shù)據(jù)算力升級，支持海量數(shù)據(jù)的亞秒級快速響應(yīng)。隨著 Flink 1.9 版本發(fā)布實現(xiàn)的架構(gòu)升級、Table & SQL 的重構(gòu)以及批、流數(shù)據(jù)處理的改進，F(xiàn)link 的實時計算性能更加強大，易用性也有了極大提升。

下一代云原生分布式流數(shù)據(jù)平臺：Apache Pulsar

Apache Pulsar 源于 Yahoo，2016 年開源，2018 年正式成為 Apache 頂級項目，集消息、存儲和函數(shù)式輕量化計算的流數(shù)據(jù)平臺。

技術(shù)上采用業(yè)界領(lǐng)先的計算和存儲分離架構(gòu)，使用 Apache BookKeeper 作為其分片存儲，配合層級存儲，具備“高吞吐、低延時、分布式強一致、瞬時彈性擴容、Balance-Free、故障自恢復(fù)的高可用” 等核心特性。

開源的非關(guān)系型分布式數(shù)據(jù)庫：Apache HBase

Apache HBase 是一個高可靠、高性能、面向列、可伸縮的分布式數(shù)據(jù)庫，是谷歌 BigTable 的開源實現(xiàn)，主要用來存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)。HBase 的目標(biāo)是處理非常龐大的表，可以通過水平擴展的方式，利用廉價計算機集群處理由超過 10 億行數(shù)據(jù)和數(shù)百萬列元素組成的數(shù)據(jù)表。

開源分布式 NoSQL 數(shù)據(jù)庫系統(tǒng)：Apache Cassandra

Apache Cassandra 最初由 Facebook 開發(fā)，于 2008 年開源。它集 Google BigTable 的數(shù)據(jù)模型與Amazon Dynamo的完全分布式架構(gòu)于一身，表現(xiàn)出良好的可擴展性和性能。在數(shù)據(jù)庫排行榜“DB-Engines Ranking”中位于寬列存儲模型數(shù)據(jù)庫第一名, 同時也被 Apple, eBay, Netflix, 360，餓了么等知名國內(nèi)外公司廣泛使用，是當(dāng)下一種流行的分布式結(jié)構(gòu)化數(shù)據(jù)存儲方案。