近日，神策數(shù)據(jù)已經(jīng)推出全新的神策分析 2.5 版本，該版本支持分析模型與外部數(shù)據(jù)的融合性接入，構(gòu)建全域數(shù)據(jù)融合模型，實(shí)現(xiàn)從用戶到經(jīng)營的全鏈路、全場景分析。新版本的神策分析能夠?yàn)槠髽I(yè)提供更全面、更有效的市場信息和經(jīng)營策略，幫助企業(yè)深入了解用戶需求、把握市場動態(tài)，從而提高競爭力。這一重要升級為企業(yè)提供了更強(qiáng)大的數(shù)據(jù)分析工具，為其業(yè)務(wù)發(fā)展和決策提供有力支持。

神策客戶旅程分析引擎（簡稱“神策分析引擎”）作為新版本的技術(shù)內(nèi)核，也進(jìn)行了一次重要的架構(gòu)演進(jìn)，接下來，本文將詳細(xì)講述神策分析 2.5 版本中分析引擎的架構(gòu)演進(jìn)方向和重要能力優(yōu)化。

一、全面的彈性架構(gòu)能力支持

神策分析引擎支持全面的彈性架構(gòu)，實(shí)現(xiàn)了存儲、查詢、導(dǎo)入三部分的架構(gòu)分離，且各自都支持多種能力等級配置和彈性擴(kuò)縮容。企業(yè)可以結(jié)合自己的業(yè)務(wù)需要，靈活組合最佳方案，極致優(yōu)化硬件成本。

1、彈性存儲，雙向打通主流數(shù)據(jù)湖生態(tài)

神策分析引擎是原生的存算分離架構(gòu)，無論是不可變數(shù)據(jù)存儲（HDFS、對象存儲），還是可變數(shù)據(jù)存儲（Kudu），都可以靈活的進(jìn)行擴(kuò)展。

根據(jù)數(shù)據(jù)的冷熱程度和可更新性，引擎采用不同的存儲系統(tǒng)。這樣做的目標(biāo)是最大程度減少對高性能 SSD 磁盤的使用需求，盡量采用低成本的 HDD 磁盤存儲大容量數(shù)據(jù)。通過 Alluxio 的方案，引擎可以直接無縫連接各大公有云的對象存儲，實(shí)現(xiàn)低成本的彈性擴(kuò)容。當(dāng)然，考慮到本地存儲具有更好的性能優(yōu)勢，以及在一次性預(yù)付費(fèi)折扣下成本也相對可控，因此彈性也并不總是最佳選擇。企業(yè)可以根據(jù)業(yè)務(wù)類型和需求，靈活調(diào)整存儲類型的比例，以在性能和成本之間找到最佳平衡點(diǎn)。

存算分離架構(gòu)也會帶來一些性能方面的副作用，因此在小規(guī)模集群中，神策數(shù)據(jù)默認(rèn)依然采用計(jì)算和存儲同機(jī)部署模式，以減少網(wǎng)絡(luò)開銷并提高掃描性能。而在大規(guī)模集群和彈性模式下，引擎則會智能利用 Local Cache 技術(shù)，減少因存算分離帶來的額外網(wǎng)絡(luò)開銷。

此外，神策分析引擎完全兼容 Iceberg 標(biāo)準(zhǔn)，使得與客戶現(xiàn)有的數(shù)據(jù)倉庫和數(shù)據(jù)湖體系進(jìn)行雙向打通變得輕松，無需冗余存儲數(shù)據(jù)，且保證了不同應(yīng)用之間數(shù)據(jù)的一致性。Iceberg 數(shù)據(jù)湖標(biāo)準(zhǔn)目前受到了主流數(shù)據(jù)倉庫和數(shù)據(jù)湖解決方案的廣泛支持，擁有完善的開源生態(tài)工具鏈。? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

2、彈性查詢，靈活應(yīng)對企業(yè)經(jīng)營需求

查詢資源通常是分析引擎的整體資源使用中波動最大的部分，因?yàn)樗粌H和企業(yè)的業(yè)務(wù)高峰有關(guān)系（例如促銷活動帶來的流量高峰），也受到企業(yè)的自己的經(jīng)營活動（例如周報(bào)月報(bào)、版本發(fā)布）的直接影響。為此，神策分析引擎提供了非常靈活的查詢資源配置方案。

首先，對于較穩(wěn)定的業(yè)務(wù)固定查詢需求，需要配備一定比例的本地查詢資源，由于這部分資源是存儲計(jì)算一體化，通常查詢性能更好、延遲更低。后期也可以根據(jù)業(yè)務(wù)的增長需要，再進(jìn)行擴(kuò)容操作。

其次，對于夜間的離線計(jì)算或者臨時(shí)性大規(guī)模查詢，例如大型促銷活動或者新游戲上線等場景，可以使用基于 Kubernetes 集群的彈性的查詢資源。這里的最佳實(shí)踐方案是使用各大公有云廠商的按需計(jì)價(jià)節(jié)點(diǎn)，或者競價(jià)實(shí)例（如 AWS Spot 實(shí)例）來進(jìn)行部署。按照神策數(shù)據(jù)過往服務(wù)客戶的實(shí)踐經(jīng)驗(yàn)，該方案相比完全使用本地查詢資源大約可以節(jié)省 20%~30% 的成本。

最后，分析引擎不僅支持物理隔離的查詢資源組，還支持在資源組中劃分優(yōu)先級隊(duì)列，例如可以按照產(chǎn)品線、查詢大小來進(jìn)行資源分配，從而更好的保障高優(yōu)先級的業(yè)務(wù)需求。

3、彈性導(dǎo)入，最大化硬件資源利用率

在導(dǎo)入能力上，神策分析引擎提供了秒級實(shí)時(shí)、分鐘級微批和小時(shí)級離線導(dǎo)入等多種方式，以在時(shí)效性和吞吐量之間取得平衡，最大限度地提高資源利用率。并且允許在不同模式之間進(jìn)行動態(tài)切換，如在導(dǎo)入高峰期間切換到微批模式，過后再切回實(shí)時(shí)模式。

相比查詢來說，導(dǎo)入的資源消耗通常是比較穩(wěn)定的，一般默認(rèn)情況下使用固定的本地資源運(yùn)行即可。但是，對于大批量、一次性歷史數(shù)據(jù)導(dǎo)入需求，更好的選擇是在彈性 Kubernetes 集群上運(yùn)行，以避免短時(shí)間內(nèi)頻繁擴(kuò)容和縮容帶來的操作和硬件成本。

二、六大核心能力優(yōu)化

1、全面強(qiáng)化的用戶旅程分析

神策分析引擎專注于用戶旅程分析這一專屬場景，與通用的 OLAP 分析引擎相比，我們構(gòu)建了高效的用戶序列分析框架，所有的漏斗、路徑、歸因、LTV 等分析模型均基于此框架開發(fā)。這不僅保證了執(zhí)行效率的卓越，同時(shí)也能快速根據(jù)業(yè)務(wù)需求進(jìn)行功能擴(kuò)展。

在應(yīng)對大數(shù)據(jù)量場景時(shí)，我們提供了基于完整用戶數(shù)據(jù)的快速抽樣能力，確保用戶行為在抽樣過程中不會被割裂，從而在低成本的基礎(chǔ)上實(shí)現(xiàn)快速計(jì)算，并保持指標(biāo)的準(zhǔn)確性。另外，我們還實(shí)現(xiàn)了高效的點(diǎn)查能力，支持單用戶行為序列場景，有效避免了數(shù)據(jù)的冗余存儲和不一致問題。此外，為應(yīng)對 ID-Mapping 和數(shù)據(jù)合規(guī)場景，我們專門支持了單用戶數(shù)據(jù)刪除和修復(fù)功能。

2、精準(zhǔn)的查詢資源預(yù)估

對每個(gè)查詢的資源進(jìn)行準(zhǔn)確預(yù)估是神策分析引擎穩(wěn)定運(yùn)行的重要前提。神策分析引擎除了傳統(tǒng)的基于統(tǒng)計(jì)信息的預(yù)估方式之外，還引入了基于查詢歷史的預(yù)估，在真實(shí)業(yè)務(wù)場景中，由于企業(yè)的產(chǎn)品使用通常存在較強(qiáng)的規(guī)律性，因此往往系統(tǒng)運(yùn)行一段時(shí)間之后，基于歷史的查詢預(yù)估會起到關(guān)鍵作用，大大提升整體的準(zhǔn)確性。

基于精準(zhǔn)的查詢資源預(yù)估結(jié)果，一方面可以獲取更佳的執(zhí)行計(jì)劃，另外也可以更準(zhǔn)確地進(jìn)行查詢資源的調(diào)度——例如讓小查詢進(jìn)入高優(yōu)先級隊(duì)列快速執(zhí)行。除此之外，還可以給用戶更加準(zhǔn)確的交互反饋。

3、批流一體的實(shí)時(shí)數(shù)據(jù)聚合

神策分析引擎在支持離線分析和 Ad-Hoc 查詢的同時(shí)，還能從任意歷史數(shù)據(jù)時(shí)間點(diǎn)開始進(jìn)行流式聚合查詢。這意味著我們可以使用同一套查詢引擎和 UDF/UDAF 實(shí)現(xiàn)三種不同的應(yīng)用場景，實(shí)現(xiàn)語法的一致性、性能的高效和可復(fù)用性。通過這部分能力，我們能夠?qū)崿F(xiàn)秒級時(shí)效性的高頻查詢，更好地滿足實(shí)時(shí)監(jiān)控類需求。

4、一致性物化視圖

物化視圖是常見的 OLAP 查詢引擎優(yōu)化能力，通常有兩種實(shí)現(xiàn)方式：和基表數(shù)據(jù)一致，或者需要定期更新。神策分析引擎采用一致性物化視圖，這意味著我們可以在保持?jǐn)?shù)據(jù)一致性的基礎(chǔ)上，實(shí)現(xiàn)常用查詢性能的 10 倍提升。

5、完備的數(shù)據(jù)安全體系

為確保企業(yè)數(shù)據(jù)的最大安全性，神策分析引擎采取了多重安全措施。首先，引擎提供完整的表級別和行列級別的訪問控制，以確保只有授權(quán)用戶能夠獲取相應(yīng)的數(shù)據(jù)，從而保護(hù)數(shù)據(jù)的隱私和機(jī)密性。其次，在更高安全要求的場景下，引擎還支持對所有底層存儲服務(wù)啟用基于 KMS（Key Management Service）的加密機(jī)制，以增強(qiáng)數(shù)據(jù)的加密保護(hù)，確保數(shù)據(jù)在存儲過程中也始終處于加密狀態(tài)，防范潛在的安全威脅。

6、通用性能優(yōu)化

作為一個(gè)全流程支持 CodeGen 的 C++ 查詢引擎，神策分析引擎在處理復(fù)雜查詢時(shí)有著顯著優(yōu)勢。此外，通過服務(wù) 2000+ 客戶的實(shí)踐，我們積累了大量優(yōu)化經(jīng)驗(yàn)，引入了諸如表達(dá)式預(yù)計(jì)算、無效 JOIN 裁剪、正則緩存、Bucket Join 等細(xì)節(jié)優(yōu)化，進(jìn)一步提升了在復(fù)雜業(yè)務(wù)場景下的性能表現(xiàn)。

特別值得一提的是，在完成了諸多指令集級別的適配工作之后，神策分析引擎能夠完美支持在國產(chǎn) x86 和 ARM 芯片上運(yùn)行，并有良好的性能表現(xiàn)。

三、神策分析引擎高效賦能企業(yè)經(jīng)營

基于神策分析引擎，企業(yè)得以更高效地實(shí)現(xiàn)看數(shù)查數(shù)、分析洞察等關(guān)鍵業(yè)務(wù)場景。包含舊版本在內(nèi)，神策分析引擎已成功為包括泛金融、泛品牌零售、泛互聯(lián)網(wǎng)以及泛企業(yè)各細(xì)分領(lǐng)域在內(nèi)的 2000+ 客戶的數(shù)字化經(jīng)營提供了穩(wěn)健的能力支撐。

以某互聯(lián)網(wǎng)工具類客戶為例，其每日新增數(shù)據(jù)量高達(dá)百億條，日均查詢數(shù)千次。在此背景下，神策分析引擎展現(xiàn)出了優(yōu)異的性能表現(xiàn)：看數(shù)型查詢的 P95 指標(biāo)在 3 秒左右，分析型查詢則在 30 秒，而原始的 SQL 查詢也能達(dá)到 36 秒。類似地，某電商類客戶每日新增數(shù)據(jù)百億條，日均查詢次數(shù)近萬次，也在不同使用場景下達(dá)到了數(shù)秒至數(shù)十秒不等的 P95 指標(biāo)。

眾多諸如此的成功案例充分表現(xiàn)出了神策分析引擎在大規(guī)模數(shù)據(jù)處理與高頻查詢場景下的杰出能力，為數(shù)字化時(shí)代中企業(yè)的快速發(fā)展提供了強(qiáng)有力的數(shù)據(jù)支持，助力企業(yè)實(shí)時(shí)了解業(yè)務(wù)情況、準(zhǔn)確做出決策，實(shí)現(xiàn)高效企業(yè)經(jīng)營。