近日，袋鼠云大數(shù)據(jù)引擎專家郝衛(wèi)亮，為大家?guī)砹恕洞笤圃趯崟r數(shù)據(jù)湖上的探索與實踐》主題分享，幫助大家能了解到什么是實時數(shù)據(jù)湖、如何進行數(shù)據(jù)湖選型及數(shù)據(jù)平臺建設數(shù)據(jù)湖的經(jīng)驗。

如今，大規(guī)模、高時效、智能化數(shù)據(jù)處理已是“剛需”，企業(yè)需要更強大的數(shù)據(jù)處理能力，來應對數(shù)據(jù)查詢、數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)展示以及多種計算模型并行的挑戰(zhàn)。

因此，袋鼠云基于自研的一站式大數(shù)據(jù)基礎(chǔ)軟件——數(shù)棧提出相應的實時數(shù)據(jù)湖解決方案，能夠兼容Iceberg、Hudi等數(shù)據(jù)湖平臺。實時數(shù)據(jù)湖提供了多樣化的分析能力，而不限于批處理、流處理、交互式查詢和機器學習；提供了ACID事物能力，可以更好的保障數(shù)據(jù)質(zhì)量；提供了完善的數(shù)據(jù)管理能力，包括數(shù)據(jù)格式、數(shù)據(jù)schema等；此外，實時數(shù)據(jù)湖還提供了存儲介質(zhì)可擴展的能力，支持HDFS、對象存儲等。從而大大節(jié)省了數(shù)據(jù)存儲成本、提升了開發(fā)效率，能夠更快更好地挖掘數(shù)據(jù)價值。

該方案特點在于CDC數(shù)據(jù)實時入湖，能夠保障技術(shù)自主可控、全增量一體化、分鐘級時延、鏈路短、對業(yè)務穩(wěn)定性無影響。

? 實時性高：CDC數(shù)據(jù)對實時性要求高，數(shù)據(jù)新鮮度越高，往往業(yè)務價值越高

? 歷史數(shù)據(jù)量大：數(shù)據(jù)庫的歷史數(shù)據(jù)規(guī)模大

? 強一致性：數(shù)據(jù)處理必須要保證有序性而且結(jié)果需要一致性

? Schema動態(tài)演進：數(shù)據(jù)庫對應的Schema會隨著業(yè)務不斷變更

在實時入湖落地過程中，研發(fā)團隊也遇到了諸如小文件影響讀寫效率；客戶群體使用的Flink版本大多還停留在1.12；因此需Hudi適配Flink1.12；存在多套Hadoop集群的場景下存在跨集群的需求等問題，最終都一一克服，提供了完美的解決方案。

在實時數(shù)據(jù)湖中包含實時ETL、離線ETL、OLAP三類任務，這三類任務在從ODS層到ADS層加工的過程中，聚合操作越來越多，IO越來越密集，多個任務SQL中具有相同邏輯的SQL片段。為此，技術(shù)團隊探索出了物化視圖的方案，完成平臺化數(shù)據(jù)湖物化視圖管理，Spark、Trino、Flink支持基于數(shù)據(jù)湖表格式管理物化視圖。

在實時數(shù)據(jù)湖中基于數(shù)據(jù)湖構(gòu)建的物化視圖可實現(xiàn)流、批和OLAP任務之間共享，從而進一步降低實時數(shù)據(jù)湖中數(shù)據(jù)在整條鏈路中的延時，從而節(jié)省計算成本。

未來，實時數(shù)據(jù)湖方案還將持續(xù)優(yōu)化，不斷增加平臺湖表管理的易用性；引入Paimon，讓數(shù)棧支持對接Paimon、增加基于Paimon的湖倉一體建設；深入并增強內(nèi)核，提升入湖的的性能；數(shù)據(jù)湖提供數(shù)據(jù)共享、支持多引擎，探索數(shù)據(jù)湖的安全管理方案。

獲取完整PPT：https://www.dtstack.com/resources/1051?src=szsm

想了解更多詳情，可點擊觀看視頻講解：https://www.bilibili.com/video/BV1Yu411w7uc/?spm_id_from=333.999.0.0&;vd

《數(shù)據(jù)治理行業(yè)實踐白皮書》下載地址：https://fs80.cn/l134d5?

《數(shù)棧V6.0產(chǎn)品白皮書》下載地址：https://fs80.cn/cw0iw1

想了解或咨詢更多有關(guān)袋鼠云大數(shù)據(jù)產(chǎn)品、行業(yè)解決方案、客戶案例的朋友，瀏覽袋鼠云官網(wǎng)：https://www.dtstack.com/?src=szbzhan

同時，歡迎對大數(shù)據(jù)開源項目有興趣的同學加入「袋鼠云開源框架釘釘技術(shù) qun」，交流最新開源技術(shù)信息，qun 號碼：30537511，項目地址：https://github.com/DTStack