近日，2023 GIAC 全球互聯(lián)網架構大會在中國深圳召開。作為互聯(lián)網技術的年度盛會，本次大會的召開備受關注，大會聚集了 80多位來自一線互聯(lián)網企業(yè)的資深技術專家和架構師，圍繞AIGC、DataOps、Web3 等熱門技術話題展開分享，探討云原生、湖倉一體、研發(fā)效能、元宇宙等技術最新的落地實踐及創(chuàng)新思路，為參會者帶來了一場技術交鋒與經驗收獲之旅。

據(jù)了解，全球互聯(lián)網架構大會(簡稱“GIAC”)是長期關注互聯(lián)網技術與架構的高可用架構技術社區(qū)和msup推出的面向架構師、技術負責人及高端技術從業(yè)人員的年度技術架構大會，是中國地區(qū)規(guī)模最大的技術會議之一。

聯(lián)易融大數(shù)據(jù)技術專家孫朝和受邀參加了本次大會，并帶來了主題為《DataOps中的數(shù)據(jù)可觀測性實踐》的分享，分享了日益增長的數(shù)據(jù)量、數(shù)據(jù)和數(shù)據(jù)管道復雜性帶來的挑戰(zhàn)和構建數(shù)據(jù)可觀測性平臺來提升數(shù)據(jù)管道的健康度，保證數(shù)據(jù)的可靠性和及時交付的技術實踐。

孫朝和介紹到，DataOps 是一種面向流程的自動化方法論，目標是提高數(shù)據(jù)質量和數(shù)據(jù)分析的效率，從而輸出準確且及時的數(shù)據(jù)。聯(lián)易融基于云原生和開源大數(shù)據(jù)組件構建了 DataOps 所需的數(shù)據(jù)平臺，通過離線和實時流將數(shù)據(jù)集成到數(shù)據(jù)中心打破數(shù)據(jù)孤島，利用數(shù)據(jù)編排來創(chuàng)建和自動化工作流來處理數(shù)據(jù)，并對數(shù)據(jù)管道中的數(shù)據(jù)進行測試和檢查來保證數(shù)據(jù)的質量，最終輸出高質量的數(shù)據(jù)來進行數(shù)據(jù)分析、機器學習和可視化。

“數(shù)據(jù)可觀測性是 DataOps 的重要組成部分，它通過一系列的流程和技術來近乎實時地發(fā)現(xiàn)問題和解決問題，貫穿于數(shù)據(jù)旅程的全過程，主動觀測數(shù)據(jù)集和數(shù)據(jù)管道來進行監(jiān)控和告警?！睂O朝和表示，聯(lián)易融通過基于開源組件結合自主研發(fā)的方式構建了以數(shù)據(jù)管道服務為底座、整合元數(shù)據(jù)中心、數(shù)據(jù)質量中心、管道觀測中心和告警服務的數(shù)據(jù)可觀測性平臺，提供了數(shù)據(jù)探測、數(shù)據(jù)管道監(jiān)控、任務和數(shù)據(jù)集血緣、數(shù)據(jù)質量檢查和告警通知等功能，讓用戶能夠在平臺上獲取數(shù)據(jù)管道的健康情況、數(shù)據(jù)任務的性能信息和數(shù)據(jù)集的質量信息等多維度的信息，以更全面的視角來解決數(shù)據(jù)問題和進行性能優(yōu)化，減少數(shù)據(jù)宕機時間，降低數(shù)據(jù)問題帶來的損失。