Dazdata MDS

Mozart Data創(chuàng)立于2020 年，已成功為 Clover Health、Eaze、Opendoor 和 Yammer 等高增長初創(chuàng)企業(yè)構(gòu)建和實(shí)施數(shù)據(jù)管道和工具，是用于集中、組織和分析數(shù)據(jù)的一體化現(xiàn)代數(shù)據(jù)平臺。

背景

隨著公司跨部門積累更多數(shù)據(jù)——用戶資料、訂單詳細(xì)信息、營銷指標(biāo)等?！? 它達(dá)到了這樣一個(gè)地步，即使用人力資源（通常是分析師或工程師）手動拉取、合并、清理和組織數(shù)據(jù)集不再具有良好的商業(yè)意義。如此繁重的任務(wù)經(jīng)常使熟練而昂貴的員工遠(yuǎn)離需要他們專業(yè)知識的不可轉(zhuǎn)移的高價(jià)值工作。幸運(yùn)的是，技術(shù)更適合執(zhí)行此工作流程。

現(xiàn)代數(shù)據(jù)平臺及其中的數(shù)據(jù)平臺服務(wù)（有時(shí)稱為數(shù)據(jù)平臺即服務(wù)）使公司能夠從員工轉(zhuǎn)向技術(shù)，同時(shí)通過集成和自動化優(yōu)化其數(shù)據(jù)管道。在本文中，我們將解釋現(xiàn)代數(shù)據(jù)平臺的組件、最常用的數(shù)據(jù)平臺服務(wù)，以及MozartData工具如何幫助企業(yè)更快、更好地建立端到端數(shù)據(jù)管理。

什么是現(xiàn)代數(shù)據(jù)平臺？

術(shù)語“現(xiàn)代數(shù)據(jù)平臺”可以被認(rèn)為是完整的軟件包。它包括數(shù)據(jù)管道的必要核心組件，統(tǒng)稱為現(xiàn)代數(shù)據(jù)堆棧：ETL（提取、轉(zhuǎn)換、加載）、數(shù)據(jù)倉庫和數(shù)據(jù)轉(zhuǎn)換層。當(dāng)企業(yè)擴(kuò)展到現(xiàn)代數(shù)據(jù)堆棧之外時(shí)，他們正在添加數(shù)據(jù)平臺服務(wù)，其中包括數(shù)據(jù)可靠性、數(shù)據(jù)可觀測性和數(shù)據(jù)編目。

需要注意的是，現(xiàn)代數(shù)據(jù)平臺與客戶數(shù)據(jù)平臺 （CDP） 不同，后者創(chuàng)建了一個(gè)客戶接觸點(diǎn)和交互的集中式數(shù)據(jù)庫。

如何設(shè)置現(xiàn)代數(shù)據(jù)堆棧的組件？

可以通過兩種方式為您的企業(yè)創(chuàng)建現(xiàn)代數(shù)據(jù)堆棧：組裝一系列單獨(dú)的解決方案或選擇多合一工具如MozartData。

采用第一種方法的公司通常認(rèn)為它具有成本效益，因?yàn)樗麄兺ǔS著時(shí)間的推移而增加零件，因?yàn)樗麄冇X得需要它們。漸漸地，他們朝著多合一工具的功能努力。但是，這樣做會迫使企業(yè)繼續(xù)依賴手動工作來處理現(xiàn)代數(shù)據(jù)堆棧中缺少的部分;這就是數(shù)據(jù)工程師經(jīng)常需要的地方。連接這些工具并維護(hù)通過它們的數(shù)據(jù)流也經(jīng)常需要工程師的支持。不建議采用這種零敲碎打的方法，因?yàn)槭聦?shí)證明它既沒有效率也沒有成本效益。

一體化工具使企業(yè)能夠?qū)⒐ぷ髁繌娜藛T無縫轉(zhuǎn)移到技術(shù)上，而不是在構(gòu)建階段效率低下。此外，現(xiàn)代數(shù)據(jù)堆棧的基本工具是相互關(guān)聯(lián)的，并且在共同運(yùn)營時(shí)可以作為技術(shù)解決方案和支持公司的業(yè)務(wù)目標(biāo)時(shí)發(fā)揮最佳作用。這就是為什么選擇像莫扎特?cái)?shù)據(jù)這樣的開箱即用的集成工具既高效又具有成本效益的原因，它使用 Fivetran 支持 400+ 數(shù)據(jù)連接器，使用 Snowflake 提供數(shù)據(jù)倉庫，以及基于 SQL 編輯器構(gòu)建的數(shù)據(jù)轉(zhuǎn)換層。莫扎特?cái)?shù)據(jù)的現(xiàn)代數(shù)據(jù)堆?？梢杂赡切缀鯖]有技術(shù)專長的人建立，并且成本只是其他選項(xiàng)的一小部分，這要?dú)w功于Snowflake和Fivetran的合作伙伴折扣。我們的解決方案還包括數(shù)據(jù)可觀測性、數(shù)據(jù)可靠性和數(shù)據(jù)編目，因此您可以將這些工具與數(shù)據(jù)平臺策略聯(lián)系起來。

數(shù)據(jù)可觀測性作為數(shù)據(jù)平臺策略的一部分

如前所述，添加數(shù)據(jù)平臺服務(wù)時(shí)，新式數(shù)據(jù)堆棧將擴(kuò)展到新式數(shù)據(jù)平臺。其中最重要的是數(shù)據(jù)可觀測性。

數(shù)據(jù)可觀測性使你能夠監(jiān)視數(shù)據(jù)的運(yùn)行狀況，并快速識別問題及其來源，例如數(shù)據(jù)轉(zhuǎn)換錯(cuò)誤或未同步的相關(guān)表。將數(shù)據(jù)可觀測性作為數(shù)據(jù)平臺服務(wù)，利益干系人可以查看整個(gè)數(shù)據(jù)管道中的數(shù)據(jù)沿襲，包括源表、這些表的數(shù)據(jù)轉(zhuǎn)換、生成的表、版本歷史記錄以及依賴項(xiàng)的快速概覽視圖。

擁有快速可視化指南，使您能夠了解數(shù)據(jù)沿襲，這也使自動化更加可行，因?yàn)樗梢詭椭鷽Q定執(zhí)行同步數(shù)據(jù)源和運(yùn)行轉(zhuǎn)換等操作的頻率。例如，您將能夠輕松識別哪些源表用于多個(gè)不同的數(shù)據(jù)轉(zhuǎn)換，并且您可能決定更頻繁地更新這些源表。同樣，如果您的倉庫中有可供訪問的數(shù)據(jù)，但沒有進(jìn)行主動轉(zhuǎn)換，則可以決定不每天同步這些表，從而使用 Fivetran 節(jié)省每月的活動行。

數(shù)據(jù)可靠性作為數(shù)據(jù)平臺戰(zhàn)略的一部分

數(shù)據(jù)驅(qū)動始于數(shù)據(jù)可靠性。您需要能夠相信您的企業(yè)正在使用的數(shù)據(jù)是完整、準(zhǔn)確和最新的。只有這樣，您才能對根據(jù)這些數(shù)據(jù)創(chuàng)建的分析和建議充滿信心。數(shù)據(jù)可觀測性和可靠性是企業(yè)數(shù)據(jù)平臺架構(gòu)的連接部分，因?yàn)榍罢呤鼓軌驋呙韫艿赖目梢暬⒋_認(rèn)沒有任何損壞。

您的數(shù)據(jù)平臺公司應(yīng)將警報(bào)作為數(shù)據(jù)可靠性服務(wù)的一部分，因?yàn)樗鼈兛梢詭椭髽I(yè)主動捕獲和調(diào)試問題。有兩種重要的警報(bào)類型。

1. 自動警報(bào)：如果表上滿足某些條件，這些警報(bào)允許您收到通知。例如，如果指定列中缺少值，或者值超過定義的數(shù)量，則可能會標(biāo)記錯(cuò)誤或里程碑成就。

2. 轉(zhuǎn)換測試警報(bào)：如果轉(zhuǎn)換出現(xiàn)問題，這將通知你并暫停該過程。例如，如果數(shù)據(jù)過期或跟蹤結(jié)果（如異常高或低的返回值），您可以收到警報(bào)。

數(shù)據(jù)編目作為數(shù)據(jù)平臺策略的一部分

編目可組織數(shù)據(jù)資產(chǎn)（標(biāo)記、標(biāo)記和文檔），使其更易于理解、查找和使用。這對于擴(kuò)展團(tuán)隊(duì)尤其重要，因?yàn)樗鼮槊總€(gè)人提供了共享詞匯表和查找所需信息的有效方法。

有助于數(shù)據(jù)編目的功能包括創(chuàng)建表和轉(zhuǎn)換的標(biāo)記、說明和注釋。個(gè)人可以收藏表并輕松查看最近訪問的表，以立即回答業(yè)務(wù)問題。

如何使用MozartData建立現(xiàn)代數(shù)據(jù)平臺

如果沒有大量的人力資源，手動管理所有這些數(shù)據(jù)平臺服務(wù)幾乎是不可能的，這就是我們?yōu)槟芾淼脑颉ozartData提供了一個(gè)開箱即用的現(xiàn)代數(shù)據(jù)平臺，該平臺具有內(nèi)置的技術(shù)集成和工具，可實(shí)現(xiàn)可觀測性、可靠性和編目，因此組織中的任何人都可以查找和使用完整、準(zhǔn)確和最新的信息。當(dāng)個(gè)人擁有這些能力時(shí)，無論他們是否非常技術(shù)化，您都可以節(jié)省他們和業(yè)務(wù)時(shí)間，并確保他們從事有影響力的項(xiàng)目。

我們直觀的工具使您的團(tuán)隊(duì)可以輕松地從手動數(shù)據(jù)管理轉(zhuǎn)向自動化，并快速開始使用上述數(shù)據(jù)服務(wù)。