【注】本文譯自：
https://dzone.com/articles/a-guide-to-dataops-the-new-age-of-data-management

DataOps 不僅僅是另一種開發(fā)方法。它通過民主化的訪問和巨大的潛力從根本上改變了組織使用數(shù)據(jù)的方式。

最近一項(xiàng)關(guān)于企業(yè)面臨的大數(shù)據(jù)挑戰(zhàn)的調(diào)查揭示了一些有關(guān)數(shù)據(jù)利用的驚人事實(shí)。38% 的企業(yè)“缺乏”令人信服的商業(yè)案例來(lái)使用他們的數(shù)據(jù)。34% 的公司沒有足夠成熟的流程來(lái)處理大數(shù)據(jù)技術(shù)，其中 24% 的公司無(wú)法為最終用戶提供大數(shù)據(jù)！

說這些發(fā)現(xiàn)令人震驚是輕描淡寫。如果調(diào)查結(jié)果屬實(shí)，那么很大一部分企業(yè)不知道他們可以做什么——他們必須做什么——利用他們擁有的數(shù)據(jù)，并繼續(xù)從客戶那里收集數(shù)據(jù)。與競(jìng)爭(zhēng)對(duì)手相比，這使他們處于嚴(yán)重劣勢(shì)。

在數(shù)據(jù)驅(qū)動(dòng)的競(jìng)爭(zhēng)格局中，忽視數(shù)據(jù)的好處，甚至無(wú)法充分發(fā)揮其潛力，對(duì)組織來(lái)說只會(huì)意味著災(zāi)難性的結(jié)局?？梢钥隙ǖ氖?，其中許多組織正在收集大量數(shù)據(jù)。他們只是不想、不知道或沒有適當(dāng)?shù)牧鞒虂?lái)使用它。

部分問題是遺留數(shù)據(jù)管道。隨著數(shù)據(jù)在數(shù)據(jù)管道中從源移動(dòng)到目標(biāo)，每個(gè)階段對(duì)數(shù)據(jù)的含義以及如何使用它都有自己的想法。這種不連貫的數(shù)據(jù)視圖使數(shù)據(jù)管道變得脆弱且難以改變，從而使組織在面對(duì)變化時(shí)反應(yīng)遲緩。

應(yīng)對(duì)這一挑戰(zhàn)的解決方案是 DataOps。

什么是DataOps（數(shù)據(jù)運(yùn)維）？

DataOps 是 data operationalization（數(shù)據(jù)操作化）的縮寫，是一種協(xié)作數(shù)據(jù)管理方法，強(qiáng)調(diào)組織內(nèi)數(shù)據(jù)管道的通信、集成和自動(dòng)化。

與數(shù)據(jù)存儲(chǔ)管理不同，DataOps 并不主要關(guān)注“存儲(chǔ)”數(shù)據(jù)。它更關(guān)注“交付”，即讓所有利益相關(guān)者都可以輕松獲得、訪問和使用數(shù)據(jù)。它的目標(biāo)是創(chuàng)建可預(yù)測(cè)的數(shù)據(jù)、數(shù)據(jù)模型和相關(guān)工件的交付和變更管理，以便在整個(gè)組織和消費(fèi)者中更快地交付價(jià)值。

DataOps 通過采用技術(shù)將數(shù)據(jù)的設(shè)計(jì)、部署、管理和交付自動(dòng)化來(lái)實(shí)現(xiàn)這一目標(biāo)，以改進(jìn)其使用和提供的價(jià)值。這使所有使用數(shù)據(jù)的利益相關(guān)者都可以輕松訪問數(shù)據(jù)，并加快數(shù)據(jù)分析的周期時(shí)間。

通過這樣做，DataOps 大大提高了組織對(duì)市場(chǎng)變化的響應(yīng)時(shí)間，并使他們能夠更快地應(yīng)對(duì)挑戰(zhàn)。

DataOps 解決的挑戰(zhàn)和問題

大數(shù)據(jù)最重要的承諾——快速且可靠的數(shù)據(jù)驅(qū)動(dòng)的可操作業(yè)務(wù)洞察——仍未實(shí)現(xiàn)，因?yàn)榇嬖诒姸嗵魬?zhàn)，這些挑戰(zhàn)可大致分為組織、技術(shù)和人員（使用數(shù)據(jù)的人）的挑戰(zhàn)。

DataOps 通過結(jié)合來(lái)自敏捷、DevOps 和精益制造方法的學(xué)習(xí)和實(shí)踐，幫助克服這些挑戰(zhàn)。以下是 DataOps 所要應(yīng)對(duì)的最重要挑戰(zhàn)：

• 速度

現(xiàn)代組織依賴（至少必須依賴）來(lái)自許多不同來(lái)源和許多不同形式的數(shù)據(jù)。清理、改進(jìn)和使用數(shù)據(jù)可能是一個(gè)如此復(fù)雜和漫長(zhǎng)的過程，以至于當(dāng)最終從中產(chǎn)生洞察力時(shí)，它們與快速發(fā)展的業(yè)務(wù)環(huán)境不再相關(guān)。

DataOps 從根本上提高了從數(shù)據(jù)中獲取洞察力的速度。

• 數(shù)據(jù)類型

有時(shí)，組織收集的數(shù)據(jù)可能是非結(jié)構(gòu)化格式，這使得從中提取見解變得極其困難。此類數(shù)據(jù)源完全有可能甚至有可能為新興業(yè)務(wù)挑戰(zhàn)提供線索。因此，僅僅使用易于處理的結(jié)構(gòu)化數(shù)據(jù)是不夠的。

DataOps 使組織能夠識(shí)別、收集和使用來(lái)自每個(gè)可用數(shù)據(jù)源的數(shù)據(jù)。

• 數(shù)據(jù)孤島

DataOps 打破組織內(nèi)的數(shù)據(jù)孤島并集中所有數(shù)據(jù)。同時(shí)，它構(gòu)建了彈性系統(tǒng)，為每個(gè)需要訪問數(shù)據(jù)的利益相關(guān)者提供自助服務(wù)。這些系統(tǒng)隨著組織內(nèi)外的變化而發(fā)展，并且為“數(shù)據(jù)用戶”提供了可預(yù)測(cè)的方式來(lái)查找和使用他們需要的數(shù)據(jù)。

DataOps 的業(yè)務(wù)優(yōu)勢(shì)

通過克服挑戰(zhàn)，DataOps 使 DataOps 團(tuán)隊(duì)能夠?qū)?shù)據(jù)交付給需要它的人——數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、ML 工程師，甚至客戶——并且速度比以前快得多。這一成就為數(shù)據(jù)驅(qū)動(dòng)型企業(yè)帶來(lái)了多項(xiàng)好處，其中包括：

• 最大限度地利用數(shù)據(jù)

DataOps 為所有數(shù)據(jù)“用戶”解鎖數(shù)據(jù)，無(wú)論是分析師、高管，還是客戶。它使數(shù)據(jù)交付自動(dòng)化，并在此過程中允許每個(gè)部門從數(shù)據(jù)中提取最大價(jià)值。 結(jié)果是提高了競(jìng)爭(zhēng)力、對(duì)變化的響應(yīng)能力和更高的投資回報(bào)率。

• 在正確的時(shí)間獲得正確的見解

迄今為止，大數(shù)據(jù)的一個(gè)常見問題是在錯(cuò)誤的時(shí)間獲得正確的見解。來(lái)得太晚的見解是無(wú)用的。DataOps 將數(shù)據(jù)快速提供給需要它的每個(gè)人。因此，他們可以比以往任何時(shí)候都更快地做出更明智的決策，使組織能夠快速發(fā)展以適應(yīng)市場(chǎng)變化。

• 提高數(shù)據(jù)生產(chǎn)力

DataOps 使用自動(dòng)化工具將數(shù)據(jù)交付作為自助服務(wù)進(jìn)行操作。因此，消除了數(shù)據(jù)請(qǐng)求和數(shù)據(jù)訪問之間的任何固有延遲，從而使所有團(tuán)隊(duì)能夠迅速做出數(shù)據(jù)驅(qū)動(dòng)的決策。

DataOps 還擺脫了手動(dòng)數(shù)據(jù)管道變更管理流程的組織。相反，對(duì)數(shù)據(jù)管道的所有更改都經(jīng)過簡(jiǎn)化和自動(dòng)化，以提供快速、有針對(duì)性的更改。

• 針對(duì)結(jié)果優(yōu)化的數(shù)據(jù)管道

DataOps 在數(shù)據(jù)管道中加入了一個(gè)反饋循環(huán)，允許各種數(shù)據(jù)消費(fèi)者識(shí)別他們需要的特定數(shù)據(jù)并從中獲得定制的見解。然后，每個(gè)團(tuán)隊(duì)都可以使用這些洞察來(lái)降低成本、發(fā)現(xiàn)新機(jī)會(huì)、增加收入并提高組織的盈利能力。

DataOps 的原則

在技術(shù)方面，DataOps 實(shí)現(xiàn)了組織最具開創(chuàng)性的里程碑之一——使他們的數(shù)據(jù)程序具有高度可擴(kuò)展性，而不會(huì)影響數(shù)據(jù)分析的速度或質(zhì)量。 因?yàn)樗梃b了 DevOps 的經(jīng)驗(yàn)教訓(xùn)和實(shí)踐，所以 DataOps 在許多關(guān)鍵方面與前者重疊。這在 DataOps 的三個(gè)基本原則中可見：

• 持續(xù)集成

DataOps 動(dòng)態(tài)地識(shí)別、整理、集成和提供來(lái)自各種來(lái)源的數(shù)據(jù)。當(dāng)團(tuán)隊(duì)為 DataOps 團(tuán)隊(duì)添加新數(shù)據(jù)源進(jìn)行處理時(shí)，新數(shù)據(jù)會(huì)自動(dòng)集成到數(shù)據(jù)管道中，并使用 AI/ML 工具提供給各個(gè)利益相關(guān)者。

由于自動(dòng)化，從數(shù)據(jù)發(fā)現(xiàn)到數(shù)據(jù)管理、轉(zhuǎn)換和洞察定制的所有內(nèi)容都得到了完全簡(jiǎn)化。實(shí)際上，可以將數(shù)據(jù)以實(shí)時(shí)流的形式直接傳輸?shù)筋A(yù)測(cè)算法，以便向用戶尤其是消費(fèi)者，提供實(shí)時(shí)的見解。

這種優(yōu)化的數(shù)據(jù)集成過程可確保在數(shù)據(jù)發(fā)現(xiàn)和數(shù)據(jù)利用之間不會(huì)浪費(fèi)時(shí)間。

• 持續(xù)交付

組織數(shù)據(jù)的價(jià)值取決于從中產(chǎn)生的見解。訪問它的團(tuán)隊(duì)越多，從中提取的見解就越多。然而，數(shù)據(jù)可訪問性也伴隨著數(shù)據(jù)治理挑戰(zhàn)。DataOps 在整個(gè)組織內(nèi)實(shí)施數(shù)據(jù)治理，同時(shí)使數(shù)據(jù)可訪問性民主化并增強(qiáng)其安全性和隱私性。

數(shù)據(jù)以協(xié)作方式有目的地交付給內(nèi)部和外部數(shù)據(jù)消費(fèi)者，同時(shí)符合內(nèi)部數(shù)據(jù)質(zhì)量和數(shù)據(jù)屏蔽規(guī)則。通常，使用“智能”數(shù)據(jù)平臺(tái)來(lái)實(shí)現(xiàn)這一目標(biāo)。當(dāng)數(shù)據(jù)的質(zhì)量、隱私和安全得到保證時(shí)，各種利益相關(guān)者可以使用它來(lái)獲得準(zhǔn)確的見解，而不必?fù)?dān)心數(shù)據(jù)治理的影響。

• 持續(xù)部署

數(shù)字企業(yè)依靠一系列數(shù)據(jù)驅(qū)動(dòng)的應(yīng)用程序來(lái)實(shí)時(shí)做出功能決策，這對(duì)組織的未來(lái)具有深遠(yuǎn)的影響。關(guān)鍵任務(wù)功能，如欺詐檢測(cè)、AI（人工智能）聊天機(jī)器人、銷售、供應(yīng)鏈管理等，需要隨時(shí)可用的最新數(shù)據(jù)來(lái)進(jìn)行決策。持續(xù)部署使所有用戶都能無(wú)縫訪問新數(shù)據(jù)。

DevOps?對(duì)比?DataOps

雖然 DataOps 借鑒了 DevOps 的知識(shí)和操作流程，但兩者之間存在顯著差異。列舉如下：

• 人為因素

盡管 DataOps 參與者可能精通技術(shù)，但他們更專注于為數(shù)據(jù)用戶創(chuàng)建算法、模型和視覺輔助工具。另一方面，DevOps 參與者是具有操作思維的軟件工程師。

• 流程

DataOps 流程的特點(diǎn)是數(shù)據(jù)管道和分析開發(fā)編排，而 DevOps 流程幾乎不涉及編排。

• 測(cè)試

與 DevOps 不同的是，DataOps 嚴(yán)重依賴數(shù)據(jù)屏蔽來(lái)進(jìn)行測(cè)試，因此，測(cè)試數(shù)據(jù)管理變得至關(guān)重要。此外，DataOps 通常在部署之前在數(shù)據(jù)管道和分析開發(fā)過程中測(cè)試和驗(yàn)證數(shù)據(jù)。

• 工具

DevOps 擁有成熟的工具生態(tài)系統(tǒng)，尤其是測(cè)試工具。DataOps 是一種新方法，通常需要團(tuán)隊(duì)從頭開始構(gòu)建工具或根據(jù)其目的修改 DevOps 工具。

DataOps 平臺(tái)的演進(jìn)

在數(shù)據(jù)分析的早期，ETL（提取、轉(zhuǎn)換、加載）工具成為管理大量（相對(duì)而言）傳入數(shù)據(jù)的強(qiáng)大工具。然而，隨著傳入數(shù)據(jù)的多樣性、準(zhǔn)確性和數(shù)量激增，對(duì)可擴(kuò)展性和高速數(shù)據(jù)分析的需求變得更加迫切。數(shù)據(jù)連接器固有的缺陷也被證明是一個(gè)限制因素。

云的出現(xiàn)將解決數(shù)據(jù)攝取、管理和分析的挑戰(zhàn)。當(dāng) ETL 工具與云資源結(jié)合時(shí)，它加快了分析速度。然而，一個(gè)日益嚴(yán)峻的挑戰(zhàn)仍然存在——數(shù)據(jù)可訪問性。僅僅使用數(shù)據(jù)來(lái)產(chǎn)生見解是不夠的； 每個(gè)人都應(yīng)該能夠獲得這些見解。

于是，DataOps 誕生了！

DataOps 實(shí)現(xiàn)了數(shù)據(jù)訪問的大眾化。所有利益相關(guān)者都可以訪問受組織數(shù)據(jù)治理政策約束的安全、高質(zhì)量的數(shù)據(jù)，而不是少數(shù)人有權(quán)訪問數(shù)據(jù)。