導(dǎo)語：本文將探討價值工程和數(shù)據(jù)成本優(yōu)化對現(xiàn)代數(shù)據(jù)運(yùn)營的意義。本文解釋過去十年數(shù)據(jù)領(lǐng)域發(fā)生了哪些變化，為什么數(shù)據(jù)實(shí)踐在今天變得如此重要。最后討論中立的多維數(shù)據(jù)可觀測性平臺如何成為企業(yè)部署價值工程最佳實(shí)踐的關(guān)鍵推動因素并實(shí)現(xiàn)數(shù)據(jù)成本優(yōu)化。

?

一、數(shù)據(jù)驅(qū)動的商業(yè)時代

1.良好的管理需要良好的數(shù)據(jù)

良好的管理需要良好的數(shù)據(jù)，這一理念在 21 世紀(jì)變得更加重要。首先，我們正在進(jìn)入數(shù)據(jù)驅(qū)動的商業(yè)時代。在 Uber、Airbnb、Facebook 和其他公司的引領(lǐng)下，公司正在以關(guān)鍵任務(wù)的方式利用運(yùn)營數(shù)據(jù)來改變他們的業(yè)務(wù)并擾亂市場。

?

2.?數(shù)據(jù)對業(yè)務(wù)決策至關(guān)重要

業(yè)務(wù)的速度和數(shù)據(jù)的創(chuàng)建速度都在加快。這些變化產(chǎn)生的結(jié)果是，現(xiàn)在比以往任何時候都更加實(shí)時或接近實(shí)時地做出業(yè)務(wù)決策。為了保持這種業(yè)務(wù)運(yùn)營的步伐，企業(yè)需要持續(xù)訪問有效且準(zhǔn)確的實(shí)時數(shù)據(jù)，并與其他有意義的數(shù)據(jù)進(jìn)行協(xié)調(diào)，以使其可用于業(yè)務(wù)決策。

?在數(shù)據(jù)團(tuán)隊(duì)中，產(chǎn)生了兩個巨大的影響。首先，當(dāng)公司變成數(shù)據(jù)驅(qū)動時，數(shù)據(jù)就成為了公司的命脈。它貫穿企業(yè)所有的關(guān)鍵業(yè)務(wù)流程。從這個角度來看，如何從數(shù)據(jù)投資中獲得最大價值以及優(yōu)化所有與數(shù)據(jù)相關(guān)的成本——包括存儲、傳輸、管理、分析、安全、數(shù)據(jù)質(zhì)量和可靠性等，會對公司產(chǎn)生巨大且直接的影響。

3.傳統(tǒng)APM已落后

企業(yè)不能依賴 20 世紀(jì)的 IT 和數(shù)據(jù)監(jiān)控技術(shù)來管理和優(yōu)化 21 世紀(jì)的數(shù)據(jù)使用和成本。它也不能依賴以應(yīng)用程序?yàn)橹行牡目捎^測性解決方案，例如將數(shù)據(jù)視為事后諸葛亮的應(yīng)用程序性能監(jiān)控 (APM) 。

?企業(yè)需要一個集成了 AI 的整體平臺，無論數(shù)據(jù)在哪里運(yùn)營和傳播，該平臺都可以實(shí)時跟蹤、管理和優(yōu)化您的數(shù)據(jù)。想要提供這些功能并確保所有重要數(shù)據(jù)管道健康，企業(yè)需要一個數(shù)據(jù)可觀測性平臺。

?

二、現(xiàn)代數(shù)據(jù)的價值工程、FinOps 和成本優(yōu)化

1.價值工程

從廣義上講，價值工程是關(guān)于構(gòu)建產(chǎn)品或服務(wù)以獲得最大“價值”，定義為相對于成本（以美元、工時或其他指標(biāo)）的功能（或性能或輸出）。在軟件和 IT 中，價值工程已經(jīng)演變成一種類似于精益和敏捷開發(fā)的整體方法，不斷衡量成本和收益以實(shí)現(xiàn)持續(xù)改進(jìn)。

?價值工程的數(shù)據(jù)驅(qū)動具有嚴(yán)謹(jǐn)性特征，加快了項(xiàng)目開發(fā)時間，能夠隨著條件的變化而快速調(diào)整并防止范圍蔓延從而產(chǎn)生更糟的結(jié)果。這可確保創(chuàng)新為內(nèi)部利益相關(guān)者和外部客戶帶來價值。

?數(shù)據(jù)驅(qū)動的價值工程方法與當(dāng)今數(shù)據(jù)驅(qū)動的業(yè)務(wù)系統(tǒng)相協(xié)調(diào)。根據(jù)定義，數(shù)據(jù)驅(qū)動的公司無法承受任何數(shù)據(jù)停機(jī)時間。通過收集有關(guān)性能、停機(jī)時間和成本的持續(xù)數(shù)據(jù)，價值工程旨在最大限度地減少停機(jī)時間，或者通過使用機(jī)器學(xué)習(xí)和預(yù)測分析來防止它發(fā)生。

?

2.數(shù)據(jù)成本優(yōu)化

數(shù)據(jù)成本優(yōu)化類似于價值工程，但關(guān)注范圍更窄。價值工程的從業(yè)者有時會用更模糊、抽象的術(shù)語來定義性能、成本和價值的變量，而數(shù)據(jù)成本優(yōu)化則可以歸結(jié)為美元和美分：花費(fèi)的美元、獲得的收入和銷售額，以及實(shí)際的投資回報(bào)率。

?因此，數(shù)據(jù)成本優(yōu)化不應(yīng)該只是效率和成本削減。實(shí)踐得當(dāng)?shù)脑挘瑪?shù)據(jù)成本優(yōu)化應(yīng)該是攻守兼?zhèn)?。換句話說，數(shù)據(jù)成本優(yōu)化需要最大限度地提高數(shù)據(jù)性能、減少因瓶頸或質(zhì)量問題導(dǎo)致的數(shù)據(jù)停機(jī)時間，同時簡化數(shù)據(jù)基礎(chǔ)架構(gòu)。

?

3.FinOps

與數(shù)據(jù)成本優(yōu)化密切相關(guān)的是FinOps 的現(xiàn)代學(xué)科。FinOps 的出現(xiàn)是為了應(yīng)對控制成本和最大化云數(shù)據(jù)投資回報(bào)率的艱巨挑戰(zhàn)。云數(shù)據(jù)成本是與運(yùn)營相關(guān)的支出，例如存儲和處理費(fèi)用。這些成本可能因數(shù)量、一天中的時間以及組織控制范圍內(nèi)外的其他因素而有很大差異。這使得它們比傳統(tǒng)的數(shù)據(jù)投資更難管理和預(yù)測，例如購買服務(wù)器硬件、軟件許可證、存儲磁盤等，因?yàn)檫@些投資可以簡單地在可預(yù)測的生命周期內(nèi)攤銷。

?數(shù)據(jù)成本優(yōu)化從業(yè)者可以 360 度全方位了解公司的數(shù)據(jù)成本，而 FinOps 專家則希望將細(xì)節(jié)歸零，以實(shí)現(xiàn)按部門對數(shù)據(jù)管道和存儲成本進(jìn)行準(zhǔn)確的扣款。這種細(xì)粒度的觀點(diǎn)很重要，因?yàn)樗兄趧?chuàng)建一種直接支持?jǐn)?shù)據(jù)成本優(yōu)化宏觀目標(biāo)的問責(zé)和數(shù)據(jù)重用文化。

三、FinOps和數(shù)據(jù)管道之間的關(guān)系

以下是工作中的數(shù)據(jù)成本優(yōu)化和 FinOps 方法的示例：

?想象一下，一個產(chǎn)品團(tuán)隊(duì)想要為公司的購物網(wǎng)站創(chuàng)建一個實(shí)時推薦引擎。建立并交付該實(shí)時推薦引擎，必須基于客戶最近查看的內(nèi)容。因此，產(chǎn)品團(tuán)隊(duì)需要與數(shù)據(jù)工程師合作，計(jì)算出數(shù)據(jù)應(yīng)用程序查詢云中實(shí)時分析數(shù)據(jù)庫的持續(xù)成本，該數(shù)據(jù)庫不斷地從多個來源獲取數(shù)據(jù)，從站點(diǎn)的產(chǎn)品庫存到客戶點(diǎn)擊流。然后，該數(shù)據(jù)應(yīng)用程序必須在幾毫秒內(nèi)向客戶提供建議。

?這是一個復(fù)雜的數(shù)據(jù)管道，不僅需要花費(fèi)大量的精力和金錢來構(gòu)建，而且還會因銷售、假期等而產(chǎn)生動態(tài)持續(xù)的成本和收入。產(chǎn)品團(tuán)隊(duì)和數(shù)據(jù)工程師將跟蹤推薦引擎產(chǎn)生的銷售額和基礎(chǔ)數(shù)據(jù)管道的持續(xù)成本，以確定他們的投資回報(bào)率。他們還可能執(zhí)行 A/B 測試，以查看通過在數(shù)據(jù)管道上投入更多資金來加速引擎的結(jié)果是否會帶來更多的 ROI。換句話說，使用 FinOps 和數(shù)據(jù)成本優(yōu)化，他們可以確定項(xiàng)目是否正在提供最大的收入和價值，或者更多的投資是否可以帶來更多的收益。

?但是，要了解公司的數(shù)據(jù)基礎(chǔ)架構(gòu)以進(jìn)行這些計(jì)算，以及在需要時進(jìn)行更改的能力，公司的?DataOps 團(tuán)隊(duì)需要擁有正確的平臺。

四、隨機(jī)的敏捷行為問題

除了計(jì)算運(yùn)營費(fèi)用和產(chǎn)品價值之外，過去十年云計(jì)算的興起還有另一個副作用。業(yè)務(wù)部門對以命令和控制為中心的 IT 部門感到沮喪，他們自己急于部署更易于使用和擴(kuò)展的云服務(wù)。銷售和營銷團(tuán)隊(duì)迷上了 Salesforce，開發(fā)人員將應(yīng)用程序和存儲遷移到 AWS，數(shù)據(jù)工程師接受了云數(shù)據(jù)倉庫。

?隨著時間的推移，這種隨機(jī)的敏捷行為成本會逐漸累加起來。在難以找到的云存儲庫中，存在著猖獗且昂貴的數(shù)據(jù)復(fù)制。有時這些是特定團(tuán)隊(duì)擁有的數(shù)據(jù)孤島，其他人無法訪問。有時，它們是被遺忘的“暗數(shù)據(jù)”池，這些數(shù)據(jù)未被使用，但每個月仍然讓組織付出代價。無論哪種方式，都是一種流行病，預(yù)計(jì)每個公司存儲的數(shù)據(jù)中有 60%-73% 都未使用。

?數(shù)據(jù)管道不受管理的增長加劇了數(shù)據(jù)重復(fù)問題，同時也增加了數(shù)據(jù)錯誤、過時數(shù)據(jù)集和數(shù)據(jù)可靠性問題的數(shù)量。數(shù)據(jù)通過數(shù)據(jù)管道傳輸?shù)拇螖?shù)越多，轉(zhuǎn)換、聚合、錯誤標(biāo)記、損壞等的次數(shù)就越多。這會降低數(shù)據(jù)的信任度和有用性，并為數(shù)據(jù)工程師帶來昂貴的清理工作。

?舉一個例子。想象一下，一家公司使用精心設(shè)計(jì)的數(shù)據(jù)管道構(gòu)建了一個 ML 模型，這讓其數(shù)據(jù)工程師花費(fèi)了許多工作時間。第二個團(tuán)隊(duì)想要使用幾乎相同的數(shù)據(jù)構(gòu)建應(yīng)用程序，通過一些增量工作，數(shù)據(jù)工程師可以使原始管道同時服務(wù)于兩個應(yīng)用程序。

?如果缺乏數(shù)據(jù)發(fā)現(xiàn)工具意味著沒有人知道原始管道和擬議管道的相似之處怎么辦？首先，第二個團(tuán)隊(duì)可能會因?yàn)橹爸貜?fù)使用質(zhì)量較差的數(shù)據(jù)集的經(jīng)驗(yàn)而持懷疑態(tài)度。其次，公司可能缺乏在兩個業(yè)務(wù)團(tuán)隊(duì)之間準(zhǔn)確跟蹤和劃分?jǐn)?shù)據(jù)管道成本的工具。最終結(jié)果是，第二個團(tuán)隊(duì)堅(jiān)持從頭開始構(gòu)建一個全新的管道。

?

五、解決方案：中立的多維數(shù)據(jù)可觀測性

中立的多維數(shù)據(jù)可觀測性平臺提供了上述所有缺失的功能。這為數(shù)據(jù)工程師提供了實(shí)時可見性、智能和控制能力，以建立一種價值工程和數(shù)據(jù)重用文化，不僅可以優(yōu)化持續(xù)成本，還可以優(yōu)化投資回報(bào)率。

?HK-Acceldata?就是這樣一個中立的多維數(shù)據(jù)可觀測性平臺，其包括HK-Acceldata?Torch?、HK-Acceldata?Pulse、HK-Acceldata?Flow，能夠提高數(shù)據(jù)可靠性、快速擴(kuò)展并降低所有數(shù)據(jù)管道的成本。

?1.HK-Acceldata?Torch

Torch是一個數(shù)據(jù)質(zhì)量和可靠性解決方案，可提供自動化的持續(xù)數(shù)據(jù)發(fā)現(xiàn)和編目。Torch確保了所有數(shù)據(jù)集無論存儲在何處，都可以通過集中庫存對系統(tǒng)中的所有用戶可見，可以防止存儲成本高昂的數(shù)據(jù)孤島的增長、產(chǎn)生信任和數(shù)據(jù)質(zhì)量問題以及安全風(fēng)險(xiǎn)。

?Torch?在主動消除重復(fù)和冗余數(shù)據(jù)方面更進(jìn)一步。它使用機(jī)器學(xué)習(xí)來自動識別數(shù)據(jù)集和標(biāo)記數(shù)據(jù)。這些元數(shù)據(jù)標(biāo)簽有助于描述數(shù)據(jù)的新鮮度、沿襲、與其他數(shù)據(jù)集的依賴關(guān)系、使用位置等。這使數(shù)據(jù)工程師能夠找到舊的、未使用的、漂移的數(shù)據(jù)集，并消除它們或?qū)⑺鼈冝D(zhuǎn)移到更便宜的冷存儲中，同時提高剩余數(shù)據(jù)集的數(shù)據(jù)質(zhì)量。

?Torch?還使?jié)撛谟脩裟軌蜉p松篩選并為他們的應(yīng)用程序找到最佳數(shù)據(jù)集，并讓他們相信他們的選擇不會導(dǎo)致意外結(jié)果或錯誤。Torch?創(chuàng)造了一種高效和重用文化，減少了對新數(shù)據(jù)集和數(shù)據(jù)管道的需求，從而減少了數(shù)據(jù)工程師的工作量。

?Torch 的數(shù)據(jù)分析功能還可以幫助公司確保將數(shù)據(jù)無錯誤地遷移到云端。最新版本的 HK-Acceldata?Torch?對上述功能進(jìn)行了改進(jìn)。

2.HK-Acceldata Pulse

HK-Acceldata?Pulse提供對數(shù)據(jù)集和數(shù)據(jù)管道的實(shí)時性能跟蹤，可以分析檢查當(dāng)前可能存在的異常情況，也可以預(yù)測未來問題的模式。這有助于公司修復(fù)和防止意外中斷或減速，這些中斷或減速可能會使數(shù)據(jù)驅(qū)動的公司損失數(shù)百萬美元的銷售額。它還可以幫助公司在滿足客戶 SLA 的同時，調(diào)整其基礎(chǔ)架構(gòu)和云成本以節(jié)省數(shù)百萬美元。

3.HK-Acceldata Flow

HK-Acceldata?Pulse?和HK-Acceldata?Flow中的細(xì)粒度實(shí)時跟蹤還允許公司跟蹤和預(yù)測其數(shù)據(jù)運(yùn)營成本，不僅針對單個管道，還針對單個應(yīng)用程序或用戶。這可以準(zhǔn)確地向不同部門和用戶收取費(fèi)用，并允許公司計(jì)算特定數(shù)據(jù)驅(qū)動的應(yīng)用程序或業(yè)務(wù)流程產(chǎn)生的價值或投資回報(bào)率。Flow 可以在遵守關(guān)鍵 SLA的同時，減少數(shù)據(jù)工程師進(jìn)行自動化操作管理數(shù)的千個數(shù)據(jù)管道，能夠進(jìn)一步降低了數(shù)據(jù)成本。

?管理數(shù)據(jù)及其成本和收益對于數(shù)據(jù)驅(qū)動的組織來說至關(guān)重要。為了解決上述問題，像HK-Acceldata這樣的多維數(shù)據(jù)可觀測性平臺是為企業(yè)提供實(shí)時數(shù)據(jù)、可見性和控制的最佳解決方案。