現(xiàn)代數(shù)據(jù)棧MDS的6個趨勢
Dazdata MDS
有興趣利用原有數(shù)據(jù)做更多事情的公司會爆發(fā)式增長,數(shù)據(jù)已成為幾乎每個企業(yè)的游戲名稱,因為公司和組織正在尋找更多方法來保持領(lǐng)先地位并識別過去的錯誤。未來五年將看到數(shù)據(jù)革命推動的數(shù)字化轉(zhuǎn)型,企業(yè)的發(fā)展和更新速度比以往任何時候都快。適應(yīng)和改變的唯一方法是使用數(shù)據(jù)并使用預(yù)測模型和AI / ML環(huán)顧四周。這些因素將區(qū)分新數(shù)字經(jīng)濟(jì)中的贏家和輸家。
數(shù)據(jù)管理正在從分析優(yōu)先戰(zhàn)略轉(zhuǎn)變?yōu)榛诮Y(jié)果的戰(zhàn)略,這意味著數(shù)據(jù)現(xiàn)在是動態(tài)的,面向流的,并通過流程和機(jī)器學(xué)習(xí)模型進(jìn)行編排。數(shù)據(jù)堆棧從數(shù)據(jù)結(jié)構(gòu)擴(kuò)展到數(shù)據(jù)網(wǎng)絡(luò),數(shù)據(jù)管理將是集中和超本地化的,以創(chuàng)建即時智能和體驗。解決方案架構(gòu)越來越依賴于生態(tài)系統(tǒng)和功能集合中的消息傳遞、網(wǎng)關(guān)、API 和微服務(wù),群體智能和智能城市用例就是這樣的例子。網(wǎng)絡(luò)架構(gòu)將成為明天的數(shù)據(jù)架構(gòu)。
數(shù)據(jù)堆棧的民主化
數(shù)據(jù)集成公司Fivetran的首席執(zhí)行官George Fraser表示,最近一波數(shù)據(jù)管理簡化浪潮是一個非常重要的趨勢。
他解釋說,就在五年前,像Netflix這樣有興趣更好地管理大量數(shù)據(jù)的公司不得不做大量的繁重工作,雇用大量數(shù)據(jù)工程師,并在令人印象深刻的開源技術(shù)上投資數(shù)百萬美元。如今,其中大部分可以通過訂閱其中一個高端數(shù)據(jù)倉庫來實現(xiàn)。
“數(shù)據(jù)管理變得越來越容易,我認(rèn)為這是重要的,也是一件好事?;窘M件的成本已經(jīng)下降,但人們確實在利用數(shù)據(jù)做更多的事情,“他說。
“一些分析師可以完成五年前Netflix必須投資10萬美元的事情,這很酷。它使不太復(fù)雜的公司和不在發(fā)達(dá)地區(qū)的公司可以使用它,普通人可以做這些事情,這是一件好事。
公司遷移到云并采用多云
數(shù)據(jù)集成公司Xplenty的首席執(zhí)行官Donal Tobin表示,越來越多的大公司對云計算表現(xiàn)出興趣,特別是在分析等方面。
“我們看到的是,多云也絕對令人感興趣。能夠在任何大型云播放器中啟動您的平臺正變得越來越重要,“托賓說?!翱蛻粝胍@樣,他們不喜歡被綁定到任何一個解決方案或一個平臺的想法。
EnterpriseDB首席技術(shù)官M(fèi)arc Linster解釋說,整個行業(yè)正在向云轉(zhuǎn)變,因為云允許快速靈活調(diào)整容量,并減少冗長的配置周期以及前期許可證投資。作為數(shù)字化轉(zhuǎn)型戰(zhàn)略的一部分,靈活調(diào)整能力以滿足需求的能力是快速響應(yīng)的關(guān)鍵。
來自谷歌云的Saha表示,初創(chuàng)公司和數(shù)字原生公司是第一個采用云的公司,但隨著我們進(jìn)入2021年,更多的傳統(tǒng)企業(yè)正在采用云平臺。
“人們討厭管理他們的數(shù)據(jù)中心,因為它們很昂貴,”他說?!八麄儗嶋H上覺得更安全的是,云在安全、隱私和數(shù)據(jù)治理方面投入了更多。
不幸的是,冠狀病毒大流行使各行各業(yè)的企業(yè)別無選擇,只能采用數(shù)字系統(tǒng)和云平臺來滿足需求。
“它基本上加速了這一數(shù)字化轉(zhuǎn)型挑戰(zhàn),我認(rèn)為展望未來,無論人們有什么猶豫,我們在這一點上都已經(jīng)過去了,”薩哈說。
谷歌支持的數(shù)據(jù)分析公司Looker的首席分析官科林·齊馬(Colin Zima)表示,許多客戶要求公司能夠與許多不同類型的數(shù)據(jù)集和云提供商合作。
但除了區(qū)域法規(guī)之外,大多數(shù)公司只是對將數(shù)據(jù)保存在多個地方感興趣。
“你不能把所有東西都放在一個地方,因為你需要備份,你需要冗余。因此,即使在Looker,在我們被谷歌收購之前,我們在亞馬遜也有備份。我們在谷歌有備份,在微軟有其他備份,這種互連正在變得正常,“齊馬說。
Netdata高級機(jī)器學(xué)習(xí)工程師Andy Maguire表示,真正需要的是一個可以跨越多個云的聯(lián)合數(shù)據(jù)湖。
“例如,如果你的點擊流數(shù)據(jù)在Google BigQuery中,你的核心生產(chǎn)應(yīng)用程序和日志在亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)中,那么在網(wǎng)絡(luò)入口和出口方面,將所有數(shù)據(jù)集中在谷歌云平臺(GCP)或AWS或某些供應(yīng)商的平臺上可能太昂貴了。相反,我們需要學(xué)會應(yīng)對多云的復(fù)雜性以及如何最好地駕馭它,“他說。
探索數(shù)據(jù)的預(yù)測價值
沒有數(shù)據(jù)背景的企業(yè)越來越意識到它對預(yù)測性操作的用處。Gartner高級研究總監(jiān)Joe Maguire表示,在2020年和2021年,沒有內(nèi)部AI / ML技能的企業(yè)將越來越多地受益于供應(yīng)商產(chǎn)品中嵌入的AI / ML功能。
“將數(shù)據(jù)、數(shù)據(jù)科學(xué)和 ML 管道與應(yīng)用程序部署過程保持一致,對于在基于 AI 的解決方案中持續(xù)交付和持續(xù)集成定期增強(qiáng)的 ML 模型至關(guān)重要。這需要利用 DataOps、MLOps 和 Platform Ops for AI 來擴(kuò)展 AI 架構(gòu)。因此,用于操作AI的AI編排平臺正在出現(xiàn),“他說。
谷歌云的薩哈說,這不僅僅是查看你上個季度或上周的數(shù)據(jù),并試圖弄清楚過去發(fā)生了什么。
“這是關(guān)于查看正在進(jìn)入的事件流并實時采取行動,”他說?!皳碛袑崟r分析將非常重要。人們非常有興趣環(huán)顧四周并預(yù)測將要發(fā)生的事情。如果您能比其他人更快地從數(shù)據(jù)中獲取價值,并且您創(chuàng)造了真正的差異化價值。這就是為什么人們對預(yù)測分析和預(yù)測模型如此感興趣。
人工智能和機(jī)器學(xué)習(xí)的使用增加
BMC Software首席產(chǎn)品官Ali Siddiqui指出,現(xiàn)代數(shù)據(jù)堆棧未來的一個關(guān)鍵要素將是包含AI/ML驅(qū)動的智能和預(yù)測分析功能,利用廣泛的歷史和實時數(shù)據(jù)。
他說,在IT運(yùn)營管理領(lǐng)域,這涉及分析數(shù)據(jù),包括指標(biāo),事件,日志,拓?fù)?,事件和更改,并且需要開放的平臺,并且可以集成來自無數(shù)工具和技術(shù)的數(shù)據(jù),并補(bǔ)充說,堆棧還需要支持混合客戶來自本地數(shù)據(jù)中心基礎(chǔ)設(shè)施和應(yīng)用程序以及多個云資產(chǎn)的數(shù)據(jù)。
Siddiqui說:“隨著企業(yè)發(fā)展成為自主的數(shù)字企業(yè),它不僅僅是從數(shù)據(jù)分析中獲得額外的洞察力,而是越來越多地關(guān)注可操作性,并能夠在可能的情況下采取自動化行動。
“隨著一年的不可預(yù)測性過去,企業(yè)在使技術(shù)堆棧可靠和主動時將不得不期待意想不到的事情。我們將看到對AIOps的需求繼續(xù)增長,因為它可以使用AI,ML和預(yù)測分析來解決和預(yù)測這些意外情況。
人工智能和機(jī)器學(xué)習(xí)的注入已經(jīng)成為一切的一部分,Saha談到谷歌云時說。這些工具廣泛用于通過執(zhí)行自動縮放、自動修復(fù)、自動優(yōu)化等來管理基礎(chǔ)架構(gòu)。
“人們,普通商業(yè)用戶,使用AI / ML做非凡事情的方式,將改變未來企業(yè)的運(yùn)營方式,”他說,并補(bǔ)充說谷歌正在尋找進(jìn)一步民主化人工智能和機(jī)器學(xué)習(xí)的方法,以便那些沒有數(shù)據(jù)背景的人可以通過簡單的電子表格訪問它。
“明年還將有更多的增強(qiáng)分析,你將看到越來越多的人工智能和機(jī)器學(xué)習(xí)被整合到人們的自然業(yè)務(wù)工作流程中?,F(xiàn)代 BI 就是在數(shù)據(jù)資產(chǎn)之上創(chuàng)建數(shù)據(jù) API,然后將儀表板和工作流集成到業(yè)務(wù)應(yīng)用程序中。
Zima表示,對人工智能和機(jī)器學(xué)習(xí)的興趣已經(jīng)顯示出希望,并將在未來更加廣泛。
“我們開始看到人們實際上為內(nèi)部使用構(gòu)建這些數(shù)據(jù)產(chǎn)品。我們與幾個流媒體服務(wù)合作,其中一個構(gòu)建了一個數(shù)據(jù)產(chǎn)品,我通常使用它,因為它實際上是工作表下方的儀表板,但您實際上瀏覽標(biāo)題,就像在流媒體服務(wù)中一樣。所以它有產(chǎn)品所有徽標(biāo)的圖標(biāo),并且支持觸摸,但你點擊它,你鉆取以獲取有關(guān)它的指標(biāo),“Zima說。
“他們正在提供類似產(chǎn)品的體驗,我看到這種情況越來越多。建造這些東西的成本更高。但我認(rèn)為,你將越來越多地看到為內(nèi)部使用而構(gòu)建的數(shù)據(jù)產(chǎn)品。
對鎖定數(shù)據(jù)的擔(dān)憂
一些專家表示擔(dān)心,一些數(shù)據(jù)領(lǐng)域的知名企業(yè)將開始將其數(shù)據(jù)鎖定在競爭對手平臺之外。
“我一直最擔(dān)心的是人們越來越多地使用這些SaaS工具。普通公司擁有大量的SaaS工具,并且所有這些工具都有數(shù)據(jù)鎖定。所以Salesforce有一些銷售數(shù)據(jù),但Slack有聊天數(shù)據(jù),你有所有這些保存數(shù)據(jù)集的系統(tǒng),“Zima說。
“我最擔(dān)心的是,這些服務(wù)將開始嘗試更多地鎖定其數(shù)據(jù)。Salesforce剛剛收購了Slack,他們有了Tableau。而且我總是害怕這些數(shù)據(jù)無法用于其他產(chǎn)品或服務(wù)。
OutSystems的首席營銷官Robson Grieve回應(yīng)了這些擔(dān)憂,并表示由于SaaS應(yīng)用程序是一刀切的,不允許任何形式的差異化或定制,我們可能會看到一波有遠(yuǎn)見的公司 - 那些采用更現(xiàn)代的應(yīng)用程序平臺方法的公司 - 拋棄這種過時的模型來構(gòu)建自己的應(yīng)用程序,以實現(xiàn)真正的差異化并在此過程中節(jié)省大量資金。
但是,盡管這種擔(dān)憂是真實的,但其他專家表示,客戶對被某些供應(yīng)商困住的擔(dān)憂將迫使他們保持?jǐn)?shù)據(jù)在某種程度上開放。
Actian產(chǎn)品營銷高級總監(jiān)Lewis Carr表示:“試圖成為滿足所有底層數(shù)據(jù)和云數(shù)據(jù)倉庫需求的一站式商店的分析工具也將面臨挑戰(zhàn),因為客戶將對供應(yīng)商鎖定持謹(jǐn)慎態(tài)度?!盀榱耸宫F(xiàn)代數(shù)據(jù)堆棧發(fā)揮作用,它需要向所有原始來源、分析和可視化目的地開放。
數(shù)據(jù)堆棧的安全需求
幾乎每個行業(yè)都在進(jìn)行網(wǎng)絡(luò)安全清算,數(shù)據(jù)管理也不例外。來自Google Cloud的Saha表示,越來越多的客戶要求在數(shù)據(jù)的各個不同部分建立統(tǒng)一的端到端數(shù)據(jù)治理結(jié)構(gòu)。
數(shù)據(jù)集成公司Xplenty的首席執(zhí)行官Donal Tobin表示,公司“本質(zhì)上是在數(shù)據(jù)倉庫中制造一顆定時炸彈”。他說,客戶正在尋找有關(guān)數(shù)據(jù)安全的更多信息,以至于像Xplenty 這樣的公司現(xiàn)在正在強(qiáng)調(diào)他們的加密功能,以向客戶保證他們的數(shù)據(jù)是安全的。
“我認(rèn)為這是你看到的最大變化之一,人們現(xiàn)在,就像過去三到六個月一樣,開始意識到這一點并認(rèn)真對待它,”他說。