當下，我們正處于一個科技創(chuàng)新闊步發(fā)展的時代，這更是一個大數(shù)據(jù)爆發(fā)式增長的全新時代。5G技術(shù)、智能工廠、新零售、區(qū)塊鏈、智慧醫(yī)療關(guān)鍵詞的背后，折射的是大數(shù)據(jù)與產(chǎn)業(yè)數(shù)字化創(chuàng)新發(fā)展的碰撞。

相關(guān)的調(diào)研數(shù)據(jù)也證明了這一點。來自權(quán)威分析機構(gòu)IDC發(fā)布的《數(shù)據(jù)時代2025》報告預(yù)測，到2025年，全球每年產(chǎn)生的數(shù)據(jù)將增長到175ZB，數(shù)據(jù)量出現(xiàn)“井噴”。這背后，都得益于新一代信息技術(shù)的迅速發(fā)展與普及，而為了釋放出數(shù)據(jù)價值，我們需要性能強大、運行穩(wěn)定的大數(shù)據(jù)產(chǎn)品。

這一次，比特網(wǎng)有機會與青云QingCloud大數(shù)據(jù)產(chǎn)品經(jīng)理劉雄風聊了聊大數(shù)據(jù)產(chǎn)業(yè)和客戶需求的變遷，以及青云最新發(fā)布的大數(shù)據(jù)工作臺產(chǎn)品。

大數(shù)據(jù)時代，企業(yè)需求正在發(fā)生哪些變化？

我們發(fā)現(xiàn)，現(xiàn)在企業(yè)對于大數(shù)據(jù)的需求已經(jīng)升級——從最初關(guān)注“底層資源”問題，逐步進階到“數(shù)據(jù)層”問題。主要體現(xiàn)在：

一、數(shù)據(jù)同步。目前企業(yè)已經(jīng)有數(shù)據(jù)庫、數(shù)據(jù)倉庫、消息隊列與中間件服務(wù)，還需要數(shù)據(jù)同步服務(wù)，來打通彼此之間孤立的關(guān)系。比如要通過Elasticsearch進行數(shù)據(jù)檢索，首先要將MySQL中的數(shù)據(jù)導(dǎo)入到Elasticsearch，以實現(xiàn)數(shù)據(jù)源和Elasticsearch的實時同步。

二、實時計算。在IoT場景中，把數(shù)據(jù)統(tǒng)一采集到平臺上后，需要實時分析、處理大量的設(shè)備數(shù)據(jù)、監(jiān)控數(shù)據(jù)，最終轉(zhuǎn)化為設(shè)備報告和流程優(yōu)化相關(guān)的信息和知識?！斑@種反饋實時性越高，企業(yè)降本增效的效果就越好?！眲⑿埏L如此強調(diào)。

三、數(shù)據(jù)開發(fā)和作業(yè)運維調(diào)度。雖然在大數(shù)據(jù)引擎方面，青云可以為客戶提供QingMR開源大數(shù)據(jù)組件，解決了客戶的運維和部署問題，但還無法滿足數(shù)據(jù)開發(fā)和作業(yè)運維調(diào)度層面的需求。

除此外，企業(yè)還存在權(quán)限控制、數(shù)據(jù)倉庫、數(shù)據(jù)服務(wù)等典型場景的需求。

眾所周知，大數(shù)據(jù)的價值并不是數(shù)據(jù)本身，而是數(shù)據(jù)背后所隱藏的對業(yè)務(wù)有影響的信息和知識。大數(shù)據(jù)技術(shù)就是對數(shù)據(jù)不斷地處理、加工和提煉，就像來自Wikipedia的經(jīng)典數(shù)據(jù)金字塔，每往上一層，對應(yīng)的數(shù)據(jù)量就會小一點，但對業(yè)務(wù)的影響價值就會更大一些。而要從數(shù)據(jù)層最終提煉到最上層的智慧層，數(shù)據(jù)需要經(jīng)過很長鏈路的流式處理，沒有一套完整的系統(tǒng)保證這條鏈路高效運轉(zhuǎn)的話，就很難保證從數(shù)據(jù)中提煉出有價值的信息和知識。

劉雄風表示：“青云大數(shù)據(jù)工作臺便是出于打通大數(shù)據(jù)全鏈路的初衷，通過整合青云完整的數(shù)據(jù)產(chǎn)品和服務(wù)，為客戶提供一個一站式智能大數(shù)據(jù)開發(fā)與治理平臺?！?/p>

目前，青云大數(shù)據(jù)工作臺上線1.0版本，主要具備“數(shù)據(jù)集成、數(shù)據(jù)加工、統(tǒng)一數(shù)據(jù)存儲和服務(wù)”功能模塊，為企業(yè)數(shù)據(jù)價值挖掘提供支持。

青云大數(shù)據(jù)工作臺如何助力企業(yè)挖掘數(shù)據(jù)價值？

從整個架構(gòu)來看，我們可以看到，青云大數(shù)據(jù)工作臺從最底層到最上層有五層架構(gòu)，可以應(yīng)對大數(shù)據(jù)全鏈路場景的需求。

第一層，云原生?；谠圃軜?gòu)開發(fā)，支持容器化部署。

第二層，全托管式計算引擎。提供全托管式計算引擎服務(wù)，以Flink流批一體的計算引擎為基礎(chǔ)，同時兼容多種計算引擎為一體的計算資源服務(wù)。

第三層，全生命周期數(shù)據(jù)開發(fā)。提供全生命周期的數(shù)據(jù)開發(fā)服務(wù)，通過向?qū)降臄?shù)據(jù)集成，支持可視化數(shù)據(jù)加工、調(diào)度管理、資源管理、網(wǎng)絡(luò)管理等多種場景。

第四層，高效的數(shù)據(jù)同步服務(wù)。提供高效的數(shù)據(jù)同步服務(wù)，能夠兼容結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)，可對數(shù)據(jù)進行實時、增量和全量的同步。

第五層，應(yīng)對豐富的業(yè)務(wù)場景。包括BI商業(yè)智能分析、用戶畫像、增長分析和數(shù)據(jù)大屏等應(yīng)用，為業(yè)務(wù)決策提供有效的數(shù)據(jù)支撐。

另外，青云大數(shù)據(jù)工作臺還提供細粒度的資源管控，最小資源使用粒度僅0.5?CU，實現(xiàn)精細化資源管控，并支持按量和包年包月計費，可以適配不同的客戶需求，價格低廉，同時也是安全穩(wěn)定的。

而且，青云大數(shù)據(jù)工作臺有六個顯著的產(chǎn)品特性：

一、開箱即用。幾分鐘即可完成環(huán)境的創(chuàng)建和部署，即開即用、便捷高效，一鍵開啟數(shù)據(jù)價值洞察之旅。

二、彈性擴容。具備云原生彈性擴容的能力，可以幫助客戶合理地節(jié)省資源，提高資源的使用率。

三、存算分離。與青云的對象存儲服務(wù)無縫銜接，海量數(shù)據(jù)可以高效、低成本地存儲。也支持數(shù)據(jù)計算按需擴容，極具性價比。

四、開放兼容。擁抱開源，百分百兼容Apache?Flink，支持平滑上云，通過內(nèi)嵌的Connector可以無縫對接主流的數(shù)據(jù)產(chǎn)品和開源大數(shù)據(jù)生態(tài)組件。同時，客戶可以將原有的大數(shù)據(jù)任務(wù)遷移到大數(shù)據(jù)工作臺上，進行統(tǒng)一的調(diào)度和監(jiān)控，節(jié)省成本。

五、安全可靠。基于云原生架構(gòu)開發(fā)設(shè)計，可以支持多種基礎(chǔ)設(shè)施獨立部署。內(nèi)部功能模塊以微服務(wù)的方式劃分為多個組件，彼此之間相互隔離，避免相互影響。同時，所有的服務(wù)都具備高可用和高擴展能力，可以在部分節(jié)點故障的情況下確保服務(wù)的可用性和數(shù)據(jù)的可靠性。

六、生態(tài)整合。除了青云大數(shù)據(jù)工作臺本身提供的服務(wù)外，還可以在云上與其他產(chǎn)品緊密整合，連通云平臺上孤立的多種數(shù)據(jù)存儲的服務(wù)，讓客戶在云平臺上的數(shù)據(jù)流轉(zhuǎn)更加便捷。

據(jù)劉雄風介紹，青云大數(shù)據(jù)工作臺主要聚焦新興領(lǐng)域，以物聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)為代表，在物料能耗優(yōu)化、產(chǎn)線效率分析、故障定位、出庫物流追蹤、庫存優(yōu)化及產(chǎn)品質(zhì)量追溯等方面，進行大數(shù)據(jù)的深入實時分析、計算等。

同時，青云大數(shù)據(jù)工作臺與KubeSphere容器平臺、IoT平臺形成合力，充分發(fā)揮各自優(yōu)勢，組建了“青云大數(shù)據(jù)工作臺+KubeSphere+IoT”三位一體技術(shù)方案，并在環(huán)保領(lǐng)域、工業(yè)領(lǐng)域落地應(yīng)用，幫助客戶實現(xiàn)實時數(shù)據(jù)分析、BI數(shù)據(jù)統(tǒng)計、全量歷史大數(shù)據(jù)分析和業(yè)務(wù)系統(tǒng)的數(shù)據(jù)分析、存儲、查詢、呈現(xiàn)等。

寫在最后

劉雄風表示，青云所追求的是幫助企業(yè)激活數(shù)據(jù)資產(chǎn)，釋放數(shù)據(jù)價值未來，未來還將會繼續(xù)洞察企業(yè)需求，創(chuàng)新完善技術(shù)、產(chǎn)品及方案能力，加速企業(yè)數(shù)智化的進程。