湖倉(cāng)一體，正成為數(shù)據(jù)庫(kù)行業(yè)發(fā)展新趨勢(shì)。

過去幾年，全球數(shù)據(jù)庫(kù)行業(yè)發(fā)展迅猛。2021年，Gartner魔力象限發(fā)生了兩個(gè)關(guān)鍵的變化：1、Snowflake和Databricks兩個(gè)云端數(shù)據(jù)倉(cāng)庫(kù)進(jìn)入領(lǐng)導(dǎo)者象限；2、放開了魔力象限的收入門檻限制，SingleStore、Exasol、MariaDB、Couchbase等數(shù)據(jù)庫(kù)新勢(shì)力首次進(jìn)入榜單。

某種程度上，這種變化的背后，暗示著全球數(shù)據(jù)庫(kù)已經(jīng)進(jìn)入發(fā)展的黃金時(shí)代，也是一眾新興勢(shì)力的加速崛起之年。其中，最為典型的例子是Snowflake和Databricks經(jīng)常隔空喊話，前者是云端數(shù)倉(cāng)的代表玩家，去年繼續(xù)保持了1倍以上的業(yè)務(wù)增長(zhǎng)；后者因推出“湖倉(cāng)一體”，估值一路飆升至360億美金，兩者之爭(zhēng)，其實(shí)是數(shù)據(jù)庫(kù)新舊架構(gòu)之爭(zhēng)。

近日，國(guó)內(nèi)新一代湖倉(cāng)一體數(shù)據(jù)智能基礎(chǔ)軟件領(lǐng)域獨(dú)角獸——滴普科技完成1.1億規(guī)模的B+輪融資，這一賽道在國(guó)內(nèi)也正式迎來爆發(fā)式增長(zhǎng)。

實(shí)際上，隨著企業(yè)數(shù)字化駛?cè)肷钏畢^(qū)，對(duì)于數(shù)據(jù)使用場(chǎng)景也呈現(xiàn)多元化的趨勢(shì)，過去容易被企業(yè)忽略的數(shù)據(jù)，開始從幕后走到臺(tái)前，如何為眾多場(chǎng)景選擇一款合適的數(shù)據(jù)庫(kù)產(chǎn)品，已經(jīng)成了很多CIO和管理者的一道必答題。但有一點(diǎn)可以確定的是，過去的數(shù)據(jù)庫(kù)已難以匹配眼下日益增長(zhǎng)的數(shù)據(jù)復(fù)雜度需求，基于擴(kuò)展性和可用性劃分，分布式架構(gòu)突破單機(jī)、共享、集群架構(gòu)下的數(shù)據(jù)庫(kù)局限，近些年發(fā)展態(tài)勢(shì)迅猛。

湖倉(cāng)一體到底是什么？

在湖倉(cāng)一體出現(xiàn)之前，數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖是被人們討論最多的話題。正式切入主題前，先跟大家科普一個(gè)概念，即大數(shù)據(jù)的工作流程是怎樣的？這里就要涉及到兩個(gè)相對(duì)陌生的名詞：數(shù)據(jù)的結(jié)構(gòu)化程度和數(shù)據(jù)的信息密度。前者描述的是數(shù)據(jù)本身的規(guī)范性，后者描述的是單位存儲(chǔ)體積內(nèi)、包含信息量的大小。

一般來說，人們獲取到的原始數(shù)據(jù)大多是非結(jié)構(gòu)化的，且信息密度比較低，通過對(duì)數(shù)據(jù)進(jìn)行清洗、分析、挖掘等操作，可以排除無用數(shù)據(jù)、找到數(shù)據(jù)中的關(guān)聯(lián)性，在這個(gè)過程中，數(shù)據(jù)的結(jié)構(gòu)化程度、信息密度也隨之提升，最后一步，就是把優(yōu)化過后的數(shù)據(jù)加以利用，變成真正的生產(chǎn)資料。

簡(jiǎn)而言之，大數(shù)據(jù)處理的過程其實(shí)是一個(gè)提升數(shù)據(jù)結(jié)構(gòu)化程度和信息密度的過程。在這個(gè)過程中，數(shù)據(jù)的特征一直在發(fā)生變化，不同的數(shù)據(jù)，適合的存儲(chǔ)介質(zhì)也有所不同，所以才有了一度火熱的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖之爭(zhēng)。

我們先來聊聊數(shù)據(jù)倉(cāng)庫(kù)，它是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，主要用于支持管理決策和信息的全局共享。簡(jiǎn)單點(diǎn)說，數(shù)據(jù)倉(cāng)庫(kù)就像是一個(gè)大型圖書館，里面的數(shù)據(jù)需要按照規(guī)范放好，你可以按照類別找到想要的信息。

就目前來說，對(duì)數(shù)據(jù)倉(cāng)庫(kù)的主流定義是位于多個(gè)數(shù)據(jù)庫(kù)上的大容量存儲(chǔ)庫(kù)，它的作用在于存儲(chǔ)大量的結(jié)構(gòu)化數(shù)據(jù)，為管理分析和業(yè)務(wù)決策提供統(tǒng)一的數(shù)據(jù)支持，雖然存取過程相對(duì)比較繁瑣，對(duì)于數(shù)據(jù)類型有一定限制，但在那個(gè)年代，數(shù)據(jù)倉(cāng)庫(kù)的功能性已經(jīng)夠用了，所以在2011年前后，市場(chǎng)還是數(shù)據(jù)倉(cāng)庫(kù)的天下。

到了移動(dòng)互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)量呈現(xiàn)“井噴式”爆發(fā)，數(shù)據(jù)類型也變得異構(gòu)化。受數(shù)據(jù)規(guī)模和數(shù)據(jù)類型的限制，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)無法支撐起互聯(lián)網(wǎng)時(shí)代的商業(yè)智能，隨著Hadoop與對(duì)象存儲(chǔ)的技術(shù)成熟，數(shù)據(jù)湖的概念應(yīng)用而生，在2011年由James Dixon提出。

相比于數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)湖是一種不斷演進(jìn)中、可擴(kuò)展的大數(shù)據(jù)存儲(chǔ)、處理、分析的基礎(chǔ)設(shè)施。它就像一個(gè)大型倉(cāng)庫(kù)，可以存儲(chǔ)任何形式（包括結(jié)構(gòu)化和非結(jié)構(gòu)化）和任何格式（包括文本、音頻、視頻和圖像）的原始數(shù)據(jù)，數(shù)據(jù)湖通常更大，存儲(chǔ)成本也更為廉價(jià)。但它的問題也很明顯，數(shù)據(jù)湖缺乏結(jié)構(gòu)性，一旦沒有被治理好，就會(huì)變成數(shù)據(jù)沼澤。

從產(chǎn)品形態(tài)上來說，數(shù)據(jù)倉(cāng)庫(kù)一般是獨(dú)立標(biāo)準(zhǔn)化產(chǎn)品，數(shù)據(jù)湖更像是一種架構(gòu)指導(dǎo)，需要配合著系列周邊工具，來實(shí)現(xiàn)業(yè)務(wù)需要。換句話說，數(shù)據(jù)湖的靈活性，對(duì)于前期開發(fā)和前期部署是友好的；數(shù)據(jù)倉(cāng)庫(kù)的規(guī)范性，對(duì)于大數(shù)據(jù)后期運(yùn)行和公司長(zhǎng)期發(fā)展是友好的，那么，有沒有那么一種可能，有沒有一種新架構(gòu)，能兼具數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的優(yōu)點(diǎn)呢？

于是，湖倉(cāng)一體誕生了。依據(jù)DataBricks公司對(duì)Lakehouse的定義，湖倉(cāng)一體是一種結(jié)合了數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)優(yōu)勢(shì)的新范式，在用于數(shù)據(jù)湖的低成本存儲(chǔ)上，實(shí)現(xiàn)與數(shù)據(jù)倉(cāng)庫(kù)中類似的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)管理功能。湖倉(cāng)一體是一種更開放的新型架構(gòu)，有人把它做了一個(gè)比喻，就類似于在湖邊搭建了很多小房子，有的負(fù)責(zé)數(shù)據(jù)分析，有的運(yùn)轉(zhuǎn)機(jī)器學(xué)習(xí)，有的來檢索音視頻等，至于那些數(shù)據(jù)源流，都可以從數(shù)據(jù)湖里輕松獲取。

就湖倉(cāng)一體發(fā)展軌跡來看，早期的湖倉(cāng)一體，更多是一種處理思想，處理上將數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)互相打通，現(xiàn)在的湖倉(cāng)一體，雖然仍處于發(fā)展的初期階段，但它已經(jīng)不只是一個(gè)純粹的技術(shù)概念，而是被賦予了更多與廠商產(chǎn)品層面相關(guān)的含義和價(jià)值。

這里需要注意的是，“湖倉(cāng)一體”并不等同于“數(shù)據(jù)湖”+“數(shù)據(jù)倉(cāng)”。現(xiàn)在很多公司經(jīng)常會(huì)同時(shí)搭建數(shù)倉(cāng)、數(shù)據(jù)湖兩種存儲(chǔ)架構(gòu)，一個(gè)大的數(shù)倉(cāng)拖著多個(gè)小的數(shù)據(jù)湖，這并不意味著這家公司擁有了湖倉(cāng)一體的能力，湖倉(cāng)一體絕不等同于數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)簡(jiǎn)單打通，反而數(shù)據(jù)在這兩種存儲(chǔ)中會(huì)有極大冗余度。

為什么說湖倉(cāng)一體是未來？

那么，湖倉(cāng)一體憑什么能成為未來新趨勢(shì)呢？換而言之，在數(shù)據(jù)智能時(shí)代，湖倉(cāng)一體會(huì)不會(huì)成為企業(yè)構(gòu)建大數(shù)據(jù)棧的必然選擇呢？

實(shí)際上，從技術(shù)維度和應(yīng)用趨勢(shì)來看，對(duì)于高速增長(zhǎng)的企業(yè)來說，選擇湖倉(cāng)一體架構(gòu)來替代傳統(tǒng)的獨(dú)立倉(cāng)和獨(dú)立湖，已經(jīng)成為不可逆轉(zhuǎn)的趨勢(shì)。

一個(gè)具有說服力的例證是，現(xiàn)階段，國(guó)內(nèi)外各大云廠商均陸續(xù)推出了自己的“湖倉(cāng)一體”技術(shù)方案，比如亞馬遜云科技的Redshift Spectrum、微軟的Azure Databricks、華為云的Fusion Insight、滴普科技的FastData等，這些玩家有云計(jì)算的老牌龍頭，也有數(shù)據(jù)智能領(lǐng)域的新勢(shì)力。

事實(shí)上，架構(gòu)的演進(jìn)是由業(yè)務(wù)直接驅(qū)動(dòng)的，如果業(yè)務(wù)側(cè)提出了更高的性能要求，那么在大數(shù)據(jù)架構(gòu)建設(shè)的過程中，就需要數(shù)據(jù)庫(kù)架構(gòu)建設(shè)上進(jìn)行技術(shù)升級(jí)。以滴普科技為例，依托實(shí)時(shí)湖倉(cāng)平臺(tái)FastData，基于對(duì)先進(jìn)制造、生物醫(yī)藥、商品流通、金融科技等行業(yè)的深度洞察，滴普科技從實(shí)際場(chǎng)景切入，為客戶提供了一站式的數(shù)據(jù)智能平臺(tái)技術(shù)建設(shè)方案。

滴普科技認(rèn)為，“在數(shù)據(jù)分析領(lǐng)域，湖倉(cāng)一體是未來。它可以更好地應(yīng)對(duì)AI時(shí)代數(shù)據(jù)分析的需求，在存儲(chǔ)形態(tài)、計(jì)算引擎、數(shù)據(jù)處理和分析、開放性以及面向AI的演進(jìn)等方面，要領(lǐng)先于過去的分析型數(shù)據(jù)庫(kù)?！币訟I應(yīng)用層面為例，湖倉(cāng)一體架構(gòu)天然適合AI類的分析（包括音視頻非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，兼容AI計(jì)算框架，具有模型開發(fā)和機(jī)器學(xué)習(xí)全生命周期的平臺(tái)化能力），也更適合大規(guī)模機(jī)器學(xué)習(xí)時(shí)代。

現(xiàn)在是布局湖倉(cāng)一體的好時(shí)機(jī)嗎？

盡管從市場(chǎng)發(fā)展走向來看，“湖倉(cāng)一體”架構(gòu)是基于技術(shù)發(fā)展進(jìn)程的必經(jīng)之路。但由于這個(gè)新型開放架構(gòu)仍處于發(fā)展早期，國(guó)內(nèi)外企業(yè)數(shù)字化水平和市場(chǎng)認(rèn)知的不同，造成了技術(shù)解決方案也存在著較大的差異。

在業(yè)內(nèi)投資人看來，“雖然美國(guó)的企業(yè)服務(wù)市場(chǎng)比我們成熟的多，也有很多路徑可以參考，但中國(guó)市場(chǎng)卻有著很多中國(guó)特色。以對(duì)標(biāo)Databricks的滴普科技為例，美國(guó)企業(yè)服務(wù)市場(chǎng)往往賣產(chǎn)品就可以了，但中國(guó)大客戶群體需要更與客戶資深場(chǎng)景深度融合的解決方案，解決方案需要兼顧通用性和定制化?！?/p>

在此前與滴普科技的合作中，某大型品牌零售商就已經(jīng)完成了統(tǒng)一數(shù)倉(cāng)的搭建，實(shí)現(xiàn)了多個(gè)業(yè)務(wù)線的數(shù)據(jù)采集和各個(gè)業(yè)務(wù)域的數(shù)據(jù)建設(shè)。在保證前端數(shù)據(jù)正常運(yùn)行、“熱切換”底層應(yīng)用的前提下，滴普科技與其緊密協(xié)作，在短短幾個(gè)月時(shí)間里將多個(gè)數(shù)倉(cāng)整合為統(tǒng)一數(shù)倉(cāng)，有效統(tǒng)一了業(yè)務(wù)口徑，大幅縮減了開發(fā)運(yùn)維工作量，整個(gè)業(yè)務(wù)價(jià)值鏈也形成了閉環(huán)。

這正是“湖倉(cāng)一體”的能力價(jià)值所在：隨著數(shù)據(jù)結(jié)構(gòu)的逐漸多樣性，3D圖紙、直播視頻、會(huì)議視頻、音頻等數(shù)據(jù)資料越來越多，為深度挖掘數(shù)據(jù)價(jià)值，依托于領(lǐng)先的湖倉(cāng)一體技術(shù)架構(gòu)，該集團(tuán)可先將海量的多模數(shù)據(jù)存儲(chǔ)入湖，在未來算力允許時(shí)，及挖掘深度的業(yè)務(wù)分析場(chǎng)景后，從數(shù)據(jù)湖中抓取數(shù)據(jù)分析。

一般來說，大體量的企業(yè)想要保持持續(xù)增長(zhǎng)，往往需要依靠大量、有效的數(shù)據(jù)輸出，進(jìn)而實(shí)現(xiàn)智慧決策。很多企業(yè)出于 IT 建設(shè)能力的限制，導(dǎo)致很多事情沒法做，但通過湖倉(cāng)一體架構(gòu)，讓之前被限制的數(shù)據(jù)價(jià)值得以充分發(fā)揮，如果企業(yè)能夠在注重?cái)?shù)據(jù)價(jià)值的同時(shí)，并有意識(shí)地把它保存下來，企業(yè)就完成了數(shù)字化轉(zhuǎn)型的重要命題之一。

為了加速數(shù)字化進(jìn)程，提升對(duì)湖倉(cāng)一體技術(shù)架構(gòu)的了解，可以登錄滴普科技官網(wǎng)（deepexi.com）了解詳情。

滴普科技實(shí)時(shí)湖倉(cāng)平臺(tái)FastData，具備低成本、高性能、易使用的主要特性，產(chǎn)品采用新一代存算分離數(shù)據(jù)處理技術(shù)，幫助企業(yè)建立統(tǒng)一治理、流批一體、湖倉(cāng)一體的云原生數(shù)據(jù)智能平臺(tái)，實(shí)現(xiàn)海量數(shù)據(jù)實(shí)時(shí)分析，成為支撐企業(yè)數(shù)字化轉(zhuǎn)型的核心基礎(chǔ)軟件設(shè)施。

除此之外，滴普科技FastData Cloud產(chǎn)品云服務(wù)體系，還以靈活部署、易操作的模式，為企業(yè)的不同需求提供多樣性選擇，通過云服務(wù)的方式為眾多行業(yè)客戶構(gòu)建數(shù)據(jù)智能基礎(chǔ)設(shè)施。