8月16日，KaiwuDB?受邀亮相第十四屆中國數(shù)據(jù)庫技術(shù)大會 DTCC 2023。KaiwuDB CTO 魏可偉接受大會主辦方的采訪，雙方共同圍繞“數(shù)據(jù)庫架構(gòu)演進(jìn)、內(nèi)核引擎設(shè)計以及不同技術(shù)路線”展開深度探討。

以下是采訪的部分實錄 ↓↓↓

40 多年前，企業(yè)的數(shù)據(jù)量還沒有如此龐大，會選擇把關(guān)鍵業(yè)務(wù)數(shù)據(jù)放在關(guān)系型數(shù)據(jù)庫中。隨著軟硬件的發(fā)展，計算和存儲成本不斷降低，數(shù)據(jù)庫技術(shù)進(jìn)入新的發(fā)展階段。以 IoT 場景為例，這是一個由各種新技術(shù)相互交錯形成的“泛”行業(yè)，看似寬口進(jìn)，實則門檻高。

IoT 與 5G、工業(yè) 4.0、工業(yè)物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、人工智能等形成“組合拳”，為各個行業(yè)的數(shù)字化轉(zhuǎn)型賦能，但也導(dǎo)致業(yè)務(wù)系統(tǒng)的復(fù)雜性攀升。當(dāng)數(shù)據(jù)來自時序、文檔、空間、圖等多個數(shù)據(jù)源，各數(shù)據(jù)源又面向不同的數(shù)據(jù)庫系統(tǒng)、接口服務(wù)等，導(dǎo)致最終的數(shù)據(jù)采集不完整，出現(xiàn)數(shù)據(jù)不一致的現(xiàn)象。

所謂“術(shù)業(yè)有專攻”，專庫專用在一段時間里成為“專寵”，但也造成了數(shù)據(jù)孤島。通常情況下，一家企業(yè)使用的關(guān)系型數(shù)據(jù)庫是 A 家，時序數(shù)據(jù)庫又是 B 家，同時可能還有 C 家的 AI 平臺。這意味著企業(yè)需要擁有身兼多種技能的開發(fā)運(yùn)維人才；否則，一旦涉及到新功能及多個產(chǎn)品之間的協(xié)同，就會影響迭代速度。

如果能用一套數(shù)據(jù)庫去替換原來多套不統(tǒng)一的數(shù)據(jù)庫類型，來解決業(yè)務(wù)的復(fù)雜性以及開發(fā)和運(yùn)維成本不斷攀升的問題，那企業(yè)面臨的很多問題也將迎刃而解。多模數(shù)據(jù)庫可能就是一個好答案。

一、多模架構(gòu)，用“小而全”為用戶減負(fù)

“從傳統(tǒng)關(guān)系型數(shù)據(jù)庫主導(dǎo)市場，到 NoSQL 數(shù)據(jù)庫興起，再到時序數(shù)據(jù)庫，圖數(shù)據(jù)庫，向量數(shù)據(jù)庫百花齊放，今天的多模數(shù)據(jù)庫旨在化繁為簡，支持多種數(shù)據(jù)模型統(tǒng)一管理?！蔽嚎蓚ケ硎?，多模式數(shù)據(jù)庫是數(shù)據(jù)管理系統(tǒng)不斷演進(jìn)的結(jié)果，多種類型的數(shù)據(jù)庫系統(tǒng)混用帶來的開發(fā)和運(yùn)維壓力，使得企業(yè)不得不做出新的選擇。

當(dāng)前，業(yè)內(nèi)主流的多模數(shù)據(jù)庫可大致歸結(jié)為 2 種路線：

• 粘合式

即大而全的平臺式多模，把各種不同類型的數(shù)據(jù)處理引擎，包括關(guān)系引擎，集成在一起，上層以中間件的形式對外提供一個統(tǒng)一接口，進(jìn)行數(shù)據(jù)的分發(fā)、轉(zhuǎn)換等工作。

然而現(xiàn)實情況是，很多大而全的功能在實際業(yè)務(wù)場景中根本用不上。具體到上層的引擎，為了實現(xiàn)多模的能力，粘合式路線會把所有引擎都拉到一個中間層，再做數(shù)據(jù)搬動，給開發(fā)和運(yùn)維帶來極大的壓力。

• 生長式

以關(guān)系型數(shù)據(jù)庫為主，為了處理圖、文檔等 NoSQL 數(shù)據(jù)擴(kuò)展出新的能力；同時，除了關(guān)系型數(shù)據(jù)庫廠商，圖數(shù)據(jù)庫、空間數(shù)據(jù)庫廠商也在基于自己的本行向新的能力擴(kuò)展，這都屬于生長式。

這種模式相對適用于有一個傳統(tǒng)應(yīng)用，又想基于原有應(yīng)用做少量的異構(gòu)數(shù)據(jù)擴(kuò)展的情況。比如：金融行業(yè)的交易處理是日常應(yīng)用，同時需要擴(kuò)展少量的空間數(shù)據(jù)庫滿足業(yè)務(wù)需求，這種業(yè)務(wù)場景更適合用生長式數(shù)據(jù)庫。

但生長式多模架構(gòu)在后期擴(kuò)展能力上存在一定局限，此前主體數(shù)據(jù)庫架構(gòu)可能根本就不支持新功能的擴(kuò)展。

有別于上述兩種情形，KaiwuDB 自研原生多模系統(tǒng)，從頂層設(shè)計上天然具備橫向融合、縱向精專的能力。依托"就地計算"、"原生 AI"等核心技術(shù)，KaiwuDB 快速支持時序數(shù)據(jù)、內(nèi)存數(shù)據(jù)、關(guān)系型數(shù)據(jù)等在同一數(shù)據(jù)庫中統(tǒng)一匯存、處理及 AI 智能分析。

其中，最大特色是統(tǒng)一的 SQL 語法、統(tǒng)一的數(shù)據(jù)庫命令、統(tǒng)一的開發(fā)運(yùn)維工具、統(tǒng)一的安全認(rèn)證，能夠?qū)⒉煌瑪?shù)據(jù)庫功能充分融合，實現(xiàn)一庫多用，進(jìn)而降低用戶的使用成本，用魏可偉的話說，就是“小而全”。

KaiwuDB 一直在思考多模架構(gòu)到底做到何種程度才能滿足 IoT 領(lǐng)域用戶的需求而又能做到簡單易用？

首先，時序數(shù)據(jù)處理的性能和擴(kuò)展能力一定是高要求，同時要想辦法降低存儲成本；其次，要提供符合 IoT 數(shù)據(jù)特征的數(shù)據(jù)管理工具以及數(shù)據(jù)庫自治的能力；最后，要以分析為先、以 AI 為先，能夠從海量數(shù)據(jù)中挖掘出數(shù)據(jù)價值，為 IoT 業(yè)務(wù)場景提供專業(yè)的服務(wù)。

此種背景下，KaiwuDB 給自己的定位是，在設(shè)計上有橫有縱，打造一個“又融又專”的多模架構(gòu)。

• “融”

指針對不同的數(shù)據(jù)類型，開發(fā)能發(fā)揮最大性能的專用數(shù)據(jù)處理引擎，例如 KaiwuDB 時序引擎，利用“就地計算”技術(shù)可以實現(xiàn)每秒數(shù)百萬級的數(shù)據(jù)寫入，毫秒級響應(yīng)千萬級數(shù)據(jù)的分析查詢。

• “?！?/strong>

指融合多個專用引擎以支持 IoT 業(yè)務(wù)場景，在多個專用引擎之間形成統(tǒng)一的優(yōu)化，統(tǒng)一的管理，同時又根據(jù) IoT 數(shù)據(jù)處理的特點建立“快速通道”。

比如，在數(shù)據(jù)寫入場景中，KaiwuDB 會優(yōu)先考慮時序數(shù)據(jù)的寫入性能并做優(yōu)化，從而實現(xiàn)專用時序數(shù)據(jù)庫的時序數(shù)據(jù)處理性能。

這就與傳統(tǒng)“粘合式”和“生長式”的數(shù)據(jù)庫形成本質(zhì)區(qū)別。再有，KaiwuDB 會為時序數(shù)據(jù)到關(guān)系數(shù)據(jù)分析的內(nèi)部“ETL”流程“打開快車道”，從而提升性能并節(jié)約資源。

站在用戶本位，以數(shù)據(jù)庫創(chuàng)新技術(shù)簡化應(yīng)用，讓產(chǎn)品功能無限地貼近用戶需求，是 KaiwuDB 這一新生代數(shù)據(jù)庫持續(xù)努力的方向。

二、AI 引擎，為企業(yè)插上數(shù)智化升級翅膀

相較于對熱點大模型技術(shù)的趨之若鶩，KaiwuDB 強(qiáng)調(diào)“原生 AI”的概念。

在 AI for DB 方向上，KaiwuDB 利用 AI 引擎實現(xiàn)數(shù)據(jù)庫自治。比如，在時序數(shù)據(jù)場景中，會以時間維度進(jìn)行數(shù)據(jù)的聚合分析，這背后的一項關(guān)鍵技術(shù)是智能預(yù)計算——即利用 AI 大腦預(yù)判用戶會對哪些內(nèi)容會做聚合分析，提前把結(jié)果計算好。
這一能力可快速實現(xiàn)結(jié)果反饋，極大程度提升性能；在生命周期管理方面，也可以通過 AI 對用戶使用情況做出預(yù)判，如果 AI 預(yù)判用戶對某一類數(shù)據(jù)不再頻繁調(diào)用，可以自動挪到冷存儲上，降低資源占用。

在 DB For AI 研發(fā)方向上，KaiwuDB 的“原生 AI“概念并非要打造 TensorFlow 這樣的 AI 框架，即：不是去做算法，而是在多模的框架下?lián)肀鷳B(tài)，為用戶提供更好的消費(fèi) AI 的能力，這種能力可以概括為“ModelOps in DB”。

ModelOps in DB 的理念是：讓用戶通過數(shù)據(jù)庫更好地使用 AI，通過數(shù)據(jù)處理拉近數(shù)據(jù)科學(xué)家和開發(fā)運(yùn)維人員的距離。通過 ModelOps in DB，能夠提高模型訓(xùn)練和預(yù)測的性能，保證數(shù)據(jù)的安全性，更能夠利用數(shù)據(jù)保持模型的準(zhǔn)確性。

例如，當(dāng)用戶把數(shù)據(jù)拉出到 AI 平臺訓(xùn)練模型，用來做業(yè)務(wù)預(yù)測，剛開始的時候可能準(zhǔn)確率很高，但隨著時間的推移會產(chǎn)生漂移現(xiàn)象，也就是模型準(zhǔn)確率會下降。這是因為用來訓(xùn)練模型的數(shù)據(jù)已經(jīng)過時，而通過原生 AI 的能力，在數(shù)據(jù)庫中就可以第一時間發(fā)現(xiàn)漂移現(xiàn)象，做出相應(yīng)的反應(yīng)。

“大模型給我們一個非常有意思的啟發(fā)，如果自然語言變成數(shù)據(jù)庫角度的一個接口，多模會變成一個更自然的選擇。” 魏可偉分析道，SQL 生態(tài)已經(jīng)發(fā)展了幾十年，有很多成熟的工具構(gòu)建，是一個關(guān)鍵的數(shù)據(jù)庫接口。站在大模型的風(fēng)口，我們再去看多模的未來，各種專用引擎會在自然語言的交互方式下統(tǒng)一起來，人人都可以在低門檻的狀態(tài)下使用數(shù)據(jù)庫，這應(yīng)該會是多模的終極形態(tài)。

在 KaiwuDB 技術(shù)團(tuán)隊中，有很多開發(fā)人員致力于 AI 方向，解決 AI 落地的消費(fèi)性問題，這也是 AI 和數(shù)據(jù)庫結(jié)合的關(guān)鍵點。

未來，KaiwuDB 除了在異構(gòu)數(shù)據(jù)跟 AI 結(jié)合的方向上進(jìn)行努力，在用戶關(guān)注的重要場景上持續(xù)發(fā)力，也會關(guān)注大模型的支持，比如：引入向量數(shù)據(jù)庫，在現(xiàn)有的多模架構(gòu)上，再多出一模。

今天，在 AI 技術(shù)推動下，數(shù)據(jù)處理能力也在不斷演進(jìn)，諸多企業(yè)正在把數(shù)據(jù)對象里的信息抽取，無論是什么對象，或者無論是什么實體所包含的語義信息，都可以變成一個向量，然后再進(jìn)行分析。而嵌入向量功能的數(shù)據(jù)庫，會更好地支持 AI 應(yīng)用。因此，AI 和數(shù)據(jù)庫正以相互作用的形態(tài)，共同進(jìn)步，釋放用戶的數(shù)據(jù)消費(fèi)潛力。

寫在最后

未來，不管是多模數(shù)據(jù)庫本身的發(fā)展，還是與?AI 的結(jié)合，KaiwuDB 都將堅持回歸用戶本位，專注于打造一款“小而全”的數(shù)據(jù)庫產(chǎn)品。在面對國內(nèi)外用戶對于產(chǎn)品性能與產(chǎn)品性價比“既要又要”的挑戰(zhàn)下，KaiwuDB 也將不忘初心，秉承“匠心”精神走出自己的新路子，給市場與用戶帶來更多的可能。