數(shù)字經(jīng)濟(jì)的穩(wěn)步發(fā)展離不開(kāi)先進(jìn)的數(shù)字基礎(chǔ)設(shè)施來(lái)高效處理爆炸式增長(zhǎng)和積累的海量數(shù)據(jù)。而數(shù)據(jù)庫(kù)作為關(guān)鍵基礎(chǔ)軟件，對(duì)于實(shí)現(xiàn)安全存儲(chǔ)與可信計(jì)算，保障數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展有著十分關(guān)鍵的意義。擁抱開(kāi)源，基于開(kāi)源打開(kāi)技術(shù)未來(lái)升級(jí)的大門(mén)正逐漸成為共識(shí)。

2023年4月8，openGauss開(kāi)源數(shù)據(jù)庫(kù)首席架構(gòu)師、社區(qū)技術(shù)委員會(huì)委員黃凱耀受邀參加DTC 2023，并在【開(kāi)源創(chuàng)新：開(kāi)源數(shù)據(jù)技術(shù)】專(zhuān)題論壇發(fā)表了《openGauss架構(gòu)創(chuàng)新與新特性深度解讀》的主題演講，圍繞關(guān)鍵行業(yè)核心客戶(hù)場(chǎng)景為大家分享了openGauss最新發(fā)布的5.0.0版本的多項(xiàng)架構(gòu)創(chuàng)新，并對(duì)其新特性進(jìn)行了深度解讀。

嘉賓簡(jiǎn)介

黃凱耀，負(fù)責(zé)openGauss生態(tài)產(chǎn)品的技術(shù)規(guī)劃和產(chǎn)品設(shè)計(jì)工作，在數(shù)據(jù)庫(kù)高性能架構(gòu)、高可用架構(gòu)、OLTP性能優(yōu)化、OLAP性能優(yōu)化、一體化架構(gòu)、軟硬協(xié)同等領(lǐng)域有豐富的理論、工程與實(shí)踐經(jīng)驗(yàn)。

一、數(shù)字時(shí)代下業(yè)界數(shù)據(jù)庫(kù)架構(gòu)逐漸標(biāo)準(zhǔn)化

在分享中，黃凱耀以時(shí)代趨勢(shì)為引入點(diǎn)，并指出：“當(dāng)前產(chǎn)業(yè)數(shù)字化帶來(lái)豐富的應(yīng)用場(chǎng)景與海量數(shù)據(jù)規(guī)模，金融、電力、教育、醫(yī)療等各個(gè)行業(yè)都有海量應(yīng)用場(chǎng)景需要數(shù)據(jù)庫(kù)架構(gòu)與時(shí)俱進(jìn)，協(xié)同創(chuàng)新?！?/p>

隨著多樣性計(jì)算演進(jìn)，多樣性應(yīng)用場(chǎng)景和數(shù)據(jù)需要數(shù)據(jù)庫(kù)支持多種算力。黃凱耀表示，過(guò)去以CPU為中心的架構(gòu)，現(xiàn)已發(fā)展到多樣性算力協(xié)同的對(duì)等計(jì)算架構(gòu)，CPU、GPU、NPU甚至包括為特定場(chǎng)景開(kāi)發(fā)的計(jì)算單元等都要形成協(xié)同關(guān)系，從而更好地去處理數(shù)據(jù)。不僅如此，多模融合成為主流，多模數(shù)據(jù)需要協(xié)同處理以實(shí)現(xiàn)資源集約化管理?！皬倪^(guò)去主要處理的是結(jié)構(gòu)化數(shù)據(jù)，到現(xiàn)在處理非結(jié)構(gòu)化數(shù)據(jù)例如圖、時(shí)序、流、文檔等的數(shù)據(jù)類(lèi)型，這對(duì)數(shù)據(jù)整合處理和整合分析提出了更高的要求?！秉S凱耀說(shuō)道。

在對(duì)數(shù)據(jù)庫(kù)架構(gòu)進(jìn)行了簡(jiǎn)單的介紹后，他又對(duì)數(shù)據(jù)庫(kù)系統(tǒng)發(fā)展類(lèi)別進(jìn)行了分享。黃凱耀指出，過(guò)去20余年，數(shù)據(jù)庫(kù)系統(tǒng)發(fā)展大致為兩類(lèi)：第一類(lèi)系統(tǒng)是成熟的數(shù)據(jù)庫(kù)內(nèi)核先疊加分布式計(jì)算，再開(kāi)發(fā)分布式存儲(chǔ)和分布式內(nèi)存的能力；第二類(lèi)系統(tǒng)即可靠的分布式存儲(chǔ)首先疊加數(shù)據(jù)庫(kù)內(nèi)核，再開(kāi)發(fā)分布式計(jì)算和分布式內(nèi)存能力。而提到剛剛發(fā)布不久的 openGauss 5.0.0，黃凱耀介紹其采用資源池化架構(gòu)，通過(guò)數(shù)據(jù)庫(kù)內(nèi)核與存儲(chǔ)層的NDP技術(shù)、內(nèi)存層的多節(jié)點(diǎn)MVCC技術(shù)、計(jì)算層的多模多引擎技術(shù)等進(jìn)行深度協(xié)同，可有效應(yīng)對(duì)大規(guī)模數(shù)據(jù)庫(kù)可靠性、性能、易用性的訴求。

二、openGauss 5.0.0資源池化架構(gòu)

伴隨著業(yè)界數(shù)據(jù)庫(kù)架構(gòu)逐漸走向標(biāo)準(zhǔn)化，黃凱耀對(duì)3月30日正式發(fā)布的最新版openGauss 的核心特性之一——資源池化架構(gòu)進(jìn)行了詳細(xì)的解讀。面向未來(lái)的 openGauss 資源池化架構(gòu)由三層池化、一個(gè)平臺(tái)和一個(gè)標(biāo)準(zhǔn)組成。

（一）三層池化

三層池化包括存儲(chǔ)池化、內(nèi)存池化和計(jì)算池化。

• 存儲(chǔ)池化支持多種存儲(chǔ)，如分布式存儲(chǔ)、企業(yè)存儲(chǔ)、對(duì)象存儲(chǔ)，實(shí)現(xiàn)一份數(shù)據(jù)服務(wù)于多種計(jì)算，并通過(guò)SQL算子卸載的NDP技術(shù)，大幅提升了SQL處理效率、消減網(wǎng)絡(luò)I/O流量。

• 內(nèi)存池化實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)間內(nèi)存的互聯(lián)，通過(guò)同步事務(wù)信息和數(shù)據(jù)庫(kù)緩存，實(shí)現(xiàn)了多節(jié)點(diǎn)下的多版本快照一致性讀能力，結(jié)合RoCE和SCM等硬件，實(shí)現(xiàn)極致的Commit加速和大容量?jī)?nèi)存訪問(wèn)等能力。

• 計(jì)算池化支持多樣性算力，基于X86、鯤鵬等算力，為應(yīng)用提供TP行存加速、AP列存加速、AI訓(xùn)練推理等全方位的數(shù)據(jù)服務(wù)。

（二）一個(gè)平臺(tái)

一體化平臺(tái)的主要作用是給整個(gè)架構(gòu)提供可靠的運(yùn)行環(huán)境。黃凱耀強(qiáng)調(diào)了一體化平臺(tái)的概念，即除了提供集群管理能力以外，還需要提供可觀測(cè)可診斷、云邊端協(xié)同、資源編排的能力，這是平臺(tái)需要解決的問(wèn)題。

（三）一個(gè)標(biāo)準(zhǔn)

不管是關(guān)系型、圖或者時(shí)序數(shù)據(jù)庫(kù)，都會(huì)通過(guò)SQL接口進(jìn)行交互，因此訂立一個(gè)全場(chǎng)景的SQL標(biāo)準(zhǔn)非常重要。制定SQL標(biāo)準(zhǔn)的目標(biāo)是支持最新的系統(tǒng)標(biāo)準(zhǔn)與特性，同時(shí)向外擴(kuò)展推出特定應(yīng)用場(chǎng)景下的標(biāo)準(zhǔn)，包括全密態(tài)與AI標(biāo)準(zhǔn)。

隨著應(yīng)用場(chǎng)景的豐富，SQL標(biāo)準(zhǔn)能夠支持的系統(tǒng)越來(lái)越全面。黃凱耀在此也希望能夠定義出全場(chǎng)景的SQL標(biāo)準(zhǔn)，既可以兼容現(xiàn)在的核心標(biāo)準(zhǔn)特性，也可以提供更多有針對(duì)性的特性能力。未來(lái)，他希望openGauss社區(qū)還能夠與國(guó)內(nèi)不同的友商及合作伙伴一起來(lái)定義更多標(biāo)準(zhǔn)。

三 、數(shù)據(jù)全生命周期生產(chǎn)力工具：openGauss DataKit

除了深入講解 openGauss 5.0.0資源池化架構(gòu)外，黃凱耀還重點(diǎn)分享了社區(qū)全新升級(jí)的數(shù)據(jù)全生命周期生產(chǎn)力工具DataKit。

他指出，社區(qū)共建以及從更宏觀的層面實(shí)現(xiàn)產(chǎn)業(yè)鏈的共建，是DataKit最主要的發(fā)展思路。openGauss 的DBV伙伴通過(guò)DataKit平臺(tái)實(shí)現(xiàn)了存儲(chǔ)過(guò)程調(diào)試的功能，同時(shí)粵港澳大灣區(qū)國(guó)家技術(shù)創(chuàng)新中心也給DataKit貢獻(xiàn)了三個(gè)插件，這三個(gè)插件可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)系統(tǒng)集群上的性能分析。不僅如此，華為還推出了“眾智計(jì)劃”，將插件的開(kāi)發(fā)工作需求通過(guò)該計(jì)劃發(fā)布，由外部更廣泛的技術(shù)力量來(lái)承接聯(lián)合開(kāi)發(fā)。

四、產(chǎn)業(yè)鏈聯(lián)合創(chuàng)新，打造最具創(chuàng)新力的openGauss技術(shù)生態(tài)

演講尾聲，黃凱耀也介紹了社區(qū)愿景，即實(shí)現(xiàn)產(chǎn)業(yè)鏈聯(lián)合創(chuàng)新，打造最具創(chuàng)新力的 openGauss 技術(shù)生態(tài)。這里分別有兩個(gè)方向的擴(kuò)展，一個(gè)是垂直向上的場(chǎng)景擴(kuò)展，一個(gè)是水平方向的能力擴(kuò)展。

作為國(guó)內(nèi)數(shù)據(jù)庫(kù)研究的根技術(shù)平臺(tái)，openGauss社區(qū)的使命首先是服務(wù)好數(shù)據(jù)庫(kù)廠商，其次是在提供數(shù)據(jù)庫(kù)內(nèi)核的基礎(chǔ)之上進(jìn)一步提升整個(gè)計(jì)算產(chǎn)業(yè)的多層協(xié)同，包括芯片、服務(wù)器、操作系統(tǒng)、編譯器、上層應(yīng)用等全棧能力。以“創(chuàng)新”“開(kāi)放”“繁榮”為宗旨，黃凱耀在演講的最后呼吁大家一同加入到 openGauss 的生態(tài)建設(shè)中來(lái)，讓 openGauss 成為國(guó)內(nèi)最好的根技術(shù)社區(qū)。