五年前，也就是 2017 年 7 月 13 日，“數(shù)據(jù)庫(kù)之父”查爾斯·巴赫曼 (Charles Bachman) 逝世。

上學(xué)時(shí)，我們的很多課本上都提到了三層體系結(jié)構(gòu)、數(shù)據(jù)庫(kù)管理系統(tǒng)概念、DDL、DML 等等這些概念，但都沒(méi)提到這些概念背后的創(chuàng)造者——查爾斯·巴赫曼。

作為網(wǎng)狀數(shù)據(jù)庫(kù)之父、DBTG (Data Base Task Group) 之父，查爾斯·巴赫曼的兩項(xiàng)重大貢獻(xiàn)包括：

1、開(kāi)發(fā)了最早的網(wǎng)狀數(shù)據(jù)庫(kù)管理系統(tǒng) IDS (Integrated Data Store)。IDS 于 1964 年推出后，成為最受歡迎的數(shù)據(jù)庫(kù)產(chǎn)品之一，它的設(shè)計(jì)思想和實(shí)現(xiàn)技術(shù)被后來(lái)的許多數(shù)據(jù)庫(kù)產(chǎn)品仿效。

2、巴赫曼促成了數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)的制定。在美國(guó)數(shù)據(jù)系統(tǒng)語(yǔ)言委員會(huì)下屬的數(shù)據(jù)庫(kù)任務(wù)組 DBTG 期間，他提出了網(wǎng)狀數(shù)據(jù)庫(kù)模型以及數(shù)據(jù)定義 (DDL) 和數(shù)據(jù)操縱語(yǔ)言 (DML) 規(guī)范說(shuō)明，并于 1971 年推出了第一個(gè)正式報(bào)告——DBTG 報(bào)告，該報(bào)告首次提出了數(shù)據(jù)庫(kù)三層體系結(jié)構(gòu)，明確了 DBA 概念，規(guī)定了 DBA 的作用與地位，使其成為了數(shù)據(jù)庫(kù)歷史上具里程碑意義的文獻(xiàn)。巴赫曼還發(fā)明了一種描述網(wǎng)狀數(shù)據(jù)庫(kù)模型的數(shù)據(jù)結(jié)構(gòu)圖，被世人稱(chēng)為“巴赫曼圖”（Bachman Diagram）。

此外，在擔(dān)任 ISO / TC97 / SC16 會(huì)議主席時(shí)，巴赫曼還主持制定了著名的“開(kāi)放系統(tǒng)互連”標(biāo)準(zhǔn)，即 OSI (Open System Interconection)，OSI 對(duì)計(jì)算機(jī)、終端設(shè)備、人員、進(jìn)程、網(wǎng)絡(luò)之間的數(shù)據(jù)交換提供了標(biāo)準(zhǔn)，對(duì)系統(tǒng)之間互相開(kāi)放有重要意義。

1973 年，憑借對(duì)數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域的杰出貢獻(xiàn)，巴赫曼被授予計(jì)算機(jī)領(lǐng)域的最高獎(jiǎng)項(xiàng)——圖靈獎(jiǎng)，也是數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域最早獲得圖靈獎(jiǎng)的先驅(qū)。

巴赫曼的"網(wǎng)狀數(shù)據(jù)庫(kù)"及其發(fā)展

查爾斯·巴赫曼研發(fā)的網(wǎng)狀數(shù)據(jù)庫(kù) (Network Database) 是一種采用網(wǎng)狀模型的數(shù)據(jù)庫(kù)。網(wǎng)狀模型用網(wǎng)狀結(jié)構(gòu)表示各類(lèi)實(shí)體及其間的聯(lián)系。在網(wǎng)狀結(jié)構(gòu)中：允許一個(gè)以上的結(jié)點(diǎn)沒(méi)有雙親；一個(gè)結(jié)點(diǎn)可以有多于一個(gè)的雙親。網(wǎng)狀模型是一種比層次模型更具普遍性的結(jié)構(gòu)，它去掉了層次模型的限制，允許多個(gè)結(jié)點(diǎn)沒(méi)有雙親結(jié)點(diǎn)，允許結(jié)點(diǎn)有多個(gè)雙親結(jié)點(diǎn)，此外它還允許兩個(gè)結(jié)點(diǎn)之間有多種聯(lián)系（即復(fù)合聯(lián)系）。因此網(wǎng)狀數(shù)據(jù)模型可以更直接地去描述現(xiàn)實(shí)世界。

當(dāng)然，網(wǎng)狀數(shù)據(jù)庫(kù)也存在一些局限：首先，用戶查詢和定位在復(fù)雜的網(wǎng)狀結(jié)構(gòu)中比較難進(jìn)行；其次，網(wǎng)狀數(shù)據(jù)的操作命令具有過(guò)程式的性質(zhì)；最后，網(wǎng)狀數(shù)據(jù)庫(kù)的表達(dá)并不直接。

緊隨網(wǎng)狀數(shù)據(jù)庫(kù)后出現(xiàn)的是層次數(shù)據(jù)庫(kù)，其數(shù)據(jù)模型是層次數(shù)據(jù)模型，即使用樹(shù)形結(jié)構(gòu)來(lái)描述實(shí)體及其之間關(guān)系的數(shù)據(jù)模型。在這種結(jié)構(gòu)中，每一個(gè)記錄類(lèi)型都用節(jié)點(diǎn)表示，記錄類(lèi)型之間的聯(lián)系則用節(jié)點(diǎn)之間的有向線段來(lái)表示。每一個(gè)子節(jié)點(diǎn)只能有一個(gè)父節(jié)點(diǎn)，但是每一個(gè)父節(jié)點(diǎn)可以有多個(gè)子節(jié)點(diǎn)。這種結(jié)構(gòu)決定了采用層次數(shù)據(jù)模型作為數(shù)據(jù)組織方式的層次數(shù)據(jù)庫(kù)系統(tǒng)只能處理一對(duì)多的實(shí)體聯(lián)系。1968 年，世界上第一個(gè)層次數(shù)據(jù)庫(kù)——信息管理系統(tǒng) IMS (Information Management System) 誕生于 IBM，也是世界上第一個(gè)大型商用的數(shù)據(jù)庫(kù)系統(tǒng)。

再后來(lái)，就是一直沿用至今的關(guān)系型數(shù)據(jù)庫(kù)。1976 年，霍尼韋爾公司發(fā)布了世界上第一個(gè)商用關(guān)系型數(shù)據(jù)庫(kù) Multics Relational Data Store。由于關(guān)系數(shù)據(jù)庫(kù)具有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，抽象級(jí)別比較高，簡(jiǎn)單清晰，便于理解使用，用戶能夠有邏輯的、抽象的處理數(shù)據(jù)而不必關(guān)心數(shù)據(jù)在計(jì)算機(jī)中的物理表示和存儲(chǔ)，因此關(guān)系型數(shù)據(jù)庫(kù)得到了迅速發(fā)展并成為主流的數(shù)據(jù)庫(kù)模型。緊隨其后，1979 年誕生了 Oracle，1985 年 IBM 發(fā)布了 DB2，1989 年微軟發(fā)布了 SQL Server，關(guān)系型數(shù)據(jù)庫(kù)的隊(duì)伍不斷壯大。

當(dāng)今數(shù)據(jù)庫(kù)的應(yīng)用需求和分類(lèi)

數(shù)據(jù)庫(kù)的應(yīng)用類(lèi)型分為 OLTP （Online Transaction Processing，聯(lián)機(jī)事務(wù)處理）和 OLAP（Online Analysis Processing，聯(lián)機(jī)分析處理）兩種。

• OLTP 是傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的主要應(yīng)用，主要面向基本的、日常的事務(wù)處理，例如在線交易。它可以立即將客戶端的原始數(shù)據(jù)傳送到計(jì)算中心進(jìn)行處理，并且在短時(shí)間內(nèi)給出處理結(jié)果。衡量 OLTP 系統(tǒng)的一個(gè)重要指標(biāo)是系統(tǒng)性能，具體體現(xiàn)為實(shí)時(shí)響應(yīng)時(shí)間（Response Time），即從用戶輸入數(shù)據(jù)到對(duì)該請(qǐng)求做出響應(yīng)的時(shí)間。
• OLAP 是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用，OLAP 專(zhuān)門(mén)用于支持復(fù)雜的分析查詢，側(cè)重對(duì)決策人員和高層管理人員的決策支持，可以根據(jù)分析人員的要求快速、靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，并且以一種直觀易懂的形式將查詢結(jié)果提供給決策者。

大數(shù)據(jù)時(shí)代的數(shù)據(jù)庫(kù)熱潮

隨著當(dāng)今互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)等技術(shù)的不斷發(fā)展，各種應(yīng)用催生大量數(shù)據(jù)，也促進(jìn)數(shù)據(jù)管理工具飛速發(fā)展。數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)、湖倉(cāng)一體等概念也逐漸產(chǎn)生。在分析型數(shù)據(jù)庫(kù) (OLAP) 領(lǐng)域，曾先后出現(xiàn) MPP 和 Hadoop，MPP 數(shù)據(jù)庫(kù)主要用作數(shù)據(jù)倉(cāng)庫(kù)，Hadoop 大數(shù)據(jù)平臺(tái)承擔(dān)起數(shù)據(jù)湖的職能。

數(shù)據(jù)倉(cāng)庫(kù)是獨(dú)立于業(yè)務(wù)數(shù)據(jù)庫(kù)之外的一套數(shù)據(jù)存儲(chǔ)體系，與傳統(tǒng)數(shù)據(jù)庫(kù)需要直接處理線上業(yè)務(wù)不同，數(shù)據(jù)倉(cāng)庫(kù)側(cè)重于分析決策，提供直觀的數(shù)據(jù)查詢結(jié)果。

數(shù)據(jù)湖早期一般托管在 Hadoop 等大數(shù)據(jù)平臺(tái)上，擁有大量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)空間，非常適合數(shù)據(jù)科學(xué)家和分析師存儲(chǔ)原始數(shù)據(jù)。有時(shí)候用戶不知道自己用這些數(shù)據(jù)能做什么，但是隨著持續(xù)進(jìn)行數(shù)據(jù)挖掘，原始數(shù)據(jù)的存儲(chǔ)價(jià)值逐漸凸顯。

隨著用戶對(duì)湖和倉(cāng)的要求不斷提高，自然會(huì)出現(xiàn)湖倉(cāng)協(xié)同的嘗試和探索，也就形成了 MPP + Hadoop 模式，我們稱(chēng)之為湖倉(cāng)分體模式。湖倉(cāng)分體模式下的湖、倉(cāng)各自獨(dú)立部署，數(shù)據(jù)通過(guò) ETL 的方式打通，但這種模式的最大問(wèn)題和特點(diǎn)是數(shù)據(jù)孤島。

隨著公有云和私有云的普及，為了保證存儲(chǔ)和計(jì)算可以獨(dú)立的彈性擴(kuò)展和伸縮，數(shù)據(jù)平臺(tái)的設(shè)計(jì)出現(xiàn)了一個(gè)嶄新的架構(gòu)，即存算分離架構(gòu)。MPP 數(shù)據(jù)庫(kù)存算耦合，而 Hadoop 不得不通過(guò)計(jì)算和存儲(chǔ)部署在同一物理集群拉近計(jì)算與數(shù)據(jù)的距離，因此 MPP 和 Hadoop 都不再適應(yīng)云平臺(tái)的要求。在此階段，Snowflake 和 OushuDB 突破了傳統(tǒng) MPP 和 Hadoop 的局限性，率先實(shí)現(xiàn)了存算完全分離，成為湖倉(cāng)一體實(shí)現(xiàn)的關(guān)鍵技術(shù)。

以 OushuDB 為例，實(shí)現(xiàn)了存算分離的云原生架構(gòu)，并通過(guò)虛擬計(jì)算集群技術(shù)在數(shù)十萬(wàn)節(jié)點(diǎn)的超大規(guī)模集群上實(shí)現(xiàn)了高并發(fā)，保障事務(wù)支持，提供實(shí)時(shí)能力，一份數(shù)據(jù)再無(wú)數(shù)據(jù)孤島。