數(shù)據(jù)庫(kù)技術(shù)是信息技術(shù)領(lǐng)域的核心技術(shù)之一,幾乎所有的信息系統(tǒng)都需要使用數(shù)據(jù)庫(kù)系統(tǒng)來(lái)組織、存儲(chǔ)、操縱和管理業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)庫(kù)領(lǐng)域也是現(xiàn)代計(jì)算機(jī)學(xué)科的重要分支和研究方向。目前,在數(shù)據(jù)庫(kù)領(lǐng)域已經(jīng)產(chǎn)生了四位圖靈獎(jiǎng)得主,他們?cè)跀?shù)據(jù)庫(kù)理論和實(shí)踐領(lǐng)域均有突出貢獻(xiàn)。

在數(shù)據(jù)庫(kù)誕生之前,數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理已經(jīng)存在了相當(dāng)長(zhǎng)的時(shí)間。當(dāng)時(shí)數(shù)據(jù)管理主要是通過(guò)表格、卡片等方式進(jìn)行,效率低下,需要大量人員參與,極易出錯(cuò)。

20世紀(jì)50年代,隨著計(jì)算機(jī)的誕生和成熟,計(jì)算機(jī)開始運(yùn)用于數(shù)據(jù)管理,與此同時(shí),數(shù)據(jù)管理技術(shù)也迅速發(fā)展。傳統(tǒng)的文件系統(tǒng)難以應(yīng)對(duì)數(shù)據(jù)增長(zhǎng)的挑戰(zhàn),也無(wú)法滿足多用戶共享數(shù)據(jù)和快速檢索數(shù)據(jù)的需求。

在這樣的背景下,20世紀(jì)60年代,數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。在數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域,數(shù)據(jù)庫(kù)所使用的典型數(shù)據(jù)模型主要有層次數(shù)據(jù)模型(Hierarchical Data Model)、網(wǎng)狀數(shù)據(jù)模型(Network Data Model)和關(guān)系數(shù)據(jù)模型(Relational Data Model)。這三種模型是按照它們的數(shù)據(jù)結(jié)構(gòu)來(lái)命名的,它們之間的根本區(qū)別就在于數(shù)據(jù)之間聯(lián)系的表達(dá)方式不同。

上圖是分別使用三種數(shù)據(jù)模型來(lái)表示學(xué)校教育系統(tǒng)的樣例。其中，層次數(shù)據(jù)模型是以“樹結(jié)構(gòu)”表示數(shù)據(jù)記錄之間的聯(lián)系; 網(wǎng)狀數(shù)據(jù)模型是以“圖結(jié)構(gòu)”表示數(shù)據(jù)記錄之間的聯(lián)系; 關(guān)系數(shù)據(jù)模型則是以“二維表”(或稱為關(guān)系)的方式表示數(shù)據(jù)記錄之間的聯(lián)系。因?yàn)閿?shù)據(jù)模型貫穿了整個(gè)數(shù)據(jù)庫(kù)技術(shù)的發(fā)展歷史,接下來(lái)將以數(shù)據(jù)模型為依據(jù),介紹數(shù)據(jù)庫(kù)的發(fā)展過(guò)程。

網(wǎng)狀數(shù)據(jù)庫(kù)和層次數(shù)據(jù)庫(kù)

網(wǎng)狀數(shù)據(jù)庫(kù)是數(shù)據(jù)庫(kù)歷史上的第一代產(chǎn)品,它成功地將數(shù)據(jù)從應(yīng)用程序中獨(dú)立出來(lái)并進(jìn)行集中管理。網(wǎng)狀數(shù)據(jù)庫(kù)基于網(wǎng)狀數(shù)據(jù)模型建立數(shù)據(jù)之間的聯(lián)系,能反映現(xiàn)實(shí)世界中信息的關(guān)聯(lián),是許多空間對(duì)象的自然表達(dá)形式。

1964年,世界上第一個(gè)數(shù)據(jù)庫(kù)系統(tǒng)———IDS(Integrated Data Storage,集成數(shù)據(jù)存儲(chǔ))誕生于通用電氣公司。IDS是網(wǎng)狀數(shù)據(jù)庫(kù),奠定了數(shù)據(jù)庫(kù)發(fā)展的基礎(chǔ),在當(dāng)時(shí)得到了廣泛的應(yīng)用。5 年后,美國(guó)數(shù)據(jù)庫(kù)系統(tǒng)語(yǔ)言協(xié)會(huì)(Conference on Data SystemsLanguages,CODASYL)下屬的數(shù)據(jù)庫(kù)任務(wù)組(Database Task Group,DBTG)發(fā)布了一份報(bào)告,闡述了網(wǎng)狀數(shù)據(jù)庫(kù)系統(tǒng)的許多概念、方法和技術(shù),成了網(wǎng)狀數(shù)據(jù)庫(kù)的代表。

在20世紀(jì)70年代與80年代初,網(wǎng)狀數(shù)據(jù)庫(kù)系統(tǒng)十分流行,在數(shù)據(jù)庫(kù)系統(tǒng)產(chǎn)品中占據(jù)主導(dǎo)地位。例如,配備在富士通公司M 系列機(jī)上的AIM(Advanced Information Manager)系統(tǒng)和配備在UNIVAC(UNIVersal Automatic Computer)上的DMS1100?系統(tǒng)都是網(wǎng)狀數(shù)據(jù)庫(kù)系統(tǒng)。

緊隨網(wǎng)狀數(shù)據(jù)庫(kù)后出現(xiàn)的是層次數(shù)據(jù)庫(kù),其數(shù)據(jù)模型是層次數(shù)據(jù)模型,即使用樹結(jié)構(gòu)來(lái)描述實(shí)體及其之間關(guān)系的數(shù)據(jù)模型。在這種結(jié)構(gòu)中,每一個(gè)記錄類型都用節(jié)點(diǎn)表示,記錄類型之間的聯(lián)系則用節(jié)點(diǎn)之間的有向線段來(lái)表示。每一個(gè)子節(jié)點(diǎn)只能有一個(gè)父節(jié)點(diǎn),但是每一個(gè)父節(jié)點(diǎn)可以有多個(gè)子節(jié)點(diǎn)。這種結(jié)構(gòu)決定了采用層次數(shù)據(jù)模型作為數(shù)據(jù)組織方式的層次數(shù)據(jù)庫(kù)系統(tǒng)只能處理一對(duì)多的實(shí)體聯(lián)系。

1968年,世界上第一個(gè)層次數(shù)據(jù)庫(kù)系統(tǒng)———IMS(Information Management System,信息管理系統(tǒng))誕生于IBM 公司,這也是世界上第一個(gè)大型商用的數(shù)據(jù)庫(kù)系統(tǒng)。

如上所述,網(wǎng)狀數(shù)據(jù)庫(kù)系統(tǒng)和層次數(shù)據(jù)庫(kù)系統(tǒng)在數(shù)據(jù)庫(kù)發(fā)展的早期比較流行。網(wǎng)狀數(shù)據(jù)庫(kù)模型對(duì)于層次和非層次結(jié)構(gòu)的事物都能比較自然地模擬,相比層次數(shù)據(jù)庫(kù)應(yīng)用更廣泛,在當(dāng)時(shí)占據(jù)著主要地位。

1973年,Charles W.Bachman獲得圖靈獎(jiǎng),以表彰他在數(shù)據(jù)庫(kù)領(lǐng)域,尤其是在網(wǎng)狀數(shù)據(jù)庫(kù)管理系統(tǒng)方面的杰出貢獻(xiàn)。但是,網(wǎng)狀數(shù)據(jù)庫(kù)也存在一些問(wèn)題: 首先,用戶在復(fù)雜的網(wǎng)狀結(jié)構(gòu)中進(jìn)行查詢和定位操作比較困難;其次,網(wǎng)狀數(shù)據(jù)的操作命令具有過(guò)程式的性質(zhì); 最后,網(wǎng)狀數(shù)據(jù)庫(kù)對(duì)于層次結(jié)構(gòu)的表達(dá)并不直接。

關(guān)系數(shù)據(jù)庫(kù)

雖然對(duì)于數(shù)據(jù)的集中存儲(chǔ)、管理和共享的問(wèn)題,網(wǎng)狀數(shù)據(jù)庫(kù)和層次數(shù)據(jù)庫(kù)已經(jīng)給出較好的解答,但是在數(shù)據(jù)獨(dú)立性和抽象級(jí)別上仍有較大的欠缺。為了解決這些問(wèn)題,關(guān)系數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。

1970年,IBM 的研究員Edgar F.Codd發(fā)表了A Relational Model of Data forLarge Shared Data Banks 論文,提出了關(guān)系數(shù)據(jù)模型的概念,奠定了關(guān)系數(shù)據(jù)模型的理論基礎(chǔ),這是數(shù)據(jù)庫(kù)發(fā)展史上具有劃時(shí)代意義的里程碑。

隨后,Edgar F.Codd又陸續(xù)發(fā)表了多篇文章,論述了范式理論,用數(shù)學(xué)理論奠定了關(guān)系數(shù)據(jù)庫(kù)的基礎(chǔ),為關(guān)系數(shù)據(jù)庫(kù)建立了一個(gè)數(shù)據(jù)模型———關(guān)系數(shù)據(jù)模型。關(guān)系數(shù)據(jù)模型的概念非常簡(jiǎn)單,結(jié)構(gòu)特別靈活,能滿足所有布爾邏輯運(yùn)算和集合運(yùn)算規(guī)則形成的查詢要求; 可以搜索、比較和組合不同類型的數(shù)據(jù); 使用關(guān)系數(shù)據(jù)模型進(jìn)行數(shù)據(jù)增加和刪除操作非常方便,關(guān)系數(shù)據(jù)模型具有較高的數(shù)據(jù)獨(dú)立性和更好的安全保密性。然而,當(dāng)數(shù)據(jù)庫(kù)比較大的時(shí)候,查找滿足特定關(guān)系的數(shù)據(jù)比較耗時(shí),同時(shí)也難以描述空間數(shù)據(jù)關(guān)系。

在關(guān)系數(shù)據(jù)模型的基礎(chǔ)上,IBM 公司從1970年就開始了關(guān)系數(shù)據(jù)庫(kù)項(xiàng)目SystemR的研究和開發(fā)。然而,由于IBM 已有層次數(shù)據(jù)庫(kù)產(chǎn)品IMS,System R產(chǎn)品化進(jìn)程十分緩慢,直到1980年才完成產(chǎn)品化,作為一個(gè)產(chǎn)品正式推向市場(chǎng)。后來(lái),IBM 公司在System R的基礎(chǔ)上發(fā)布了DB2數(shù)據(jù)庫(kù)系統(tǒng)。IBM 公司研發(fā)進(jìn)程緩慢,沒(méi)能在產(chǎn)品上搶占先機(jī)。

1973年,加州大學(xué)伯克利分校的Michael Stonebraker和Eugene Wong利用IBM 公司已發(fā)布的信息,以及關(guān)系模型的理論,開始開發(fā)自己的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)Ingres。1976年,霍尼韋爾公司(Honeywell)開發(fā)了世界上第一個(gè)商用關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)———Multics Relational Data Store。

1974年IBM 的Ray Boyce和Don Chamberlin將Edgar F.Codd論述的關(guān)系數(shù)據(jù)庫(kù)的12條準(zhǔn)則的數(shù)學(xué)定義以簡(jiǎn)單的關(guān)鍵字語(yǔ)法表現(xiàn)出來(lái),里程碑式地提出了SQL(Structured Query Language,結(jié)構(gòu)化查詢語(yǔ)言)。SQL是一種操作關(guān)系數(shù)據(jù)庫(kù)的標(biāo)準(zhǔn)語(yǔ)言,它包括了對(duì)數(shù)據(jù)進(jìn)行定義、操縱、查詢和控制功能的類型分句。用戶只需要在高層數(shù)據(jù)結(jié)構(gòu)上進(jìn)行數(shù)據(jù)處理,無(wú)須用戶指定數(shù)據(jù)的存取方法,也不需要用戶了解具體的數(shù)據(jù)存儲(chǔ)方式,就可以使用SQL對(duì)不同關(guān)系數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)操作。SQL有著一體化、使用方式靈活、非過(guò)程化和簡(jiǎn)單易用的特點(diǎn),幾乎所有的關(guān)系DBMS(Database Management System,數(shù)據(jù)庫(kù)管理系統(tǒng))產(chǎn)品都支持SQL,例如Oracle、DB2、Sybase、SQL Server、MS Access、MySQL、PostgreSQL等。

1978年,Larry Ellison在為美國(guó)中央情報(bào)局做一個(gè)數(shù)據(jù)項(xiàng)目的時(shí)候,敏銳地發(fā)現(xiàn)關(guān)系數(shù)據(jù)庫(kù)的商機(jī)。幾個(gè)月后,Oracle 1.0誕生了,它除了完成簡(jiǎn)單關(guān)系查詢之外,不能做任何事情。但是經(jīng)過(guò)短短十幾年,Oracle公司的數(shù)據(jù)庫(kù)產(chǎn)品不斷發(fā)展成熟,成為了數(shù)據(jù)庫(kù)行業(yè)的巨頭。至此,關(guān)系數(shù)據(jù)模型的理論才通過(guò)SQL在商業(yè)數(shù)據(jù)庫(kù)Oracle中使用。

雖然加州大學(xué)伯克利分校的Ingres項(xiàng)目結(jié)束于20世紀(jì)80年代早期,但在Ingres的基礎(chǔ)上產(chǎn)生了很多商業(yè)數(shù)據(jù)庫(kù)軟件,包括Sybase、Microsoft SQL Server以及Informix等其他眾多的數(shù)據(jù)庫(kù)系統(tǒng)。在20世紀(jì)80年代中期,加州大學(xué)伯克利分校又啟動(dòng)了Ingres的后繼項(xiàng)目Postgres,該項(xiàng)目產(chǎn)出了很有影響力的PostgreSQL數(shù)據(jù)庫(kù)系統(tǒng)。Ingres作為比較早的數(shù)據(jù)庫(kù)系統(tǒng),對(duì)關(guān)系數(shù)據(jù)庫(kù)的發(fā)展產(chǎn)生了重要影響,是數(shù)據(jù)庫(kù)發(fā)展史上最有影響力的項(xiàng)目之一。

關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)以關(guān)系代數(shù)為堅(jiān)實(shí)的理論基礎(chǔ),經(jīng)過(guò)幾十年的發(fā)展和實(shí)際應(yīng)用,技術(shù)越來(lái)越成熟和完善,直到今天,關(guān)系數(shù)據(jù)庫(kù)仍然在數(shù)據(jù)庫(kù)領(lǐng)域占據(jù)著最重要的地位,應(yīng)用范圍非常廣泛。由于Edgar F.Codd在關(guān)系數(shù)據(jù)庫(kù)理論和實(shí)現(xiàn)方面的杰出貢獻(xiàn),他于1981年被授予圖靈獎(jiǎng)。為了表彰Michael Stonebraker在數(shù)據(jù)庫(kù)系統(tǒng)原型和初步商業(yè)化方面的巨大貢獻(xiàn),2014 年Michael Stonebraker被授予圖靈獎(jiǎng)。

雖然關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)的技術(shù)很成熟,但隨著市場(chǎng)和信息技術(shù)的發(fā)展,其局限性也逐漸暴露出來(lái),即它能很好地處理所謂的“表格型數(shù)據(jù)”,卻無(wú)法處理當(dāng)前出現(xiàn)的越來(lái)越多的復(fù)雜類型數(shù)據(jù)(如文本、圖像、視頻等)。

分布式數(shù)據(jù)庫(kù)

在數(shù)據(jù)庫(kù)發(fā)展早期階段,使用單機(jī)數(shù)據(jù)庫(kù)就能滿足數(shù)據(jù)存儲(chǔ)和管理的規(guī)模,但是隨著互聯(lián)網(wǎng)的不斷普及,特別是移動(dòng)互聯(lián)網(wǎng)的興起,數(shù)據(jù)規(guī)模爆炸式增長(zhǎng),單機(jī)數(shù)據(jù)庫(kù)越來(lái)越難以滿足用戶需求。解決這種問(wèn)題的一個(gè)直觀方法就是增加機(jī)器的數(shù)量,把數(shù)據(jù)庫(kù)同時(shí)部署在多臺(tái)機(jī)器上,分布式數(shù)據(jù)庫(kù)就這樣應(yīng)運(yùn)而生了。

20世紀(jì)70年代中期分布式數(shù)據(jù)庫(kù)的研究就已經(jīng)開始了,這個(gè)時(shí)期也出現(xiàn)了一些分布式數(shù)據(jù)庫(kù)系統(tǒng)。例如,1979 年,美國(guó)計(jì)算機(jī)公司(Computer Corporation of America,CCA)在DEC(Digital Equipment Corporation)計(jì)算機(jī)上實(shí)現(xiàn)了世界上第一個(gè)分布式數(shù)據(jù)庫(kù)系統(tǒng)SDD-1。隨后,在不到十年的時(shí)間內(nèi),分布式數(shù)據(jù)庫(kù)的發(fā)展十分迅猛。例如,IBM 公司在System R的基礎(chǔ)上研制了分布式數(shù)據(jù)庫(kù)R* ,加州大學(xué)伯克利分校開發(fā)了分布式Ingres等。

1987年,C.J.Date提出了完全的、真正的分布式數(shù)據(jù)庫(kù)系統(tǒng)應(yīng)遵循的原則,該原則被作為分布式數(shù)據(jù)庫(kù)系統(tǒng)的理想目標(biāo)。20世紀(jì)90年代以來(lái),分布式數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)入商業(yè)化應(yīng)用階段,傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)產(chǎn)品均發(fā)展成以計(jì)算機(jī)網(wǎng)絡(luò)及多任務(wù)操作系統(tǒng)為核心的分布式數(shù)據(jù)庫(kù)產(chǎn)品。

2005年左右,研究人員對(duì)分布式數(shù)據(jù)庫(kù)的探索,推動(dòng)了NoSQL數(shù)據(jù)庫(kù)的發(fā)展,這些數(shù)據(jù)庫(kù)解決的首要問(wèn)題是單機(jī)上無(wú)法保存全部數(shù)據(jù),其中以HBase、Cassandra、MongoDB為代表。2012—013年,業(yè)界在谷歌(Google)發(fā)表的Spanner和F1系統(tǒng)的論文中看到了關(guān)系模型和NoSQL的擴(kuò)展性在一個(gè)大規(guī)模生產(chǎn)系統(tǒng)上融合的可能性,這些探索極大地推動(dòng)了NewSQL數(shù)據(jù)庫(kù)的發(fā)展。

進(jìn)入大數(shù)據(jù)和移動(dòng)互聯(lián)時(shí)代后,因?yàn)閿?shù)據(jù)的特性和應(yīng)用場(chǎng)景的變化,注定著不論是傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù),還是新型的NoSQL和NewSQL數(shù)據(jù)庫(kù)都會(huì)向著分布式的方向發(fā)展,分布式數(shù)據(jù)庫(kù)也成了數(shù)據(jù)庫(kù)領(lǐng)域的主流方向之一。但是分布式數(shù)據(jù)庫(kù)也存在一些問(wèn)題。例如,眾多節(jié)點(diǎn)之間通信會(huì)花費(fèi)大量時(shí)間; 數(shù)據(jù)的安全性和保密性在眾多節(jié)點(diǎn)之間會(huì)受到威脅; 在分布式系統(tǒng)復(fù)雜的存取結(jié)構(gòu)中,原本在集中式系統(tǒng)中有效存取數(shù)據(jù)的技術(shù)可能不再適用; 分布式的數(shù)據(jù)劃分、負(fù)載均衡、分布式事務(wù)處理和分布式執(zhí)行技術(shù)缺乏新的突破。

云數(shù)據(jù)庫(kù)

云計(jì)算(Cloud Computing)的迅猛發(fā)展使得數(shù)據(jù)庫(kù)部署和虛擬化在“云端”成為可能。云數(shù)據(jù)庫(kù)即是數(shù)據(jù)庫(kù)部署和虛擬化在云計(jì)算環(huán)境下,通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)提供數(shù)據(jù)管理服務(wù)的數(shù)據(jù)庫(kù)。因?yàn)樵茢?shù)據(jù)庫(kù)可以共享基礎(chǔ)架構(gòu),極大地增強(qiáng)了數(shù)據(jù)庫(kù)的存儲(chǔ)能力,消除了人員、硬件、軟件的重復(fù)配置。

云數(shù)據(jù)庫(kù)將傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)配置在“云上”,有專門的云服務(wù)提供商進(jìn)行這些“云上”數(shù)據(jù)庫(kù)系統(tǒng)的管理和部署工作,用戶只需要通過(guò)付費(fèi)的方式就能獲取數(shù)據(jù)庫(kù)服務(wù)。不同于傳統(tǒng)數(shù)據(jù)庫(kù),云數(shù)據(jù)庫(kù)通過(guò)計(jì)算存儲(chǔ)分離、存儲(chǔ)在線擴(kuò)容、計(jì)算彈性伸縮來(lái)提升數(shù)據(jù)庫(kù)的可用性和可靠性。代表性的云數(shù)據(jù)庫(kù)是亞馬遜的Aurora,它首先提出了日志即是數(shù)據(jù)庫(kù)的理念,減少了網(wǎng)絡(luò)消耗,提升了系統(tǒng)的可用性。

云數(shù)據(jù)庫(kù)也能分成關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)。典型的基于關(guān)系數(shù)據(jù)模型的云數(shù)據(jù)庫(kù)就有亞馬遜的Aurora、微軟的SQL Azure云數(shù)據(jù)庫(kù)。常見的基于非關(guān)系數(shù)據(jù)模型的有亞馬遜的DynamoDB,該數(shù)據(jù)庫(kù)采用鍵值存儲(chǔ)。

2019年6月,Gartner發(fā)布The Future of the Database Management System(DBMS)Market Is Cloud 報(bào)告,明確提出傳統(tǒng)的部署數(shù)據(jù)庫(kù)的方式已經(jīng)過(guò)時(shí),云是未來(lái),所有組織,無(wú)論大小,都將越來(lái)越多地使用云數(shù)據(jù)庫(kù)。但是,云數(shù)據(jù)庫(kù)中存在的問(wèn)題也不可忽略,云計(jì)算中最值得關(guān)注的是安全問(wèn)題,云計(jì)算對(duì)數(shù)據(jù)安全帶來(lái)了極大威脅,數(shù)據(jù)極易泄露,存在意外丟失的風(fēng)險(xiǎn)。