一、3種系統(tǒng)架構(gòu)與2種存儲(chǔ)器共享方式

1.1 架構(gòu)概述

• 從系統(tǒng)架構(gòu)來(lái)看，目前的商用服務(wù)器大體可以分為三類

1. 對(duì)稱多處理器結(jié)構(gòu)(SMP：Symmetric Multi-Processor)

2. 非一致存儲(chǔ)訪問(wèn)結(jié)構(gòu)(NUMA：Non-Uniform Memory Access)

3. 海量并行處理結(jié)構(gòu)(MPP：Massive Parallel Processing)。

• 共享存儲(chǔ)型多處理機(jī)有兩種模型

1. 均勻存儲(chǔ)器存?。║niform-Memory-Access，簡(jiǎn)稱UMA）模型

2. 非均勻存儲(chǔ)器存?。∟onuniform-Memory-Access，簡(jiǎn)稱NUMA）模型

• 而我們后面所提到的COMA和ccNUMA都是NUMA結(jié)構(gòu)的改進(jìn)

1.2 SMP(Symmetric Multi-Processor)

• 所謂對(duì)稱多處理器結(jié)構(gòu)，是指服務(wù)器中多個(gè)CPU對(duì)稱工作，無(wú)主次或從屬關(guān)系。

• 各CPU共享相同的物理內(nèi)存，每個(gè) CPU訪問(wèn)內(nèi)存中的任何地址所需時(shí)間是相同的，因此SMP也被稱為一致存儲(chǔ)器訪問(wèn)結(jié)構(gòu)(UMA：Uniform Memory Access)

• 對(duì)SMP服務(wù)器進(jìn)行擴(kuò)展的方式包括增加內(nèi)存、使用更快的CPU、增加CPU、擴(kuò)充I/O(槽口數(shù)與總線數(shù))以及添加更多的外部設(shè)備(通常是磁盤(pán)存儲(chǔ))。

• SMP服務(wù)器的主要特征是共享，系統(tǒng)中所有資源(CPU、內(nèi)存、I/O等)都是共享的。也正是由于這種特征，導(dǎo)致了SMP服務(wù)器的主要問(wèn)題，那就是它的擴(kuò)展能力非常有限。

• 對(duì)于SMP服務(wù)器而言，每一個(gè)共享的環(huán)節(jié)都可能造成SMP服務(wù)器擴(kuò)展時(shí)的瓶頸，而最受限制的則是內(nèi)存。由于每個(gè)CPU必須通過(guò)相同的內(nèi)存總線訪問(wèn)相同的內(nèi)存資源，因此隨著CPU數(shù)量的增加，內(nèi)存訪問(wèn)沖突將迅速增加，最終會(huì)造成CPU資源的浪費(fèi)，使CPU性能的有效性大大降低。實(shí)驗(yàn)證明，SMP服務(wù)器CPU利用率最好的情況是2至4個(gè)CPU

• 圖中，物理存儲(chǔ)器被所有處理機(jī)均勻共享。所有處理機(jī)對(duì)所有存儲(chǔ)字具有相同的存取時(shí)間，這就是為什么稱它為均勻存儲(chǔ)器存取的原因。每臺(tái)處理機(jī)可以有私用高速緩存,外圍設(shè)備也以一定形式共享

【文章福利】小編推薦自己的Linux內(nèi)核技術(shù)交流群:【891587639】整理了一些個(gè)人覺(jué)得比較好的學(xué)習(xí)書(shū)籍、視頻資料共享在群文件里面，有需要的可以自行添加哦?。。。ê曨l教程、電子書(shū)、實(shí)戰(zhàn)項(xiàng)目及代碼)? ? ?

1.3 NUMA(Non-Uniform Memory Access)

• 由于SMP在擴(kuò)展能力上的限制，人們開(kāi)始探究如何進(jìn)行有效地?cái)U(kuò)展從而構(gòu)建大型系統(tǒng)的技術(shù)，NUMA就是這種努力下的結(jié)果之一

• 利用NUMA技術(shù)，可以把幾十個(gè)CPU(甚至上百個(gè)CPU)組合在一個(gè)服務(wù)器內(nèi).

• NUMA多處理機(jī)模型如圖所示，其訪問(wèn)時(shí)間隨存儲(chǔ)字的位置不同而變化。其共享存儲(chǔ)器物理上是分布在所有處理機(jī)的本地存儲(chǔ)器上。所有本地存儲(chǔ)器的集合組成了全局地址空間，可被所有的處理機(jī)訪問(wèn)。處理機(jī)訪問(wèn)本地存儲(chǔ)器是比較快的，但訪問(wèn)屬于另一臺(tái)處理機(jī)的遠(yuǎn)程存儲(chǔ)器則比較慢，因?yàn)橥ㄟ^(guò)互連網(wǎng)絡(luò)會(huì)產(chǎn)生附加時(shí)延。

• NUMA服務(wù)器的基本特征是具有多個(gè)CPU模塊，每個(gè)CPU模塊由多個(gè)CPU(如4個(gè))組成，并且具有獨(dú)立的本地內(nèi)存、I/O槽口等。

• 由于其節(jié)點(diǎn)之間可以通過(guò)互聯(lián)模塊(如稱為Crossbar Switch)進(jìn)行連接和信息交互，因此每個(gè)CPU可以訪問(wèn)整個(gè)系統(tǒng)的內(nèi)存(這是NUMA系統(tǒng)與MPP系統(tǒng)的重要差別)。顯然，訪問(wèn)本地內(nèi)存的速度將遠(yuǎn)遠(yuǎn)高于訪問(wèn)遠(yuǎn)地內(nèi)存(系統(tǒng)內(nèi)其它節(jié)點(diǎn)的內(nèi)存)的速度，這也是非一致存儲(chǔ)訪問(wèn)NUMA的由來(lái)。

• 由于這個(gè)特點(diǎn)，為了更好地發(fā)揮系統(tǒng)性能，開(kāi)發(fā)應(yīng)用程序時(shí)需要盡量減少不同CPU模塊之間的信息交互。利用NUMA技術(shù)，可以較好地解決原來(lái)SMP系統(tǒng)的擴(kuò)展問(wèn)題，在一個(gè)物理服務(wù)器內(nèi)可以支持上百個(gè)CPU。比較典型的NUMA服務(wù)器的例子包括HP的Superdome、SUN15K、IBMp690等。

• 但NUMA技術(shù)同樣有一定缺陷，由于訪問(wèn)遠(yuǎn)地內(nèi)存的延時(shí)遠(yuǎn)遠(yuǎn)超過(guò)本地內(nèi)存，因此當(dāng)CPU數(shù)量增加時(shí)，系統(tǒng)性能無(wú)法線性增加。如HP公司發(fā)布Superdome服務(wù)器時(shí)，曾公布了它與HP其它UNIX服務(wù)器的相對(duì)性能值，結(jié)果發(fā)現(xiàn)，64路CPU的Superdome (NUMA結(jié)構(gòu))的相對(duì)性能值是20，而8路N4000(共享的SMP結(jié)構(gòu))的相對(duì)性能值是6.3. 從這個(gè)結(jié)果可以看到，8倍數(shù)量的CPU換來(lái)的只是3倍性能的提升.

1.4 MPP(Massive Parallel Processing)

• 和NUMA不同，MPP提供了另外一種進(jìn)行系統(tǒng)擴(kuò)展的方式，它由多個(gè)SMP服務(wù)器通過(guò)一定的節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)進(jìn)行連接，協(xié)同工作，完成相同的任務(wù)，從用戶的角度來(lái)看是一個(gè)服務(wù)器系統(tǒng)。其基本特征是由多個(gè)SMP服務(wù)器(每個(gè)SMP服務(wù)器稱節(jié)點(diǎn))通過(guò)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)連接而成，每個(gè)節(jié)點(diǎn)只訪問(wèn)自己的本地資源(內(nèi)存、存儲(chǔ)等)，是一種完全無(wú)共享(Share Nothing)結(jié)構(gòu)，因而擴(kuò)展能力最好，理論上其擴(kuò)展無(wú)限制，目前的技術(shù)可實(shí)現(xiàn)512個(gè)節(jié)點(diǎn)互聯(lián)，數(shù)千個(gè)CPU。目前業(yè)界對(duì)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)暫無(wú)標(biāo)準(zhǔn)，如 NCR的Bynet，IBM的SPSwitch，它們都采用了不同的內(nèi)部實(shí)現(xiàn)機(jī)制。但節(jié)點(diǎn)互聯(lián)網(wǎng)僅供MPP服務(wù)器內(nèi)部使用，對(duì)用戶而言是透明的。

• 在MPP系統(tǒng)中，每個(gè)SMP節(jié)點(diǎn)也可以運(yùn)行自己的操作系統(tǒng)、數(shù)據(jù)庫(kù)等。但和NUMA不同的是，它不存在異地內(nèi)存訪問(wèn)的問(wèn)題。換言之，每個(gè)節(jié)點(diǎn)內(nèi)的CPU不能訪問(wèn)另一個(gè)節(jié)點(diǎn)的內(nèi)存。節(jié)點(diǎn)之間的信息交互是通過(guò)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)的，這個(gè)過(guò)程一般稱為數(shù)據(jù)重分配(Data Redistribution)。

• 但是MPP服務(wù)器需要一種復(fù)雜的機(jī)制來(lái)調(diào)度和平衡各個(gè)節(jié)點(diǎn)的負(fù)載和并行處理過(guò)程。目前一些基于MPP技術(shù)的服務(wù)器往往通過(guò)系統(tǒng)級(jí)軟件(如數(shù)據(jù)庫(kù))來(lái)屏蔽這種復(fù)雜性。舉例來(lái)說(shuō)，NCR的Teradata就是基于MPP技術(shù)的一個(gè)關(guān)系數(shù)據(jù)庫(kù)軟件，基于此數(shù)據(jù)庫(kù)來(lái)開(kāi)發(fā)應(yīng)用時(shí)，不管后臺(tái)服務(wù)器由多少個(gè)節(jié)點(diǎn)組成，開(kāi)發(fā)人員所面對(duì)的都是同一個(gè)數(shù)據(jù)庫(kù)系統(tǒng)，而不需要考慮如何調(diào)度其中某幾個(gè)節(jié)點(diǎn)的負(fù)載。

二、3種體系架構(gòu)之間的差異

2.1 NUMA、MPP、SMP之間性能的區(qū)別

• NUMA的節(jié)點(diǎn)互聯(lián)機(jī)制是在同一個(gè)物理服務(wù)器內(nèi)部實(shí)現(xiàn)的，當(dāng)某個(gè)CPU需要進(jìn)行遠(yuǎn)地內(nèi)存訪問(wèn)時(shí)，它必須等待，這也是NUMA服務(wù)器無(wú)法實(shí)現(xiàn)CPU增加時(shí)性能線性擴(kuò)展。

• MPP的節(jié)點(diǎn)互聯(lián)機(jī)制是在不同的SMP服務(wù)器外部通過(guò)I/O實(shí)現(xiàn)的，每個(gè)節(jié)點(diǎn)只訪問(wèn)本地內(nèi)存和存儲(chǔ)，節(jié)點(diǎn)之間的信息交互與節(jié)點(diǎn)本身的處理是并行進(jìn)行的。因此MPP在增加節(jié)點(diǎn)時(shí)性能基本上可以實(shí)現(xiàn)線性擴(kuò)展。

• SMP所有的CPU資源是共享的，因此完全實(shí)現(xiàn)線性擴(kuò)展。

2.2 NUMA、MPP、SMP之間擴(kuò)展的區(qū)別

• NUMA理論上可以無(wú)限擴(kuò)展，目前技術(shù)比較成熟的能夠支持上百個(gè)CPU進(jìn)行擴(kuò)展。如HP的SUPERDOME。 MPP理論上也可以實(shí)現(xiàn)無(wú)限擴(kuò)展，目前技術(shù)比較成熟的能夠支持512個(gè)節(jié)點(diǎn)，數(shù)千個(gè)CPU進(jìn)行擴(kuò)展。 SMP擴(kuò)展能力很差，目前2個(gè)到4個(gè)CPU的利用率最好，但是IBM的BOOK技術(shù)，能夠?qū)PU擴(kuò)展到8個(gè)。 MPP是由多個(gè)SMP構(gòu)成，多個(gè)SMP服務(wù)器通過(guò)一定的節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)進(jìn)行連接，協(xié)同工作，完成相同的任務(wù)。

2.3 MPP和SMP、NUMA應(yīng)用之間的區(qū)別

MPP的優(yōu)勢(shì)

• MPP系統(tǒng)不共享資源，因此對(duì)它而言，資源比SMP要多，當(dāng)需要處理的事務(wù)達(dá)到一定規(guī)模時(shí)，MPP的效率要比SMP好。由于MPP系統(tǒng)因?yàn)橐诓煌幚韱卧g傳送信息，在通訊時(shí)間少的時(shí)候，那MPP系統(tǒng)可以充分發(fā)揮資源的優(yōu)勢(shì)，達(dá)到高效率。也就是說(shuō)：操作相互之間沒(méi)有什么關(guān)系，處理單元之間需要進(jìn)行的通信比較少，那采用MPP系統(tǒng)就要好。因此，MPP系統(tǒng)在決策支持和數(shù)據(jù)挖掘方面顯示了優(yōu)勢(shì)。

SMP的優(yōu)勢(shì)

• MPP系統(tǒng)因?yàn)橐诓煌幚韱卧g傳送信息，所以它的效率要比SMP要差一點(diǎn)。在通訊時(shí)間多的時(shí)候，那MPP系統(tǒng)可以充分發(fā)揮資源的優(yōu)勢(shì)。因此當(dāng)前使用的OTLP程序中，用戶訪問(wèn)一個(gè)中心數(shù)據(jù)庫(kù)，如果采用SMP系統(tǒng)結(jié)構(gòu)，它的效率要比采用MPP結(jié)構(gòu)要快得多。

NUMA架構(gòu)的優(yōu)勢(shì)

• NUMA架構(gòu)來(lái)看，它可以在一個(gè)物理服務(wù)器內(nèi)集成許多CPU，使系統(tǒng)具有較高的事務(wù)處理能力，由于遠(yuǎn)地內(nèi)存訪問(wèn)時(shí)延遠(yuǎn)長(zhǎng)于本地內(nèi)存訪問(wèn)，因此需要盡量減少不同CPU模塊之間的數(shù)據(jù)交互。顯然，NUMA架構(gòu)更適用于OLTP事務(wù)處理環(huán)境，當(dāng)用于數(shù)據(jù)倉(cāng)庫(kù)環(huán)境時(shí)，由于大量復(fù)雜的數(shù)據(jù)處理必然導(dǎo)致大量的數(shù)據(jù)交互，將使CPU的利用率大大降低。

三、總結(jié)

• 傳統(tǒng)的多核運(yùn)算是使用SMP(Symmetric Multi-Processor )模式：將多個(gè)處理器與一個(gè)集中的存儲(chǔ)器和I/O總線相連。所有處理器只能訪問(wèn)同一個(gè)物理存儲(chǔ)器，因此SMP系統(tǒng)有時(shí)也被稱為一致存儲(chǔ)器訪問(wèn)(UMA)結(jié)構(gòu)體系，一致性意指無(wú)論在什么時(shí)候，處理器只能為內(nèi)存的每個(gè)數(shù)據(jù)保持或共享唯一一個(gè)數(shù)值。很顯然，SMP的缺點(diǎn)是可伸縮性有限，因?yàn)樵诖鎯?chǔ)器和I/O接口達(dá)到飽和的時(shí)候，增加處理器并不能獲得更高的性能，與之相對(duì)應(yīng)的有AMP架構(gòu)，不同核之間有主從關(guān)系，如一個(gè)核控制另外一個(gè)核的業(yè)務(wù)，可以理解為多核系統(tǒng)中控制平面和數(shù)據(jù)平面。

• NUMA模式是一種分布式存儲(chǔ)器訪問(wèn)方式，處理器可以同時(shí)訪問(wèn)不同的存儲(chǔ)器地址，大幅度提高并行性。 NUMA模式下，處理器被劃分成多個(gè)”節(jié)點(diǎn)”（node）， 每個(gè)節(jié)點(diǎn)被分配有的本地存儲(chǔ)器空間。 所有節(jié)點(diǎn)中的處理器都可以訪問(wèn)全部的系統(tǒng)物理存儲(chǔ)器，但是訪問(wèn)本節(jié)點(diǎn)內(nèi)的存儲(chǔ)器所需要的時(shí)間，比訪問(wèn)某些遠(yuǎn)程節(jié)點(diǎn)內(nèi)的存儲(chǔ)器所花的時(shí)間要少得多。

• NUMA 的主要優(yōu)點(diǎn)是伸縮性。NUMA 體系結(jié)構(gòu)在設(shè)計(jì)上已超越了 SMP 體系結(jié)構(gòu)在伸縮性上的限制。通過(guò) SMP，所有的內(nèi)存訪問(wèn)都傳遞到相同的共享內(nèi)存總線。這種方式非常適用于 CPU 數(shù)量相對(duì)較少的情況，但不適用于具有幾十個(gè)甚至幾百個(gè) CPU 的情況，因?yàn)檫@些 CPU 會(huì)相互競(jìng)爭(zhēng)對(duì)共享內(nèi)存總線的訪問(wèn)。NUMA 通過(guò)限制任何一條內(nèi)存總線上的 CPU 數(shù)量并依靠高速互連來(lái)連接各個(gè)節(jié)點(diǎn)，從而緩解了這些瓶頸狀況。

名詞解釋

UMA

物理存儲(chǔ)器被所有處理機(jī)均勻共享。所有處理機(jī)對(duì)所有存儲(chǔ)字具有相同的存取時(shí)間，這就是為什么稱它為均勻存儲(chǔ)器存取的原因。每臺(tái)處理機(jī)可以有私用高速緩存,外圍設(shè)備也以一定形式共享。

NUMA

其訪問(wèn)時(shí)間隨存儲(chǔ)字的位置不同而變化。其共享存儲(chǔ)器物理上是分布在所有處理機(jī)的本地存儲(chǔ)器上。所有本地存儲(chǔ)器的集合組成了全局地址空間，可被所有的處理機(jī)訪問(wèn)。處理機(jī)訪問(wèn)本地存儲(chǔ)器是比較快的，但訪問(wèn)屬于另一臺(tái)處理機(jī)的遠(yuǎn)程存儲(chǔ)器則比較慢，因?yàn)橥ㄟ^(guò)互連網(wǎng)絡(luò)會(huì)產(chǎn)生附加時(shí)延。

COMA

一種只用高速緩存的多處理機(jī)。COMA模型是NUMA機(jī)的一種特例，只是將后者中分布主存儲(chǔ)器換成了高速緩存, 在每個(gè)處理機(jī)結(jié)點(diǎn)上沒(méi)有存儲(chǔ)器層次結(jié)構(gòu),全部高速緩沖存儲(chǔ)器組成了全局地址空間。遠(yuǎn)程高速緩存訪問(wèn)則借助于分布高速緩存目錄進(jìn)行。 是CC-NUMA體系結(jié)構(gòu)的競(jìng)爭(zhēng)者，兩者擁有相同的目標(biāo)，但實(shí)現(xiàn)方式不同。COMA節(jié)點(diǎn)不對(duì)內(nèi)存部件進(jìn)行分布，也不通過(guò)互連設(shè)備使整個(gè)系統(tǒng)保持一致性。COMA節(jié)點(diǎn)沒(méi)有內(nèi)存，只在每個(gè)Quad中配置大容量的高速緩存

CCNUMA

在CC-NUMA系統(tǒng)中，分布式內(nèi)存相連接形成單一內(nèi)存，內(nèi)存之間沒(méi)有頁(yè)面復(fù)制或數(shù)據(jù)復(fù)制，也沒(méi)有軟件消息傳送。CC-NUMA只有一個(gè)內(nèi)存映象，存儲(chǔ)部件利用銅纜和某些智能硬件進(jìn)行物理連接。CacheCoherent是指不需要軟件來(lái)保持多個(gè)數(shù)據(jù)拷貝的一致性，也不需要軟件來(lái)實(shí)現(xiàn)操作系統(tǒng)與應(yīng)用系統(tǒng)的數(shù)據(jù)傳輸。如同在SMP模式中一樣，單一操作系統(tǒng)和多個(gè)處理器完全在硬件級(jí)實(shí)現(xiàn)管理。