一、背景

隨著云計(jì)算技術(shù)的發(fā)展，大型企業(yè)都在部署自己的云數(shù)據(jù)中心，華為CloudEngine交換機(jī)是數(shù)據(jù)中心級(jí)交換機(jī)，它大量部署在數(shù)據(jù)中心中，實(shí)現(xiàn)網(wǎng)絡(luò)大規(guī)模的數(shù)據(jù)轉(zhuǎn)發(fā)和保障關(guān)鍵業(yè)務(wù)的連續(xù)性。華為CloudEngine交換機(jī)支持堆疊，可以提供設(shè)備級(jí)的高可用性，保障業(yè)務(wù)連續(xù)，以下我們介紹下華為的堆疊技術(shù)。

二、起源

在數(shù)據(jù)中心發(fā)展的初期，沒(méi)有專(zhuān)門(mén)的數(shù)據(jù)中心交換機(jī)，整個(gè)數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)還是采用的園區(qū)網(wǎng)的三層架構(gòu)，分別是接入、匯聚、核心，并且運(yùn)行STP防環(huán)。隨著數(shù)據(jù)中心訪問(wèn)量的增加，傳統(tǒng)的STP存在一些缺點(diǎn)：

• 鏈路利用率低，STP協(xié)議會(huì)阻塞鏈路；

• STP網(wǎng)絡(luò)的規(guī)模受限制，網(wǎng)絡(luò)收斂時(shí)間長(zhǎng)；

• 網(wǎng)絡(luò)管理節(jié)點(diǎn)多，運(yùn)維困難。

STP到今天也在園區(qū)網(wǎng)中廣泛使用，但是到了數(shù)據(jù)中心網(wǎng)絡(luò)中，數(shù)據(jù)訪問(wèn)流量巨大，更多的是追求高效，安全以及擴(kuò)展性。這些STP都無(wú)法滿足，于是設(shè)備虛擬化技術(shù)就應(yīng)運(yùn)而生。

三、堆疊

堆疊是最早的設(shè)備虛擬化技術(shù)，它將多臺(tái)支持堆疊特性的設(shè)備邏輯上虛擬成一臺(tái)設(shè)備。堆疊技術(shù)本質(zhì)上是“合并”，它把管理平面、控制平面、轉(zhuǎn)發(fā)平面都合并到了一起，對(duì)外呈現(xiàn)唯一的管理IP和MAC地址，對(duì)于下游設(shè)備而言就是一臺(tái)設(shè)備。引入了堆疊之后整個(gè)拓?fù)渚妥兊谩案叽笊稀保?strong>堆疊的優(yōu)點(diǎn)：

01簡(jiǎn)化了組網(wǎng)

多臺(tái)設(shè)備組建堆疊，虛擬成一臺(tái)設(shè)備，只需要對(duì)這臺(tái)邏輯的設(shè)備做管理即可。簡(jiǎn)化的組網(wǎng)不再需要運(yùn)行STP等協(xié)議。

?

02提高可靠性

堆疊系統(tǒng)中的交換機(jī)互為冗余備份，同時(shí)還能實(shí)現(xiàn)跨設(shè)備的鏈路冗余備份，當(dāng)堆疊系統(tǒng)中一臺(tái)設(shè)備的上行鏈路故障，通過(guò)該設(shè)備的流量可經(jīng)過(guò)堆疊鏈路進(jìn)行轉(zhuǎn)發(fā)。

03擴(kuò)展帶寬

交換機(jī)的上行帶寬不足時(shí)，可以增加新交換機(jī)與原交換機(jī)組成堆疊系統(tǒng)，將交換機(jī)的多條物理鏈路配置成一個(gè)鏈路組，這樣就提高了交換機(jī)的上行帶寬。

?

堆疊的應(yīng)用帶來(lái)了以上的好處，但是隨著技術(shù)的發(fā)展，其局限性也越來(lái)越明顯，這是由堆疊的本質(zhì)所決定的，堆疊系統(tǒng)的成員交換機(jī)管理平面、控制平面、轉(zhuǎn)發(fā)平面緊密耦合，這導(dǎo)致了如下的問(wèn)題：

• 控制平面單一:?堆疊系統(tǒng)中的主交換機(jī)控制管理著整個(gè)堆疊系統(tǒng)，一旦堆疊系統(tǒng)分裂，將造成業(yè)務(wù)中斷。

• 升級(jí)復(fù)雜:?堆疊系統(tǒng)由于成員交換機(jī)間的緊耦合，只能是兩臺(tái)設(shè)備一起升級(jí)，升級(jí)失敗將導(dǎo)致堆疊系統(tǒng)下所有業(yè)務(wù)網(wǎng)絡(luò)中斷。即使華為交換機(jī)有快速升級(jí)的方式，盡量減少了升級(jí)過(guò)程中業(yè)務(wù)中斷，但是整個(gè)升級(jí)的過(guò)程仍然會(huì)有業(yè)務(wù)中斷的風(fēng)險(xiǎn)。

在數(shù)據(jù)中心機(jī)房中針對(duì)不同的設(shè)備應(yīng)用的堆疊技術(shù)稍有區(qū)別，大致分為了兩類(lèi)，盒式交換機(jī)的堆疊iStack，框式交換機(jī)的堆疊CSS。

CSS

集群交換系統(tǒng)CSS（Cluster Switch System），框式交換機(jī)的堆疊，CSS只支持兩臺(tái)交換機(jī)組建堆疊系統(tǒng)。那框式交換機(jī)如何組建堆疊？堆疊的連接方式是怎么樣的？工作原理是怎么樣的？在這之前有必要對(duì)框式交換機(jī)的架構(gòu)有一定的了解，以CE12804為例，組成模塊分為：

• MPU：Main Processing Unit，（主控處理單元），簡(jiǎn)稱(chēng)：主控板，負(fù)責(zé)系統(tǒng)的控制和管理工作。

• SFU：Switch Fabric Unit，交換網(wǎng)板，負(fù)責(zé)系統(tǒng)數(shù)據(jù)平面的數(shù)據(jù)線速交換。

• CMU：Centralized Monitoring Unit（集中監(jiān)控單元），簡(jiǎn)稱(chēng)：監(jiān)控板，主要提供設(shè)備的監(jiān)控、管理和節(jié)能減排功能。

• LPU：Line Processing Unit，（業(yè)務(wù)處理單元），簡(jiǎn)稱(chēng)：業(yè)務(wù)板，接口板。

• PM：Power Module，電源模塊。

• FAN：風(fēng)扇模塊。

CSS連接方式

了解了交換機(jī)的組成模塊，接著我們來(lái)看一下堆疊系統(tǒng)之間如何連接，CSS中連接的鏈路根據(jù)功能的不同分為了兩種類(lèi)型：管理鏈路和轉(zhuǎn)發(fā)鏈路。管理鏈路負(fù)責(zé)堆疊系統(tǒng)管理及維護(hù)報(bào)文的轉(zhuǎn)發(fā)；轉(zhuǎn)發(fā)鏈路負(fù)責(zé)堆疊系統(tǒng)跨設(shè)備業(yè)務(wù)數(shù)據(jù)報(bào)文的轉(zhuǎn)發(fā)。根據(jù)管理鏈路的連接方式的不同，堆疊的連接方式分為：主控板直連和業(yè)務(wù)板直連。

• 主控板直連：管理鏈路和轉(zhuǎn)發(fā)鏈路分離，管理鏈路通過(guò)主控板（MPU）的SIP口相連接（SIP口是專(zhuān)用于連接堆疊管理鏈路的接口，是由一個(gè)GE電接口和一個(gè)GE光接口組成的Combo接口，每個(gè)主控板上有兩個(gè)SIP口），轉(zhuǎn)發(fā)鏈路通過(guò)業(yè)務(wù)板（LPU）的端口相連接。

• 業(yè)務(wù)板直連：管理鏈路和轉(zhuǎn)發(fā)鏈路合一，管理鏈路和轉(zhuǎn)發(fā)鏈路都通過(guò)業(yè)務(wù)板（LPU）的端口相連接。

?

主控板直連的管理鏈路和轉(zhuǎn)發(fā)鏈路分離部署互不影響，綜合可靠性高，建議優(yōu)先采用主控板直連方式。了解的堆疊的連接方式，接著我們來(lái)了解一下堆疊中的一些基本概念。

堆疊基本概念

• 堆疊成員堆疊中的單臺(tái)交換機(jī)稱(chēng)為成員交換機(jī)，按照功能不同可以分為以下角色：

主交換機(jī)（Master）負(fù)責(zé)管理整個(gè)堆疊。堆疊中只有一臺(tái)主交換機(jī)。

備交換機(jī)（Standby）是主交換機(jī)的備份交換機(jī)。堆疊中只有一臺(tái)備交換機(jī)。

• 堆疊域：交換機(jī)通過(guò)堆疊鏈路連接在一起組成一個(gè)堆疊，這些成員交換機(jī)的集合就是一個(gè)堆疊域。為了適應(yīng)各種組網(wǎng)應(yīng)用，同一個(gè)網(wǎng)絡(luò)里可以部署多個(gè)堆疊，堆疊之間使用域編號(hào)（DomainID）來(lái)以示區(qū)別。

  
  

• 堆疊成員ID：即堆疊成員交換機(jī)的編號(hào)（Member ID），用來(lái)標(biāo)識(shí)和管理成員交換機(jī)。堆疊中所有成員交換機(jī)的堆疊成員ID都是唯一的。

  
  

• 堆疊優(yōu)先級(jí)：主要用于角色選舉過(guò)程中確定成員交換機(jī)的角色，優(yōu)先級(jí)值越大表示優(yōu)先級(jí)越高，當(dāng)選為主交換機(jī)的可能性越大。

  
  

• 堆疊端口：專(zhuān)用與堆疊的邏輯端口，需要和堆疊物理端口綁定。一個(gè)堆疊端口可以綁定多個(gè)物理成員端口，用來(lái)提高堆疊的可靠性和堆疊帶寬。每臺(tái)設(shè)備支持一個(gè)堆疊端口，在堆疊功能未使能時(shí)，為Stack-Port1；在堆疊功能已使能時(shí)，為Stack-Portn/1，其中n為設(shè)備的堆疊成員ID。

  
  

• 堆疊物理成員端口：即被配置為堆疊模式的物理端口，用于堆疊成員交換機(jī)之間的連接。

3.1.3堆疊建立

?

?

2臺(tái)交換機(jī)用堆疊線連接，并配置好堆疊相關(guān)的配置，堆疊系統(tǒng)即可建立。

主交換機(jī)選舉

堆疊建立時(shí)，成員交換機(jī)之間互發(fā)堆疊競(jìng)爭(zhēng)報(bào)文。選擇出主交換機(jī)，負(fù)責(zé)管理整個(gè)堆疊系統(tǒng)；另一臺(tái)則成為備交換機(jī)，作為主交換機(jī)的備份。主交換機(jī)的選舉規(guī)則如下（依次從第一條開(kāi)始判斷，直至找到最優(yōu)的交換機(jī)才停止比較）：

1.運(yùn)行狀態(tài)比較，優(yōu)先啟動(dòng)的是主交換機(jī)。--優(yōu)

2.堆疊優(yōu)先級(jí)比較，優(yōu)先級(jí)高的是主交換機(jī)。--高

3.軟件版本比較，軟件版本新的是主交換機(jī)。--新

4.主控板數(shù)量比較，主控板數(shù)量多的是主交換機(jī)。--多

5.橋MAC地址比較，橋MAC地址小的是主交換機(jī)。--小

堆疊建立后主交換機(jī)的主用主控板成為堆疊系統(tǒng)主用主控板，作為整個(gè)系統(tǒng)的管理主角色。備交換機(jī)的主用主控板成為堆疊系統(tǒng)備用主控板，作為系統(tǒng)的管理備角色。主交換機(jī)和備交換機(jī)的備用主控板作為堆疊系統(tǒng)候選備用主控板。

?
軟件版本和配置同步

組建堆疊的兩臺(tái)交換機(jī)的軟件版本不需要相同，只要版本之間兼容就可以，當(dāng)選擇出主交換機(jī)后，如果主備交換機(jī)的軟件版本不一樣，備交換機(jī)會(huì)從主交換機(jī)上下載新的軟件版本，使用新的軟件版本重啟加入堆疊。

堆疊具備嚴(yán)格的配置文件同步機(jī)制，用來(lái)保證堆疊中的多臺(tái)交換機(jī)能夠像一臺(tái)設(shè)備一樣在網(wǎng)絡(luò)中工作。

• 堆疊建立時(shí)，成員交換機(jī)在啟動(dòng)開(kāi)始階段使用各自的配置文件啟動(dòng)。啟動(dòng)完成后，備交換機(jī)會(huì)將本設(shè)備的堆疊相關(guān)配置合并到主交換機(jī)的配置文件中，形成堆疊系統(tǒng)的配置文件。

• 堆疊正常運(yùn)行后，主交換機(jī)作為堆疊系統(tǒng)的管理節(jié)點(diǎn)，負(fù)責(zé)將用戶的配置同步給備交換機(jī)，從而使堆疊內(nèi)各成員交換機(jī)的配置隨時(shí)保持一致。

通過(guò)即時(shí)同步，堆疊中的所有成員交換機(jī)均保持相同的配置。即使主交換機(jī)出現(xiàn)故障，備交換機(jī)仍能夠按照相同的配置執(zhí)行各項(xiàng)功能。

堆疊管理

堆疊系統(tǒng)對(duì)外呈現(xiàn)為一臺(tái)虛擬設(shè)備，與其他設(shè)備通信時(shí)，具有唯一的IP地址和MAC地址。堆疊建立后，成員交換機(jī)組成一臺(tái)虛擬設(shè)備存在網(wǎng)絡(luò)中，主交換機(jī)統(tǒng)一管理整個(gè)堆疊系統(tǒng)。我們可以通過(guò)任意一臺(tái)成員設(shè)備登錄堆疊系統(tǒng)，對(duì)整個(gè)堆疊系統(tǒng)進(jìn)行管理。無(wú)論使用什么方式，通過(guò)哪臺(tái)成員交換機(jī)登錄到堆疊系統(tǒng)，實(shí)際上登錄的都是主交換機(jī)。

登錄堆疊系統(tǒng)的方式：

• 本地登錄：通過(guò)任意一臺(tái)成員設(shè)備的Console口登錄。

• 遠(yuǎn)程登錄：通過(guò)任意一臺(tái)成員設(shè)備的管理網(wǎng)口或其他三層接口，以Telnet、STelnet等方式遠(yuǎn)程登錄。

本地優(yōu)先轉(zhuǎn)發(fā)

Eth-Trunk接口會(huì)通過(guò)HASH算法選擇轉(zhuǎn)發(fā)出接口，進(jìn)入堆疊的流量可能會(huì)跨設(shè)備轉(zhuǎn)發(fā)，但是由于堆疊線的帶寬有限，跨設(shè)備的流量轉(zhuǎn)發(fā)增加了堆疊線的帶寬承載壓力，也降低了流量轉(zhuǎn)發(fā)的效率。此時(shí)，可以通過(guò)使能堆疊設(shè)備的流量本地轉(zhuǎn)發(fā)功能解決此問(wèn)題，從本設(shè)備進(jìn)入的流量，優(yōu)先從本設(shè)備的出接口轉(zhuǎn)發(fā)出口；如果本設(shè)備的出接口故障，則流量跨設(shè)備從其它成員交換機(jī)的接口轉(zhuǎn)發(fā)出去。

如圖，堆疊設(shè)備未使能流量本地優(yōu)先轉(zhuǎn)發(fā)功能，會(huì)有一部分流量經(jīng)過(guò)堆疊線從SwitchB轉(zhuǎn)發(fā)，設(shè)備啟用了流量本地優(yōu)先轉(zhuǎn)發(fā)功能后，從SwitchA進(jìn)入的 流量?jī)?yōu)先從SwitchA的出接口轉(zhuǎn)發(fā)。

配置的命令：

[~SwitchB]?interface eth-trunk 1

[~SwitchB-Eth-Trunk1]?undo local-preference disable ???

#在堆疊設(shè)備上使能Eth-Trunk接口流量本地優(yōu)先轉(zhuǎn)發(fā)功能

3.1.6堆疊分裂以及雙主檢測(cè)

堆疊系統(tǒng)建立后，主備交換機(jī)之間會(huì)通過(guò)堆疊線纜定時(shí)的發(fā)送心跳報(bào)文來(lái)維持堆疊。當(dāng)是故障不可避免，一旦堆疊線纜或主控板故障，交換機(jī)重啟都會(huì)使得堆疊系統(tǒng)分裂成為2臺(tái)獨(dú)立的交換機(jī)。如圖所示：

?

分裂后的2臺(tái)交換機(jī)，彼此不知道對(duì)方的狀態(tài)，此時(shí)原本主交換機(jī)的角色不變，原本備交換機(jī)的角色成為主交換機(jī)，“雙主”出現(xiàn)，這兩臺(tái)交換機(jī)在整個(gè)網(wǎng)絡(luò)中表現(xiàn)為一樣的信息，會(huì)以相同的IP和MAC地址與外界的設(shè)備通信，導(dǎo)致IP地址和MAC地址沖突，引起網(wǎng)絡(luò)故障。因此我們需要避免雙主的出現(xiàn)----雙主檢測(cè)技術(shù)。

雙主檢測(cè)DAD（Dual-Active Detect）是一種檢測(cè)和處理堆疊分裂的協(xié)議。配置雙主檢測(cè)后，主交換機(jī)在檢測(cè)鏈路上發(fā)送DAD競(jìng)爭(zhēng)報(bào)文。堆疊分裂后，分裂成多部分的堆疊系統(tǒng)互發(fā)競(jìng)爭(zhēng)報(bào)文，并將接收到的競(jìng)爭(zhēng)報(bào)文信息與本部分競(jìng)爭(zhēng)信息做比較，如果本部分競(jìng)爭(zhēng)勝出，則不做處理，保持Active狀態(tài)（正常工作狀態(tài)），正常轉(zhuǎn)發(fā)業(yè)務(wù)報(bào)文；如果本部分競(jìng)爭(zhēng)失敗，則除保留端口外的所有業(yè)務(wù)端口Error-Down，轉(zhuǎn)入Recovery狀態(tài)（業(yè)務(wù)禁用狀態(tài)），停止轉(zhuǎn)發(fā)業(yè)務(wù)報(bào)文。

堆疊分裂與雙主檢測(cè)DAD競(jìng)爭(zhēng)規(guī)則如下（依次從第一條開(kāi)始判斷，直至找到最優(yōu)的交換機(jī)才停止比較）：

1.（僅主控板直連方式涉及）整機(jī)業(yè)務(wù)口Error-Down狀態(tài)比較，交換機(jī)上不存在以下Error-Down的優(yōu)先競(jìng)爭(zhēng)勝出：

1. 因無(wú)轉(zhuǎn)發(fā)鏈路而導(dǎo)致的整機(jī)業(yè)務(wù)口Error-Down（no-stack-link）。

2. 因接口板和交換網(wǎng)板之間的鏈路故障而導(dǎo)致的整機(jī)業(yè)務(wù)口Error-Down（fabric-link-failure）。以上Error-Down同時(shí)存在時(shí)，Error-Down原因是no-stack-link的交換機(jī)優(yōu)先競(jìng)爭(zhēng)勝出。

2. 堆疊優(yōu)先級(jí)比較，堆疊優(yōu)先級(jí)高的交換機(jī)優(yōu)先競(jìng)爭(zhēng)勝出。

3. 設(shè)備MAC地址比較，MAC地址小的交換機(jī)優(yōu)先競(jìng)爭(zhēng)勝出。

DAD的檢測(cè)方式有以下幾種：

業(yè)務(wù)口直連檢測(cè)方式

?

特點(diǎn)：堆疊成員交換機(jī)間通過(guò)業(yè)務(wù)口連接的專(zhuān)用鏈路進(jìn)行雙主檢測(cè)；業(yè)務(wù)口直連檢測(cè)方式中DAD報(bào)文采用的是BPDU報(bào)文，因此直連檢測(cè)鏈路還可以通過(guò)中間設(shè)備連接。

配置

interface 10ge1/0/5

?? dual-active detect mode direct

interface 10ge2/0/5

?? dual-active detect mode direct

優(yōu)缺點(diǎn)：需要單獨(dú)占用10GE的業(yè)務(wù)端口，但是檢測(cè)速度是最快的Eth-Trunk口代理檢測(cè)方式

特點(diǎn)：堆疊與代理設(shè)備相連的跨設(shè)備Eth-Trunk鏈路進(jìn)行雙主檢測(cè)；

配置：

堆疊系統(tǒng)

interface eth-trunk10

??? trunkport 10ge 1/0/5 #框式交換機(jī)的端口是10ge 1/1/0/5和10ge 2/1/0/5

??? trunkport 10ge 2/0/5

??? dual-active?detect mode relay

代理設(shè)備

interface eth-trunk10

? trunkport 10ge 1/0/1

? trunkport 10ge 1/0/2

? dual-active proxy

優(yōu)缺點(diǎn)：無(wú)需占用額外的接口，Eth-Trunk接口可以同時(shí)運(yùn)行DAD代理檢測(cè)和其它業(yè)務(wù)，需要代理設(shè)備，且代理設(shè)備必須為支持DAD代理功能的交換機(jī)（目前cloudengine系列交換機(jī)支持，S系統(tǒng)交換機(jī)自v200R003C00版本開(kāi)始支持）

管理網(wǎng)口檢測(cè)方式

特點(diǎn)：通過(guò)堆疊成員交換機(jī)的管理網(wǎng)口鏈路進(jìn)行雙主檢測(cè)；管理網(wǎng)口必須配置IP地址，堆疊后整個(gè)系統(tǒng)只顯示一個(gè)管理網(wǎng)口MEth0/0/0，只需要在這一個(gè)管理網(wǎng)口下配置IP地址。

配置：

interface meth 0/0/0/0

? ?ip address 192.168.10.10 24

?? dual-active detect enable

優(yōu)缺點(diǎn)：實(shí)現(xiàn)最簡(jiǎn)單，不需要額外的接口，也不需要代理設(shè)備，

堆疊端口檢測(cè)方式（僅CSS有）

特點(diǎn)：通過(guò)堆疊物理成員端口之間的鏈路進(jìn)行雙主檢測(cè)。

配置：

interface stack-port 1/1

?? dual-active detect mode direct

?interfacestack-port 2/1

?? dual-active detect mode direct

優(yōu)缺點(diǎn)：只有框式交換機(jī)且連接方式為主控板直連時(shí)，才可以使用堆疊端口檢測(cè)方式。

DAD的故障恢復(fù)機(jī)制

堆疊鏈路故障修復(fù)后，分裂成多部分的堆疊系統(tǒng)進(jìn)行合并。處于Recovery狀態(tài)的交換機(jī)將重新啟動(dòng)，同時(shí)將Error-Down的業(yè)務(wù)端口恢復(fù)正常，整個(gè)堆疊系統(tǒng)恢復(fù)。

有關(guān)技術(shù)分享更多的信息可以私信哦