一、介紹

1.1硬件介紹

Storage Controller

DAE

InfiniBand Switches

12-Port InfiniBand Switch

36-Port InfiniBand Switch

物理XMS

注：1口為管理口，2為TECH端口

2.2內(nèi)部連接

單X-Brick

?

雙X-Brick

四X-Brick同雙X-Brick同理

?

二、初始化準(zhǔn)備

2.1連接存儲控制器

通過TECH USB端口連接到存儲控制器。

注：TECH USB端口有以下預(yù)配置IP地址：169.254.254.1/20（子網(wǎng)掩碼：255.255.240.0）

筆記本的IP設(shè)置可用于連接到存儲控制器：IP：169.254.254.2（子網(wǎng)掩碼：255.255.240.0）

加Easy-Install命令：

登錄到存儲控制器，登錄用戶名xinstall

?

2.2驗(yàn)證SC中XtremIO的安裝鏡像

在開始之前，確保所有的存儲控制器上運(yùn)行相同的XIO版。輸入數(shù)字2編號，顯示本地存儲控制器信息

確認(rèn)輸出：

如果顯示的XtremApp版本與您當(dāng)前安裝的版本的發(fā)行說明中顯示的存儲控制器救援映像版本相匹配，則表示存儲控制器基礎(chǔ)映像已安裝在存儲控制器上。現(xiàn)在可以繼續(xù)“配置存儲控制器管理接口”。

如果顯示的XtremApp版本與您當(dāng)前安裝的版本的發(fā)行說明中顯示的存儲控制器救援映像版本不匹配，則說明存儲控制器基礎(chǔ)映像已更改，而不是從工廠發(fā)貨的映像。需要在存儲控制器上重新安裝存儲控制器救援映像。在存儲控制器上重新安裝存儲控制器救援映像。

?

2.3配置存儲控制器管理接口

2.3.1單X-brick

當(dāng)你在一個單一的x-brick群集配置存儲控制器，您需要提供本地和遠(yuǎn)程存儲控制器IP。

?

登錄到一個存儲控制器，使用xinstall用戶憑據(jù)。在“Installation（安裝）”菜單中，輸入1編號“Configuration menu（配置菜單）”。

在“Storage Controller Configuration Sub-Menu（存儲控制器配置子菜單）”中，輸入1編號“Configure all Storage Controllers（配置所有存儲控制器）”。

驗(yàn)證是否發(fā)現(xiàn)了預(yù)期的存儲控制器數(shù)量，以便繼續(xù)配置過程(在本例中，單個X-Brick集群應(yīng)該發(fā)現(xiàn)兩個存儲控制器)。

為本地存儲控制器(以X1-SC1為例)提供以下配置細(xì)節(jié):

?群集名稱

?存儲控制器ID

?存儲控制器的IP地址(來自X-Brick 1的存儲控制器)

?存儲控制器的網(wǎng)絡(luò)前綴

?存儲控制器的網(wǎng)關(guān)IP地址。

提供第二個存儲控制器的IP地址

選擇最后一個菜單選項(xiàng)（退出）退出。

?

2.3.2多X-brick

當(dāng)你在使用連續(xù)的IP地址分配多X-brick群集配置存儲控制器，你只需要提供第一存儲控制器地址和群集的存儲控制器，其余分配IP地址自動遞增。

?

登錄到一個存儲控制器，使用xinstall用戶憑據(jù)。在“Installation（安裝）”菜單中，輸入1編號“Configuration menu（配置菜單）”。

在“Storage Controller Configuration Sub-Menu（存儲控制器配置子菜單）”中，輸入1編號“Configure all Storage Controllers（配置所有存儲控制器）”。

等待存儲控制器的發(fā)現(xiàn)過程來完成和確認(rèn)結(jié)果進(jìn)行配置（在這個例子中，兩x-brick集群應(yīng)該發(fā)現(xiàn)四存儲控制器）。

等待連接檢查完成。

輸入yes確認(rèn)執(zhí)行IB交換機(jī)連接測試，每個存儲控制器，在IB交換機(jī)LED匹配的閃爍。

提供以下的本地存儲控制器配置細(xì)節(jié)（例子中的X1-SC1）：

?群集名稱

?存儲控制器的IP地址(來自X-Brick 1的存儲控制器)

?存儲控制器的網(wǎng)絡(luò)前綴

?存儲控制器的網(wǎng)關(guān)IP地址

為X-Brick 1中的第二個存儲控制器提供IP地址(在示例X1-SC2中)。

選擇最后一個菜單選項(xiàng)（退出）退出。

?

2.4安裝XMS Server

XMS只需要一臺，如果已經(jīng)有了就不需要安裝了。

?

2.4.1連接XMS

虛擬XMS

進(jìn)入DellEMC官網(wǎng)下載OVA。使用vCenter服務(wù)器，部署OVF模板，選擇精簡模式的磁盤格式

配置虛擬機(jī)的高可用性（推薦）：使用vSphere HA或vSphere Fault Tolerance配置虛擬機(jī)高可用。

?

打開虛擬機(jī)電源，打開虛擬控制臺，準(zhǔn)備配置XMS

?

物理XMS

XMS TECH端口（即網(wǎng)卡2）有以下預(yù)配置IP地址：169.254.254.1/20（子網(wǎng)掩碼：255.255.240.0）

下面的IP設(shè)置可用于車站連接到存儲控制器：IP：169.254.254.2（子網(wǎng)掩碼：255.255.240.0）

?

?

2.4.2配置XMS

XMS管理IP是由Easy-Install過程定義。

登錄到XMS，使用xinstall用戶憑據(jù)，在“Install menu（安裝菜單）”中鍵入1編號，“Configure XMS（配置）”。

為XMS主機(jī)提供一個有意義且唯一的名稱。注：要求指的是為XMS的主機(jī)名

DNS配置設(shè)置（可選）如果你打算將XMS連接至ESRS、配置DNS是強(qiáng)制性的

提供XMS的IP地址、網(wǎng)絡(luò)前綴和默認(rèn)網(wǎng)關(guān)IP地址。

等待腳本驗(yàn)證配置更改并批準(zhǔn)它。

?

2.5安裝XtremIO軟件

使用SSH工具登錄XMS管理IP地址。

注：虛擬XMS不要使用虛擬控制臺，物理XMS也可以使用TECH端口執(zhí)行此步驟。

使用xinstall用戶憑據(jù)，在“Install Menu（安裝菜單）”中，鍵入13編號，“Installation Package Pre-loaded on Storage Controller Menu（存儲控制器上預(yù)加載的安裝包菜單）”

在“Installation Package Pre-loaded on Storage Controller Sub-Menu（存儲控制器上預(yù)裝的安裝包子菜單）”中輸入1編號，“Display Installation package on Storage Controller（顯示存儲控制器上的安裝包）”選項(xiàng)的編號。

輸入需要安裝軟件包的存儲控制器的IP地址。確認(rèn)列出的預(yù)加載安裝包就是要安裝的安裝包。

在“Installation Package Pre-loaded on Storage Controller Sub-Menu（存儲控制器上預(yù)裝的安裝包子菜單）”中輸入3編號，“Exit Installation Package Pre-loaded on Storage Controller Sub-Menu（退出存儲控制器子菜單中預(yù)加載的安裝包）”

?

從Install菜單中，輸入4編號，“Install XMS only（僅安裝XMS）”。

輸入2編號，“Installation using package preloaded on a Storage Controller（使用預(yù)先加載在存儲控制器上的包進(jìn)行安裝）”，用于在存儲控制器上安裝預(yù)加載的安裝包。

輸入存儲控制器的IP地址，存儲控制器中包含了預(yù)加載的安裝包。等待安裝成功完成。

從XMS安裝的輸出中，記下在形成集群時要使用的列出的預(yù)加載包名稱(格式為upgrade-to-<versions>.tar)。

?

2.6檢查集群設(shè)置

通過TECH端口，使用xinstall用戶連接控制器。

選擇3編號，“Check cluster setup（檢查集群設(shè)置）”

選擇4編號，“Check DAE controllers connectivity(檢查DAE控制器連接)”,然檢2.查IB交換機(jī)連接(如果有)，3.檢查專用IPMI連接，4.電源連接

驗(yàn)證完畢選擇“Exit sub-menu”和“Exit”

三、初始化過程

使用xmsadmin用戶登錄XMS，再次輸入tech用戶名和密碼，執(zhí)行以下命令驗(yàn)證XMS版本:show-xms

運(yùn)行create-cluster命令，該命令的參數(shù)取決于您是要創(chuàng)建具有兩個iSCSI端口和兩個FC端口的集群，還是要創(chuàng)建具有四個iSCSI端口的集群，在這種情況下使用set-four-iscsi-ports參數(shù)。

創(chuàng)建具有兩個iSCSI端口和兩個FC端口的集群：

create-cluster expected-number-of-bricks=<i> sc-mgr-host="<j>" cluster-name="<k>" package="<l>"

創(chuàng)建具有4個iSCSI端口的集群：

create-cluster expected-number-of-bricks=<i> sc-mgr-host="<j>" cluster-name="<k>" package="<l>" set-four-iscsi-ports

<i>=X-Brick的數(shù)量

<j>=其中一個存儲控制器的管理IP地址

<K>=集群名稱

<l>=升級包名稱

如果使用預(yù)加載的包安裝XMS，則使用在XMS安裝過程中記錄的包名(該名稱應(yīng)包含在show-sw-images命令輸出中，如下所示：

注意:加密的集群默認(rèn)設(shè)置。如果需要禁用集群加密功能，請?jiān)趫?zhí)行create-cluster命令時使用disable-encryption標(biāo)志。

?

創(chuàng)建集群輸出示例

驗(yàn)證為每個X-Brick發(fā)現(xiàn)的ssd數(shù)量是否符合預(yù)期，然后輸入yes繼續(xù)。注意:校驗(yàn)SSD盤個數(shù)有20分鐘的時間限制。

驗(yàn)證每個列出的存儲控制器的LED都是打開的，然后輸入yes。注意:如果發(fā)現(xiàn)問題，請輸入no并調(diào)整布線。注意:每個存儲控制器的驗(yàn)證時間限制為20分鐘。

當(dāng)出現(xiàn)以下確認(rèn)信息時，進(jìn)行下一步操作:

Cluster <cluster-name> [<cluster index in XMS>] Created

?

注意:如果設(shè)置管理XMS的SSH密鑰失敗，則會顯示如下提示: Failed to update SSH keys on clusters:<cluster-name>在這種情況下，確保所有集群都可用，然后運(yùn)行命令:refresh-xms-ssh-key

?

四、初始化收尾

4.1驗(yàn)證集群初始化

從DellEMC官網(wǎng)下載健康檢查腳本，在XMS上運(yùn)行以下命令驗(yàn)證集群狀態(tài)

run-script script="system_health-v200.1.X-s4.0.0.py" arguments="--cluster-id 1"

4.2禁用ssh訪問（可選）

登錄XMS的Essy-Install模式，選擇11編號“Disable Remote Shell（禁用遠(yuǎn)程訪問）”

?

4.3加密配置

某些國家地區(qū)禁用加密的情況，可在初始化完成后禁用加密。

開啟加密

1.使用tech用戶登錄XMS，輸入命令show-cluster-info，驗(yàn)證Encryption-Supported是True，Encryption-Mode是Disabled。

2.暫停集群：stop-cluster cluster-id=<cluster ID>

3.使用命令show-clusters查看集群狀態(tài)為stopped。

4.使用如下命令加密集群: 5. 使用如下命令加密集群:

modify-clusters-configuration cluster-id=<cluster ID> encryption-command=switch-mode encryption-mode=self

5.輸入命令show-cluster-info，驗(yàn)證Encryption-Moode-Stateode是none，Encryption-Mode是selt。

6.開啟集群：start-cluster cluster-id=<cluster ID>

?

關(guān)閉加密

關(guān)閉集群后輸入命令modify-clusters-configuration cluster-id=<cluster ID> encryption-command=switch-mode encryption-mode=disabled，再打開集群。

?

更換加密PIN

關(guān)閉集群后輸入命令modify-clusters-configuration cluster-id=<cluster ID> encryption-command=re-encrypt encryption-mode=self，再打開集群。

?

4.4配置DNS和NTP

配置DNS命令：modify-dns-servers primary="<server IP address>" secondary="<server IP address>"

show-dns-servers命令查看DNS

?

配置NTP命令modify-datetime ntp-servers=["<server 1 IP address>","<server 2 IP address>"...]

修改時區(qū)命令modify-datetime timezone=<time zone>

?

使用show-timezones命令查看可用的時區(qū)列表

?

執(zhí)行show-datetime命令并檢查NTP配置是否正確輸出與配置一致

4.5收集日志

在admin用戶下使用命令xmcli (admin)> create-debug-info debug-info-name="Initial-Setup"

復(fù)制http://xxxxxxxxxx到瀏覽器下載日志

?

五、升級

準(zhǔn)備文件

升級包：upgrade-to-4.0.27-1_XIOS_6.2.1-36_XMS.tar

健康檢查腳本：system_health-v200.0.18-s4.0.0.py.gpg

PS：升級包可從support.emc.com下載到，健康檢查腳本需從ftp.emc.com中下載，目錄為：/pub/rcm/xtremio/scripts/systemhealth/203.4.0。下載后使用md5工具驗(yàn)證md5是否正確，我之前下載的有問題，導(dǎo)致運(yùn)行腳本XMS卡死。

5.1上載文件

1.使用WinSCP通過“ xmsupload”登錄名連接到XMS IP地址，并瀏覽到“ /var/lib/xms/images”目錄并將XMS軟件文件拖到該目錄（“ upgrade-to-4.0.27-1_XIOS_6.2.1-36_XMS.tar”）。

2.使用WinSCP將XtremIO系統(tǒng)運(yùn)行狀況檢查腳本（在此示例中為“ system_health-v200.0.18-s4.0.0.py.gpg”）復(fù)制到“ /var/lib/xms/images/scripts”目錄。

?

5.2健康檢查

1.打開SSH工具ssh到XMS IP地址，然后使用“ xmsadmin”登錄，然后使用用戶名“ tech”登陸，PS：登陸密碼如附件1

2.使用命令“ show-sw-images”列出可用的升級軟件包。

3.使用命令“ show-clusters”獲取集群的當(dāng)前狀態(tài)。它們應(yīng)該已連接。

4.使用命令“ show-storage-controllers”來獲取存儲控制器的當(dāng)前狀態(tài)。他們應(yīng)該健康并且保持連接。

5.使用命令“ show-storage-controllers-info”來獲取存儲控制器的詳細(xì)狀態(tài)。

6.使用命令“run-script script =” <腳本名稱>””執(zhí)行XtremIO系統(tǒng)運(yùn)行狀況檢查腳本。所有測試均應(yīng)通過。注：此處有問題如下：

運(yùn)行健康檢查腳本，出現(xiàn)5個error，并給出kb分別為：205045、524106、483391、525172、531785

解釋：

205045：系統(tǒng)版本過低，可忽略。

524106：掛載主機(jī)操作系統(tǒng)已設(shè)置為“其他”，可忽略。

483391：連接ESXi主機(jī)需更改為adp模式，使用命令“xmcli (admin)> modify-clusters-parameters esx-device-connectivity-mode=apd”

525172：如果存儲控制器的IPMI LAN 1接口處于活動狀態(tài)并設(shè)置為通過DHCP獲取IP地址，則客戶啟動的網(wǎng)絡(luò)掃描可能會導(dǎo)致BMC卡死。此錯誤的配置源自XtremIO代碼錯誤，運(yùn)行腳本“disable_ipmi_dhcp-v1.0-s4.0.0.py.gpg”修改地址為靜態(tài)，并設(shè)置地址為0.0.0.0。

531785：XtremIO運(yùn)行狀況檢查腳本已在XMS數(shù)據(jù)庫上檢測到較大的Storage Controller歷史記錄表大小，使用腳本“trunc_sc_history-v1.0-s4.0.0.py.gpg”清楚歷史記錄。

7.運(yùn)行命令“test-cluster-upgradability package=” <程序包名稱>”” 測試:不正確的固件版本、主機(jī)多路徑(缺少路徑)、非活動XtremIO IO模塊(xEnvs)、XMS上的空閑空間、其他各種已知問題

?

5.3升級XMS和X-Brick

1.使用命令“ upgrade-xms package =” <程序包名稱>””來升級XMS（大約20分鐘）。

2.使用命令“ upgrade-cluster package =” <package name>” cluster-psnt=“<sn>””來升級X-Brick（每個X-Brick大約40分鐘）。

注:cluster-psnt=“<sn>”,此值可使用show-clusters-info查看。

?

5.4升級后健康檢查

再次執(zhí)行前面的show命令及健康檢查腳本，并確認(rèn)升級成功并且所有組件都正常且已連接。

六、開關(guān)機(jī)操作

?

注意：不按正常步驟進(jìn)行存儲開關(guān)機(jī)會引起數(shù)據(jù)丟失

?

6.1計(jì)劃內(nèi)關(guān)機(jī)步驟

存儲關(guān)機(jī)前檢查

存儲關(guān)機(jī)前請務(wù)必確認(rèn)：

當(dāng)前需要關(guān)閉存儲的Cluster名稱是正確的，以免關(guān)錯存儲，以及該存儲上沒有任何活動IO。

1.?? SSH登陸XMS運(yùn)行以下命令：

show-clusters
輸出舉例：

xmcli ? (admin)> show-clusters

Cluster-Name Index ? State? Conn-State Num-of-Vols Vol-Size ? UD-SSD-Space Logical-Space-In-Use UD-SSD-Space-In-Use Total-Writes ? Total-Reads Stop-Reason Size-and-Capacity

SBTJT-XIO??? 1???? ? active connected? 1?????????? 1.465T?? 3.262T?????? 970.674G???????? ????386.629G??????????? 2.559T?????? 1.189T????? none??????? 1X10TB???????????

?

需確認(rèn)：

·??? Cluster-Name 參數(shù)顯示是正確的Cluster名稱. ?SBTJT-XIO

·??? State 參數(shù)顯示為 active. ?

·??? Conn-State 參數(shù)顯示為 connected.

?

如果Cluster狀態(tài)不是 active或者 connected，請聯(lián)系EMC售后技術(shù)支持8008190009 / 4006700009

序列號: CKM00151600221

?

2.?? 確認(rèn)主機(jī)上沒有任何IO請求，應(yīng)用數(shù)據(jù)庫已經(jīng)下線以及文件系統(tǒng)已經(jīng)Unmount

SSH登陸XMS運(yùn)行以下命令：
show-clusters-performance
輸出舉例：

xmcli ? (admin)> show-clusters-performance

Cluster-Name Index ? Write-BW(MB/s) Write-IOPS Read-BW(MB/s) Read-IOPS BW(MB/s) IOPS ? Total-Write-IOs Total-Read-IOs

SBTJT-XIO??? 1???? ? 0.373????????? 37???????? 0.003???????? 0???????? 0.376??? 37?? ? 14531758??????? 21422736??????

?

需確認(rèn)：

·??? IOPS顯示為0

?

SSH登陸XMS運(yùn)行以下命令：
show-targets-performance

輸出舉例：

需確認(rèn)：

·??? IOPS顯示為0

?

3.?? 關(guān)閉存儲服務(wù)
檢查Cluster的狀態(tài)，如果不是stopped或者active，請聯(lián)系EMC售后技術(shù)支持，降低數(shù)據(jù)丟失的風(fēng)險(xiǎn)。

SSH登陸XMS執(zhí)行以下命令：

stop-cluster-unorderly

選擇YES

執(zhí)行完成輸出顯示：

?

SSH登陸XMS運(yùn)行以下命令：

show-clusters

確認(rèn)cluster狀態(tài)為stopped (unorderly)

4.?? 關(guān)閉存儲硬件

·??? 檢查cluster服務(wù)已經(jīng)關(guān)閉

·??? 關(guān)閉PDU開關(guān)（需確認(rèn)沒有其他設(shè)備連接在這PDU上）

·??? 關(guān)閉BBU開關(guān)

·??? 關(guān)閉XMS開關(guān)

硬件XMS

如果關(guān)閉虛擬XMS需執(zhí)行以下命令：

shutdown-xms shutdown-type=machine

?

?

6.2緊急關(guān)機(jī)步驟（計(jì)劃外）

1.?? 緊急情況按步驟拔出相應(yīng)的電源連線

該步驟只適用于用XMS無法正常關(guān)閉cluster的情況。

·??? 拔出第一個X-Brick上DAE（磁盤柜）的電源線（紅色端口）

·??? 必須等待5分鐘，讓Cluster保護(hù)磁盤上易失性數(shù)據(jù)。（否則會引起數(shù)據(jù)丟失）

·??? 關(guān)閉機(jī)柜PDU開關(guān)（需確認(rèn)沒有其他設(shè)備連接在這PDU上）

·??? 關(guān)閉XMS開關(guān)

硬件XMS

如果關(guān)閉虛擬XMS需執(zhí)行以下命令：

shutdown-xms shutdown-type=machine

6.3開機(jī)步驟

1.?? 磁盤柜加電

如果之前是緊急關(guān)機(jī)狀態(tài)，則需要先將兩根電源線插入第一個X-brick相應(yīng)端口的DAE并開啟機(jī)柜PDU電源開關(guān)。

2.?? 開啟XMS

硬件XMS：按下電源開關(guān)

虛擬XMS：vsphere client選取相應(yīng)的XMS 主機(jī)，右鍵點(diǎn)擊Power On

?

3.?? 開啟BBU

按下前面板右上開關(guān)

?

4.?? 開啟Storage Controller

·??? 命令開啟

SSH登陸XMS執(zhí)行以下命令：

show-storage-controllers

如果每個SC的Conn-state 和 IPMI-state 都不是connected，執(zhí)行以下命令，直到狀態(tài)都顯示為connected：

power-on sc-id="<Storage Controller name or index>"

·??? 物理方式開啟

如果命令開啟SC失敗，則手動按下SC右上角的開關(guān)

5.?? 啟動Cluster

·??? 確認(rèn)以下設(shè)備都已經(jīng)加電并開啟

硬件XMS

BBU電池（并且已經(jīng)充電70%以上）

Storage Controller存儲控制器

DAEs 磁盤柜

InfiniBand 交換機(jī)（2個X-Brick以上才有）

·??? 執(zhí)行命令啟動Cluster

start-cluster

·??? 檢查Cluster狀態(tài)，確認(rèn)State是active，Conn-State是connected

show-clusters

如果狀態(tài)不正常，請聯(lián)系EMC售后技術(shù)支持

?