一、安裝部署

說明：本文的涉及PowerFlex3.6.x for Linux版本部署和配置，F(xiàn)or VMware版本與3.0.x相同，只多一個手動安裝Presentation Server，與for Linux相同。

?

安裝部署之前：

1)操作系統(tǒng)要安裝完成。

2)所有網(wǎng)絡(luò)配置完成，IP地址配置完成，測試所有IP地址可以訪問。

3)準備好安裝軟件包。

Gateway和MGMT放到一臺單獨服務(wù)器上

Gateway和MGMT與MDM放到同一臺服務(wù)器

1.2操作系統(tǒng)準備

Linux操作系統(tǒng)必須安裝java 1.8以上及OpenSSLx64 v1.1

CentOS操作系統(tǒng)

1.所有網(wǎng)卡配置IP地址完成后，全部都ping一遍保證所有IP地址都啟用

2.安裝java 1.8以上及OpenSSLx64 v1.1

安裝java使用rpm包命令如下，rpm –ivh jdk-8u181-linux-x64.rpm

OpenSSL一般默認都有。

3關(guān)閉防火墻（可選）

systemctl stop firewalld

systemctl disable firewalld

Ubuntu操作系統(tǒng)

1.啟用root賬戶：（非必須，是為了操作方便）

sudo passwd root，輸入密碼

進入root賬戶：su

?

2.創(chuàng)建非root賬戶：（為后續(xù)使用CSV部署使用，CSV文件用戶名填寫為：admin(sudo)）

創(chuàng)建組：groupadd admin

創(chuàng)建用戶：useradd -G admin admin

修改密碼：passwd admin

編輯文件：vi /etc/sudoers

添加Defaults ! requiretty一行

修改%admin一行如下：%admin ALL=(ALL) NOPASSWD: ALL

保存退出：wq！

在非root用戶的主目錄中創(chuàng)建一個隱藏目錄來存儲SSH配置：mkdir /home/admin/.ssh

將SSH配置從根用戶復(fù)制到非_root用戶的目錄：cp -rf /root/.ssh/* /home/admin/.ssh/

?

查看所有用戶：cat /etc/passwd | cut -f 1 -d:

?

3.配置IP：

查看網(wǎng)卡：ip a

編輯文件：vi /etc/netplan/50-cloud-init.yaml

讓配置生效：netplan apply

重新啟停以太網(wǎng)卡命令：ifconfig ens32 down&ifconfig ens32 up

?

4.配置國內(nèi)apt源

cp -v /etc/apt/sources.list /etc/apt/sources.list.backup

vi /etc/apt/sources.list

deb ? ? ?https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted ? ? ?universe multiverse

deb ? ? ?https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main ? ? ?restricted universe multiverse

deb ? ? ?https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main ? ? ?restricted universe multiverse

deb ? ? ?https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main ? ? ?restricted universe multiverse

?

然后全選并刪除里面的內(nèi)容，添加清華鏡像源。

配置好后，更新源：apt-get update

?

5.安裝環(huán)境，java和binutils

apt install openjdk-8-jre-headless -y

apt install binutils -y

?

6.關(guān)閉防火墻

ufw status verbose

ufw enable

ufw disable

Linux綁定盤符

1.拿到編號

[root@Node01 ~]# udevadm info -q path -n /dev/sda

/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:0/0:0:0:0/block/sda

[root@Node01 ~]# udevadm info -q path -n /dev/sdb

/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:1/0:0:1:0/block/sdb

[root@Node01 ~]# udevadm info -q path -n /dev/sdc

/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:2/0:0:2:0/block/sdc

[root@Node01 ~]# udevadm info -q path -n /dev/sdd

/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:3/0:0:3:0/block/sdd

?

2.編輯

[root@Node01 ~]# vi /etc/udev/rules.d/80-mydisk.rules

DEVPATH=="/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:0/0:0:0:0/block/sda, NAME="sda", MODE="0660"

DEVPATH=="/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:1/0:0:1:0/block/sdb, NAME="sdb", MODE="0660"

DEVPATH=="/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:2/0:0:2:0/block/sdc, NAME="sdc", MODE="0660"

DEVPATH=="/devices/pci0000:00/0000:00:15.0/0000:03:00.0/host0/target0:0:3/0:0:3:0/block/sdd, NAME="sdd", MODE="0660"

1.3安裝Gateway

1） Gateway可以安裝在將要用戶MDM的節(jié)點上，或者單獨的節(jié)點上，但不能安裝在RFcache節(jié)點。

2） 不要安裝在將用于SDC組件的服務(wù)器上。

在Linux上安裝VxFlex OS Gateway

Linux操作系統(tǒng)必須安裝java 1.8以上及OpenSSLx64 v1.1

RHEL/Centos/Oracle Linux/SLES：

GATEWAY_ADMIN_PASSWORD=<new_GW_admin_password> rpm -i /tmp/EMC-ScaleIO-gateway-5.0-X.<build>.x86_64.rpm
Ubuntu：

GATEWAY_ADMIN_PASSWORD=<new_GW_admin_password> dpkg -i /tmp/EMC-ScaleIO-gateway-3.5-X.<build>.amd64.deb

?

其中/tmp/是您保存軟件包的本地位置，而<new_GW_admin_password>是您定義用來訪問PowerFlex安裝程序的密碼。

密碼必須符合以下條件：

?????? 至少8個字符

?????? 至少包括以下三組：[az]，[AZ]，[0-9]，特殊字符（！@＃$…）

在Windows上安裝VxFlex OS Gateway

1)安裝文件為：EMC-ScaleIO-gateway-3.5-X.<build>-x64.msi，雙擊安裝，并在安裝過程中輸入Gateway密碼。

2)運行Clean_XC_registry.bat腳本

1.4安裝管理服務(wù)器Presentation Server

● Linux:

rpm -i EMC-ScaleIO-mgmt-server-3.5-X.<build>.noarch.rpm
● Debian:

sudo dpkg -i emc-scaleio-mgmt-server_3.5-X.<build>_amd64.deb

?

如果管理服務(wù)器和網(wǎng)關(guān)服務(wù)器安裝到同一個服務(wù)器上，則需要修改管理服務(wù)器端口8443為9443

1）? 停止管理服務(wù)

systemctl stop mgmt-server

2）? 運行命令

su mgmt-server -c "vi /etc/mgmt-server/.config/mgmt-server"

3）? 寫入

MGMT_SERVER_OPTIONS='backend.httpd.httpsPort=9443 backend.sessions.tokenLifeSpanMinutes=10'

4）? 重啟管理服務(wù)

systemctl restart mgmt-server.service

5）? 打開防火墻端口

firewall-cmd --zone=public --add-port=9443/tcp –-permanent
firewall-cmd –reload

6） 檢查新的防火墻端口是否已經(jīng)打開:

firewall-cmd --list-all

1.5填寫CSV

1.6部署VxFlex

確認gateway與要部署的MDM節(jié)點通信正常。

使用web瀏覽器登錄Gateway的管理地址，點擊Home頁面“installation packages”超鏈接

點擊“Browse”按鈕，選擇要上傳的安裝包，MDM、SDS、SDC、RFcache、LIA，然后點擊“Upload”上傳

上傳完成，點擊“Proceed to Install”按鈕，繼續(xù)安裝

選擇上傳csv文件安裝，選擇“New installation”，點擊“Upload installation CSV”

輸入MDM和LIA的密碼，輸入MDM三節(jié)點的IP和密碼

安裝開始，點擊“monitor”超鏈接到監(jiān)視界面，將在其中監(jiān)視和批準安裝

開始驗證環(huán)境，驗證完成后“Start upload phase”按鈕即可點亮，點擊按鈕進行安裝包上傳

開始上傳安裝包

安裝包上傳完成，點擊“Start install phase”

安裝完成，點擊“Start configure phase”按鈕開始配置

全部任務(wù)完成，點擊“Mark operation completed”按鈕，標記完成操作

二、添加集群節(jié)點

在PowerFlex集群上，添加節(jié)點有兩種方式

?????? 使用Gateway工具，編寫CSV文件，自動部署添加節(jié)點

?????? 手動安裝SDS、SDR等軟件，然后在圖形界面手動添加節(jié)點。

首選必須準備好軟件包，要添加的節(jié)點配置好網(wǎng)絡(luò)。

2.1PowerFlex Installer工具添加節(jié)點

1.保證Gateway中有要安裝的軟件包

2.在“Install”界面，下載CSV文件模板

下載文件名稱為“VxFlex_OS_Complete_Config.csv”

?

3.根據(jù)1.3表填寫CSV文件，在添加節(jié)點時，MDM和TB信息必須是完整的，單純SDS和SDC節(jié)點可選填寫，詳細填寫要添加的SDS、SDC、SDR等信息。

?

4.將CSV文件上傳至Install，選擇“Add to existing sys.”,點擊上傳按鈕

5.根據(jù)提示完成驗證、上傳軟件、安裝軟件、配置等操作。

?

2.2手動添加節(jié)點

將要添加節(jié)點的安裝包手動安裝到節(jié)點服務(wù)器使用rpm –i等命令

說明：此方法適用SDS、SDR，同時需要安裝LIA

安裝SDS組件

1.使用以下命令安裝SDS:

rpm -i <sds_path.rpm>

例如：

rpm -i EMC-ScaleIO-sds-3.5-<build>.X.el6.x86_64.rpm

將LIA添加到系統(tǒng)中以實現(xiàn)自動維護和升級

1.???? 通過運行以下命令，在每個節(jié)點上安裝LIA組件：

TOKEN=<LIA_password> rpm -i <full rpm path to LIA file>

例：

TOKEN=Scaleio123 rpm -i EMC-ScaleIO-lia-3.0-X.<build>.<flavor>.x86_64.rpm

2.???? 將系統(tǒng)安裝ID導(dǎo)入LIA：

a.???? 創(chuàng)建以下文件：/opt/emc/scaleio/lia/cfg/installation_id.txt

b.? 通過運行以下命令，在MDM中查詢安裝ID：

scli --query_all|grep "Installation ID"

c.???? 將安裝ID復(fù)制到新文件中。

d.? 通過運行以下命令來重新啟動LIA服務(wù)：

pkill lia

3.???? 在系統(tǒng)中的每個節(jié)點上重復(fù)上述步驟

軟件安裝完成后，點擊SDSs頁面，右上角ADD按鈕

輸入信息，點擊中部“ADD IP”按鈕，然后點擊右下角“ADD SDS”按鈕，完成添加

SDR同樣類似操作。

?

三、添加SDC客戶端

在PowerFlex集群上，添加節(jié)點有兩種方式

使用Gateway工具，編寫CSV文件，自動部署添加節(jié)點

手動安裝SDC和LIA軟件，管理界面即可自動識別SDC

首選必須準備好軟件包，要添加的節(jié)點配置好網(wǎng)絡(luò)。

3.1PowerFlex Installer工具添加

如2.1添加SDS、SDR例，使用CSV添加SDC信息，上傳并完成安裝。

3.2手動安裝SDC軟件

手動安裝SDC及LIA軟件

說明：可以只安裝SDC軟件，下文中<LIST_VIP_MDM_IPS>包括MGMT_VIP、DATA1_VIP、DATA2_VIP。

ESXi：

1. 在安裝SDC的ESXi上，設(shè)置接受級別:

esxcli software acceptance set --level=PartnerSupported

2. 安裝SDC:

esxcli software vib install -d “/tmp/sdc-3.0.1000.180-esx6.x.zip”

3.重新啟動ESX主機。此時SDC不會自動啟動。

您需要更新SDC GUID和MDM IP地址參數(shù):

?GUID：例如:12345678-90AB-CDEF-1234-567890ABCDEF

?MDM IP地址?？梢远x多個MDM集群，每個集群有多個IP地址。

??????? -用“,”符號分隔同一個MDM集群的IP地址。

??????? -使用“+”符號分隔多個MDM集群。

在下面的示例中，有兩個MDM集群，第一個有兩個IP地址，第二個只有一個:

10.20.30.40,50.60.70.80+11.22.33.44

4.設(shè)置MDM的IP地址:

esxcli system module parameters set -m scini -p "IoctlIniGuidStr=<XXXXXX> IoctlMdmIPStr=<LIST_VIP_MDM_IPS>"

●<LIST_VIP_MDM_IPS>是一個以逗號分隔的MDM IP地址列表或MDM的虛擬IP地址

●<XXXXXX>為GUID碼，可從https://www.guidgen.com/生成

5. 通過輸入以下參數(shù)備份參數(shù):

/bin/auto-backup.sh

6. 加載SDC模塊:

? ESXi 5.5

輸入：esxcli system module load -m scini

注意:在ESXi 6.0服務(wù)器上運行上述命令會導(dǎo)致不穩(wěn)定，這可以通過重新啟動服務(wù)器來解決。

? ESXi 6.0

重新啟動ESXi主機。

Linux：

RHEL/CentOS /Oracle Linux：

MDM_IP=<LIST_VIP_MDM_IPS> rpm -i <SDC_PATH>.rpm

Ubuntu：

# tar -xvf EMC-ScaleIO-sdc-3.5-1200.104.Ubuntu.18.04.5.x86_64.tar

#./siob_extract EMC-ScaleIO-sdc-3.5-1200.104.Ubuntu.18.04.5.x86_64.siob

#MDM_IP=<LIST_VIP_MDM_IPS> dpkg -i EMC-ScaleIO-sdc-3.5-1200.104.Ubuntu.18.04.5.x86_64.deb

注：安裝過程中缺少libaio1，需手動安裝

CoreOS

MDM_IP=<LIST_VIP_MDM_IPS> ./<LIST_VIP_MDM_IPS>.bsx

?

●<LIST_VIP_MDM_IPS>是MDM IP地址或MDM虛擬IP地址的逗號分隔列表

●<SDC_PATH>是SDC安裝包所在的路徑

?

Windows：

1.在安裝SDC的Windows服務(wù)器上，運行:

msiexec /i <SDC_PATH>.msi MDM_IP=<LIST_VIP_MDM_IPS>

●<SDC_PATH>是SDC安裝包所在的路徑

●<LIST_VIP_MDM_IPS>是一個以逗號分隔的MDM IP地址列表或MDM的虛擬IP地址

2.重新啟動服務(wù)器

?

四、卷映射操作

4.1創(chuàng)建卷

在WebUI的“Volumes”界面，點擊右上“ADD”按鈕

輸入卷信息，點擊“ADD VOLUME”按鈕，完成添加

4.2映射卷

勾選卷名稱前的復(fù)選框，點擊右上“MAPPING”>“Map”按鈕

勾選卷及SDC，點擊“MAP”按鈕，點擊“APPLY”按鈕完成映射。

五、快照操作

5.1創(chuàng)建快照

選擇中卷名前的復(fù)選框，點擊右上角“MORE”>“Create snapshot”按鈕

輸入快照名，或按規(guī)則自動生成快照名稱，默認選擇“Read Only”只讀模式，點擊“CREATE SNAPSHOT”完成快照創(chuàng)建。

5.2創(chuàng)建安全快照

勾選“Use secure snapshot”選項，選擇保留時間，在時間為到之前，此快照不可刪除。

5.3快照操作

快照創(chuàng)建完后，在“Volumes”頁面，可以看到多出一個卷，此即快照，此時快照可以映射給SDC

也可選中原始卷，點擊下方VTREE頁面，查看卷樹結(jié)構(gòu)

恢復(fù)快照，僅限于非制度快照

點擊快照，選中“MORE”>“Overwrite Content”

5.4創(chuàng)建快照策略

導(dǎo)航到“PROTECTION”>“LOCAL”>“Snapshot Policies”界面，點擊“ADD”按鈕

輸入快照策略名稱，快照間隔時間，保留快照數(shù)量，是否只讀快照，快照過期時間，點擊“ADD AND ACTIVATE”按鈕

勾選快照策略，點擊“MORE”>“Assign Volumes”按鈕

勾選要做快照的卷，點擊“ASSIGN POLICY”按鈕

六、復(fù)制

6.1交換存儲集群證書權(quán)威根證書

首先登陸一個集群的MDM

輸入命令：

scli --login --username admin --password P@ssw0rd????? //登陸到MDM

scli --extract_root_ca --certificate_file /tmp/sys0.cert????? //生產(chǎn)證書

?

將sys0.cert文件拷貝到第二個集群MDM中

scp /tmp/sys0.cert root@172.44.44.161:/tmp/???????????? //回車后輸入密碼

?

登陸到第二個集群的MDM

scli --login --username admin --password P@ssw0rd????? //登陸到MDM

scli --add_trusted_ca --certificate_file /tmp/sys0.cert --comment Acme_HQ???? //導(dǎo)入證書

?

同樣的操作重復(fù)從第二個集群創(chuàng)建證書到第一個集群導(dǎo)入證書

輸入命令：

scli --login --username admin --password P@ssw0rd????? //登陸到MDM

scli --extract_root_ca --certificate_file /tmp/sys1.cert????? //生產(chǎn)證書

?

將sys0.cert文件拷貝到第二個集群MDM中

scp /tmp/sys0.cert root@172.44.44.161:/tmp/???????????? //回車后輸入密碼

?

登陸到第二個集群的MDM

scli --login --username admin --password P@ssw0rd????? //登陸到MDM

scli --add_trusted_ca --certificate_file /tmp/sys1.cert --comment Acme_HQ???? //導(dǎo)入證書

6.2添加對端存儲

點擊“Peer Systems”頁面，點擊右上“ADD”按鈕

輸入對端存儲名稱，ID，IP，此處IP為對端存儲的SDR外部IP

? ? ? ? ? ? ? ? ? ? ? ? ??

對端存儲ID從對端存儲的“Cluster Settings”頁面查看

或使用命令行查看ID

同樣的操作在對端存儲重復(fù)操作一次。

添加完成后“Peer Systems”界面，可以看到對端存儲已經(jīng)連接，連接狀態(tài)為“Connected”

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

6.3創(chuàng)建一致性組

?

在“RCGs”界面，點擊“ADD”按鈕

輸入名稱，RPO時間，選擇本地保護域，對端存儲名稱及對端保護域，點擊“NEXT”

選擇源端卷和目標端卷，點擊右上“ADD PAIR”按鈕，點擊“NEXT”按鈕

確認信息，點擊“ADD RCG &START REPLICATION”按鈕，開始復(fù)制

創(chuàng)建完成。

6.4復(fù)制監(jiān)視

查看“REPLICATION”>“Overview”界面，查看復(fù)制概況

查看“REPLICATION”>“RCGs”界面，查看復(fù)制任務(wù)狀態(tài)

6.5復(fù)制管理

選中復(fù)制任務(wù)，點擊右上“MANAGE”按鈕可對復(fù)制任務(wù)進行管理

6.5.1暫停

Pause:暫停寫操作的復(fù)制。這將防止在復(fù)制再次恢復(fù)之前將日志發(fā)送到目標集群。

6.5.2創(chuàng)建快照

Create Snapshots:生成目標系統(tǒng)上RCG中每個卷的快照。這對于遠程測試應(yīng)用程序或DR活動非常有用。沒有刪除快照的工具，因此必須在目標系統(tǒng)上取消映射和手動刪除快照。

此時目標存儲卷生成快照，此快照可進行掛載

6.5.3故障轉(zhuǎn)移

Failover:強制一個故障轉(zhuǎn)移事件，將RCG內(nèi)卷的主要所有權(quán)傳遞給目標系統(tǒng)。完成此操作后，對于計劃中的故障轉(zhuǎn)移，您還可以選擇Reverse命令以保持原始源卷的同步。

故障轉(zhuǎn)移之前，首先停止主機I/O，卸載存儲。

6.5.4測試故障轉(zhuǎn)移

Test Failover:這將自動在目標系統(tǒng)上創(chuàng)建一個快照，并用到該快照的映射替換原始目標卷映射。使用此命令，您可以對卷執(zhí)行寫測試，同時防止源卷被測試活動損壞。

此時同步目標為目標端生成的快照，原始目標卷可以映射掛載。

?

6.5.5復(fù)制修改

選中“RCGs”界面找那個的復(fù)制任務(wù)，點擊“MODIFY”>“Modify RPO”

可以修改RPO時間

?

選中“RCGs”界面找那個的復(fù)制任務(wù)，點擊“MODIFY”>“Add Pair”

七、關(guān)機/開機

關(guān)機：

1.在 配置中，勾選保護域并單擊“MORE”>“Inactivate”按鈕。

? ? ? ? ? ? ? ? ? ? ? ? ? ?

輸入管理密碼，點擊“INACTIVATE”按鈕

確定保護域狀態(tài)為“Inactive”

退出 PowerFlex GUI。

關(guān)閉操作系統(tǒng)。

開機：

操作系統(tǒng)開機。

驗證所有軟件定義存儲 (SDS) 是否在線。驗證所有磁盤是否聯(lián)機。

在 “CONFIGURATION”à“Protection Domains”中，選擇保護域，單擊“MORE”>“Activate”。