DellEMC DataIQ安裝管理手冊
一、安裝及標準配置
1.1部署虛擬機
使用“部署OVF模板”安裝導(dǎo)入虛擬機。

添加一塊位于SSD盤的500GB虛擬磁盤。

存儲監(jiān)控數(shù)據(jù)庫
存儲監(jiān)控數(shù)據(jù)庫根據(jù)監(jiān)控的集群數(shù)量、監(jiān)控的節(jié)點數(shù)量、圖表顯示的條目數(shù)(Top N)、集群的負載率等因素進行增長。

管理員可以通過設(shè)置數(shù)據(jù)保留策略,設(shè)置需要保留的最大數(shù)據(jù)量。例如:監(jiān)控10個節(jié)點,最多保留1年數(shù)據(jù),則增加101GB (200MB×10×52)。
?
1.2修改root密碼
登錄虛擬機,用戶名:administrator,密碼:administrator。使用sudo –i進入root模式,使用passwd root修改密碼。此密碼用于備份和還原。

?
1.3掛載數(shù)據(jù)管理數(shù)據(jù)庫
創(chuàng)建掛載目錄:mkdir /mnt/ssd

查看數(shù)據(jù)管理數(shù)據(jù)庫磁盤:lsscsi

創(chuàng)建pv:pvcreate /dev/sdb

創(chuàng)建vg:vgcreate vg0 /dev/sdb

查看創(chuàng)建的vg:vgdisplay

使用全部空間創(chuàng)建lv:lvcreate -l +100%FREE -n ssd vg0

查看創(chuàng)建的lv:lvdisplay

格式化磁盤:mkfs -t xfs /dev/vg0/ssd

將文件系統(tǒng)掛載到掛載點:mount /dev/vg0/ssd /mnt/ssd

查看完成的掛載:df –h

添加開機自動掛載:vim /etc/fstab

1.4設(shè)置網(wǎng)絡(luò)
輸入命令nmtui打開NetworkManager工具,選擇“Edit a connection”回車

選擇“Wired connection 1”回車

修改“Profile name”網(wǎng)卡名稱,并配置Ipv4

選擇“Set system hostname”回車

修改主機名(注:主機名必須使用小寫字母,否則初始化過程會出錯。)

編輯hosts文件:vim /etc/hosts
重啟服務(wù)器是修改主機名生效:reboot
?
1.5初始化DataIQ
運行DataIQ安裝程序,接收初始密碼,并可選地設(shè)置安全遠程服務(wù)。
1.安裝OpenSSL
使用YUM安裝OpenSSL:yum install openssl -y
如無因特網(wǎng)可使用其他方式安裝。
……

初始化DataIQ在root模式下輸入命令:dataiq init
輸入y,接受安裝EULA。

等待DataIQ初始化最多20分鐘,是否安裝SRS網(wǎng)關(guān),若沒有輸入N,回車,完成初始化。

?
使用瀏覽器登錄管理地址,輸入用戶名administrator,密碼為上一步初始化完成后生成的密碼。

輸入新密碼,點擊“Submit”按鈕

完成DataIQ登錄。

1.6許可說明
首次安裝DataIQ時,可以使用試用功能1年,包括連接到第三方存儲的能力。購買并激活license后,就可以訪問所購買的特性。當DataIQ許可證過期時,將只能訪問基本的DataIQ特性。
?

1.7更新Kubernetes證書
DataIQ使用的是Kubernetes證書,有效期為1年。有兩種方法可以更新證書:重新啟動DataIQ主機,或者運行腳本手動更新證書。如果DataIQ證書沒有更新,DataIQ應(yīng)用程序?qū)⑼V构ぷ鳌?/span>
1)建議至少每6個月重啟DataIQ主機一次,以自動更新Kubernetes證書。
2)可以任何時候手動更新證書,在命令行中:dataiq certificates --renew kubernetes,這需要長達10分鐘的停機時間。
?
二、數(shù)據(jù)管理
2.1連接NFS卷
新增NFS卷,包括Dell EMC PowerScale、Isilon系統(tǒng)NFS卷。
?
設(shè)置NFS權(quán)限
設(shè)置NFS卷的讀訪問權(quán)限。這個例子展示了如何在OneFS服務(wù)器上設(shè)置權(quán)限。
1. OneFS服務(wù)器:選擇“Protocols > Unix Sharing > NFS Exports”。
2.在NFS Exports選項卡中,在您想要監(jiān)視的卷旁邊,選擇View/Edit > Edit Export。
3.在以下各部分添加DataIQ服務(wù)器的IP地址:
●Client
●Root Client
●可選: Always Read/Write Clients。添加這個選項來啟用插件的功能,比如Data Mover。
注意:不建議使用NFS的“no root squash”設(shè)置,因為這可能會帶來潛在的安全風(fēng)險。但是,此設(shè)置可作為在受信任環(huán)境中提供訪問的快捷方式。

掛載NFS卷以創(chuàng)建VFS層(僅外部工作站點)
在服務(wù)器nas01上創(chuàng)建的卷的導(dǎo)出路徑為“/nfs”。卷被映射到DataIQ中的一個名為/mnt/nfs的新目錄。
1.確保已安裝NFS客戶端工具:
yum install -y rpcbind nfs-utils nfs4-acls-tools
2.啟動NFS客戶端服務(wù):
systemctl start rpcbind nfs-idmap
systemctl enable rpcbind nfs-idmap
3.在/mnt文件夾中創(chuàng)建將掛載文件系統(tǒng)的目錄。例如:
mkdir -p /mnt/nfs
4.在/etc/fstab配置文件中添加一個條目,以確保在重新引導(dǎo)時掛載卷。
nas01:/nfs /mnt/nfs nfs defaults 0 0
5.掛載文件系統(tǒng),并確認文件系統(tǒng)已掛載:
mount -o vers=3,soft,rw ps9400.joyoutech.com:/ifs/nfs /mnt/nfs
df -h /mnt/nfs
6.如果你在外部Worker上使用可選的Data Mover插件,請在每個Worker節(jié)點上重復(fù)這些步驟。
df -h /mnt/nfs
添加卷
在DataIQ上設(shè)置NFS/SMB/CIFS卷。
1.在“SETTING”頁面,選擇“Data management configuration”。
2.選擇“Add new volume”。輸入以下:


3.可選:選中“手動配置”,可以選擇更多選項。
注意:添加新卷時,建議手動設(shè)置“預(yù)定掃描線程”和“手動掃描線程”,設(shè)置值至少為10個。



更新Data Mover插件配置
如果DataIQ使用了Data Mover插件,需要將卷信息(vol_attributes)添加到DataIQ主機和外部worker節(jié)點的Data Mover配置文件中。
要了解更多信息,請參見為Data Mover設(shè)置卷。
2.2連接SMB/CIFS卷
基于SMB (Server Message Block)或CIFS (Common Internet File System)添加卷
設(shè)置SMB/CIFS卷的權(quán)限
設(shè)置具有權(quán)限的共享,以便DataIQ可以訪問該共享。說明在不同的平臺上有所不同。至少需要只讀訪問。
為了啟用插件功能,例如Data Mover,可能需要讀/寫訪問。
?
使用VFS層裝入卷(僅外部工作站點)
DataIQ要求SMB和CIFS卷使用VFS層掛載。
在本例中,服務(wù)器nas01承載名為vol1的卷。卷被映射到DataIQ中的一個名為/mnt/vol1的新目錄。如需了解更多SMB和CIFS客戶端配置方法,請訪問CentOS Windows共享掛載提示。
1.確保已安裝CIFS客戶端工具:
yum install -y samba-client samba-common cifs-utils
2.創(chuàng)建要掛載文件系統(tǒng)的目錄。為了保持一致性,建議將卷掛載到“/mnt”目錄下,例如:
mkdir -p /mnt/smb
3.在/etc/fstab配置文件中添加一個條目,以確保重新引導(dǎo)時掛載卷。
●快速方法:直接添加到/etc/fstab文件中。更改用戶名、密碼和域以匹配您的環(huán)境。
\\nas01\smb /mnt/smb cifs username=winuser,password=winpassword,?→domain=windomain,vers=2.0 0 0
●推薦的方法:將用戶名和密碼分別添加到獨立的安全文件中,然后使用/etc/ fstab文件中的文件。要了解更多信息,請參見Red Hat Customer Portal: CIFS憑證文件中的加密密碼或StackExchange:如何使用用戶名和密碼保護明文憑證文件
4. 掛載文件系統(tǒng),并確認文件系統(tǒng)已掛載:
mount /mnt/smb
df -h /mnt/smb
5. 如果你在外部Worker上使用可選的Data Mover插件,請在每個Worker節(jié)點上重復(fù)這些步驟。
添加卷
在DataIQ上設(shè)置NFS/SMB/CIFS卷。
首先需要通過命令行創(chuàng)建掛載目錄:mkdir /dataiq/smb
1.在“SETTING”頁面,選擇“Data management configuration”。
2.選擇“Add new volume”。輸入以下:

其他配置參考“連接NFS卷”
更新Data Mover插件配置
如果DataIQ使用了Data Mover插件,需要將卷信息(vol_attributes)添加到DataIQ主機和外部worker節(jié)點的Data Mover配置文件中。
要了解更多信息,請參見為Data Mover設(shè)置卷。
2.3連接到S3端點
設(shè)置桶存儲數(shù)據(jù)
如果您正在設(shè)置一個專用的DataIQ用戶,并且您計劃在沒有任何插件的情況下使用DataIQ,那么只讀權(quán)限就足夠了。如果您使用Data Mover插件,添加對寫的訪問(在某些系統(tǒng)上是刪除)。

https://docs.aws.amazon.com/AmazonS3/latest/userguide/setting-up-s3.html
http://doc.isilon.com/ECS/3.6/DataAccessGuide
https://ww.dell.com/support/manuals/en-us/isilon-onefs/ifs_pub_administration_guide_gui
https://cloud.google.com/storage/docs/json_api/v1/buckets

創(chuàng)建憑證文件
在DataIQ命令行,添加一個可以訪問Amazon s3兼容存儲的憑證文件。
1.使用文本編輯器創(chuàng)建一個憑證文件,并將其保存到DataIQ主機的/opt/DataIQ/maunakea/aws/credentials位置。
例如:vi /opt/dataiq/maunakea/aws/credentials
可以將多個S3提供程序的憑證添加到同一個文件中。對于每個提供者,添加以下內(nèi)容:
?

寫下您使用的唯一標識符。對于Amazon以外兼容s3的系統(tǒng),您將使用該標識符添加端點。


2.建議:隱藏憑證文件: chmod 600 credentials
添加端點
在DataIQ中,為S3桶添加端點。Amazon S3跳過此步驟。
?
1.在DataIQ的“SETTINGS”頁簽中,選擇“Data management configuration”。
2.在S3 endpoints中,選擇“Add new endpoint”。
3.對于端點名稱,創(chuàng)建唯一的端點標識符,例如,ECS。
稍后,當您將桶添加為卷時,將添加此標識符。
4. “Endpoint URL”需要添加端點URL和端口,例如“https://object.ecstestdrive.com:443”。
5.“Credentials name”中,添加您在憑證文件中創(chuàng)建的唯一憑證標識符,例如ecs。
6.“Default region”中,保留空白條目。
7.保留使用路徑樣式尋址“Use path style addressing”,清除強制V2簽名“Force V2 signatures”
8.選擇“Create”,創(chuàng)建端點。

將桶添加為卷
1.在DataIQ的“SETTINGS”頁簽中,選擇“Data management configuration”。
2.在“Volumes”中選擇“Add new volume”。
3.“FS Type”ongoing,選擇Amazon S3(or compatible)。
4.“Volume name”輸入名稱,例如“S3 Bucket 1”。名稱由字母、數(shù)字、“_”、“-”和空格組成。
5. S3端點:

6.“S3 Bucket”中,從桶列表中選擇一個桶。
注意:如果桶沒有出現(xiàn),請檢查憑據(jù)文件。
7.配置卷:

8. 點擊“Create”完成。

更新Data Mover和Previewer插件的配置
如果DataIQ使用了Data Mover插件或Previewer插件,則使用桶和憑證信息(S3桶)更新配置文件。
●對于Data Mover,請參見為Data Mover設(shè)置卷。
●對于預(yù)覽器,更新預(yù)覽器配置文件。
?
2.4手動掃描卷
DataIQ定期對卷進行掃描。但是,如果卷上的數(shù)據(jù)發(fā)生了變化,這些變化直到下一次掃描時才會出現(xiàn)在DataIQ中。對卷或路徑執(zhí)行手動掃描,查看最新信息。
1.在“Data Management”區(qū)域的“Browse”頁面中,選擇卷或文件夾。
2.在右邊的窗格中,選擇Actions選項卡。
3.在操作列表中,根據(jù)所選擇的內(nèi)容,選擇“Scan volume”、“Scan all volumes”、“Scan group”或“Scan selected path”。
4. 可選:查看掃描狀態(tài)。在Jobs頁面中,查看狀態(tài)并等待作業(yè)完成?;蛘撸瑱z查“Logs”頁面以查看已經(jīng)完成的作業(yè)的詳細信息。

?
三、存儲監(jiān)控
3.1OneFS創(chuàng)建DataIQ賬戶
創(chuàng)建OneFS監(jiān)控用戶(腳本方式)
使用這種方法,您可以使用從DataIQ服務(wù)器運行的腳本來創(chuàng)建監(jiān)視用戶帳戶。
1.該任務(wù)指導(dǎo)維護工程師通過PuTTY等工具登錄DataIQ服務(wù)器的CLI。必備事項
2.運行以下腳本:
/opt/dataiq/bin/svc_dataiq_onefs_user.sh start
系統(tǒng)提示如下:
a. OneFS節(jié)點的IP地址。
b. OneFS的端口號。默認情況下,這是8080。
c. OneFS的PAPI用戶名,例如“root”。
d. OneFS的PAPI密碼。
e.設(shè)置新dataiq帳戶的新密碼。稍后將集群添加到DataIQ時,您將使用此用戶名和密碼。

3.登錄到OneFS服務(wù)器,驗證是否已經(jīng)創(chuàng)建了一個帳戶名為dataiq的新用戶。
注:我實測時報錯失敗。
創(chuàng)建OneFS監(jiān)控用戶(手工方式)
通過該方法,可以直接在OneFS的web界面中創(chuàng)建監(jiān)控用戶。
1.登錄OneFS web界面。
2.創(chuàng)建一個角色,表示與監(jiān)視DataIQ相關(guān)的特權(quán)。
3.當選擇只讀訪問時,為角色添加以下權(quán)限:
● ISI_PRIV_ANTIVIRUS
● ISI_PRIV_CLOUDPOOLS
● ISI_PRIV_CLUSTER
● ISI_PRIV_DEVICES
● ISI_PRIV_EVENT
● ISI_PRIV_JOB_ENGINE
● ISI_PRIV_LOGIN_PAPI
● ISI_PRIV_NDMP
● ISI_PRIV_NETWORK
● ISI_PRIV_QUOTA
● ISI_PRIV_REMOTE_SUPPORT
● ISI_PRIV_SMARTPOOLS
● ISI_PRIV_SNAPSHOT
● ISI_PRIV_STATISTICS
● ISI_PRIV_SYNCIQ
● ISI_PRIV_SYS_TIME

4.在LOCAL: System提供程序下創(chuàng)建一個用戶,該用戶將用作DataIQ中的監(jiān)視用戶,并確保該用戶已使用密碼啟用。稍后將集群添加到DataIQ時,您將使用此用戶名和密碼。
5.編輯步驟2中創(chuàng)建的角色,并將步驟4中創(chuàng)建的用戶添加為角色的成員。
?
3.2將DataIQ連接到集群
將DataIQ連接到集群以開始存儲監(jiān)控。
1. 在DataIQ界面的“SETTINGS”窗口中,選擇“Storage system settings”頁面。

2. 選擇Add集群。
3.在Add cluster flyout中,輸入關(guān)于集群的信息,域名或IP地址,用戶名密碼,勾選不適用證書。

大約一分鐘后,集群出現(xiàn)在監(jiān)控集群列表中。對于包含以下角色的組中的用戶:DataIQ管理員、存儲用戶和存儲管理員,服務(wù)器將在存儲監(jiān)控窗口中顯示。

3.3存儲監(jiān)控數(shù)據(jù)保留時間
為了節(jié)省磁盤空間,可以設(shè)置DataIQ保存監(jiān)控數(shù)據(jù)的最大時間長度。例如,DataIQ可以自動刪除超過6個月的存儲監(jiān)控數(shù)據(jù)。如果未設(shè)置該值,DataIQ將保留所有存儲監(jiān)控數(shù)據(jù),直到磁盤空閑空間不足。
存儲監(jiān)控數(shù)據(jù)庫按照被監(jiān)控節(jié)點每周自動擴容200MB。
當DataIQ存儲監(jiān)控處于激活狀態(tài)時,當DataIQ檢測到可用空間小于40GB時,會發(fā)送警告警報。當剩余空間小于20GB時,DataIQ會發(fā)送緊急告警并停止采集存儲監(jiān)控數(shù)據(jù)。當剩余空間大于60GB時,恢復(fù)存儲監(jiān)控采集。
1.在DataIQ界面的“設(shè)置”頁面,選擇“數(shù)據(jù)存儲管理>配置數(shù)據(jù)保留”。
2.可選:檢查數(shù)據(jù)存儲總?cè)萘?,以查看?qū)動器上有多少可用空間。
3.選擇啟用滾動保留策略,并選擇DataIQ應(yīng)該保留數(shù)據(jù)多長時間,例如6個月。
4.如果需要額外的驅(qū)動器空間,可以通過添加驅(qū)動器來擴展卷(LVM)。

四、插件安裝
4.1下載插件
為DataIQ 2.2以下插件可從戴爾支持,在https://www.dell.com/support/home/product-support/product/dataiq

4.2安裝并啟用插件
1.可選:如果您之前已經(jīng)安裝了這個插件,請檢查這個插件是否仍然存在于系統(tǒng)中。
cd /opt/dataiq/maunakea/data/plugins/<plugin>
如果插件仍然存在,要么使用刪除插件的說明,要么使用升級插件的說明。
2.將插件tar.gz文件傳輸?shù)?/span>DataIQ主機的文件夾中,例如/root??蛇x:在驗證文件中傳輸,在同一文件夾位置。
cp /mydrive/previewer-2.17-installer.tar.gz /root/
cp /mydrive/previewer-2.17-installer.tar.gz.sign /root/
3.可選:驗證tar.gz文件的真實性:
./verify.sh previewer-2.17-installer.tar.gz
Verified OK
4.解壓tar.gz文件。例子:
??????? cd /root
tar -zxvf previewer-2.17-installer.tar.gz
5.導(dǎo)航到包含Python腳本的文件夾。例如:
cd /root/previewer-2.17 /
6. 安裝或升級插件。示例:
python previewer.py install

7. 可選:檢查狀態(tài):
kubectl get pods –ndataiq

該插件在列表中應(yīng)該顯示為Running。
8. 啟用插件。在DataIQ UI中,選擇“SETTINGS”à“Data management configuration”,在Plugins部分,選擇插件旁邊的?(垂直省略號)圖標,并選擇Enable。
