DataIQ for Date Mover數(shù)據(jù)遷移工具部署配置
一、安裝及標(biāo)準(zhǔn)配置
1.1部署虛擬機(jī)
使用“部署OVF模板”安裝導(dǎo)入虛擬機(jī)。

添加一塊位于SSD盤的500GB虛擬磁盤。
?

存儲(chǔ)監(jiān)控?cái)?shù)據(jù)庫
存儲(chǔ)監(jiān)控?cái)?shù)據(jù)庫根據(jù)監(jiān)控的集群數(shù)量、監(jiān)控的節(jié)點(diǎn)數(shù)量、圖表顯示的條目數(shù)(Top N)、集群的負(fù)載率等因素進(jìn)行增長。

管理員可以通過設(shè)置數(shù)據(jù)保留策略,設(shè)置需要保留的最大數(shù)據(jù)量。例如:監(jiān)控10個(gè)節(jié)點(diǎn),最多保留1年數(shù)據(jù),則增加101GB (200MB×10×52)。
?
1.2修改root密碼
登錄虛擬機(jī),用戶名:dataiqadmin,密碼: dataiqadmin。使用sudo su -進(jìn)入root模式,使用passwd root修改密碼。此密碼用于備份和還原。

?
1.3掛載數(shù)據(jù)管理數(shù)據(jù)庫
創(chuàng)建掛載目錄:mkdir /mnt/ssd

查看數(shù)據(jù)管理數(shù)據(jù)庫磁盤:lsscsi

創(chuàng)建pv:pvcreate /dev/sdb

創(chuàng)建vg:vgcreate vg0 /dev/sdb

查看創(chuàng)建的vg:vgdisplay

使用全部空間創(chuàng)建lv:lvcreate -l +100%FREE -n ssd vg0

查看創(chuàng)建的lv:lvdisplay

格式化磁盤:mkfs -t xfs /dev/vg0/ssd

將文件系統(tǒng)掛載到掛載點(diǎn):mount /dev/vg0/ssd /mnt/ssd

查看完成的掛載:df –h

添加開機(jī)自動(dòng)掛載:vim /etc/fstab

1.4設(shè)置網(wǎng)絡(luò)
輸入命令nmtui打開NetworkManager工具,選擇“Edit a connection”回車

選擇“Wired connection 1”回車

修改“Profile name”網(wǎng)卡名稱,并配置Ipv4

選擇“Set system hostname”回車

修改主機(jī)名(注:主機(jī)名必須使用小寫字母,否則初始化過程會(huì)出錯(cuò)。)

編輯hosts文件:vim /etc/hosts
192.168.100.150?????? dataiq
?
重啟服務(wù)使網(wǎng)絡(luò)生效:systemctl restart network
?
1.5初始化DataIQ
運(yùn)行DataIQ安裝程序,接收初始密碼,并可選地設(shè)置安全遠(yuǎn)程服務(wù)。
初始化DataIQ在root模式下輸入命令:dataiq init
輸入y,接受安裝EULA。

等待DataIQ初始化最多20分鐘,是否安裝SRS網(wǎng)關(guān),若沒有輸入N,回車,完成初始化。

記錄管理界面地址和初始密碼。
您還可以使用命令檢索此臨時(shí)密碼: cat /opt/dataiq/install/keycloak_admin.passwd
使用瀏覽器登錄管理地址,輸入用戶名administrator,密碼為上一步初始化完成后生成的密碼。

輸入新密碼,點(diǎn)擊“Submit”按鈕

完成DataIQ登錄。

1.6許可說明
首次安裝DataIQ時(shí),可以使用試用功能1年,包括連接到第三方存儲(chǔ)的能力。購買并激活license后,就可以訪問所購買的特性。當(dāng)DataIQ許可證過期時(shí),將只能訪問基本的DataIQ特性。
?

1.7更新Kubernetes證書
DataIQ使用的是Kubernetes證書,有效期為1年。有兩種方法可以更新證書:重新啟動(dòng)DataIQ主機(jī),或者運(yùn)行腳本手動(dòng)更新證書。如果DataIQ證書沒有更新,DataIQ應(yīng)用程序?qū)⑼V构ぷ鳌?/span>
1)建議至少每6個(gè)月重啟DataIQ主機(jī)一次,以自動(dòng)更新Kubernetes證書。
2)可以任何時(shí)候手動(dòng)更新證書,在命令行中:dataiq certificates --renew kubernetes,這需要長達(dá)10分鐘的停機(jī)時(shí)間。
?
二、配置掛載卷
2.1掛載NFS卷
1.在“SETTING”頁面,選擇“Data management configuration”。
2.選擇“Add new volume”。

輸入以下:

?
3.可選:選中“手動(dòng)配置”,可以選擇更多選項(xiàng)。
注意:添加新卷時(shí),建議手動(dòng)設(shè)置“預(yù)定掃描線程”和“手動(dòng)掃描線程”,設(shè)置值至少為10個(gè)。


?

2.2掛載SMB
首先需要通過命令行手動(dòng)掛載smb卷
創(chuàng)建掛載目錄:mkdir -p /dataiq/smb? &&? chmod 777 /dataiq/smb
掛載卷到目錄:mount -t cifs //192.168.100.47/smb /dataiq/smb -o username=test,password=test,iocharset=utf8
設(shè)置開機(jī)自動(dòng)掛載,編輯/etc/fstab,添加:
\\192.168.100.47\smb /dataiq/smb cifs username=test,password=test,vers=2.0 0 0
1.在“SETTING”頁面,選擇“Data management configuration”。
2.選擇“Add new volume”。輸入以下:

其他配置參考“連接NFS卷”

2.3為Data Mover設(shè)置卷
每當(dāng)對(duì)卷進(jìn)行更新時(shí),都要更新DatalQ主機(jī).。
在web Ul中選擇“Settings”>“Data management configuration”。在Plugins部分中,選擇Data Mover旁邊的(垂直橢圓)圖標(biāo),并選擇Edit configuration。打開Data Mover配置文件。


vol_attributes(必需)
掛載卷的設(shè)置。禁止使用vol_attributes配置S3桶。DatalQ主機(jī)格式:

找到關(guān)鍵字vol_attributes,修改,點(diǎn)擊Save保存

設(shè)置密碼

2.4使用Data Mover
DataIQ Data Mover功能和限制
功能:
●在不同的文件系統(tǒng)(包括NFS、VFS和SMB卷)和S3端點(diǎn)(如Amazon S3、谷歌云平臺(tái)(GCP)、Dell彈性云存儲(chǔ)(ECS))之間移動(dòng)數(shù)據(jù)。
●記錄文件傳輸以協(xié)助審計(jì)。
●支持傳輸策略,允許或限制基于用戶組和源和目的地可見性的Data Mover的使用。
●通過在傳輸后重新索引文件來更新DataIQ。
●使用校驗(yàn)和算法驗(yàn)證文件傳輸,包括MD5和SHA256。
●支持使用額外的服務(wù)器(Data Mover工作節(jié)點(diǎn))來加快文件傳輸,并減輕DataIQ主主機(jī)的負(fù)擔(dān)。
●每個(gè)作業(yè)可以移動(dòng)多個(gè)tb的數(shù)據(jù)。捕獲和存儲(chǔ)posix兼容系統(tǒng)上的文件權(quán)限和屬性,如用戶id、組id、時(shí)間和時(shí)間。當(dāng)恢復(fù)文件時(shí),Data Mover重新應(yīng)用屬性。
管理員可以決定非管理員用戶是否可以執(zhí)行以下任務(wù):
●查看和編輯其他用戶啟動(dòng)的傳輸作業(yè)。
●在傳輸完成并驗(yàn)證后刪除源文件或目錄。
●覆蓋目標(biāo)文件中的現(xiàn)有文件。
●按順序傳輸文件,以潛在地提高視頻回放性能。
●控制主動(dòng)轉(zhuǎn)移作業(yè)。
?
限制
●不能在兩個(gè)外部S3桶之間直接移動(dòng)數(shù)據(jù)。
●不能根據(jù)策略移動(dòng)文件。(例如:最近30天內(nèi)未訪問的數(shù)據(jù)。)
●在windows系統(tǒng)上不捕獲文件權(quán)限或文件屬性。
●不支持與SMB所有權(quán)的AD集成。
●不支持自動(dòng)歸檔,也沒有增量歸檔功能。要了解關(guān)于歸檔OneFS數(shù)據(jù)的更多信息,請(qǐng)參閱OneFS CloudPool管理指南。
●不支持有狀態(tài)文件夾傳輸或動(dòng)態(tài)更新。要捕獲更新,必須重新啟動(dòng)數(shù)據(jù)傳輸。
●不支持多源樹移動(dòng)。
從DataIQ選擇“Data Management”,然后使用“Browse”按鈕,選擇要傳輸?shù)木恚c(diǎn)擊“Scan Volume”按鈕更新卷信息。

選擇“Transfer”按鈕

彈出“Transfer”對(duì)話框,顯示如下信息:
●源路徑選擇
●文件計(jì)數(shù)和所選源的總大小。
注意:這些值可能并不總是最新的或準(zhǔn)確的。這些值基于最近一次DataIQ文件掃描的文件計(jì)數(shù)和大小。作業(yè)啟動(dòng)后,您可以在“查看傳輸”頁面中看到更新的準(zhǔn)確值。
●系統(tǒng)范圍內(nèi)的活動(dòng)轉(zhuǎn)移作業(yè)的數(shù)量。
●系統(tǒng)范圍內(nèi)繁忙輔助進(jìn)程的數(shù)量與輔助進(jìn)程總數(shù)的比較。
●每個(gè)卷上可用的空間量。
●卷是否支持順序傳輸。
選擇目的地。選項(xiàng):
●與源相同的路徑,在卷上:拷貝到另一個(gè)卷上的相同位置。例:源為/Vol1/Movies/EveryoneIsHappy/副標(biāo)題/,選擇的目標(biāo)卷是/Production,那么完整的目標(biāo)路徑是/Production/Movies/EveryoneIsHappy/副標(biāo)題/。
●自定義目標(biāo)卷和路徑:拷貝到指定目標(biāo)卷。注意,當(dāng)復(fù)制到不同的卷時(shí),請(qǐng)使用完整路徑,例如/Vol1/Movies。卷列表中的任何選擇都將被忽略。

傳輸完成

點(diǎn)擊View Transfers按鈕查看傳輸
