Linux實戰(zhàn)實驗:實現(xiàn)現(xiàn)代數(shù)據(jù)中心的存儲空間壓縮和數(shù)據(jù)重復刪除
#實戰(zhàn)描述:
隨著UPWEN公司業(yè)務數(shù)據(jù)的日益急劇膨脹,需要不斷購置大量的存儲設備來應對不斷增長的存儲需求。然而,單純地提高存儲容量,并不能從根本解決問題。因此UPWEN公司需要找到其他的方案來解決信息的急劇增長問題,堵住數(shù)據(jù)“井噴”現(xiàn)象。
目前,通過Linux8.x操作系統(tǒng)的VDO虛擬數(shù)據(jù)優(yōu)化器技術可以實現(xiàn)數(shù)據(jù)壓縮技術通過對數(shù)據(jù)重新編碼來降低冗余度,而重復數(shù)據(jù)刪除技術側重于刪除重復的數(shù)據(jù)塊,從而實現(xiàn)數(shù)據(jù)容量縮減的目的。Virtual Data Optimizer(VDO)技術以去重壓縮和精簡配置的方式為linux提供內(nèi)聯(lián)數(shù)據(jù)精簡。當構建一個VDO卷以及規(guī)劃邏輯存儲量時需要指定要在其上設置的塊設備。部署VDO可以為塊設備和文件訪問以及本地和遠程存儲提供去重的存儲。由于VDO使用去重的存儲作為標準的linux塊設備,你可以將其用于標準文件系統(tǒng)iSCSI和FC目標驅動程序,或統(tǒng)一存儲。
當管理的是vm或容器時,建議精簡邏輯存儲與物理存儲比例設置為10:1,就是如果你利用的是1TB的物理磁盤,你可以假裝它是10TB的邏輯存儲。
對于對象存儲,比如Ceph,建議使用3:1的邏輯存儲,1TB物理存儲可以當3TB邏輯存儲。無論哪種情況都可以在VDO提供的邏輯設備上放置文件系統(tǒng),然后使用它作為分布式云存儲架構的一部分。
由于VDO是精簡配置的,文件系統(tǒng)和應用只能看到邏輯空間使用情況而不清楚物理空間情況,應該使用腳本監(jiān)控實際可用空間并且當超過閾值時報警。
接下來,我們查看如何具體實現(xiàn)。
#實戰(zhàn)環(huán)境:
RHEL8.x主機一臺,虛擬機即可;虛擬機磁盤空間單獨配置較大的虛擬磁盤空間。
#具體實現(xiàn):
##安裝并啟動VDO
安裝vdo相關的軟件包,包括?vdo、kmod-vdo 兩個包都要安裝。

啟動服務并實現(xiàn)開機自動啟動。

##創(chuàng)建一個VDO卷
當一個VDO卷創(chuàng)建時VDO會在配置文件/etc/vdoconfig.yml中增加一個入口vdo.service,systemd服務會默認使用這個入口啟動vdo卷。將塊設備替換為要在其中創(chuàng)建VDO卷的塊設備的永久名稱。
例如,/dev/disk/by-id/scsi-3600508b1001c264ad2af21e903ad031f。
用VDO卷應提供的邏輯存儲量替換邏輯大小:對于主動VM或容器存放,使用邏輯大小是10的塊設備的物理尺寸倍。例如,如果我們的塊設備大小為1TB,請在10T此處使用;對于對象存儲,使用邏輯大小是3的塊設備的物理尺寸倍。例如,如果我們的塊設備大小為1TB,請在3T此處使用。
此時,根據(jù)我們虛擬機物理磁盤的具體情況,創(chuàng)建一個名字為upwenvdo的vdo卷,指定系統(tǒng)的vdc為3G大小的整個磁盤為vdo的成員磁盤按照1;3比例創(chuàng)建邏輯大小為30G。

##基于文件系統(tǒng)部署方案創(chuàng)建文件系統(tǒng)xfs格式
在VDO卷上創(chuàng)建一個xfs格式的文件系統(tǒng),創(chuàng)建的時候指定-K的參數(shù):

使用以下命令等待系統(tǒng)注冊新設備節(jié)點:

##掛載VDO卷
此過程可以手動或持久地在VDO卷上安裝文件系統(tǒng)。
·?VDO卷已在您的系統(tǒng)上創(chuàng)建。要在VDO卷上手動掛載文件系統(tǒng),使用:
創(chuàng)建掛載點:

實現(xiàn)與vdo對掛載的掛載:

##自動掛載VDO卷
對于XFS文件系統(tǒng)要將文件系統(tǒng)配置為在引導時自動掛載,請在/etc/fstab文件中添加一行:

##啟用定期塊丟棄
此過程使器systemd計時能夠定期丟棄所有受支持的文件系統(tǒng)上未使用的塊。
·?啟用并啟動systemd計時器:

##監(jiān)控VDO
使用vdostats實用工具獲取有關VDO卷的信息:

#結果:
使用dd命令進行重復數(shù)據(jù)的創(chuàng)建單次5G大小,共20G大小的數(shù)據(jù):

通過測試可以看出,使用了VDO實現(xiàn)了重復數(shù)據(jù)刪除和壓縮:

#知識點:
Yum倉庫安裝軟件;
VDO重復刪除的知識;
dd命令創(chuàng)建文件系統(tǒng)的重復數(shù)據(jù)。