VDO,數(shù)據(jù)重刪和壓縮的福音!--UP楠哥

#說在前面
最近有機會和紅帽亞太區(qū)技術老大進行面對面交流,有談到關于數(shù)據(jù)中心的重復數(shù)據(jù)刪除和壓縮,老大告訴我,紅帽把VDO(說人話就是虛擬優(yōu)化器^-^)看作非常重要的一個技術。正所謂聽君一席話,勝讀十年書!當然,UP楠哥由于之前做過傳統(tǒng)的數(shù)據(jù)中心信息化建設和運維的項目,Get到數(shù)據(jù)中心存在大量重復數(shù)據(jù)的情況發(fā)生,UP楠哥本身也是“紅帽迷”,自然也對VDO非常的關注。今天我和小伙伴們嘮一嘮Linux下VDO實施部署的幾種方案,大家做一個參考。Let's go!
#VDO虛擬優(yōu)化器定義
虛擬數(shù)據(jù)優(yōu)化器(VDO)以重復數(shù)據(jù)刪除,壓縮和精簡配置的形式為Linux提供了內聯(lián)數(shù)據(jù)縮減。設置VDO卷時,可以指定要在其上構造VDO卷的塊設備以及計劃提供的邏輯存儲量。
當托管活動的虛擬機或容器時,紅帽建議以10:1的邏輯與物理比率配置存儲:即,如果您使用1 TB的物理存儲,則將其表示為10 TB的邏輯存儲。
對于對象存儲(例如Ceph提供的類型),Red Hat建議使用3:1的邏輯與物理比率:也就是說,將1 TB的物理存儲表示為3 TB的邏輯存儲。
無論哪種情況,您都可以將文件系統(tǒng)放在VDO提供的邏輯設備之上,然后直接使用它或將其用作分布式云存儲體系結構的一部分。
因為VDO是精簡配置的,所以文件系統(tǒng)和應用程序只能看到正在使用的邏輯空間,而無法知道可用的實際物理空間。應該使用腳本來監(jiān)視實際的可用空間并在使用超過閾值時發(fā)出警報。
我們可以通過多種方式部署VDO,以下項目提供重復數(shù)據(jù)刪除存儲:
ü?阻止和文件訪問
ü?本地和遠程存儲
由于VDO將其重復數(shù)據(jù)刪除存儲作為標準Linux塊設備公開,因此您可以將其與標準文件系統(tǒng),iSCSI和FC目標驅動程序一起使用,或作為統(tǒng)一存儲使用。

#VDO部署方案
虛擬數(shù)據(jù)優(yōu)化器(VDO)以重復數(shù)據(jù)刪除,壓縮和精簡配置的形式為Linux提供了內聯(lián)數(shù)據(jù)縮減。設置VDO卷時,可以指定要在其上構造VDO卷的塊設備以及計劃提供的邏輯存儲量。
###基于KVM部署
可以在配置了Direct Attached Storage的KVM服務器上部署VDO。

###基于文件系統(tǒng)部署
可以在VDO之上創(chuàng)建文件系統(tǒng),并使用NFS服務器或Samba將它們公開給NFS或CIFS用戶。

###基于文件系統(tǒng)部署
可以在VDO之上創(chuàng)建文件系統(tǒng),并使用NFS服務器或Samba將它們公開給NFS或CIFS用戶。

###基于LVM部署
在功能更豐富的系統(tǒng)上,可以使用LVM提供多個邏輯單元號(LUN),這些邏輯單元號均由相同的重復數(shù)據(jù)刪除存儲池支持。
在下圖中,VDO目標已注冊為物理卷,以便可以由LVM管理。從已刪除重復數(shù)據(jù)的存儲池中創(chuàng)建多個邏輯卷(LV1至LV4)。這樣,VDO可以支持對底層重復數(shù)據(jù)刪除存儲池的多協(xié)議統(tǒng)一塊或文件訪問。

重復數(shù)據(jù)刪除統(tǒng)一存儲設計使多個文件系統(tǒng)可以通過LVM工具共同使用同一重復數(shù)據(jù)刪除域。此外,文件系統(tǒng)可以利用LVM快照,寫時復制以及縮小或增長功能,而這一切都是在VDO之上。
###基于加密部署
諸如DM Crypt之類的設備映射器(DM)機制與VDO兼容。加密VDO卷有助于確保數(shù)據(jù)安全性,并且VDO之上的任何文件系統(tǒng)仍將進行重復數(shù)據(jù)刪除。


#寫在最后
VDO其實來自于Linux強大的Kernel內核功能,那么我們不禁會聯(lián)想到,目前很多的廠商的存儲產品線也會包含有數(shù)據(jù)重刪和壓縮的功能,像EMC的PowerStore、H3C的CB系列,底層的實現(xiàn)是否都是借助于強大的Kernel呢,列舉一下大家參考下:



希望VDO可以幫助大家對各自維護的數(shù)據(jù)中心的數(shù)據(jù)治理有所幫助。