最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

Linux實戰(zhàn)實驗:實現(xiàn)現(xiàn)代數(shù)據(jù)中心的存儲空間壓縮和數(shù)據(jù)重復刪除

2021-06-28 16:37 作者:尚文網(wǎng)絡IT  | 我要投稿

#實戰(zhàn)描述:

隨著UPWEN公司業(yè)務數(shù)據(jù)的日益急劇膨脹,需要不斷購置大量的存儲設備來應對不斷增長的存儲需求。然而,單純地提高存儲容量,并不能從根本解決問題。因此UPWEN公司需要找到其他的方案來解決信息的急劇增長問題,堵住數(shù)據(jù)“井噴”現(xiàn)象。

目前,通過Linux8.x操作系統(tǒng)的VDO虛擬數(shù)據(jù)優(yōu)化器技術可以實現(xiàn)數(shù)據(jù)壓縮技術通過對數(shù)據(jù)重新編碼來降低冗余度,而重復數(shù)據(jù)刪除技術側重于刪除重復的數(shù)據(jù)塊,從而實現(xiàn)數(shù)據(jù)容量縮減的目的。Virtual Data Optimizer(VDO)技術以去重壓縮和精簡配置的方式為linux提供內(nèi)聯(lián)數(shù)據(jù)精簡。當構建一個VDO卷以及規(guī)劃邏輯存儲量時需要指定要在其上設置的塊設備。部署VDO可以為塊設備和文件訪問以及本地和遠程存儲提供去重的存儲。由于VDO使用去重的存儲作為標準的linux塊設備,你可以將其用于標準文件系統(tǒng)iSCSI和FC目標驅動程序,或統(tǒng)一存儲。

當管理的是vm或容器時,建議精簡邏輯存儲與物理存儲比例設置為10:1,就是如果你利用的是1TB的物理磁盤,你可以假裝它是10TB的邏輯存儲。

對于對象存儲,比如Ceph,建議使用3:1的邏輯存儲,1TB物理存儲可以當3TB邏輯存儲。無論哪種情況都可以在VDO提供的邏輯設備上放置文件系統(tǒng),然后使用它作為分布式云存儲架構的一部分。

由于VDO是精簡配置的,文件系統(tǒng)和應用只能看到邏輯空間使用情況而不清楚物理空間情況,應該使用腳本監(jiān)控實際可用空間并且當超過閾值時報警。

接下來,我們查看如何具體實現(xiàn)。

#實戰(zhàn)環(huán)境:

RHEL8.x主機一臺,虛擬機即可;虛擬機磁盤空間單獨配置較大的虛擬磁盤空間。

#具體實現(xiàn):

##安裝并啟動VDO

安裝vdo相關的軟件包,包括?vdo、kmod-vdo 兩個包都要安裝。

啟動服務并實現(xiàn)開機自動啟動。

##創(chuàng)建一個VDO卷

當一個VDO卷創(chuàng)建時VDO會在配置文件/etc/vdoconfig.yml中增加一個入口vdo.service,systemd服務會默認使用這個入口啟動vdo卷。將塊設備替換為要在其中創(chuàng)建VDO卷的塊設備的永久名稱。

例如,/dev/disk/by-id/scsi-3600508b1001c264ad2af21e903ad031f。

用VDO卷應提供的邏輯存儲量替換邏輯大小:對于主動VM或容器存放,使用邏輯大小是10的塊設備的物理尺寸倍。例如,如果我們的塊設備大小為1TB,請在10T此處使用;對于對象存儲,使用邏輯大小是3的塊設備的物理尺寸倍。例如,如果我們的塊設備大小為1TB,請在3T此處使用。

此時,根據(jù)我們虛擬機物理磁盤的具體情況,創(chuàng)建一個名字為upwenvdo的vdo卷,指定系統(tǒng)的vdc為3G大小的整個磁盤為vdo的成員磁盤按照1;3比例創(chuàng)建邏輯大小為30G。

##基于文件系統(tǒng)部署方案創(chuàng)建文件系統(tǒng)xfs格式

在VDO卷上創(chuàng)建一個xfs格式的文件系統(tǒng),創(chuàng)建的時候指定-K的參數(shù):

使用以下命令等待系統(tǒng)注冊新設備節(jié)點:

##掛載VDO卷

此過程可以手動或持久地在VDO卷上安裝文件系統(tǒng)。

·?VDO卷已在您的系統(tǒng)上創(chuàng)建。要在VDO卷上手動掛載文件系統(tǒng),使用:

創(chuàng)建掛載點:

實現(xiàn)與vdo對掛載的掛載:

##自動掛載VDO卷

對于XFS文件系統(tǒng)要將文件系統(tǒng)配置為在引導時自動掛載,請在/etc/fstab文件中添加一行:

##啟用定期塊丟棄

此過程使器systemd計時能夠定期丟棄所有受支持的文件系統(tǒng)上未使用的塊。

·?啟用并啟動systemd計時器:

##監(jiān)控VDO

使用vdostats實用工具獲取有關VDO卷的信息:

#結果:

使用dd命令進行重復數(shù)據(jù)的創(chuàng)建單次5G大小,共20G大小的數(shù)據(jù):

通過測試可以看出,使用了VDO實現(xiàn)了重復數(shù)據(jù)刪除和壓縮:

#知識點:

Yum倉庫安裝軟件;

VDO重復刪除的知識;

dd命令創(chuàng)建文件系統(tǒng)的重復數(shù)據(jù)。




Linux實戰(zhàn)實驗:實現(xiàn)現(xiàn)代數(shù)據(jù)中心的存儲空間壓縮和數(shù)據(jù)重復刪除的評論 (共 條)

分享到微博請遵守國家法律
油尖旺区| 高台县| 庆云县| 紫阳县| 洛宁县| 安溪县| 钟山县| 普兰县| 玉门市| 泽州县| 通海县| 阿勒泰市| 巢湖市| 杂多县| 轮台县| 巴里| 英吉沙县| 南投县| 清水县| 德阳市| 天峨县| 西林县| 微山县| 集安市| 崇礼县| 兴海县| 青浦区| 福清市| 含山县| 沐川县| 明光市| 无锡市| 朝阳市| 平利县| 库车县| 仙居县| 磐安县| 任丘市| 凤阳县| 来安县| 高密市|