【分布式存儲數(shù)據(jù)恢復(fù)】hbase和hive數(shù)據(jù)庫數(shù)據(jù)恢復(fù)案例

分布式存儲數(shù)據(jù)恢復(fù)環(huán)境:
16臺物理服務(wù)器,每臺物理服務(wù)器上有數(shù)臺虛擬機(jī);
虛擬機(jī)上配置分布式,上層部署hbase數(shù)據(jù)庫和hive數(shù)據(jù)庫。
分布式存儲故障&分析:
誤刪除數(shù)據(jù)庫底層文件,數(shù)據(jù)庫不能使用。需要恢復(fù)hbase和hive數(shù)據(jù)庫。
通過現(xiàn)場對用戶環(huán)境的檢測,數(shù)據(jù)恢復(fù)工程師發(fā)現(xiàn)虛擬機(jī)還可以正常啟動,虛擬機(jī)上的數(shù)據(jù)庫塊文件丟失。塊文件丟失之后沒有新的數(shù)據(jù)寫入操作,底層的數(shù)據(jù)損壞可能性比較小。

1、備份。
對物理服務(wù)器底層做備份。通過網(wǎng)絡(luò)直接備份虛擬機(jī)底層磁盤文件。
準(zhǔn)備一臺服務(wù)器,以只讀方式掛載所有服務(wù)器硬盤,使用磁盤備份工具進(jìn)行扇區(qū)級別的備份。
2、分析塊文件結(jié)構(gòu)。
分析每個(gè)虛擬機(jī)磁盤的塊文件&文件底層的聚合方式&每個(gè)磁盤中數(shù)據(jù)的分布情況。
3、分析Block文件key。
定位&提取并解析數(shù)據(jù)庫文件中key信息,整合數(shù)據(jù)庫文件key信息。

4、拼接Block文件。
根據(jù)Block文件的key信息提取文件片段,拼接提取出來的Block文件片段并校驗(yàn)拼接出來的Block文件的正確性。
5、導(dǎo)入Block文件。
校驗(yàn)提取出的Block文件完整性及正確性并把提取出來的Block文件導(dǎo)入到hbase和hive數(shù)據(jù)庫中。
6、驗(yàn)證數(shù)據(jù)。
在北亞數(shù)據(jù)恢復(fù)工程師的協(xié)助下,由用戶對恢復(fù)出來的數(shù)據(jù)進(jìn)行驗(yàn)證。如果發(fā)現(xiàn)問題,重新檢驗(yàn)上述所有過程。
