服務(wù)器數(shù)據(jù)恢復(fù)環(huán)境：

Dell存儲(chǔ)服務(wù)器，采用esxi虛擬化系統(tǒng)，esxi虛擬化系統(tǒng)里有3臺(tái)虛擬機(jī)；上層iSCSI使用FreeNAS構(gòu)建，通過iSCSI方式實(shí)現(xiàn)FCSAN功能；FreeNAS層采用UFS2文件系統(tǒng)。

esxi虛擬化系統(tǒng)里有3臺(tái)虛擬機(jī)中的一臺(tái)虛擬機(jī)采用FreeBSD系統(tǒng)，存儲(chǔ)數(shù)據(jù)庫文件；另外兩臺(tái)虛擬機(jī)分別存儲(chǔ)網(wǎng)站數(shù)據(jù)和數(shù)據(jù)庫+工作程序代碼。

服務(wù)器故障：

機(jī)房供電不穩(wěn)導(dǎo)致該存儲(chǔ)服務(wù)器非正常關(guān)機(jī)，管理員重啟服務(wù)器后發(fā)現(xiàn)ESXI系統(tǒng)無法連接存儲(chǔ)。通過服務(wù)器故障排查，發(fā)現(xiàn)FreeNAS的UFS2文件系統(tǒng)出現(xiàn)故障，管理員對(duì)UFS2文件系統(tǒng)進(jìn)行fsck修復(fù)并將ESXI系統(tǒng)連接到服務(wù)器存儲(chǔ)上。

管理員對(duì)上層文件系統(tǒng)及數(shù)據(jù)進(jìn)行檢查，發(fā)現(xiàn)文件系統(tǒng)和存儲(chǔ)數(shù)據(jù)都無法識(shí)別，于是對(duì)vmfs執(zhí)行了格式化操作，數(shù)據(jù)丟失。需要恢復(fù)3臺(tái)虛擬機(jī)以及內(nèi)部的數(shù)據(jù)。

服務(wù)器數(shù)據(jù)恢復(fù)過程：

1、首先對(duì)FreeNAS層以只讀方式進(jìn)行鏡像備份，后續(xù)的數(shù)據(jù)恢復(fù)工作都基于鏡像文件進(jìn)行操作，避免對(duì)原始數(shù)據(jù)造成二次破壞。

2、基于鏡像文件分析底層數(shù)據(jù)。經(jīng)過分析服務(wù)器數(shù)據(jù)恢復(fù)工程師注意到一個(gè)幾百G大小的，被命名為iscsidata的大文件。

3、繼續(xù)分析UFS2文件系統(tǒng)結(jié)構(gòu)，根據(jù)UFS2文件系統(tǒng)的存儲(chǔ)結(jié)構(gòu)定位到這個(gè)名為iscsidata的大文件的iNode數(shù)據(jù)并進(jìn)一步進(jìn)行查看，發(fā)現(xiàn)名為iscsidata的大文件被重建過，iNode指針?biāo)赶虻臄?shù)據(jù)量非常少。在這種情況下，想要進(jìn)入到vmfs文件系統(tǒng)層進(jìn)行數(shù)據(jù)分析和恢復(fù)必須先分析出FreeNAS層的相關(guān)信息。

4、通過分析得到如下FreeNAS層信息：UFS2文件系統(tǒng)塊大小為16kb，segment大小為2kb，柱面組大小為188176kb，數(shù)據(jù)指針大小為8字節(jié)，每個(gè)塊可容納數(shù)據(jù)指針數(shù)量為2048個(gè)。

根據(jù)上面分析到的信息可以計(jì)算出：一個(gè)二級(jí)指針塊可存儲(chǔ)的數(shù)據(jù)量=2048*2048*16KB=64GB。三級(jí)指針塊可存儲(chǔ)的數(shù)據(jù)量=64GB*2048=128TB。

5、服務(wù)器數(shù)據(jù)恢復(fù)工程師計(jì)劃通過iscsidata文件的三級(jí)指針塊來恢復(fù)FreeNAS層的數(shù)據(jù)，但由于該文件曾經(jīng)被重建，部分指針被重建的數(shù)據(jù)覆蓋，原文件的iNode和重建后的iNode所處位置完全一致，也沒有找到其他可用于恢復(fù)數(shù)據(jù)的iNode數(shù)據(jù)。

6、根據(jù)實(shí)際情況，北亞企安數(shù)據(jù)恢復(fù)工程師編寫小程收集到了大量二級(jí)指針塊和三級(jí)指針塊。

7、分析三級(jí)指針塊但發(fā)現(xiàn)這些指針塊都無效，估計(jì)是重建時(shí)被覆蓋了，新的iscsidata文件掛載到ESXi虛擬化系統(tǒng)后有個(gè)VMFS格式化過程，而該版本的ESXi虛擬化系統(tǒng)使用的是GPT分區(qū)，GPT分區(qū)會(huì)在磁盤最后寫入冗余的GPT頭和分區(qū)表信息數(shù)據(jù)，會(huì)使用iscsidata文件的三級(jí)指針塊。

8、分析二級(jí)指針塊，對(duì)有大量二級(jí)指針塊的指向數(shù)據(jù)進(jìn)行DUMP，然后再從磁盤中的數(shù)據(jù)定位到二級(jí)指針，這樣得到大量DUMP的數(shù)據(jù)。

9、北亞企安數(shù)據(jù)恢復(fù)工程師根據(jù)以前研究出的NTFS和UFS2文件系統(tǒng)結(jié)構(gòu)定位到vmfs層，繼而定位到DUMP出的單個(gè)64GB文件，最后進(jìn)行數(shù)據(jù)組合。

10、經(jīng)過復(fù)雜的查詢和重組，最終成功恢復(fù)出了故障服務(wù)器存儲(chǔ)內(nèi)的3臺(tái)虛擬機(jī)及虛擬機(jī)內(nèi)的全部數(shù)據(jù)。

服務(wù)器數(shù)據(jù)驗(yàn)證：

將恢復(fù)出來的數(shù)據(jù)上傳到新搭建的系統(tǒng)中進(jìn)行驗(yàn)證，經(jīng)用戶管理員反復(fù)驗(yàn)證，確認(rèn)所有恢復(fù)出來的數(shù)據(jù)完整可用，認(rèn)可數(shù)據(jù)恢復(fù)結(jié)果。