EMC Isilon存儲結(jié)構(gòu)：

Isilon群集存儲系統(tǒng)使用的是分布式文件系統(tǒng)OneFS。Isilon群集存儲系統(tǒng)的每個節(jié)點均為單一OneFS文件系統(tǒng)，Isilon在進(jìn)行橫向擴(kuò)展時不會影響數(shù)據(jù)的正常使用。Isilon群集存儲系統(tǒng)所有節(jié)點在工作時都提供相同的功能，節(jié)點沒有主備之分。Isilon群集存儲系統(tǒng)在存儲文件時，OneFS層會將文件分成128K的片段分別存放到不同的節(jié)點中，節(jié)點層又會將128K的片段分成8K的小片段分別存放到該節(jié)點的不同硬盤中，用戶文件的Indoe信息、目錄項及數(shù)據(jù)MAP則會分別存放在所有節(jié)點中。Isilon群集存儲系統(tǒng)的這個特性可以讓用戶從任何一個節(jié)點訪問到所有數(shù)據(jù)。Isilon群集存儲系統(tǒng)在初始化時會讓用戶選擇相應(yīng)的存儲冗余模式，不同的冗余模式所提供的數(shù)據(jù)安全級別也不一樣（默認(rèn)3個節(jié)點采用N+2:1模式）。

服務(wù)器數(shù)據(jù)恢復(fù)環(huán)境：

EMC Isilon S系列群集存儲系統(tǒng)，3個節(jié)點，每個節(jié)點配置12塊STAT硬盤。該存儲系統(tǒng)存放的數(shù)據(jù)是vmware虛擬機(jī)（WEB服務(wù)器）和視頻文件。vmware虛擬機(jī)通過NFS協(xié)議共享到ESX主機(jī)，視頻文件通過CIFS協(xié)議共享給vmware虛擬機(jī)（WEB服務(wù)器）。

服務(wù)器故障：

管理員由于誤操作將該存儲系統(tǒng)中NFS協(xié)議共享的vmware虛擬機(jī)、MSSQL數(shù)據(jù)庫以及大量的MP4、ASF和TS類型的視頻文件刪除。

服務(wù)器數(shù)據(jù)恢復(fù)過程：

1、通過Isilon的web管理界面的集群關(guān)閉功能將存儲設(shè)備正常關(guān)機(jī)，將存儲系統(tǒng)中所有硬盤編號取出。由硬件工程師對所有磁盤進(jìn)行硬件故障檢測，經(jīng)過檢測所有磁盤均可正常讀取，無物理故障。以只讀方式將所有磁盤做全盤鏡像，后續(xù)數(shù)據(jù)分析和數(shù)據(jù)恢復(fù)操作都基于鏡像文件進(jìn)行，避免對原始磁盤數(shù)據(jù)造成二次破壞。鏡像完成后將所有磁盤按照編號還原到存儲設(shè)備中。

2、基于鏡像文件分析所有硬盤中的數(shù)據(jù)。由于數(shù)據(jù)是被人為手動刪除的，不用考慮存儲的冗余級別。需要分析的是文件被刪除后文件Indoe及數(shù)據(jù)MAP是否發(fā)生變化。

3、經(jīng)過溝通和分析，發(fā)現(xiàn)被刪除的虛擬磁盤文件都在64G或以上，并且存儲中沒有其他類型的大文件。北亞企安數(shù)據(jù)恢復(fù)工程師編寫文件Indoe掃描程序，將文件大小64G或以上的Indoe都掃描出來。

4、對掃描出來的Indoe進(jìn)行分析，發(fā)現(xiàn)Indoe中記錄的數(shù)據(jù)MAP位置，其index指向的內(nèi)容已不再是正常的數(shù)據(jù)。所有節(jié)點上的Indoe均是同樣的情況。

5、繼續(xù)分析Inode，發(fā)現(xiàn)大文件的數(shù)據(jù)MAP有多層（樹結(jié)構(gòu)），數(shù)據(jù)MAP中會記錄文件的唯一ID，可以嘗試找到文件最底層的數(shù)據(jù)MAP。對文件最底層的數(shù)據(jù)MAP做遍歷跟蹤操作，所幸找到最低層的數(shù)據(jù)MAP。

6、從文件Inode中取出文件的唯一ID，聚合所有符合該ID的數(shù)據(jù)MAP。根據(jù)數(shù)據(jù)MAP中的VCN號做排序，發(fā)現(xiàn)每個文件的前一萬多項數(shù)據(jù)MAP都不存在，意味著每個文件的前一萬多項數(shù)據(jù)沒法恢復(fù)。

7、丟失的數(shù)據(jù)MAP項大小不到1G，被刪除的文件全是虛擬機(jī)的vmdk文件，里面都是NTFS文件系統(tǒng)，而NTFS文件系統(tǒng)的MFT基本都在3G的位置。只需要在每個vmdk文件的頭部手動偽造一個MBR和DBR就可以解釋vmdk里面的數(shù)據(jù)。

8、對掃描到的數(shù)據(jù)MAP做解釋，并根據(jù)VCN號的順序?qū)С鰯?shù)據(jù)，沒有MAP的情況保留為零。先導(dǎo)出一個vmdk文件做測試，結(jié)果導(dǎo)出的vmdk文件比實際情況要小，并且vmdk中MFT的位置也與自身描述不符。隨機(jī)驗證了幾個MPA發(fā)現(xiàn)都能指向數(shù)據(jù)區(qū)，程序解釋MAP的方式也都沒有問題。所以猜測可能為文件稀疏。

9、將代碼進(jìn)行調(diào)整后重新導(dǎo)出剛才的vmdk，這次導(dǎo)出的vmdk大小符合實際大小，且MFT的位置也與描述相符。手工偽造一個MBR、分區(qū)表和DBR，使用北亞企安自主開發(fā)的文件系統(tǒng)解釋工具解釋其文件系統(tǒng)，然后導(dǎo)出vmdk里面的數(shù)據(jù)庫及視頻文件。

10、對vmdk中的數(shù)據(jù)庫及視頻文件進(jìn)行驗證沒有發(fā)現(xiàn)問題后，批量導(dǎo)出所有vmdk文件，再手工逐個去修改每個vmdk文件。

11、將所有數(shù)據(jù)恢復(fù)出來之后，交由用戶方工程師對數(shù)據(jù)做完整性及準(zhǔn)確性檢測，經(jīng)過反復(fù)檢測，確認(rèn)恢復(fù)出來的數(shù)據(jù)完整有效。本次數(shù)據(jù)恢復(fù)工作完成。