Netapp數(shù)據(jù)恢復(fù)環(huán)境&故障情況：
某公司一臺(tái)服務(wù)器中一共有72塊SAS硬盤(pán)。
工作人員誤操作刪除了十幾個(gè)lun。需要恢復(fù)服務(wù)器中的數(shù)據(jù)。

Netapp數(shù)據(jù)恢復(fù)過(guò)程：
1、將故障服務(wù)器上磁盤(pán)編號(hào)后取出。由硬件工程師對(duì)所有磁盤(pán)進(jìn)行硬件故障檢測(cè)，未發(fā)現(xiàn)有硬盤(pán)存在物理壞道和其他硬件故障。將所有硬盤(pán)以只讀方式做全盤(pán)鏡像，鏡像完成后將磁盤(pán)根據(jù)編號(hào)按照原樣還原到原服務(wù)器中。后續(xù)的數(shù)據(jù)分析和數(shù)據(jù)恢復(fù)操作都基于鏡像文件進(jìn)行，避免對(duì)原始磁盤(pán)數(shù)據(jù)造成二次破壞。

2、服務(wù)器數(shù)據(jù)恢復(fù)工程師基于鏡像文件分析所有硬盤(pán)底層數(shù)據(jù)，找到盤(pán)頭位置的超級(jí)塊，繼續(xù)分析超級(jí)塊信息得到磁盤(pán)組的起始?jí)K信息、磁盤(pán)組名稱(chēng)、邏輯組起始?jí)K號(hào)、raid編號(hào)等基本信息。
分析超級(jí)塊：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

3、通過(guò)分析得知每個(gè)數(shù)據(jù)塊占8個(gè)扇區(qū)，數(shù)據(jù)塊后附加64字節(jié)數(shù)據(jù)塊描述信息。北亞企安數(shù)據(jù)恢復(fù)工程師根據(jù)這些信息判斷出是校驗(yàn)盤(pán)的磁盤(pán)?；謴?fù)數(shù)據(jù)時(shí)需要將校檢盤(pán)排除在外。
0x10：6字節(jié)為aggr_data塊號(hào)
0x10處為FFFF表示校驗(yàn)塊。
校驗(yàn)塊描述信息樣例：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

4、根據(jù)每塊磁盤(pán)8號(hào)扇區(qū)的磁盤(pán)信息以及磁盤(pán)末尾的RAID盤(pán)序表確定盤(pán)序。
首先確定各個(gè)磁盤(pán)所屬aggr組，然后再判斷組內(nèi)盤(pán)序。數(shù)據(jù)指針跳轉(zhuǎn)時(shí)不考慮校驗(yàn)盤(pán)，所以只取得數(shù)據(jù)盤(pán)的盤(pán)序即可。
aggr_raid(磁盤(pán)靠近尾部) 根據(jù)10H處的VCN塊號(hào)判斷磁盤(pán)組內(nèi)各盤(pán)的順序。
分析盤(pán)序表：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

Tips：Netapp的節(jié)點(diǎn)分布在數(shù)量眾多的數(shù)據(jù)塊內(nèi)，在數(shù)據(jù)塊內(nèi)又被統(tǒng)一組織為節(jié)點(diǎn)組。每個(gè)節(jié)點(diǎn)組的前64字節(jié)記錄一些系統(tǒng)數(shù)據(jù)，然后用192字節(jié)為一項(xiàng)來(lái)記錄各個(gè)文件節(jié)點(diǎn)。根據(jù)用戶級(jí)別可分為兩類(lèi)：“MBFP”系統(tǒng)文件節(jié)點(diǎn)和“MBFI”用戶文件節(jié)點(diǎn)，在數(shù)據(jù)恢復(fù)時(shí)一般只取“MBFI”節(jié)點(diǎn)組即可。
服務(wù)器節(jié)點(diǎn)樣例圖：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

頭部信息64字節(jié)
解析如下：（此頭部為數(shù)據(jù)文件的節(jié)點(diǎn)文件塊頭部，大小為64字節(jié)）
標(biāo)志，常量（“MBFP”為元文件的節(jié)點(diǎn)標(biāo)志，“MBFI”為用戶文件的節(jié)點(diǎn)標(biāo)志）
根據(jù)更新序列值獲取到最新節(jié)點(diǎn)。

5、解析節(jié)點(diǎn)中節(jié)點(diǎn)類(lèi)型、邏輯塊號(hào)、文件數(shù)量、文件大小、所占?jí)K數(shù)量、數(shù)據(jù)指針。獲取節(jié)點(diǎn)在節(jié)點(diǎn)文件中的邏輯塊號(hào)，從0開(kāi)始計(jì)數(shù)。

6、獲取目錄項(xiàng)，并根據(jù)其節(jié)點(diǎn)編號(hào)，找到對(duì)應(yīng)節(jié)點(diǎn)。
獲取服務(wù)器內(nèi)對(duì)應(yīng)節(jié)點(diǎn)截圖：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

7、使用北亞企安自主開(kāi)發(fā)的程序提取服務(wù)器數(shù)據(jù)。
a、掃描節(jié)點(diǎn)信息。
掃描服務(wù)器節(jié)點(diǎn)信息：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

節(jié)點(diǎn)掃描類(lèi)：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

節(jié)點(diǎn)掃描程序完整流程：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

在循環(huán)掃描完畢之后會(huì)將所有掃描到的MBFP、MBFI和DOC數(shù)據(jù)塊分別寫(xiě)入到三個(gè)文件內(nèi)，用于后續(xù)處理。
b、將節(jié)點(diǎn)信息導(dǎo)入到數(shù)據(jù)庫(kù)。
此模塊主要負(fù)責(zé)將ScanNode掃描得到的MBFI和MBFP、Dir存入數(shù)據(jù)庫(kù)以備后續(xù)使用。
MBFI導(dǎo)入數(shù)據(jù)庫(kù)整體流程：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

函數(shù)執(zhí)行完畢后可以查看數(shù)據(jù)庫(kù)。
節(jié)點(diǎn)導(dǎo)入信息：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

Netapp在更改inode節(jié)點(diǎn)時(shí)不會(huì)直接覆蓋而是重新分配inode進(jìn)行寫(xiě)入。單個(gè)文件的節(jié)點(diǎn)node_uid唯一不變，mbfi_usn會(huì)隨著節(jié)點(diǎn)的變化而增大（正常情況下提取某個(gè)文件時(shí)使用usn最大的節(jié)點(diǎn)）。一般情況下存儲(chǔ)劃分出的單個(gè)節(jié)點(diǎn)會(huì)作為L(zhǎng)UN映射到服務(wù)器使用，根據(jù)file_size可以確定這個(gè)文件的大小，按照文件大小分組后再選取usn最大值的節(jié)點(diǎn)，跳轉(zhuǎn)到MBFI文件的offset值偏移位置，取出節(jié)點(diǎn)。
節(jié)點(diǎn)樣例圖示：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

c、提取文件
在獲取到要提取的文件的Node之后，開(kāi)始提取塊設(shè)備文件。
提取塊設(shè)備文件：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

初始化完畢后，開(kāi)始提取文件的各級(jí)MAP。本次提取過(guò)程中文件大小均大于1T，MAP層級(jí)為4，所以需要提取4次。第一級(jí)MAP默認(rèn)只占用1個(gè)塊，所以在程序內(nèi)直接提取，后三級(jí)MAP在GetAllMap函數(shù)內(nèi)進(jìn)行提取。通過(guò)塊號(hào)計(jì)算數(shù)據(jù)塊位置時(shí)，由于NetApp使用JBOD組織LVM，直接用塊號(hào)除以每塊磁盤(pán)上的塊數(shù)就可以得到當(dāng)前塊所在的磁盤(pán)序號(hào)（計(jì)算機(jī)整數(shù)除法，丟棄小數(shù)邠）；再使用塊號(hào)取余塊數(shù)，得到數(shù)據(jù)塊在此磁盤(pán)上的物理塊號(hào)，物理塊號(hào)乘以塊大小，得到數(shù)據(jù)塊偏移位置。

8、塊設(shè)備文件系統(tǒng)解析
a、本案例中的塊設(shè)備5T大小的lun使用的是aix小機(jī)的jfs2文件系統(tǒng)。因此要解析jfs2文件系統(tǒng)，提取里面的數(shù)據(jù)庫(kù)備份文件。解析lvm。
7扇區(qū)記錄lvm描述信息，獲取pv大小和pv序號(hào)。
類(lèi)似找到vg描述區(qū)，獲取lv數(shù)和pv數(shù)，找到pv描述區(qū)，解析pp序號(hào)和pp數(shù)。
解析文件系統(tǒng)塊信息：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

LV類(lèi)型及LV掛載信息區(qū)域：

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

b、解析8個(gè)1T大小的lun組成的oralce ASM文件系統(tǒng)，提取其中的數(shù)據(jù)庫(kù)文件。
添加8個(gè)lT大小的lun。

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

解析ASM文件系統(tǒng)，提取出數(shù)據(jù)庫(kù)文件。

北亞企安數(shù)據(jù)恢復(fù)—Netapp數(shù)據(jù)恢復(fù)

9、數(shù)據(jù)恢復(fù)工程師對(duì)恢復(fù)出來(lái)的數(shù)據(jù)進(jìn)行檢測(cè)后沒(méi)有發(fā)現(xiàn)異常。讓用戶方工程師進(jìn)行驗(yàn)證，經(jīng)過(guò)驗(yàn)證確認(rèn)恢復(fù)出來(lái)的數(shù)據(jù)完整有效。本次netapp數(shù)據(jù)恢復(fù)工作完成。

審核編輯 黃宇