虛擬化文件系統(tǒng)VMFS有損數(shù)據(jù)恢復(fù)方法實(shí)現(xiàn)及原理

摘要：該文介紹了一種利用VMFS固有系統(tǒng)信息完成數(shù)據(jù)丟失或損壞的情況下的數(shù)據(jù)提取方法。首先闡述VMFS的文件系統(tǒng)結(jié)構(gòu)、各管理組件特性、功能和數(shù)據(jù)尋址原理，然后介紹各類常見數(shù)據(jù)丟失情況所導(dǎo)致的底層數(shù)據(jù)變化方式，最后給出應(yīng)對(duì)于各種數(shù)據(jù)丟失場(chǎng)景下的恢復(fù)方案。

關(guān)鍵詞：VMFS;ESXi;數(shù)據(jù)恢復(fù)技術(shù)

中圖分類號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）36-0059-02

自1946年世界上首臺(tái)電子計(jì)算機(jī)問世至今已有60年之久，在此期間硬件發(fā)展速度遵循甚至超出摩爾定律的預(yù)期。如此快速的發(fā)展讓計(jì)算機(jī)在高精尖領(lǐng)域大放光彩，但是在對(duì)性價(jià)比要求較高的民用領(lǐng)域，高性能物理硬件性能過剩和老舊硬件性能不足等問題逐年彰顯。

在20世紀(jì)六七十年代IBM發(fā)明了操作系統(tǒng)虛擬機(jī)技術(shù)，此技術(shù)利用大型機(jī)高性能硬件的快速反應(yīng)速度，在單臺(tái)服務(wù)器上安裝多個(gè)操作系統(tǒng)并發(fā)提供給不同用戶使用，虛擬化操作系統(tǒng)雛形初現(xiàn)。但這種技術(shù)只適用于大型機(jī)，應(yīng)用范圍很小，無法滿足中小型企業(yè)的需求。直到1999年，VMware公司在x86平臺(tái)上推出商業(yè)虛擬化軟件ESXi，虛擬化技術(shù)才開始普及到計(jì)算機(jī)領(lǐng)域內(nèi)的各行各業(yè)，此虛擬化平臺(tái)所使用的文件系統(tǒng)正是VMrs。由于其應(yīng)用范圍的不斷擴(kuò)展，在使用過程中由于不可抗力和人為因素導(dǎo)致的數(shù)據(jù)丟失案例也呈現(xiàn)出上升趨勢(shì)。根據(jù)故障發(fā)生頻率，本文著重討論誤刪除和格式化這兩種情況下的數(shù)據(jù)恢復(fù)方案。

1 VMFS卷結(jié)構(gòu)及各組件功能

VMFS在歷史上共出現(xiàn)了三個(gè)版本，分別為VMFS3、VMFS5和VMFS6，當(dāng)前市面上常見版本為VMFS5。在VMFS5文件系統(tǒng)內(nèi)，存儲(chǔ)結(jié)構(gòu)按照其在卷內(nèi)出現(xiàn)順序大致可分為三個(gè)區(qū)域：保留區(qū)、元文件區(qū)以及用戶數(shù)據(jù)區(qū)。保留區(qū)一般用0填充不使用，元文件區(qū)主要存儲(chǔ)管理VMrs卷的各元文件，包括vh.sf、.fdc.sf、.sbc.sf、pbc.sf、.fbb.sf、.pb2.sf。用戶數(shù)據(jù)區(qū)會(huì)以數(shù)據(jù)塊為單位記錄用戶寫入的絕大部分?jǐn)?shù)據(jù)（有部分小文件的數(shù)據(jù)會(huì)存在元文件內(nèi)）。

除.vh.sf外，其余元文件都是由文件頭和AREA組成。文件頭內(nèi)記錄本元文件內(nèi)子塊的大小、頭部大小以及AREA個(gè)數(shù)、每個(gè)AREA內(nèi)的entr個(gè)數(shù)等信息，可用于解釋本元文件。AREA內(nèi)部又被劃分為兩部分：entr和子塊組。entr個(gè)數(shù)與子塊組個(gè)數(shù)相同，在entr內(nèi)會(huì)記錄對(duì)應(yīng)子塊組內(nèi)子塊的使用情況，某個(gè)子塊被文件系統(tǒng)使用時(shí)會(huì)在entr內(nèi)標(biāo)記為已使用;子塊被釋放時(shí)，entr內(nèi)的使用標(biāo)記改為未使用，但不會(huì)清理該子塊內(nèi)數(shù)據(jù)。

1.1.vh.sf

.vh.sf主要用于記錄本邏輯卷（Logic Volume）的版本號(hào)、全局唯一標(biāo)識(shí)碼、邏輯卷名稱以及當(dāng)前VMFS卷內(nèi)所使用的默認(rèn)數(shù)據(jù)塊單位大小等。此元文件只在VMFS初始化過程中被寫入信息，在文件系統(tǒng)運(yùn)行過程中不再使用。

1.2.fdc.sf

.fdc.sf用于記錄本邏輯卷內(nèi)所有文件的節(jié)點(diǎn)（node）信息，一般在VMFS初始化過程中確定其存儲(chǔ)位置，以下簡(jiǎn)稱為fdc。本元文件內(nèi)會(huì)記錄各個(gè)目錄、用戶文件和系統(tǒng)源文件的屬性信息，這些信息包含節(jié)點(diǎn)編號(hào)、硬鏈接數(shù)、節(jié)點(diǎn)類型（目錄/文件/元文件）、文件大小、創(chuàng)建時(shí)間、最后修改時(shí)間、最后訪問時(shí)間以及頂層指針，頂層指針含義稍后會(huì)在文件系統(tǒng)工作原理部分闡述。此外，VMFS卷為節(jié)省空間會(huì)將小于1024字節(jié)的小文件直接存儲(chǔ)在節(jié)點(diǎn)內(nèi)。

1.3.sbc.sf

.sbc.sf'用于記錄本邏輯卷內(nèi)所有目錄的目錄項(xiàng)（不包含根目錄，根目錄有其固定存儲(chǔ)位置）以及大于1024字節(jié)小于8192字節(jié)的文件數(shù)據(jù)，以下簡(jiǎn)稱為sbe。某個(gè)目錄下的文件或子目錄的目錄項(xiàng)會(huì)以140字節(jié)為單位緊湊存儲(chǔ)于該目錄的目錄區(qū)，目錄項(xiàng)內(nèi)會(huì)標(biāo)明下層文件或目錄的節(jié)點(diǎn)id、文件類型和文件名。

1.4.pbc.sf

.pbc.sf用于記錄次級(jí)指針，以下簡(jiǎn)稱為pbc。當(dāng)pbc某個(gè)文件的節(jié)點(diǎn)內(nèi)無法存儲(chǔ)所有指針的情況下會(huì)產(chǎn)生指針樹，并將樹的頂點(diǎn)存儲(chǔ)于節(jié)點(diǎn)內(nèi)，同時(shí)將樹的枝十節(jié)點(diǎn)和葉節(jié)點(diǎn)存儲(chǔ)于pbc內(nèi)。最終尋址時(shí)需要從pbc內(nèi)提取該文件的所有葉節(jié)點(diǎn)，才能完整獲取該文件的所有數(shù)據(jù)。Pbe子塊大小一般為4096字節(jié)，可存儲(chǔ)1024條數(shù)據(jù)指針，且每個(gè)子塊內(nèi)指針全部指向同一個(gè)文件。

1.5.fbb.sf

.fbb.sf用于記錄當(dāng)前VMFS卷內(nèi)的數(shù)據(jù)塊使用情況。此文件內(nèi)用位圖的方式標(biāo)記當(dāng)前卷內(nèi)各個(gè)數(shù)據(jù)塊是否已被分配以達(dá)到快速分配數(shù)據(jù)塊的目的。

1.6.pb2.sf

.pb2.sf在VMFS5內(nèi)未使用，預(yù)留待擴(kuò)展。

2 VMFS卷數(shù)據(jù)尋址原理

VMFS在卷內(nèi)查找一個(gè)文件時(shí)首先在固定位置找到根目錄，讀取根目錄下各目錄項(xiàng)信息，根據(jù)目錄項(xiàng)內(nèi)記錄的節(jié)點(diǎn)編號(hào)跳轉(zhuǎn)到fdc查找節(jié)點(diǎn)并判斷文件類型。如果是目錄跳轉(zhuǎn)到sbe元文件內(nèi)讀取該目錄的目錄區(qū)以獲得該目錄下各文件的目錄項(xiàng)，根據(jù)目錄項(xiàng)內(nèi)記錄的節(jié)點(diǎn)編號(hào)繼續(xù)判斷節(jié)點(diǎn)類型;如果是文件則判斷文件大小，并按照不同存儲(chǔ)位置讀取出數(shù)據(jù)（文件存儲(chǔ)規(guī)則見圖1）。深度為3的指針樹最大可存儲(chǔ)256TB的單個(gè)文件，已滿足當(dāng)前操作系統(tǒng)絕大多數(shù)使用情況。

3常見故障對(duì)底層元數(shù)據(jù)影響

3.1文件誤刪除對(duì)底層元數(shù)據(jù)影響

在研究過程中采用對(duì)比分析法對(duì)VMFS卷內(nèi)文件刪除前后元文件內(nèi)部變化情況進(jìn)行對(duì)比，多次測(cè)試結(jié)論均相同。當(dāng)文件被刪除時(shí)，該文件的節(jié)點(diǎn)內(nèi)硬鏈接數(shù)被置0。此外，文件小于1KB時(shí)，節(jié)點(diǎn)內(nèi)文件數(shù)據(jù)被0覆蓋;文件大于1KB時(shí)，所有節(jié)點(diǎn)內(nèi)的指針均被刪除覆蓋;文件大于256MB時(shí)，次級(jí)指針和葉級(jí)指針?biāo)谠募淖訅K被標(biāo)記為未用狀態(tài)，但子塊內(nèi)數(shù)據(jù)不清零;文件大于256GB時(shí)，除葉級(jí)節(jié)點(diǎn)指針外上層指針全部清零，此時(shí)該文件留存于系統(tǒng)中的信息僅包含直接指向數(shù)據(jù)塊的數(shù)據(jù)指針。

3.2 VMFS卷誤格式化對(duì)底層元數(shù)據(jù)影響

在研究過程中采用對(duì)比分析法對(duì)VMFS卷格式化前后元文件內(nèi)部變化情況進(jìn)行對(duì)比，多次測(cè)試結(jié)論均相同。除重置各元文件所產(chǎn)生的開銷外各元文件基本無變化，根目錄下前9個(gè)目錄項(xiàng)（對(duì)應(yīng)于各元文件的目錄項(xiàng)）被重置。無數(shù)據(jù)寫入時(shí)根目錄下第10個(gè)目錄項(xiàng)之后的所有目錄項(xiàng)均可按照正常VMFS卷工作原理查找提取文件，在格式化后的卷內(nèi)寫入文件時(shí)會(huì)覆蓋根目錄下目錄項(xiàng)。

4數(shù)據(jù)恢復(fù)方案

4.1文件誤刪除恢復(fù)方案

文件誤刪除恢復(fù)方案根據(jù)文件大小可分為多種：文件小于1KB時(shí)，由于文件數(shù)據(jù)被清零，此類情況無法恢復(fù);文件小于8KB大于1KB時(shí)，文件數(shù)據(jù)存儲(chǔ)于sbe元文件內(nèi)，可通過查找sbc內(nèi)被標(biāo)記為未用狀態(tài)的子塊和文件特征值來尋找對(duì)應(yīng)數(shù)據(jù)塊（文件特征值是指某些固定類型文件頭部會(huì)有MAGIC_NUM-BER標(biāo)志）;文件大于8KB小于256MB時(shí)由于節(jié)點(diǎn)內(nèi)指針被清零，文件非明文或特定格式文件時(shí)無高效恢復(fù)方案。

重點(diǎn)為恢復(fù)大于256MB文件，一般特指虛擬磁盤。常見的虛擬化架構(gòu)為ESXi服務(wù)器創(chuàng)建VMFS卷后在卷內(nèi)創(chuàng)建虛擬機(jī)供用戶使用。創(chuàng)建的虛擬機(jī)會(huì)在VMFS卷的根目錄下創(chuàng)建與虛擬機(jī)名稱完全相同的文件夾，并將虛擬機(jī)各組件文件存放在此目錄下。在常規(guī)物理計(jì)算機(jī)內(nèi)記錄數(shù)據(jù)的設(shè)備為硬盤，而承載虛擬機(jī)內(nèi)數(shù)據(jù)的是被稱為虛擬磁盤的大型文件，后綴名VM-DK。當(dāng)虛擬機(jī)被刪除時(shí)，該虛擬機(jī)對(duì)應(yīng)的文件夾下所有文件會(huì)全部被刪除。由于記錄虛擬機(jī)內(nèi)數(shù)據(jù)的文件是VMDK，只要將此文件恢復(fù)即可。

VMDK文件結(jié)構(gòu)與普通物理磁盤的分區(qū)結(jié)構(gòu)完全相同，頭部有MBR或GPT分區(qū)標(biāo)識(shí)。由于文件刪除清空了上層指針，只能依賴葉級(jí)指針塊完成該文件的碎片拼接。葉級(jí)指針塊大小為4KB，會(huì)連續(xù)記錄1024條數(shù)據(jù)指針，每條指針又指向IMB數(shù)據(jù)塊，因此刪除VMDK可看作將文件切分為以1GB為單位的數(shù)據(jù)塊。分析pbc元文件，將標(biāo)記為未用（即已被釋放）的子塊取出。由于每個(gè)子塊都可包含1024條指針，取出所有指針對(duì)應(yīng)數(shù)據(jù)塊即可獲取到1GB碎片。且VMFS文件系統(tǒng)數(shù)據(jù)分配是以1MB為單位進(jìn)行對(duì)齊，指向每個(gè)大于256MB文件的文件頭部的直接指針一定是子塊內(nèi)的第一條（見圖2），讀取所有1GB碎片頭部信息判斷是否為磁盤頭部。

找到VMDK頭部數(shù)據(jù)塊后可根據(jù)磁盤大小來判別是否是需要恢復(fù)的磁盤文件。當(dāng)磁盤采用GPT分區(qū)格式時(shí)，計(jì)算GPr頭與GPT頭備份之間的扇區(qū)數(shù)可得到該VMDK的大小;采用MBR分區(qū)格式時(shí)，計(jì)算各分區(qū)容量總和可得。確定需要恢復(fù)時(shí)，根據(jù)VMDK分區(qū)內(nèi)文件系統(tǒng)類型及其內(nèi)部結(jié)構(gòu)獲取各目錄和文件在分區(qū)內(nèi)的偏移量以及在VMDK文件內(nèi)的偏移量。假設(shè)將VMDK文件從頭部起始切分為若十個(gè)IGB碎片，計(jì)算各目錄或文件在IGB碎片內(nèi)的偏移。遍歷所有文件和目錄與IGB碎片，利用各文件或目錄特征值及其在碎片內(nèi)的偏移完成匹配工作。未找到的數(shù)據(jù)塊可能為文件系統(tǒng)未用空間，直接用IGB大小的0進(jìn)行填充即可。

以上方式適用于文件系統(tǒng)入口位于磁盤頭部的所有文件系統(tǒng)。對(duì)于某些特殊的文件系統(tǒng)有更多匹配標(biāo)志的，可增加恢復(fù)成功率，例如NTFS的文件記錄號(hào)等文件唯一性標(biāo)識(shí)。

4.2 VMFS誤格式化恢復(fù)方案

誤格式化一般指同參數(shù)格式化，即VMFS格式化為VMFS，分區(qū)大小不變，分區(qū)起始位置不變，此類情況下由于元文件信息重置無法正向解析整個(gè)文件系統(tǒng)。由于VMFS元文件在格式化時(shí)一般會(huì)預(yù)留足夠大小的空間，格式化不會(huì)變更文件大小以及分配位置，但會(huì)清空entr內(nèi)子塊使用標(biāo)志位。獲取根目錄下除元文件外其余目錄或文件信息，并按照對(duì)應(yīng)的指針直接跳轉(zhuǎn)到對(duì)應(yīng)子塊進(jìn)行解析即可獲取由于格式化原因?qū)е聛G失的文件數(shù)據(jù)。

對(duì)應(yīng)于VMFS文件系統(tǒng)被格式化為其他文件系統(tǒng)而言，由于VMFS元文件分配位置不處于分區(qū)頭部，一般不會(huì)被覆蓋。查找VMFS卷特殊標(biāo)識(shí)確定分區(qū)起始，按照正向解析流程完成解析即可獲取丟失文件。

5總結(jié)

VMFS在正常運(yùn)行中應(yīng)及時(shí)注意空間使用情況，操作時(shí)更是需要仔細(xì)，盡量避免由于人為因素導(dǎo)致數(shù)據(jù)被刪除的情況發(fā)生。如果發(fā)生數(shù)據(jù)丟失情況，應(yīng)立即關(guān)閉ESXi服務(wù)器或卸載數(shù)據(jù)存儲(chǔ)，以免后續(xù)寫入數(shù)據(jù)覆蓋被刪除文件。數(shù)據(jù)脫離生產(chǎn)環(huán)境后應(yīng)及時(shí)進(jìn)行數(shù)據(jù)備份，以免恢復(fù)過程中對(duì)數(shù)據(jù)造成二次破壞，及時(shí)開展恢復(fù)流程即可。

參考文獻(xiàn)：

[1]管建超.基于VMware VMFS的研究及備份實(shí)現(xiàn)[J].ELEC-TRIC POWER IT，2011，9（7）.

[2]顧景民，時(shí)陽(yáng).V Mware服務(wù)器虛擬化中的熱備與恢復(fù)技術(shù)[J].科技視界，2016（4）.

[3]宋發(fā)平.V Mware服務(wù)器虛擬化在建設(shè)新一代企業(yè)數(shù)據(jù)中心中的運(yùn)用研究[J].電子制作，2017（9）.

【通聯(lián)編輯：張薇】

收稿日期：2019-09-25

基金項(xiàng)目：國(guó)家重點(diǎn)研發(fā)計(jì)劃重點(diǎn)項(xiàng)目：物證檢驗(yàn)質(zhì)量保證與量值溯源關(guān)鍵技術(shù)研究（2018YFC0807305）

作者簡(jiǎn)介：張宇（1978-），男，山西人，本科，從事有損大容量存儲(chǔ)數(shù)據(jù)重組分析技術(shù)研究與系統(tǒng)開發(fā)研究。