EMC存儲快照功能分析

段 勇

(天津海河傳媒中心 天津 300072)

0 引言

隨著信息時代的到來，科技的進步推動著廣電行業(yè)的技術(shù)革新，節(jié)目制作的方式與計算機網(wǎng)絡(luò)技術(shù)的聯(lián)系越來越緊密，虛擬化、5G、4K等高新技術(shù)越來越多地被應(yīng)用于電視節(jié)目制作。云架構(gòu)的非編制作網(wǎng)是節(jié)目制作的主要工具，而從網(wǎng)絡(luò)架構(gòu)上來講，存儲是非編制作網(wǎng)的核心，媒體文件、包裝素材和數(shù)據(jù)庫信息都保留在存儲上。因此，存儲的讀寫速度和安全性就成為了重中之重。天津廣播電視臺的新聞云系統(tǒng)和綜合云系統(tǒng)均部署了EMC公司的Isilon x410集群存儲，多節(jié)點的冗余設(shè)計保證了讀取的帶寬和數(shù)據(jù)的安全性，SnapShot(快照)機制更是在邏輯層面提高了保險系數(shù)。下文將對Isilon x410存儲的安全機制、SnapShot的數(shù)據(jù)保護機制和系統(tǒng)運維中的情況加以論述。

1 SnapShot快照機制保障數(shù)據(jù)安全

天津廣播電視臺的新聞云和綜合云系統(tǒng)均部署了EMC公司的Isilon x410集群存儲，由11個存儲節(jié)點組成，設(shè)計為8+3的冗余模式。11個存儲節(jié)點內(nèi)部由infiniband交換機級聯(lián)，保證數(shù)據(jù)和冗余校驗信息在節(jié)點之間交互，每個節(jié)點都可通過萬兆光纖線連接核心服務(wù)器和站點，提高了訪問速度，也在硬件層面上保證了數(shù)據(jù)的安全性。SnapShot快照鏡像機制則在文件系統(tǒng)層面對數(shù)據(jù)形成保護，避免了人為誤刪除操作和數(shù)據(jù)交互時的錯誤信息。

1.1 Isilon存儲的快照機制

EMC的OneFS體系中SnapShot快照就是在集群存儲的特定位置存放數(shù)據(jù)的邏輯指針，它指向集群上所有的數(shù)據(jù)目錄及其子目錄[1]。如果集群存儲中的數(shù)據(jù)被修改，即用戶對數(shù)據(jù)進行讀/寫/刪等操作，則 快照文件所對應(yīng)的物理副本也會被修改。快照文件的創(chuàng)建規(guī)則是OneFS系統(tǒng)(集群存儲管理系統(tǒng))自動生成或用戶根據(jù)實際使用情況預(yù)先設(shè)定好，若要創(chuàng)建和管理快照，則必須在系統(tǒng)中激活SnapShotIQ(快照管理模塊)授權(quán)，但部分應(yīng)用在不激活SnapShotIQ的情況下也可正常運行，只不過無法啟用數(shù)據(jù)恢復(fù)功能。通常在集群存儲中的快照文件是系統(tǒng)自動創(chuàng)建的，且根據(jù)預(yù)設(shè)的Operation Jobs(系統(tǒng)作業(yè))可自動刪除，節(jié)省磁盤空間。每一個快照文件都由OneFS自動分配數(shù)字標識符。

OneFS快照具有高度可擴展性，通常只需不到1s的時間即可完成創(chuàng)建，且無論文件系統(tǒng)是什么級別、數(shù)據(jù)和目錄是什么量級都不會過多消耗磁盤和網(wǎng)絡(luò)資源。相對于傳統(tǒng)的拷貝方式備份數(shù)據(jù)，快照文件是引用數(shù)據(jù)的指針，并不是實體文件的1∶1拷貝，更新快照時僅記錄數(shù)據(jù)文件的變化量，從而保證了高效的備份效率和存儲利用率。只有當數(shù)據(jù)發(fā)生改變時，如刪除、修改、重命名等，快照文件的大小才會發(fā)生變化，快照將存儲原始數(shù)據(jù)的只讀副本。用戶通過訪問隱藏目錄/.snapshot來讀取快照文件。數(shù)據(jù)從一個物理設(shè)備遷移至另一個物理設(shè)備所需的時間取決于所遷移的數(shù)據(jù)量，同時快照文件是即時創(chuàng)建的，以保證數(shù)據(jù)的絕對安全。應(yīng)注意快照是針對數(shù)據(jù)指針進行操作，如果由于硬件故障或文件系統(tǒng)故障導(dǎo)致數(shù)據(jù)丟失，則快照不能用于恢復(fù)數(shù)據(jù)。因此，快照機制只對文件系統(tǒng)層面之上的數(shù)據(jù)安全有效[2]。OneFS系統(tǒng)針對不同場景的數(shù)據(jù)變化使用CoW(寫時復(fù)制)和RoW(寫時重定向)2種策略來實現(xiàn)差分快照功能，并根據(jù)數(shù)據(jù)的變化方式動態(tài)選擇最優(yōu)解決方案。CoW應(yīng)用最為普遍，主要用于少量數(shù)據(jù)變化，而RoW 則是在數(shù)據(jù)刪除和大量順序?qū)懭氲倪^程中獲得最大收益。

快照機制的優(yōu)點有：①快照是在目錄級別而不是卷級別創(chuàng)建的，因而備份的顆粒度很小；②支持Windows卷快照管理，Windows客戶端可以恢復(fù)到之前的版本；③OneFS系統(tǒng)中不需要為快照分配空間，快照機制可以根據(jù)數(shù)據(jù)的變化量使用盡可能少的文件系統(tǒng)空間；④OneFS采用靈活的策略和計劃任務(wù)可以輕松管理快照；⑤使用SmartPools(智能存儲池)可在物理磁盤上同時存儲快照和原始數(shù)據(jù)；⑥每個目錄最多可以創(chuàng)建1024個快照，且沒有存儲或文件系統(tǒng)的限制。

天津廣播電視臺新聞云和綜合云系統(tǒng)的Isilon存儲都啟用了SnapShot快照功能，可自動備份存儲中被修改的文件的物理副本，同時在計劃任務(wù)中設(shè)定快照文件的生成和刪除任務(wù)，預(yù)設(shè)為每日22：00自動刪除原有快照文件。當存儲上的數(shù)據(jù)發(fā)生更改時又會創(chuàng)建一個新的快照文件，如圖1和圖2所示。

圖1 SnapShot快照文件Fig.1 SnapShot file

圖2 Operation Job計劃任務(wù)Fig.2 Operation Job schedule tasks

1.2 快照的管理

1.2.1 創(chuàng)建快照文件

可以使用SnapShotIQ來創(chuàng)建快照，也可以手動創(chuàng)建快照文件或通過預(yù)先設(shè)定的快照計劃來自動創(chuàng)建。用戶可以運行isi snapshot schedules create命令來創(chuàng)建一個快照計劃，同時可以運行isi snapshot snapshots create命令創(chuàng)建一個快照文件。這里需注意快照計劃中快照文件的生成頻率必須間隔24h[3]。天津廣播電視臺的新聞云和綜合云系統(tǒng)均設(shè)置為根據(jù)快照計劃自動創(chuàng)建快照文件。每晚22：00進行文件分析作業(yè)，然后刪除上一個時間點的快照文件，再創(chuàng)建一個新的快照文件。

數(shù)據(jù)采集模塊采集制造數(shù)據(jù)并存放在擴展名為.log的文件中。在進行離線分析時，首先要對文件進行分析，提取出關(guān)鍵參數(shù)并存放到數(shù)據(jù)庫中。文件部分格式如下：

1.2.2 快照文件的管理

根據(jù)實際業(yè)務(wù)需求，一般來說參照存儲的應(yīng)用類型、使用頻率和網(wǎng)絡(luò)帶寬等因素，用戶可以對快照進行查看、刪除或修改名稱、別名和持續(xù)時間等屬性。但由于快照文件是只讀屬性，不可以修改快照所包含的任何數(shù)據(jù)。

快照文件的大小指的是釋放存儲空間量的上限值，當同一個目錄或文件生成了多個快照時，若只刪除一個快照并不能釋放預(yù)期的存儲空間，只會刪除當前快照所占的很小一部分空間。若要全部釋放存儲空間，必須刪除此目錄生成的全部快照文件。我們知道快照文件保存的是目錄的改變情況，但如果用戶刪除目錄再重新創(chuàng)建，就算新創(chuàng)建的目錄和之前的目錄沒有變化，快照文件也將記錄此次數(shù)據(jù)改變情況，并且是整個目錄的改變。同時在存儲空間的釋放量上，刪除同一個目錄的多個快照比不同目錄的多個快照要大。針對同一目錄生成的快照文件，刪除時間點較早的快照文件更能釋放存儲空間。刪除快照文件可以通過SnapShotDelete作業(yè)(快照刪除作業(yè))來進行，即通過運行isi job jobs start snapshotdelete命令來執(zhí)行。也可以手動刪除特定快照，即通過運行isi snapshot snapshots delete +快照名的命令來執(zhí)行。

查看快照文件可以通過運行isi snapshot snapshots list命令實現(xiàn)，輸出內(nèi)容包括快照ID、快照名稱和快照路徑信息。若要查看用戶指定快照的詳細信息，則可以通過運行isi snapshot snapshots view +快照名的命令來實現(xiàn)。

1.2.3 快照數(shù)據(jù)的恢復(fù)

用戶可以通過快照目錄來恢復(fù)數(shù)據(jù)，可以克隆和拷貝快照目錄中的文件，可以通過Windows資源管理器或Unix命令來訪問快照目錄。我們可以在特定目錄創(chuàng)建SnapRevert(快速恢復(fù))域，然后運行isi snapshot snapshots view命令來查看快照信息，最后運行isi job jobs start snaprevert–快照ID命令來恢復(fù)快照。

我們可以從快照中克隆文件，首先通過任意節(jié)點的SSH(安全shell)協(xié)議連接到集群管理系統(tǒng)，然后通過“cd”命令進入快照所在目錄和通過“l(fā)s”命令查看快照內(nèi)容，最后通過“cp”命令拷貝所需文件。

1.2.4 快照文件的刪除

1.3 快照計劃的管理

快照計劃是OneFS系統(tǒng)管理快照文件的有效手段，可設(shè)定快照文件的生成時間、命名規(guī)則和刪除機制。對快照計劃的任何更改僅對新創(chuàng)建的快照文件有效，不會影響現(xiàn)有快照。我們可以對快照計劃進行修改、刪除和查看操作。

1.3.1 修改快照計劃

對快照計劃的修改只會影響之后生成的快照文件，不會對當前快照文件產(chǎn)生任何影響。例如當用戶修改了快照計劃的別名后，則此別名會分配給新生成的快照文件使用，而不會改變之前快照文件的別名，之前的快照的別名可以手動修改。我們可以通過運行命令isi snapshot schedules modify來對快照計劃進行修改，包括刪除快照文件的期限等信息。

1.3.2 刪除快照計劃

首先明確的是刪除快照計劃不會影響快照文件，不會刪除在此快照計劃之前生成的任何快照文件。我們可以通過運行isi snapshot schedules delete命令來刪除快照計劃。

1.3.3 查看快照計劃

用戶可以通過運行isi snapshot schedules list命令來查看快照計劃的屬性，包括快照計劃的ID和名稱。也可以通過運行isi snapshot schedules view命令來查看特定快照計劃的詳細屬性。

1.4 快照別名的管理

日常運行維護操作中用戶可以通過對快照計劃的配置來分配別名給最新的快照文件，當然也可以手動分配別名。

1.4.1 配置快照計劃中的快照別名

如果配置快照計劃的別名，則此別名只對新生成的快照文件起作用，對此時間點之前的快照文件無效，我們可以通過運行isi snapshot schedules modify命令來實現(xiàn)。

1.4.2 為快照分配別名

可以通過運行isi snapshot aliases create +別名的命令來實現(xiàn)。

1.4.3 查看快照別名

用戶只能使用CLI(命令行界面)來完成，通過運行isi snapshot aliases list查看快照別名列表，然后運行isi snapshot aliases list命令來查看特定的信息。

1.5 SnapShotIQ配置

在SnapShotIQ配置中用戶可以選擇快照的創(chuàng)建方式和訪問快照文件的方法。可以通過運行isi snapshot settings view命令來查看SnapShotIQ的配置，然后運行 isi snapshot settings modify命令配置SnapshotIQ設(shè)置。

2 結(jié) 語

天津廣播電視臺新聞云和綜合云已經(jīng)穩(wěn)定運行了4年，Isilon存儲在數(shù)據(jù)的穩(wěn)定讀寫和安全性上均表現(xiàn)良好。快照機制有效保障了數(shù)據(jù)的安全性，且快照計劃的自動化管理也使得存儲空間得到了合理利用，由于無需過多的人工干預(yù)，從軟件層面上徹底避免了數(shù)據(jù)丟失的情況發(fā)生。文章詳述了Isilon存儲的快照保護機制，供相關(guān)行業(yè)專業(yè)技術(shù)人員參考。