磁光電一體化海量檔案數(shù)字資源長久保存技術(shù)研究《基于磁、光、電多種載體的海量檔案數(shù)字資源長久保存技術(shù)的研究和實踐》項目課題組

近年來，國家發(fā)布了一系列電子文件、電子檔案管理的政策規(guī)范，加之國家檔案局持續(xù)加大檔案信息化工作推進力度，致使各類電子檔案、檔案數(shù)字復(fù)制件等檔案數(shù)字資源數(shù)量激增。這就使如何實現(xiàn)海量檔案數(shù)字資源的安全保存和長期可用成為了各級檔案部門亟需解決的問題[1]。

一、海量檔案數(shù)字資源長久保存常見問題

（一）數(shù)據(jù)保存呈碎片化的狀態(tài)

我國檔案部門主要推廣“一用兩備”的數(shù)據(jù)存儲和備份模式，由于缺少統(tǒng)一的大容量存儲和備份設(shè)備，導(dǎo)致檔案部門的數(shù)字檔案資源往往分散保存在多臺不同類型的存儲和備份設(shè)備中，數(shù)據(jù)保存情況較為復(fù)雜，往往需要花大量時間和精力去管理。

（二）數(shù)據(jù)檢測管理困難

由于海量數(shù)字檔案資源分別保存在各類人工管理的離線存儲載體之上，導(dǎo)致數(shù)據(jù)檢測模式多樣、程序復(fù)雜，難以及時判斷離線載體上保存的數(shù)字檔案資源是否有效。

（三）數(shù)據(jù)保存風(fēng)險不易管控

常見的數(shù)字檔案資源的存儲設(shè)備缺少可視化的設(shè)備運行與數(shù)據(jù)存儲情況監(jiān)控裝置，也不具備實時報警功能，導(dǎo)致數(shù)字檔案資源在存儲過程中存在的風(fēng)險不易在第一時間發(fā)現(xiàn)。

二、課題研究綜述

為解決上述問題，課題組通過互聯(lián)網(wǎng)及相關(guān)論文期刊雜志廣泛收集有關(guān)海量檔案數(shù)字資源長久保存技術(shù)的資料，研究了磁存儲、光存儲和電存儲等存儲技術(shù)的優(yōu)缺點和適用范圍，從載體的耐久性、可靠性、通用性、容量、速度和成本等指標(biāo)進行分析，設(shè)計了綜合采用多種存儲設(shè)備和存儲載體的存儲技術(shù)方案，以達到海量檔案數(shù)字資源長久安全保存過程中安全性、經(jīng)濟性和訪問速度的均衡。課題組對海量數(shù)字檔案長久保存的需求進行了全面的分析，設(shè)計了磁光電一體化海量檔案數(shù)字資源長久保存系統(tǒng)的技術(shù)方案，明確了系統(tǒng)的總體架構(gòu)、關(guān)鍵技術(shù)及主要功能。基于上述技術(shù)方案，開發(fā)了綜合運用多項關(guān)鍵技術(shù)和多種存儲載體的磁光電一體化海量檔案數(shù)字資源長久保存系統(tǒng)，實現(xiàn)了面向海量檔案數(shù)字資源長久安全保存的數(shù)據(jù)管理、設(shè)備管理、載體管理、任務(wù)管理和監(jiān)控預(yù)警等功能。課題組基于該系統(tǒng)開展了一系列的檔案數(shù)字資源保存實驗，通過實踐應(yīng)用研究和驗證適合該系統(tǒng)的檔案數(shù)字資源長久保存的數(shù)據(jù)存儲備份機制、數(shù)據(jù)檢測機制、載體檢測機制、預(yù)警跟蹤處理機制和數(shù)據(jù)應(yīng)急恢復(fù)機制等多種管理機制，通過技術(shù)平臺和管理機制的結(jié)合，有效保障了海量檔案數(shù)字資源安全長久保存過程中的真實性、完整性、可用性和安全性。

三、技術(shù)路線

（一）存儲載體和存儲設(shè)備的分析和選擇

1.存儲載體分析選擇

目前常見的主要存儲載體可劃分為磁（磁盤、磁帶）、光（光盤）、電（SSD固態(tài)硬盤）等類型，衡量存儲載體的基本指標(biāo)包括載體的耐久性、可靠性、通用性、容量、速度和成本等。一般而言，各項指標(biāo)不可能同時達到最優(yōu)化，只能根據(jù)應(yīng)用場景找到最合適的平衡點。課題組在分析選擇檔案數(shù)字資源長期存儲載體時的主要關(guān)注點包括：

（1）存儲載體的物理穩(wěn)定性

檔案數(shù)據(jù)重要性高，保存周期長，不宜使用對外界環(huán)境敏感，容易因存儲環(huán)境、外力等因素影響而丟失數(shù)據(jù)的存儲載體，也不宜使用物理壽命短暫的存儲載體。

（2）存儲載體的技術(shù)壽命[2]

檔案數(shù)據(jù)保存周期長，需要采用技術(shù)穩(wěn)定的存儲載體，避免因載體的技術(shù)或市場不穩(wěn)定而增加丟失數(shù)據(jù)的風(fēng)險。

（3）離線存儲能力[3]

為滿足離線備份的要求，檔案數(shù)據(jù)存儲載體應(yīng)可與存取設(shè)備分離，離線保存在檔案館庫內(nèi)或其他安全環(huán)境中。

（4）數(shù)據(jù)的防篡改能力[4]

原始記錄性是檔案的基本屬性，檔案必須保持其內(nèi)容的真實和完整。為防止非法篡改檔案數(shù)據(jù)，保證檔案數(shù)據(jù)的真實和完整，一次寫入防止更改數(shù)據(jù)的存儲載體有更大的優(yōu)勢。

（5）存儲載體使用成本[5]

檔案館的檔案數(shù)字資源保存工作受預(yù)算的限制，選取存儲載體時需要根據(jù)預(yù)算在價格和性能之間進行權(quán)衡。需要注意的是，存儲載體的使用成本不僅僅是一次性采購的成本，也包括長期使用過程中載體維護和升級換代的成本。

2.存儲設(shè)備分析選擇

課題組結(jié)合海量檔案數(shù)字資源長久保存場景以及存儲載體和存儲設(shè)備的關(guān)鍵特征屬性，分析得出了各場景下所適用的存儲設(shè)備類型及其載體的選擇。

在檔案數(shù)字資源的導(dǎo)入、檢測、檢索等數(shù)據(jù)頻繁讀寫的場景，對設(shè)備和載體的響應(yīng)速度和讀寫速度有較高的要求，因此適合以具有較高讀寫速度的高速磁盤或固態(tài)硬盤作為存儲載體，以高速磁盤陣列或閃存陣列作為主要存儲設(shè)備。

在檔案數(shù)字資源入庫長久保存場景下，數(shù)據(jù)的訪問頻率大大降低，但總體存儲的數(shù)據(jù)量則會增加許多，此時從經(jīng)濟性的角度考慮，以低速大容量磁盤、磁帶、光盤為存儲載體的低速大容量磁盤陣列、磁帶庫、光盤庫等設(shè)備成為了較好的選擇。為避免單一存儲載體帶來的技術(shù)風(fēng)險，應(yīng)盡量使用兩種以上的存儲載體來進行檔案數(shù)字資源的長久保存。

在檔案數(shù)字資源離線備份、異地備份等場景下，以光盤載體和光盤庫為首選設(shè)備，其具有較大的存儲容量，穩(wěn)定性好，維護和管理量較小，適合長久保存的數(shù)據(jù)，具有較高的性價比。

綜上分析，課題組選擇了以固態(tài)硬盤作為高速緩存處理區(qū)，以磁盤陣列和大容量光盤庫作為數(shù)據(jù)長久保存區(qū)的磁光電一體化的海量檔案數(shù)字資源存儲方案，以實現(xiàn)安全性、存儲容量、訪問性能和成本的較好均衡。

（二）海量檔案數(shù)字資源長久保存系統(tǒng)建設(shè)

課題組設(shè)計了海量檔案數(shù)字資源長久保存系統(tǒng)技術(shù)方案，經(jīng)過需求分析、系統(tǒng)設(shè)計、編碼開發(fā)、系統(tǒng)測試、系統(tǒng)部署等階段，開發(fā)建設(shè)了磁光電一體化海量檔案數(shù)字資源長久保存系統(tǒng)。

1.系統(tǒng)架構(gòu)

磁光電一體化海量檔案數(shù)字資源長久保存系統(tǒng)采用軟硬件一體化架構(gòu)。硬件部分包括服務(wù)器設(shè)備、存儲設(shè)備（磁盤陣列、光盤庫、SSD固態(tài)硬盤）、網(wǎng)絡(luò)設(shè)備（光纖交換機、智能網(wǎng)卡）、監(jiān)控設(shè)備（ARM）等，軟件部分包括基礎(chǔ)軟件（操作系統(tǒng)、數(shù)據(jù)庫、中間件）、功能支撐平臺（光盤管理平臺、監(jiān)控管理平臺）以及核心管理軟件系統(tǒng)（海量檔案數(shù)字資源安全保存平臺）等。

系統(tǒng)集大容量磁盤陣列、高密度光盤庫、高性能固態(tài)硬盤于一身，充分發(fā)揮磁光電存儲載體的各自優(yōu)勢。固態(tài)硬盤作為大批量數(shù)據(jù)高速I/O處理緩存，大容量磁盤陣列提供高可靠和高可用的在線存儲服務(wù)，光盤庫以歸檔級藍光光盤為存儲載體提供近線和離線存儲服務(wù)。

2.系統(tǒng)功能

磁光電一體化海量檔案數(shù)字資源長久保存系統(tǒng)可實現(xiàn)檔案數(shù)字資源長久保存過程中的自動存儲備份、數(shù)據(jù)和載體檢測、數(shù)據(jù)智能恢復(fù)、預(yù)警故障追蹤及處理等功能。系統(tǒng)核心管理平臺的功能包括管理門戶（控制臺）、數(shù)據(jù)管理、資源管理、任務(wù)管理、預(yù)警管理和系統(tǒng)管理等部分。

控制臺是整個海量檔案數(shù)字資源長久保存系統(tǒng)的管理入口，直觀展現(xiàn)系統(tǒng)內(nèi)保存的檔案數(shù)據(jù)量和系統(tǒng)剩余容量、數(shù)據(jù)和載體檢測情況、系統(tǒng)各設(shè)備運行狀態(tài)、各項任務(wù)執(zhí)行進度信息等，還可以快速查看和處理各項預(yù)警信息；數(shù)據(jù)管理功能完成長久保存檔案數(shù)字資源的接收入庫、數(shù)據(jù)備份、智能恢復(fù)、檢索出庫等功能；資源管理功能完成系統(tǒng)設(shè)備管理、離線存儲載體管理、載體組盤管理等功能；任務(wù)管理功能下可以查詢當(dāng)前任務(wù)執(zhí)行狀態(tài)和歷史任務(wù)執(zhí)行情況；預(yù)警管理功能可以進行各項預(yù)警信息的查看、處理和跟蹤；系統(tǒng)管理功能完成數(shù)據(jù)保存?zhèn)浞菰O(shè)置、預(yù)警策略設(shè)置、用戶權(quán)限管理、日志管理等各項基礎(chǔ)設(shè)置和管理功能。

（三）海量檔案數(shù)字資源保存管理實驗

磁光電一體化海量檔案數(shù)字資源長久保存系統(tǒng)開發(fā)完成后，課題組以該系統(tǒng)為平臺，設(shè)置了檔案數(shù)字資源保存?zhèn)浞輽C制、數(shù)據(jù)檢測機制和載體檢測機制，開展了海量檔案數(shù)字資源長久保存管理實驗。

1.保存?zhèn)浞輽C制設(shè)置

經(jīng)過權(quán)衡檔案數(shù)字資源的安全性、訪問性能和保存成本，課題組對系統(tǒng)中的檔案數(shù)字資源長久保存采用了“321保存策略”，即對同一份檔案數(shù)字資源保存“3”套數(shù)據(jù)，分別保存在磁盤和光盤“2”種不同的存儲載體之上，其中磁盤上保存1套，光盤上保存兩套，1套光盤數(shù)據(jù)保存在光盤庫中，“1”套光盤數(shù)據(jù)離線保存。這種策略下，每一套檔案數(shù)據(jù)都可以獨立的檢測和使用，其中任意一套數(shù)據(jù)出現(xiàn)問題后，均可以使用另外兩套數(shù)據(jù)來進行恢復(fù)，避免了數(shù)據(jù)恢復(fù)過程的單套數(shù)據(jù)風(fēng)險，避免了單一存儲載體的技術(shù)風(fēng)險，滿足檔案離線備份的要求，有效保障了檔案數(shù)字資源的安全性，總體存儲成本也得到了較好的控制。

2.數(shù)據(jù)檢測機制設(shè)置

系統(tǒng)使用數(shù)字摘要技術(shù)來保障檔案數(shù)字資源的真實性。在檔案數(shù)字資源進入系統(tǒng)時采用數(shù)字摘要算法進行運算，生成128位數(shù)字摘要。在檔案數(shù)字資源定期檢測、出庫或數(shù)據(jù)恢復(fù)時，再次生成數(shù)字摘要，通過比對入庫時生成的數(shù)字摘要是否一致，來判斷檔案數(shù)字資源的真實性，確保數(shù)據(jù)不被非法篡改。數(shù)據(jù)的定期檢測設(shè)置為系統(tǒng)自動每月進行一次磁盤上保存的檔案數(shù)據(jù)的完全掃描檢測。檢測時如果發(fā)現(xiàn)檔案數(shù)據(jù)出現(xiàn)破壞或丟失等情況，則發(fā)出預(yù)警信息，同時可根據(jù)系統(tǒng)設(shè)置自動啟動智能數(shù)據(jù)恢復(fù)。

3.載體檢測機制設(shè)置

為對各類備份介質(zhì)進行檢測，系統(tǒng)集成了專用的藍光檢測光驅(qū)來檢測存儲光盤的有效性。系統(tǒng)設(shè)置為每月對光盤載體檢測一次。光盤采用隨機抽取少量光盤全檢（檢查光盤上所有的刻錄點）和全部光盤點檢（隨機抽取檢查光盤上的300個刻錄點）結(jié)合的方式。本次研究中為充分測試系統(tǒng)和設(shè)備的承壓能力，設(shè)置了較高的檢測強度和頻率，在實際的工作中，可以根據(jù)情況采用較低的檢測強度，例如每年或每兩年檢測的形式。

4.數(shù)據(jù)保存實驗活動

在“321保存策略”下，課題組選取了多種類型的檔案數(shù)字資源進行保存實驗，包括文書、照片、錄音、錄像等門類，覆蓋了PDF/JPG/MP4/FLV/MP3等各種類型的文件格式。其中PDF/JPG文件格式，單個文件容量較小，MP4/FLV/MP3等錄音、錄像檔案的文件格式，單個文件的容量較大，可用于檢驗系統(tǒng)對于多種類型的不同容量大小的文件格式的支持能力。通過實驗驗證，該技術(shù)方案可有效完成海量檔案數(shù)字資源的接收、入庫、備份、檢測等操作任務(wù)，數(shù)據(jù)檢索和數(shù)據(jù)出庫效率符合預(yù)期，取得了穩(wěn)定的實驗效果。

四、研究總結(jié)

課題組通過分析和設(shè)計面向海量檔案數(shù)字資源保存的磁光電一體存儲技術(shù)方案，開發(fā)了具有數(shù)據(jù)管理、資源管理、任務(wù)管理和預(yù)警管理等各項功能的磁光電一體化海量檔案數(shù)字資源長久保存應(yīng)用系統(tǒng)，并基于該系統(tǒng)成功開展了海量檔案數(shù)字資源的保存實驗。課題組認(rèn)為，上述技術(shù)方案和應(yīng)用系統(tǒng)可在檔案數(shù)字資源長久保存工作中得到有效應(yīng)用，今后可以進一步從檔案數(shù)字資源的異地備份和異質(zhì)備份、新型存儲載體運用于檔案數(shù)字資源保存等方面對上述技術(shù)方案和應(yīng)用系統(tǒng)進行提升和擴展，以提高海量檔案數(shù)字資源長久安全保存管理的技術(shù)水平。