數(shù)字檔案共享建設(shè)中軟件定義存儲技術(shù)運(yùn)用研究

程龍吟/福州大學(xué)檔案館

檔案作為黨和國家重要的信息資源，在服務(wù)和推動社會發(fā)展中發(fā)揮著重要作用。隨著檔案信息化進(jìn)程的加快，各級各類檔案館和檔案形成單位形成了大量的數(shù)字檔案（包含電子檔案和檔案數(shù)字化成果）。要想充分發(fā)揮數(shù)字檔案優(yōu)勢，使全民全社會共享信息化成果，就要推動數(shù)字檔案打破時間和空間限制，實現(xiàn)館際共享、全民共享。

1 數(shù)字檔案共享的內(nèi)涵

數(shù)字檔案共享是指數(shù)字檔案在標(biāo)準(zhǔn)化、規(guī)范化并符合保密要求的基礎(chǔ)上，在不同層次、不同部門信息網(wǎng)絡(luò)系統(tǒng)間實現(xiàn)互聯(lián)互通并向社會提供服務(wù)[1]。

在2016年4月網(wǎng)絡(luò)安全和信息化工作座談會上，習(xí)近平總書記提出要“打通信息壁壘，構(gòu)建全國信息資源共享體系，更好用信息化手段感知社會態(tài)勢、暢通溝通渠道、輔助科學(xué)決策”[2]。習(xí)總書記的講話為檔案事業(yè)的發(fā)展指明了方向：一是數(shù)字檔案館建設(shè)必須與實體檔案館建設(shè)同時進(jìn)行；二是加快建設(shè)數(shù)字檔案共享體系，數(shù)字檔案應(yīng)當(dāng)成為國家信息資源共享體系的重要組成部分。目前，許多檔案館的信息化建設(shè)預(yù)算已達(dá)到數(shù)百萬甚至上千萬元，全國每年有50 億元以上的信息化市場容量[3]。這些數(shù)字檔案不能像大多數(shù)紙質(zhì)檔案那樣封存在檔案館內(nèi)，檔案行業(yè)要改革創(chuàng)新，加快推進(jìn)檔案信息從封閉走向開放，打造方便人民群眾查閱利用的開放型、多層次的數(shù)字檔案共享體系，實現(xiàn)檔案資源互聯(lián)互通。

2 傳統(tǒng)存儲技術(shù)在數(shù)字檔案共享建設(shè)中的技術(shù)壁壘

實現(xiàn)數(shù)字檔案共享，最重要的是實現(xiàn)信息的互聯(lián)互通和向社會提供服務(wù)。數(shù)字檔案自身的復(fù)雜性導(dǎo)致其在共享過程中出現(xiàn)各種技術(shù)難點：一是需要首先解決服務(wù)器存儲容量問題。“增量數(shù)字化、存量電子化”的趨勢和政策使得檔案數(shù)量急劇增長，檔案數(shù)據(jù)的容量限制共享的范圍。二是需要重點解決異構(gòu)數(shù)字檔案資源整合問題。數(shù)字檔案有文本、圖片、視頻、音頻等多種類型，需要一種技術(shù)能整合所有異構(gòu)類型，并能按需提供利用。三是需要長期優(yōu)化數(shù)字檔案資源的整合、組織、關(guān)聯(lián)、導(dǎo)航與服務(wù)模式，實現(xiàn)數(shù)字檔案的智能化管理與服務(wù)。傳統(tǒng)存儲技術(shù)已無法滿足數(shù)字檔案海量容量、快速讀取、靈活管控、安全可靠、智能管理的存儲要求。以直連式存儲、存儲區(qū)域網(wǎng)絡(luò)、網(wǎng)絡(luò)附接存儲和對象存儲系統(tǒng)四種傳統(tǒng)存儲技術(shù)為例，它們在數(shù)字檔案共享方面無法解決的技術(shù)壁壘有以下幾點。

2.1 基礎(chǔ)性能差

概括來說，幾種傳統(tǒng)存儲技術(shù)在存儲容量、可擴(kuò)展性、傳輸效率上各有缺陷。直連式存儲的缺點是存儲容量有限，它的存儲設(shè)備是分配給它所連接的計算機(jī)，如果存儲容量需求增加，就需要把更多存儲設(shè)備連接到計算機(jī)，然而受I/O接口的限制每臺計算機(jī)只能連接有限的存儲設(shè)備；存儲區(qū)域網(wǎng)絡(luò)的缺點是可擴(kuò)展性差，其存儲設(shè)備需要建立專用的區(qū)域網(wǎng)絡(luò)，如需擴(kuò)展則要額外購買光纖通道、網(wǎng)絡(luò)設(shè)備和主機(jī)適配卡，建維成本高；網(wǎng)絡(luò)附接存儲的缺點是傳輸效率不穩(wěn)定，其存儲設(shè)備通過標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)連接到一群計算機(jī)上，信息經(jīng)局域網(wǎng)傳輸，但當(dāng)其他應(yīng)用程序使用局域網(wǎng)傳輸時，網(wǎng)絡(luò)附接存儲的傳輸效率會大大降低；對象存儲系統(tǒng)的缺點是存儲對象分散到很多節(jié)點，由于更新不及時不完全會導(dǎo)致獲取的數(shù)據(jù)信息滯后。

2.2 異構(gòu)存儲資源整合存在瓶頸

傳統(tǒng)的存儲技術(shù)每種只能支持一種存儲方式，而不同存儲方式各有優(yōu)勢，需要配合用戶需求綜合利用、智能選擇；文件存儲（NAS）的形式適用于數(shù)據(jù)容量小情況下的資源共享，如高校內(nèi)部相關(guān)部門間進(jìn)行學(xué)籍信息共享、教務(wù)課程信息共享等，其缺點是讀寫速度慢；塊存儲（Mass Storage）的形式類似于主機(jī)內(nèi)置硬盤，優(yōu)點是擴(kuò)容廉價、讀寫傳輸速度快，但進(jìn)行信息資源共享有難度；對象存儲（OSS）綜合了NAS和MS的優(yōu)點并具有良好的擴(kuò)展性，但因其依賴REST調(diào)用，所以使用起來更為復(fù)雜；傳統(tǒng)存儲技術(shù)做不到整合所有的存儲方式，無法集中采集不同存儲方式的優(yōu)點，導(dǎo)致存儲空間孤立造成資源浪費(fèi)，無法統(tǒng)一管理。

2.3 智能性無法滿足

智慧檔案是未來檔案管理的實現(xiàn)目標(biāo)，要實現(xiàn)智慧化、一體化的管理與利用，就要求智慧檔案館各系統(tǒng)實現(xiàn)全面感知、智慧分析、互聯(lián)互通、協(xié)同處置，尤其是數(shù)字檔案共享平臺或數(shù)字檔案數(shù)據(jù)交換中心的數(shù)據(jù)能夠快速讀取、靈活感知、動態(tài)調(diào)整，達(dá)到智能化統(tǒng)籌協(xié)調(diào)的目的。傳統(tǒng)的存儲技術(shù)無法滿足數(shù)字檔案共享中檔案管理利用智能化的需求，需要實現(xiàn)技術(shù)的升級換代。

3 軟件定義存儲技術(shù)在數(shù)字檔案共享中的應(yīng)用探索

3.1 軟件定義存儲技術(shù)概述

軟件定義存儲（Software Defined Storage）的誕生解決了傳統(tǒng)存儲技術(shù)的不足。官方尚未明確定義軟件定義存儲，因此它更是一種存儲理念，即在任何存儲上運(yùn)行的應(yīng)用都能夠在用戶定義策略的驅(qū)動下自動工作。事實上，在不少對信息化感知靈敏的行業(yè)中，虛擬化技術(shù)已經(jīng)逐步深入系統(tǒng)架構(gòu)后端，從服務(wù)器虛擬化向存儲虛擬化延伸。在檔案行業(yè)，應(yīng)用軟件定義存儲技術(shù)可以解決數(shù)字檔案共享中的技術(shù)難點。

3.2 軟件定義存儲技術(shù)的技術(shù)特性與應(yīng)用優(yōu)勢

從目前全國檔案部門的情況來看，一方面全國沒有統(tǒng)一的檔案信息管理軟件可供選擇，各地檔案館根據(jù)自身需求依靠有關(guān)公司力量進(jìn)行平臺軟件開發(fā)與維護(hù)，這樣不僅嚴(yán)重浪費(fèi)資源，而且檔案軟件開發(fā)效率低下；另一方面檔案管理軟件標(biāo)準(zhǔn)不統(tǒng)一，各地檔案館選擇自認(rèn)為符合標(biāo)準(zhǔn)的軟件應(yīng)用于檔案信息化和檔案數(shù)字化工作，由于一個地方的檔案館和單位使用不同公司開發(fā)的管理軟件，存在標(biāo)準(zhǔn)不統(tǒng)一、維護(hù)工作沒有跟進(jìn)的問題，造成檔案數(shù)據(jù)對接不暢，有的地方檔案數(shù)據(jù)在遷移時甚至?xí)霈F(xiàn)差錯或者丟失。各地在開展檔案數(shù)字化掃描工作中，由于追求速度以及節(jié)約成本，檔案數(shù)字化采用的格式也不同，有的為雙層PDF格式，有的為JPG、GIF格式。研究軟件定義存儲技術(shù)可以為打造適應(yīng)未來發(fā)展需要的數(shù)字檔案存儲體系提供理論參考，并為推動數(shù)字檔案共享和檔案信息化建設(shè)提供技術(shù)支撐。

3.2.1 存儲虛擬化或資源池化

軟件定義存儲技術(shù)的顯著性能在于實現(xiàn)存儲虛擬化或資源池化，它將各種存儲資源虛擬化，并有效集成不同存儲類型的設(shè)備，組成虛擬資源池。具體應(yīng)用在數(shù)字檔案共享領(lǐng)域時，可以利用軟件定義存儲技術(shù)，通過一個網(wǎng)絡(luò)服務(wù)平臺如數(shù)字檔案共享平臺或數(shù)字檔案信息交流中心等，將各級各類檔案館中的數(shù)字檔案資源集成并存儲在虛擬資源池中。網(wǎng)絡(luò)服務(wù)平臺可以按需（如容量、性能、服務(wù)質(zhì)量、服務(wù)等級協(xié)議等）自動化使用存儲，以解決傳統(tǒng)存儲容量不足的問題。

3.2.2 開發(fā)“元數(shù)據(jù)”訪問接口

軟件定義存儲技術(shù)的存儲資源池中涵蓋主流的存儲類型，如SAN存儲、NAS存儲、對象存儲等。利用軟件定義存儲的資源池化技術(shù)可以開發(fā)分布式數(shù)據(jù)訪問接口，接口以“元數(shù)據(jù)”為基礎(chǔ)，“元數(shù)據(jù)”與不同的存儲類型相互轉(zhuǎn)換，在不改變當(dāng)前數(shù)據(jù)定義與存儲結(jié)構(gòu)的基礎(chǔ)上，實現(xiàn)資源相互轉(zhuǎn)換。應(yīng)用在數(shù)字檔案共享領(lǐng)域時，軟件定義存儲為異構(gòu)的檔案信息存儲類型開發(fā)基于“元數(shù)據(jù)”的分布式訪問接口，這樣就解決了數(shù)字檔案共享中存儲類型與接口難以管理利用的缺點，從而打破各個檔案館之間的信息壁壘，使信息在各個檔案館之間實現(xiàn)互聯(lián)互通，有效解決信息孤島的問題。

3.2.3 數(shù)據(jù)中心智能管理

智慧檔案館是未來檔案行業(yè)的發(fā)展方向，智能性要求須體現(xiàn)在檔案收集（征集）、整理、保管、鑒定、統(tǒng)計和利用的整個流程。數(shù)字檔案資源管理因海量、復(fù)雜、變化大等特征，人工已經(jīng)無法勝任，必須要實現(xiàn)資源的自動化管理，無需人工干預(yù)。軟件定義存儲集成3rd云化管理平臺，可以利用分析技術(shù)、分類技術(shù)和機(jī)器學(xué)習(xí)，對整個數(shù)字檔案共享中心內(nèi)的檔案資源進(jìn)行配置，實現(xiàn)整個數(shù)據(jù)中心資源的協(xié)作管理。同時軟件定義存儲與軟件定義網(wǎng)絡(luò)、軟件定義計算、軟件定義管理和軟件定義安全結(jié)合起來，形成軟件定義數(shù)據(jù)中心，為數(shù)字檔案共享提供更高級的智能化管理。

3.2.4 硬件自主和軟硬件分離

軟件定義存儲與傳統(tǒng)存儲最大不同在于軟硬件分離，軟件定義存儲以工作負(fù)載為核心，虛擬池自動配置資源，而傳統(tǒng)存儲以硬件為核心，數(shù)據(jù)中心依賴設(shè)備。軟件定義存儲既支持通用硬件也支持專用硬件的既有功能增強(qiáng)，還可以共用共享平臺提供的基礎(chǔ)設(shè)施。軟件定義存儲技術(shù)打破了服務(wù)器訪問限制，不用大投入購買指定存儲硬件或更高級別的相關(guān)硬件，可以減少投入、節(jié)約資源、提高效率。

3.2.5 雙區(qū)域異地備份技術(shù)

傳統(tǒng)存儲技術(shù)將數(shù)據(jù)信息備份在檔案館的自有服務(wù)器上，如果管理不當(dāng)或發(fā)生不可預(yù)見的災(zāi)害，將會導(dǎo)致服務(wù)器損毀，數(shù)字檔案信息的安全性得不到保障，更不用奢談維持日常的管理和利用服務(wù)了。而在軟件定義存儲技術(shù)下，數(shù)字檔案資源是虛擬化的，在劃分資源區(qū)域時每兩個區(qū)域備份對方所有的數(shù)字檔案信息，一旦某個區(qū)域發(fā)生意外，可以立即轉(zhuǎn)移到另一區(qū)域訪問，或從另一區(qū)域中恢復(fù)。所以軟件定義存儲技術(shù)在不額外增加備份設(shè)備的基礎(chǔ)上，實現(xiàn)數(shù)據(jù)備份和容災(zāi)措施，避免因地震、火災(zāi)等不可抗因素造成的數(shù)字檔案資源毀壞，有效保證數(shù)字檔案資源的信息安全。

4 軟件定義存儲技術(shù)為數(shù)字檔案共享“奠基”

傳統(tǒng)存儲技術(shù)無法兼顧數(shù)字檔案共享需要的各項技術(shù)要求，而基于云存儲的軟件定義存儲技術(shù)為解決各類技術(shù)難點提供了方案。中國IMT-2020(5G)推進(jìn)組組長、中國信息通信研究院副院長王志勤表示，軟件定義存儲技術(shù)可以打破傳統(tǒng)存儲系統(tǒng)由于軟硬件緊耦合造成的系統(tǒng)割裂狀態(tài)，實現(xiàn)異構(gòu)存儲資源的整合。在信息大爆炸背景下，軟件定義存儲可使用舊的各類存儲設(shè)施，同時運(yùn)用分布式處理技術(shù)，最大化的增強(qiáng)系統(tǒng)存儲空間，提高系統(tǒng)的擴(kuò)展性與靈活性，節(jié)約成本并實現(xiàn)資源的集中統(tǒng)一管理。

雖然目前軟件定義存儲技術(shù)還處于初級階段，有許多問題需要解決，如版權(quán)、標(biāo)準(zhǔn)、技術(shù)等，但是其必定成為科技領(lǐng)域的又一次革命。在HypeCycle報告中[4]，預(yù)測5到10年會大規(guī)模應(yīng)用軟件定義存儲技術(shù)。軟件定義存儲是存儲技術(shù)發(fā)展的必經(jīng)之路，利用軟件定義存儲的擴(kuò)展靈活、接口豐富、數(shù)據(jù)路徑多、軟硬件分離、自動存儲管理、服務(wù)分級管理、建維成本低等優(yōu)勢，探索數(shù)字檔案共享建設(shè)模式，包括資源管理與調(diào)度、策略配置、認(rèn)證授權(quán)、壓縮加密、性能監(jiān)控、系統(tǒng)維護(hù)、備份恢復(fù)等，是我們加快數(shù)字檔案資源共享建設(shè)、改變檔案資源獲取和傳播方式的一個技術(shù)捷徑，必須高度關(guān)注，認(rèn)真追蹤研究。