基于Hadoop系統的數字檔案館建設研究

文/海南醫學院 云雅

在我國的數字化檔案管理研究中，數字化檔案館建設占據著十分重要的位置。而在新型數字檔案館建設中，以Hadoop系統為代表的數據處理技術發揮著重要作用。為此2016年海南省哲學社會科學規劃課題“基于分布式系統的檔案資源集成平臺模式研究”【項目編號：HNSK（ZC）16-47】，并將其研究成果應用于數字化檔案館建設中，為新型數字化檔案建設提供技術理論支持。

一、新型數字檔案館技術特征

與傳統的數字檔案館相比較，新技術的應用是新型檔案館的主要特征。而在檔案館系統建設中，其主要的新技術包括了以下幾類：

（一）Hadoop系統技術。在新型數字化檔案館系統建設中，Hadoop技術的應用極為廣泛。Hadoop系統的應用主要是由于其具有HDFS數據儲存與MapReduce數據處理兩個主要系統。這兩個系統在檔案管理中可以發揮高效的儲存與管理作用。在檔案信息管理中，HDFS系統具有海量數據存儲作用，實現PB級別數字檔案的儲存；而MapReduce則是一個高速的數據處理系統，實現了檔案信息數據的高速處理。在實際的Hadoop系統實踐應用中，其主要優勢包括了較高的可靠性、系統存儲與處理的高擴展性與錯容性、數據處理的高效性以及較低的計算成本等諸多優勢，因此在數字檔案館建設技術支持中得到了廣泛應用。

（二）云技術的應用。在新型數字檔案館建設中，云技術是其數字化建設的重要組成部分。單就目前的建設過程而言，與Hadoop系統配合的云技術主要包括了云計算、云儲存以及與共享體系三個主要內容。1.云計算技術。在當前的云技術研究中，云計算技術是依托互聯網資源池，利用網絡資源開展的一種計算模式。目前應用中較為常見的云計算模式包括了公有云、私有云以及混合云三種形式。在三種云計算模式中，私有云計算因其具有的可靠性與安全性能高、數據計算可擴展性能強、系統計算服務成本低以及較強的管理性能，已經成為新型數字檔案館采用的主要云計算模式。2.云存儲。云存儲技術是一種整合網絡資源，形成的云平臺數據存儲與管理的計算服務系統。與傳統儲存技術相比較，這種技術具有接近無限的存儲空間以及較高的數據存儲安全性，對于大數據支持下數據存儲量極大地數字化檔案館可以起到很好的數據存儲作用。3.云共享體系。在當前的數字化檔案館建設中，檔案資源的網絡共享已經成為檔案館建設的重要內容。因此利用云平臺建設高效安全的檔案云共享體系，就成為檔案館建設技術研究者的重要研究內容。

二、數字檔案館建設技術應用

在數字化檔案館建設中存在的主要問題是如何解決內容復雜、數量龐大的各類照片、視頻、電子公文、網頁等文件，并將其進行有序的整理，進而實現檔案的存儲、借閱、共享等各項功能。在這些問題的解決過程中，技術人員應利用Hadoop分布式技術，將檔案館中所需的海量數據信息利用MapReduce系統處理后，再將數據信息存儲到可擴展分布式數據庫中，進而為檔案館建立一個與云平臺合作的檔案管理系統。

（一）檔案館網絡平臺架構總體建設。在檔案館數字化網絡平臺的建設中，其網絡基礎平臺應由多個數據服務器集群組成，其中的核心系統包括了以下幾個主要部分：一是數據檔案館Web服務器。二是檔案信息存儲使用的數據存儲服務器。三是應對檔案突發事故的容災備份服務器。四是Hadoop系統自帶的集群服務器。其中Hadoop集群服務器在網絡平臺構建中可以起到以下三個作用：首先是可以滿足檔案信息數據增加以及應用需求復雜變化性。其次是實現網絡平臺的擴展性。最后是實現網絡平臺用戶的透明度。這個整體平臺的建設，是數字檔案館數字建設的基礎。

（二）檔案數據管理平臺系統設置。在數字檔案館數據管理平臺建設中，其系統包括了數據存儲、數據管理以及應用和接口三個主要系統。1.檔案數據存儲硬件設備。在當前的數字化檔案數據存儲中，硬件數據存儲設備（物理硬盤）依然較為常見。這種設備在數字化檔案管理中具有穩定、廉價的特征，主要用于儲存檔案館自身數字轉化為檔案內容，如文化掃描后的文件、數字化后的視頻音頻文件等。2.網絡平臺的數據管理。數字檔案館除了自身的硬件數據庫外，有云平臺提供的海量數據存儲處理也是其重要的數據管理內容。在這一管理搭建中，Hadoop系統的作用包括了以下兩個主要組成部分：一是通過HDFS系統的海量存儲優勢，完成對云平臺挖掘數據的儲存。二是通過MapReduce、Hbase、Hive、Pig、ZooKeeper等系統，對儲存的數據進行分析處理，完成數據的管理過程。3.系統的應用與接口系統。這一系統主要是負責系統操作應用，系統與云平臺的連接等工作，因此其直接面向檔案使用者。主要的使用功能包括檔案信息數據的歸檔、檔案檢索讀取、云平臺的信息共享等界面操作。同時在運行中還需要負責控制者控制權限認定、身份認證以及相應軟件設計算法接口等工作。

（三）系統功能構建。在Hadoop支持下的檔案管理系統的核心是其云存儲平臺。因此這一平臺系統的功能設置也是檔案系統構建的主要內容。在功能系統構建中，其主要的功能模塊包括以下幾點：1.用戶管理功能設置。這一功能主要包括以下幾個內容：一是檔案管理與使用用戶賬號注冊。二是用戶登錄以及用戶身份認證。三是用戶檔案使用與管理權限設置。四是檔案管理者與用戶相互間的通信管理等，都是用戶管理功能設置的主要內容。2.檔案信息數據管理功能。這類功能主要包括管理者與使用者信息數據上傳與下載功能；信息數據的刪除、恢復、備份功能等。3.系統的集群管理功能。這一功能主要是對系統集群的狀態、節點與任務等進行管理。同時管理功能還對云平臺中的網絡日志以及數據處理日志開展保存與分析處理，確保其網絡功能正常。

（四）云功能。在信息數字檔案館技術設計中，云功能的實現是其重要的技術支持。在云功能設置中，其主要功能包括以下幾個主要組成部分：1.數據挖掘技術的應用。在新型檔案館設置中，云功能支持下的數據挖掘技術是檔案館海量數據形成的基礎。在數據挖掘技術的支持下，檔案館館藏檔案的數量、類型都遠遠高于傳統數字化檔案館。2.云共享功能。檔案在云平臺的共享是新型檔案館的主要功能。而在Hadoop系統支持下，檔案資料在云平臺的共享得到了有效的實現。

（五）檔案管理的安全功能。檔案安全管理是檔案管理的重要組成部分，也是檔案管理平臺構建的核心功能。在實際使用中，Hadoop雖然具有穩定性，但是其安全性能較差。因此檔案系統設計者應在系統計算機與云安全兩個層面做好安全管理功能設置。1.管理者與用戶身份鑒別功能。主要是通過口令授權、秘鑰、數字證書等方式，進行組合用于鑒定管理者、用戶的管理與檔案使用級別，進而保障檔案管理的安全性。2.安全日志管理。主要通過對系統中的安全日志管理分析，進而對系統安全事件開展預警工作。3.備份與恢復功能。主要是對檔案數據開展自動備份，繼而在數據損壞或遺失的情況下及時恢復，保障檔案數據的完整。4.密碼設置。主要是針對保密級別的檔案設置保護密碼，確保密級檔案安全。

三、結束語

在當前的數字化檔案館建設中，Hadoop系統與云平臺的有效結合，發揮著重要的技術支持作用。因此我們以Hadoop系統為核心，結合云平臺與軟件系統開展了數字化檔案館管理系統研究，為檔案技術發展提供有效支持。