基于Hadoop云平臺下檔案共享體系的構建

文/海南醫學院 云雅

隨著數字化檔案建設的不斷推進，大數據與云平臺技術在數字檔案體系建設中得到廣泛應用。其中Hadoop系統是當前數字化檔案建設中較為常用的一種數據存儲與處理技術。特別是這一系統技術中的云平臺技術特征，對于數字化檔案管理與應用起到了不可忽視的作用。因此研究者在2016年海南省哲學社會科學規劃課題“基于分布式系統的檔案資源集成平臺模式研究”中，開展了Hadoop云平臺支持下的檔案共享體系構建研究，并將其作為其中研究成果之一，為Hadoop數字化檔案系統建設提供理論支持。

一、檔案云平臺共享遇到的問題與Hadoop應用

在當前的數字化檔案管理中，云平臺共享是其主要的共享模式。但是在實際的云平臺共享過程中，管理者也遇到了部分問題。為了解決這些問題，管理與技術人員采用了Hadoop技術進行了應對處理。

（一）檔案數量與類型龐大復雜。數字化檔案管理與共享是建立在大數據模式下的一種新型檔案管理模式。而大數據技術應用的特點就是數據信息的復雜與龐大。單就數字化檔案管理而言，大數據支持下的檔案無論是數量還是種類都超過了傳統檔案。就數量而言，大數據檔案已經達到了PB級別；就種類而言，數字化檔案內部包括了文字、視頻、圖片、音頻等各種類型。因此更好地處理這些體積龐大、種類復雜的檔案文件，最終實現云平臺共享，就成為了檔案技術研究的重要內容。而在這一過程中，Hadoop系統技術的應用很好地解決了這一問題。主要是因為這一技術具有以下兩個優勢：1.龐大的數據儲存能力。Hadoop系統采用了HDFS存儲系統，可以實現海量的數據信息存儲；而其數據處理系統也是PB級別的處理模式，進而解決了檔案數據龐大的問題。2.集成化數據庫系統的應用。由于Hadoop系統采用的是集成化數據庫系統，因此其數據存儲采用了內部共享模式，可以實現檔案存儲中不同數據庫內容的有效共享，避免出現文件格式間檢索困難的問題。

（二）需求針對性服務共享困難。針對性服務是當前數字檔案服務的主要發展方向，也是技術支持的主要對象。但是在數字化檔案云平臺共享中，如何針對客戶需求開展針對性共享服務一直是技術發展的難題。為了解決這一問題，技術人員結合云平臺共享特征，利用Hadoop系統技術開展了技術應對研究。

（三）數據資源共享問題。隨著大數據時代的來臨，檔案信息資源共享已經不再集中于單一的檔案數據系統，而是建立在云平臺整體環境中。在這一過程中，如何實現不同檔案數據系統資源共享，形成云平臺下的資源共享模式，就成為了檔案共享研究的重要內容。Hadoop系統正是在這一技術要求下，由谷歌開發研制的一個具有較強伸縮性，同時運行穩定的數據系統。因此在這一系統運行中，既可以通過云平臺與其他檔案系統形成大數據交換，同時完成高效的數據處理過程，形成穩定的檔案資源共享。

二、Hadoop系統支持下的檔案云平臺共享設計

Hadoop系統技術的應用對于檔案資源的云共享平臺建設起到了重要的技術支持作用。為此技術人員以Hadoop系統為基礎，開展了共享平臺設計。

（一）系統功能框架設置。在共享系統設計開始前，設計者首先需要根據共享要求設置其基本功能子系統，形成Hadoop平臺的云服務的整體框架。在實際的檔案共享系統中，其基本功能系統包括了以下幾個組成部分：一是系統控制功能。二是檔案信息存儲系統。三是檔案文件資源共享系統。四是檔案查找與使用權限管理系統。五是安全以及檔案資源備份與恢復系統等功能系統。在這些功能系統的設置中，技術人員的主要工作包括了以下幾個內容：1.系統設置中首先需要通過Hadoop系統對已有各數據庫內的數字檔案信息進行整合。2.通過MapReduce處理技術將已有的資源集中到云平臺服務架構中進行管理，實現云平臺下的檔案資源的儲存與分析處理。3.建立網絡與單機并存的控制系統，進而在網絡平臺與控制主機都可以實現全部檔案資源的讀寫、查詢、備份恢復等功能。4.對于具有保密性質或涉及個人因素的檔案內容，系統需要利用秘鑰與口令設置管理權限，避免檔案泄密問題的出現。5.根據系統保密等級，為網絡云平臺系統設置相對應的安全管理權限，確保云平臺中檔案安全性。

（二）設計主要流程。檔案共享平臺設計中，技術人員需要根據Hadoop系統中的數據與文件處理方式合理設置設計流程，進而確保共享平臺使用的合理性。在系統設計中其主要的流程包括了以下幾點：1.存儲功能設置。在云平臺共享系統中，Hadoop采用的是自身攜帶的HDFS系統。在實際應用中這一系統使用的是抽象化的塊存儲結構。這種結構使得系統存儲不會受到云平臺中任何節點磁盤大小的限制，極大地提高了檔案數據信息儲存數量。在實際的存儲設置中，為了提高檔案數據管理的有序性與安全性，實現Hadoop高效的錯容功能，其元數據信息與文件塊應采用分開存儲模式。同時在HDFS數據儲存中，設置者應建立默認文件復制狀態，并將復制文件儲存在儲存集群不同節點上。這種復制文件儲存模式可以在云平臺某個節點故障文件遺失的情況下，利用NameNode獲取元數據信息，進而確保檔案元數據安全。2.檔案讀取功能設置。在檔案云平臺讀取中，Hadoop主要是通過讀取NameNode中存儲的編輯日志與鏡像空間內容，獲得檔案內容。因此在功能設置中，技術人員人員應確保系統啟動過程中，NameNode可以在動態狀態下重建以上信息，進而確保檔案讀取者可以可以通過NameNode得到所需的元數據信息，進而通過節點獲取到檔案文件。同時在云平臺檔案數據讀取中，一般都是采用Java Api接口，利用Java.net.URL打開所需數據流，最終通過Filesystem指定路徑對象，完成檔案的讀取與重載控制。3.文件查詢功能設置。Hadoop支持下的檔案云平臺是通過HIVE數據倉庫中的Java Api接口完成所需的查詢工作。這一查詢功能主要包括了原屬信息、文件目錄結構以及檔案目錄匹配等各種查詢功能。其主要的查詢方法設置包括了以下幾類：一是檔案元數據查詢，主要是利用Filestatus進行操作。二是列出目錄文件信息查詢，主要是利用liststatus方法進行操作。三是通過日志文件，利用大數據挖掘模式對云平臺海量數據進行目錄篩選查詢。4.訪問權限功能設置。從Hadoop2.0系統開始，系統中增加了全新的安全與授權機制（Simple和Kerberos）。因此管理者可以根據檔案的安全級別，建立起相應的安全訪問授權功能。如金融檔案等具有較高隱私性、保密性的檔案管理中，系統超級管理員都應具有設置訪問權限的權利與職責。一般訪問者檔案使用權限包括了查閱、拷貝、修改等不同內容。同時對于訪問安全要求較高的檔案內容應設置訪問者的專用秘鑰或授權令牌，確保云平臺下檔案的安全性能。

三、結束語

隨著Hadoop系統在檔案云平臺管理中的不斷應用，其在檔案共享中的技術支持作用越來越明顯。因此系統設置研究者，結合檔案云共享平臺中的儲存、讀取、查詢以及安全授權四個主要功能，開展了Hadoop支持下的系統體系構建研究。