基于Hadoop技術(shù)的云存儲平臺的構(gòu)建

陳克明

（1.東華大學(xué) 研究生院，上海 200051；2.新余學(xué)院 數(shù)學(xué)與計算機學(xué)院，江西 新余 338000）

基于Hadoop技術(shù)的云存儲平臺的構(gòu)建

陳克明1，2

（1.東華大學(xué) 研究生院，上海 200051；2.新余學(xué)院 數(shù)學(xué)與計算機學(xué)院，江西 新余 338000）

隨著企業(yè)用戶所需存儲的臨時文件數(shù)量不斷增加，目前所有的文件存儲設(shè)備已經(jīng)沒有辦法滿足企業(yè)業(yè)務(wù)的需求。針對這個問題，筆者提出了以Hadoop技術(shù)為基礎(chǔ)，構(gòu)建企業(yè)云存儲平臺的概念，并通過Linex集群技術(shù)與云計算框架等技術(shù)來最終完成大量數(shù)據(jù)的存儲。云存儲平臺主要適合應(yīng)用在關(guān)鍵業(yè)務(wù)中以及企業(yè)事務(wù)的在案處理。云存儲平臺能夠滿足企業(yè)隨著業(yè)務(wù)增長而不斷變化的需求，數(shù)據(jù)規(guī)模更加容易擴展。

Hadoop技術(shù)；云存儲平臺；云計算

隨著社會需求的不斷變動，云計算受到了越來越多的關(guān)注，廣大學(xué)者及專業(yè)人士對其的研究也日漸增多。云計算可以看作是計算機科學(xué)概念應(yīng)用于商業(yè)的一大成果。其之所以受到了大多數(shù)人的重視是因為它具備為使用者提供低價且無限制的存儲功能。在未來，存儲模式會面臨極大改變，不需要將數(shù)據(jù)存放在硬盤里，而是將其放置于云存儲器中，并且所包含的計算與處理全部可在云服務(wù)器中完成。這樣既可以減少企業(yè)所需投入的資金，又能夠幫助企業(yè)處理大訪問量，推動存儲服務(wù)升級，讓數(shù)據(jù)信息得到更加安全且高效率的管理。因此，云計算越來越受到企業(yè)的重視，并且未來還將繼續(xù)發(fā)展。本文分析了云計算的架構(gòu)以及Hadoop的主要工作原理，并進一步分析和闡述了以Hadoop技術(shù)為基礎(chǔ)來構(gòu)建云存儲平臺的方法。

1　云計算

云計算所指的是網(wǎng)格計算、分布式計算、并行計算等多項傳統(tǒng)的計算機技術(shù)與網(wǎng)絡(luò)技術(shù)相互融合之后所出現(xiàn)的新事物。云計算能夠利用網(wǎng)絡(luò)，將幾個成本較低的計算實體整合，使其擁有更加強大的計算能力，再利用SaaS，PaaS，IaaS這些比較科學(xué)的商業(yè)模式讓計算能力分布到每一個終端中。云計算的主要目標(biāo)就是不斷地提升云計算能力，以這種方式來降低終端處理數(shù)據(jù)時的壓力，使用戶終端變成一個簡單的負責(zé)輸入與輸出的設(shè)施，并能夠使用云計算的能力。也就是說，使用者僅要做的就是輸入與輸出，復(fù)雜的計算工作全部都由云存儲平臺去完成，并且使用者能夠按需來設(shè)定“云”所包含的內(nèi)容。

2　云計算的體系結(jié)構(gòu)

在云計算體系結(jié)構(gòu)中，使用者的所有操作都是通過云來實現(xiàn)的，根據(jù)不同的需求來訪問不同的系統(tǒng)。在這個過程中，使用者不需要在計算機中安裝其他軟件，數(shù)據(jù)一樣能夠存儲到云服務(wù)器之中。圖1是云計算體系的結(jié)構(gòu)，每一個部分在體系中所負責(zé)的模塊與其所展現(xiàn)的能力也是不相同的。

圖1　云計算體系結(jié)構(gòu)

用戶端：使用者與云交接的界面，使用者通過用戶端來連接云端，并發(fā)出需求指令。

服務(wù)目錄：展現(xiàn)使用者所能夠操作的所有項目，使用者能夠通過項目目錄來操作。

系統(tǒng)管理：管理讓計算機能夠獲得不一樣的資源，保證計算機互相之間的合理運行。

配置工具：使用者可以通過這個模塊來挑選目前的節(jié)點，并且根據(jù)自身需求的不同，配置不一樣的運行環(huán)境。

監(jiān)控：主要職責(zé)是對云系統(tǒng)中所有資源的實際情況進行監(jiān)控，保證云系統(tǒng)之中的所有信息資源都能獲得最為科學(xué)合理的配置。

服務(wù)器集合：云系統(tǒng)中所有服務(wù)器集合。

在這個體系中，使用者能夠在用戶端直接瀏覽服務(wù)目錄并挑選適合自己需求的項目，在服務(wù)請求驗證完成之后，系統(tǒng)管理會迅速找到使用者所要的資源；使用者在服務(wù)目錄中選擇了某項服務(wù)之后，這一請求會反饋給系統(tǒng)管理，隨后就由系統(tǒng)管理來選擇最佳的服務(wù)器節(jié)點，并利用配置工具來給使用者創(chuàng)造運行環(huán)境。

3　Hadoop分布式計算開源框架

Hadoop是屬于Apache之下的，主要是由HDFS，MapReduce，HBase等多個項目組成。Hadoop能夠分為兩個部分，分別是HDFS與MapReuce變成模式。HDFS是Google GFS的開源版本的實現(xiàn)，HDFS擁有較高的容錯度，并且可以提供較高吞吐量的訪問量，適用于存儲數(shù)據(jù)量龐大的文件。

NameNode主要需要做的是保證集群內(nèi)元數(shù)據(jù)的完整，將集群內(nèi)全部元數(shù)據(jù)都保存至NameNode之中，還可以負責(zé)創(chuàng)建與刪除等其他工作。DataNode所需要做的主要是保存具體數(shù)據(jù)，當(dāng)有新的讀寫請求時，DataNode要及時給予反應(yīng)。NataNode會定期朝NameNode傳輸心跳信息，而NameNode通過對心跳作出反應(yīng)，憑借這個來實現(xiàn)對DataNode的控制。

4　基于Hadoop技術(shù)的云存儲平臺的構(gòu)建

HDFS擁有較高的容錯率與吞吐量，這樣的特點讓HDFS能夠以比較低廉的價格讓體積比較大的文件存儲在普通的集群中。HDFS在企業(yè)的私有云存儲平臺之中所處的層次為底層，屬于分布式文件系統(tǒng)，其主要作用是處理一些體積較大的文件存儲。雖說如此，HDFS系統(tǒng)結(jié)構(gòu)并不適用于小型文件的處理與存儲，一般是把HDFS當(dāng)作對象輸出存儲的容器，并在HDFS的上層來建設(shè)抽象層，以這樣的方式來為使用者提供存儲功能。基于Hadoop的企業(yè)私有云存儲架構(gòu)的基本模型如圖2所示。

圖2　基于Hadoop的云存儲架構(gòu)模型

模型是由圖2中多個模塊所共同構(gòu)建而成的。在這個模型之中，對象訪問接口層需要做的主要是給外面供應(yīng)API接口，以此來保證上層的云應(yīng)用可以正常運作，不僅如此，還同時供應(yīng)了REST，SOAP與HTTPS這幾項，讓網(wǎng)絡(luò)文件能夠做到共享。對象元數(shù)據(jù)存儲層是在HBase上完成的，主要的職責(zé)是對象數(shù)據(jù)創(chuàng)建、查詢等不同業(yè)務(wù)，通過HBase能夠讓系統(tǒng)的擴展性與可靠性得到一定程度的提高。對象實體數(shù)據(jù)存儲是以HDFS為基礎(chǔ)的，讓對象數(shù)據(jù)與歸檔文件可以得到科學(xué)合理的儲存。數(shù)據(jù)歸檔管理層的主要功能是可以將零散且較小的文件歸檔成功，不僅如此，還能夠科學(xué)合理地處理一些已經(jīng)失效的磁盤，清空出容積，保證回收的正常進行。

對象訪問接口層有較為重要的Web接口，它所需要負責(zé)的主要模塊就是要為云端的應(yīng)用提供最為關(guān)鍵且重要的訪問接口?；贖adoop的云存儲架構(gòu)，可以保證外部不同的應(yīng)用利用接口成功地的與對象元素進行創(chuàng)建與查詢等多項能力。

對象元素存儲層所依靠的是HBase開源架構(gòu)，以此來實現(xiàn)具體的管理操作與其它功能。HBase只能利用主鍵與range來完成對數(shù)據(jù)的檢索，只能進行單行事務(wù)。這個模型的對象元數(shù)據(jù)存儲層總共有3張表，表1是用來存儲對象元數(shù)據(jù)索引信息的索引容器表，表2主要是表達對象元數(shù)據(jù)信息表及對象元數(shù)據(jù)的索引表，表3是表達用戶刪除失效的數(shù)據(jù)的表。對象元素存儲層通過控制保護這3張表格來實現(xiàn)不同的具體功能。當(dāng)訪問層獲取到創(chuàng)建數(shù)據(jù)這一新的請求時，系統(tǒng)就會自動訪問索引容器表，獲取實際的容量，如果容量不夠，那么將會創(chuàng)建出一條全新的索引容器記錄。在完成查詢之后，就會將對象元數(shù)據(jù)信息轉(zhuǎn)移到對象元數(shù)據(jù)的索引表之中，并且對索引容器表的實際容量進行更新，然后將對象元數(shù)據(jù)存儲至HDFS的文件系統(tǒng)之中。當(dāng)刪除數(shù)據(jù)這一請求發(fā)出去后，系統(tǒng)將進行查詢，檢測這一訪問是否合法，并且在查詢后刪除對象元數(shù)據(jù)的索引信息，并且這時還會增加一條刪除的歷史記錄，在這之后會立即更新索引容器的具體容量。而當(dāng)進入歸檔周期中時，系統(tǒng)則自動刪除存在于HDFS文件系統(tǒng)中的對象元數(shù)據(jù)。

數(shù)據(jù)歸檔管理層主要負責(zé)的工作是定期完成MapReduce任務(wù)，保證對象實體數(shù)據(jù)的歸檔等操作可以順利完成。系統(tǒng)會按時向?qū)ο笤獢?shù)據(jù)信息表來進行掃描與檢索，對沒有歸檔的數(shù)據(jù)信息進行記錄與統(tǒng)計，依照歸檔文件的大小對數(shù)據(jù)信息編排分組。分組工作完成之后，就需要將全部這些分組內(nèi)的對象文件集合進同一個文件中，并且會立即刷新相關(guān)對象元數(shù)據(jù)信息表之中的各項信息。

表1　索引容器表

表2　對象元素數(shù)據(jù)索引

表3　已刪除對象元數(shù)據(jù)

5　結(jié)語

云計算的出現(xiàn)讓互聯(lián)網(wǎng)擁有了更加多樣且實用的應(yīng)用，云數(shù)據(jù)存儲技術(shù)的出現(xiàn)和數(shù)據(jù)管理技術(shù)讓人們的日常生活與業(yè)務(wù)辦公變得更加便利。本文基于Hadoop技術(shù)，構(gòu)建了一個比較簡單的云存儲系統(tǒng)，讓云系統(tǒng)中的數(shù)據(jù)存儲變得更加快捷簡單。本文所構(gòu)建的系統(tǒng)仍存在一些不足之處，在日后會作出相應(yīng)的改進，讓云存儲平臺能夠更好地為人類的生活與工作服務(wù)。

［1］曹英忠，謝曉蘭，趙鵬.基于Hadoop的云存儲實踐［J］.現(xiàn)代計算機，2011（24）：25-27.

［2］張建，耿煥同，路有兵.一種基于Hadoop的云運維監(jiān)控模型設(shè)計與實現(xiàn)［J］.計算機與現(xiàn)代化，2012（6）：191-194，199.

［3］SHADI I，TIEN D P，ALEXANDRA C A，et al.Governing energy consumption in Hadoop through CPU frequency scaling：An analysis［J］.Future Generation Computer Systems，2016（103）：1332-1336.

Construction of Cloud Storage Platform Based on Hadoop Technology

Chen Keming1，2
（1.Graduate School of Donghua University， Shanghai 200051， China； 2.School of Mathematics and Computer Science，Xinyu University， Xinyu 338000， China）

With the number of temporary files the business users need stored is constantly increasing， now all of the files storage device has no way to meet the needs of the enterprise business. Aiming at this problem， the author puts forward the concept of constructing enterprise cloud storage platform based on Hadoop technology.And making use of the Linex cluster technology and cloud computing framework and other technologies to finally complete the large number of data storage. Cloud storage platform is mainly suitable for application in key business， as well as business affairs in the case of processing. Cloud storage platform can meet the needs of enterprises with business growth and changing， data size is more easy to extend.

Hadoop technology； cloud storage platform； cloud computing

陳克明（1979— ），男，江西上饒，博士研究生，副教授；研究方向：云計算與大數(shù)據(jù)。