基于云存儲的精品資源共享模式研究

陳旭文，吳永娜

(揭陽職業技術學院信息工程系，廣東 揭陽522000)

隨著網絡技術和通訊技術的迅猛發展，精品課程、網絡課程等精品資源共享模式受到廣大師生的青睞，用戶通過移動終端(如手機、ipad等)或電腦便可快速訪問，進行自主學習，精品資源共享成為各高校教學改革不可或缺的一大要素。然而，在精品資源共享推廣過程中，傳統多服務器模式存在很多弊端，如:(1)資源多、種類雜。共享資源的課程門數繁多、種類豐富，包括視頻、圖片、音頻、動畫、文檔等，沒有統一科學的管理方法很容易造成數據混亂，在缺乏統籌的管理模式下，校園網中大量重復資源造成了極大浪費;(2)設備投入多、異構性強 傳統單服務器共享模式下，設備投入是解決需求增長和設備老化最簡捷的方法。遞增式設備建設環境下，前期購置和后續增加設備的資源異構性給管理員增添了不少麻煩，而對設備需求增長趨勢預測的判斷錯誤也常造成不少資源的浪費;(3)設備復雜、管理開銷大在傳統模式下，管理員需要管理多種不同設備，而不同設備具有不同管理方案和維護方式，由于設備數量多、異構性強及地理位置分散等特點，大大增加了管理員的維護難度和人員開銷。

因此，高校精品資源共享急需一種集中統籌的管理模式進行資源整合，從而提升效率。云存儲作為一種新型的數據服務模式，專注于解決海量數據的存儲挑戰［1］。本文通過分析高校傳統資源共享模式，結合云存儲技術，提出一種新型高效的資源共享模式。

1 云存儲技術

云存儲(Cloud Storage)伴隨著云計算產生，專注于解決云計算中海量數據的存儲挑戰，它能夠給云計算提供專業的存儲解決方案，也可以作為存儲服務獨立發布。云存儲利用集群應用、網格技術或分布式文件系統等功能，將網絡中大量不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供統一的數據存儲和業務訪問功能。云存儲的本質是服務，用戶通過簡易終端訪問后，便可享受高速、廉價、便捷、可擴展的Web服務［2］。

1.1 云存儲系統結構模型

云存儲系統結構由訪問層、應用接口層、基礎管理層和存儲層4個層次構成［3］，如圖1所示。用戶在訪問層通過標準的公用應用接口登錄云存儲系統，享受云存儲服務;利用應用接口層，云存儲運營單位可以根據實際業務類型來開發不同的應用服務接口，提供不同的應用服務;作為云存儲最核心部分，基礎管理層通過集群、分布式文件系統和網格計算等技術，實現云存儲中多個存儲設備之間的協同工作，對外提供相同服務及更強大數據訪問性能;存儲層是云存儲最基礎的部分，由數量龐大且地域分布不同的設備構成，各設備彼此之間通過廣域網、互聯網或FC光纖通道網絡連接在一起。從用戶角度來看，本結構可簡化為用戶客戶端和云后臺程序。

圖1 云存儲系統結構圖

1.2 應用云存儲的優勢

運用云存儲虛擬化技術，構建統一的后臺數據管理系統，可解決現有共享模式中存在的關鍵技術問題。

(1)資源整合管理，降低系統成本。云存儲虛擬化技術能將獨立的新老服務器進行整合，統籌管理包括計算、存儲、網絡等資源，再根據服務需求合理分配［4］。在將舊資源變廢為寶的同時，避免因分配不均引起資源浪費及重復投資問題，減少硬件投入，大大降低系統成本。

(2)減少單點故障，增強服務質量。云存儲使用冗余備份技術將文件保存在不同設備、不同位置上，某個硬件設備意外故障時，它能將讀寫請求轉向其它完好設備，保持服務的繼續。另外，傳統系統的定期維護升級造成業務終止問題也可避免:云存儲能將待升級服務器的文件動態遷移至其它服務器，等該服務器更新上線后，再將文件遷移回去。

(3)節約能源，減少運行成本。云存儲可根據業務請求動態分配系統資源，大大降低了傳統單服務器模式下各服務器7×24 h不間斷運行帶來的資源浪費問題。另外，云存儲統一系統管理接口，完全忽略了底層存儲設備的異構性，減少了管理員的工作難度及人員開銷。

2 云存儲在高校資源共享平臺中的應用

資源共享系統從用戶角度可簡化為用戶客戶端和云后臺程序，本文重點討論云后臺系統的存儲架構和系統設計的關鍵技術。

2.1 系統架構

系統采用比較成熟的云存儲架構HDFS(Hadoop Distributed File System，Hadoop分布式文件系統)［5］，基于虛擬化平臺VMware vSphere整合物理機資源構建存儲平臺［6］。系統結構圖如圖2所示。

2.1.1 Web Server服務器 系統采用B/S工作模式，通過Web Server服務器對外提供業務接口。Web Server服務器受理用戶業務請求后，將信息提交給云后臺控制中心Vmware vCenter進行控制處理，并將結果反饋回用戶端。

2.1.2 Vmware vCenter服務器 作為VMware vSphere虛擬化平臺的控制中心，VMware vCenter［7］使用虛擬集群管理應用統一管理VMware ESXS-erver虛擬服務器，建立系統資源池，并進行資源的合理分配。另外，基于VMware vCenter管理平臺建立各種應用服務器系統，可實現高效、安全、節能的功能。

圖2 系統架構圖

2.1.3 Vmware ESX服務器 Vmware ESX服務器直接構建在物理機之上，將物理機的處理器、存儲器、內存、網絡等資源進行整合，抽象到多個虛擬機中，實現云存儲平臺的Iaas構建。虛擬機與物理機實現多對多的映射關系，可以自動開啟及關閉，合理統籌系統資源，減少運營成本。同時，虛擬機有效地屏蔽了底層基礎硬件的異構特征，大大提高服務質量，并為管理維護帶來了極大方便。

2.1.4 物理機 物理計算機是最底層的存儲設備，包括高校現有的各種計算機、服務器，在虛擬機的管理下共同構成一個大規模的數據資源中心。

2.2 系統設計的關鍵技術

2.2.1 多副本備份機制 (1)服務器備份。HDFS客戶端通過Namenode單服務器節點執行文件系統原數據操作，跟蹤文件-文件塊分割、文件塊存儲位置，監督分布式文件系統的整體運行狀態，是整個系統的核心部分，若NameNode出現故障將導致系統崩潰。因此，為提高系統的可靠性，必須為Namenode及各Vmware ESX服務器增加備份服務器，實時保存數據副本，并在相關服務器故障時代替運行，保障系統連貫運作;(2)數據塊冗余備份。HDFS用數據塊存儲文件，數據塊默認大小為64 MB。為增強容錯性能，系統采用冗余備份［8］策略，默認副本數為3，各數據塊存放在多個機架上。分布靈活的副本為服務響應提供了地域優勢，服務器可選擇最近最佳的副本區域快速完成通訊，提升數據傳輸效果。

2.2.2 數據動態遷移 數據動態遷移包括2種情況:主動遷移和備份遷移。當某個存儲服務器要升級軟硬件設備時，HDFS系統自動將其文件動態遷移到其它存儲服務器上，待其更新完成重新上線后，再將文件遷移回去，保證業務連續，為用戶提供無縫不間斷的服務。HDFS系統使用監聽請求和心跳(Heartbeat)檢測等功能監測各數據完整性，當檢測到某數據異常時，則自動為該數據增加備份，確保冗余備份的實現［9］。

2.2.3 負載均衡 HDFS系統的Namenode服務器通過各節點控制器動態收集存儲數據塊的情況，實時掌握各節點的當前狀態，更新資源信息表［10］。在收到業務請求時，通過資源信息表的狀態情況，快速選擇負載輕、網絡響應時間短、讀寫速度快的節點，平衡資源分配，提高系統性能。

2.2.4 低耗節能 云存儲采用節能管理模式，動態為服務分配CPU、內存、存儲等系統資源，杜絕了所有機器不間斷運行問題，大大降低了系統能耗。兩種模式的負載-功耗情況如圖3所示。

圖3 負載-功耗比較圖

3 結束語

基于云存儲的高校資源共享模式，充分整合現有硬件資源，解決了投入大、管理難等問題，為實現一個更高效、節能的服務模式提出了一個全新思路。

(1)基于虛擬化平臺VMware vSphere構建高校資源共享平臺的云后臺存儲架構，解決傳統服務器設備投入大、異構性強的不足，充分整合物理機資源。

(2)應用云存儲技術4個關鍵技術，包括多副本備份機制、數據動態遷移、負載均衡、低耗節能等關鍵技術，解決傳統服務器設備復雜，管理開銷大的關鍵技術問題，并提高系統可靠性，降低系統能耗。

［1］ WANG Cong，REN Kui，LOU Wen-jing，et al.Toward publicly auditable secure cloud data storage services［J］.IEEE Network，2010，24(4):19－24.

［2］ Chen K，Zheng W M.Cloud computing:system instances and current research［J］.Journal of Software，2009，20(5):1337－1348.

［3］ 徐 婧，楊壽保，王淑玲，等.CDRS:云存儲中一種代價驅動的自適應副本策略［J］.中國科學院研究生院學報，2011，28(6):759－767.

［4］ 陳旭文，黃英銘.海量視頻點播系統的云計算技術與建模實現［J］.現代電子技術，2013，36(14):10－16.

［5］ Wbite T.Hadoop，曾大聃(譯).權威指南［M］北京:清華大學出版社，2010.

［6］ 李英壯，廖培騰，孫 夢，等.基于云計算的數據中心虛擬機管理平臺的設計［J］.實驗技術與管理，2011，28(5):1－3.

［7］ 麻書欽.基于VMware虛擬化平臺的信息化校園探討與部署［J］.廣東技術師范學院學報(自然科學)，2012，(3):14－17.

［8］ 田文洪，趙 勇.云計算-資源調度管理［M］.北京:國防工業出版社，2011.

［9］ 吳永發，曾 碧.一種面向移動終端的云存儲方法研究［J］.微電子學與計算機，2013，30(6):48－51.

［10］吳朱華.云計算核心技術剖析［M］.北京:人民郵電出版社，2011.