基于數據虛擬化技術的高校云數據中心構建

羅偉雄　曾紀霞　時東曉

摘要：針對高校在信息化建設過程中各種業務系統未能實現數據共建共享、信息孤島越來越嚴重的問題，提出一種使用數據虛擬化技術構建高校云數據中心的方法。闡述了使用服務器虛擬化、存儲虛擬化和網絡虛擬化技術構建硬件平臺層的方法，分析了數據存儲層架構及數據共享方式，介紹了數據虛擬化層的結構以及邏輯實現方法，詳細分析了應用接口層的實現原理和服務架構，以及在安全方面需要注意的問題。通過數據虛擬化技術構建的云數據中心，能夠對各種業務系統產生的數據進行整合、抽象，定義出新的數據對象，并以安全、可靠的方式提供給上層應用使用，解決了大數據環境下的數據融合問題。

關鍵詞：大數據；數據虛擬化；云計算；數據融合；數據共享

DOIDOI：10.11907/rjdk.172615

中圖分類號：TP392

文獻標識碼：A文章編號文章編號：16727800（2018）003019404

英文摘要Abstract：In the course of information construction in universities， it is more and more serious that all kinds of business systems fail to realize data sharing and construction， and the information islands are becoming more and more serious， a method of using data virtualization technology to construct university cloud data centers is proposed. Firstly， a method of using server virtualization， storage virtualization， and network virtualization to build a hardware platform layer is described. Secondly， the architecture of data storage layer and the way of data sharing are analyzed. Thirdly， the structure of data virtualization layer and the method of logical implementation are introduced in detail. Fourthly， the implementation principle and service architecture of application interface layer are analyzed in detail. Finally， some problems needing attention in security are introduced. Cloud data center constructed by data virtualization technology can integrate， abstract and define new data objects for various business systems. And it is provided to the upper application in a safe and reliable way， which solves the problem of data fusion in large data environment.

英文關鍵詞Key Words：big data； data virtualization； cloud computing； data fusion； data sharing

0引言

高校信息化建設從初期數字化校園到近期智慧校園再到當下大數據平臺，涉及業務系統越來越廣泛，產生數據量也越來越多。但是由于各個系統往往是在不同時期、由不同廠家、采用不同的技術開發的，因此無法避免地存在數據無法共享、信息無法溝通的問題[1]，久而久之便產生了越來越多的信息孤島，而且隨著業務系統的增多，信息孤島問題越發嚴重。

隨著大數據時代到來，急切需要對各種信息進行有機融合，實現數據高度共享，以挖掘數據背后的價值[2]。有鑒于此，筆者經過多年研究和實踐探索，提出了一種利用數據虛擬化技術[3]構建高校云數據中心的方法。

1云數據中心架構

云數據中心的架構如圖1所示，主要由硬件平臺層、數據存儲層、數據虛擬化層和應用接口層4個層次組成[4]。為了保障系統安全，還需要相應的安全技術和法律法規保駕護航[5]。

2硬件平臺層

硬件平臺層主要由服務器、存儲、網絡和網絡安全設備組成，如圖2所示。

由多臺物理服務器組成的物理服務器群，通過服務器虛擬化技術虛擬出多臺虛擬服務器，組成虛擬服務器群。服務器虛擬化技術對物理服務器進行重新整合，不但提高了資源利用率，而且簡化了系統管理[6]。

硬件平臺層通過存儲虛擬化技術將多臺物理存儲器虛擬化為統一的虛擬存儲池供虛擬服務器使用。存儲虛擬化技術將多種異構的物理存儲進行有機整合，重新構建成一個高效靈活的存儲資源池，為上層提供統一管理和存取操作，有效降低了管理難度，提高了系統擴展能力[7]。

硬件平臺層還使用了網絡虛擬化技術，對網絡節點和物理網絡基礎架構進行分離，確保了硬件的獨立性，使網絡調配能靈活適應上層應用和安全的需要[8]。通過服務器虛擬化、存儲虛擬化和網絡虛擬化，有效提高了系統可靠性和可用性，防止因單臺服務器或存儲故障而導致服務中斷問題。同時通過使用防火墻、審計系統等網絡安全設備，實現了對流量、服務等的監控，提高了系統安全性。

3數據存儲層

數據存儲層是各業務系統存儲數據的地方，主要由數據持久化層和業務數據接口層組成，如圖3所示。

3.1數據持久化層

數據持久化層對應的是各種數據庫存儲系統，如關系型數據庫、非關系型數據庫、文本型數據庫等。至于使用哪種類型的數據庫存儲系統往往由業務系統的開發商決定。因此數據持久化層就必然存在多種異構、異質、不同類別的數據庫存儲系統，而且往往無法進行數據共享，這也是需要進行數據虛擬化的原因之一。

對于安全性要求不是太高的系統，可以直接開放數據庫存取權限，讓上層應用直接使用數據庫查詢語言訪問數據。這樣不但效率高，而且對于已有系統不作任何改動，只需配置數據庫權限即可。但是，這樣對上層應用開發的要求比較高，需要對方熟悉業務數據的邏輯關系，而且對于非結構化的數據或需要事先格式化處理的數據，此種方法則顯得力不從心。

3.2業務數據接口層

對于部分業務系統，出于安全方面考慮或其它因素，往往不會開放數據庫存取權限；另外對于無法使用數據庫查詢語言的系統或需要事先格式化處理的數據，則只能通過業務系統提供的接口操作數據。業務系統往往會根據實際需求開發多種不同的數據接口函數，而通過數據接口函數，上層應用即可獲取所需數據[9]。此種方法適用于各種類型的應用，而且上層應用無需深入了解業務數據的邏輯關系，只需關注函數的調用方式即可。但是對于已有的系統，如果原來沒有此接口，則需要重新開發，工作量較大。

4數據虛擬化層

數據虛擬化層是整個云數據中心的核心部分，主要由虛擬數據對象和虛擬數據對象控制器組成，其結構如圖4所示。

4.1虛擬數據對象

虛擬數據對象是從數據存儲層上根據業務需求對數據進行整合、抽象，定義出新的數據對象，其本身并不存儲數據。正如服務器虛擬化一樣，其平臺本身并沒有CPU、存儲等計算資源，而是對物理服務器的計算資源進行重新整合、抽象，虛擬出新的服務器資源。在定義虛擬數據對象前，一個突出問題就是統一數據標準。

由于各個業務系統往往由多個廠商開發，而且在系統開發過程中，各類數據對象并沒有強制性標準需要遵守，也沒有強制性的行業規范需要遵循，導致各個廠商隨意發揮。其結果是，相同的數據對象，在不同的系統中，不論是數據類型，還是數據長度都會存在一定的差異，這就給系統間的數據共享造成了嚴重障礙。

因此在定義虛擬數據對象前，首先要建立統一的數據標準。只有遵循統一的標準，才能構成一個可流通、可共享的信息庫。數據標準的建立需要遵守以下原則：①涉及到國家和教育部已頒布的標準時，采用已頒布的權威標準；②涉及到已頒布的高校管理信息標準時，采用已頒布的高校管理信息標準；③涉及到學校已頒布執行的標準時，采用已頒布執行的信息標準；④信息標準集可以根據國家、教育部、學校的發展需要進行更新維護；⑤同類信息編碼在各數據子類中必須唯一、規范，即雖然一個編碼對象可以有很多不同名稱，也可按各種不同方式對其進行描述，但是，在一個分類編碼標準中，每一編碼對象僅有一個賦予它的代碼，一個代碼只唯一表示一個編碼對象。

通過標準的建立，上層應用在使用虛擬數據對象時，即可獲得統一的數據對象定義，解決了數據標準不統一的問題，為數據共享奠定了良好的基礎。

4.2虛擬數據對象控制器

虛擬數據對象只是對數據對象的一種描述，要真正實現對數據的操作必須使用虛擬數據對象控制器。每一類虛擬數據對象都配備有相應的虛擬數據對象控制器。它主要負責從數據存儲層獲取數據，然后封裝為對應的虛擬數據對象，提供給上層應用使用；或者把上層應用傳遞過來的虛擬數據對象回傳給數據存儲層進行數據持久化處理。因此對虛擬數據對象的每一項操作，相應的虛擬數據對象控制器都會提供對應的操作方法。

例如教工信息對象（Teacher），如果要根據教工號（Teacher_ID）查詢教工基本信息，則教工信息對象控制器（TeacherController）會提供方法GetTeacherBaseInfo（Teacher_ID），并返回教工信息對象；而如果要查詢教工的一卡通基本信息，則教工信息對象控制器會提供方法GetCardBaseInfo（Teacher_ID），并返回一卡通信息對象。

方法內部會根據系統描述，選擇使用數據庫查詢語言直接讀取數據持久化層中數據庫的數據，或者調用業務數據接口層的數據接口函數獲取數據。

于此，則會出現另一問題。由于各業務系統會存在交集數據，因此在獲取數據時要確立以哪個系統的數據作為權威。例如教工信息對象中的教工號、姓名等，會同時存在于教工管理系統、一卡通系統等多個業務系統中。在獲取數據時應該從哪個系統獲取數據，這是需要事先確定的。對于權威數據的確立，可以通過對業務流和數據流的分析決定。例如此處的教工號、姓名，在業務上都是由教工管理系統管理的；而在數據流上，這些信息都是由教工管理系統分發給其他系統的，因此可以確定，教工號、姓名以教工管理系統作為權威。如此類推，其它數據也可以使用同樣的方法進行分析判斷。

5應用接口層

為了讓系統能適用于各種應用類型、各種開發語言、各種操作系統的需求，云數據中心使用應用接口層對數據虛擬化層提供的方法進行了二次封裝，對外發布Web Service接口，以適應各種不同的需求。

該接口使用HTTPS[10]作為傳輸協議，使用JSON[11]作為數據格式，使用OAuth[12]作為認證體系，其結構如圖5所示。

在圖5中可以看到，HTTPS是在SSL層上傳輸HTTP協議的加密通道，所有數據都經過SSL加密，而且是雙向的。使用SSL加密可確保數據在網絡傳輸過程中不被截取和竊聽，因此HTTPS是一種安全的傳輸協議。而HTTP是一個客戶端與服務器端請求和應答的標準。它包含命令和傳輸信息，不僅適用于Web訪問，也適用于其它因特網和內聯網應用系統之間的通信，從而實現各類應用資源超媒體訪問的集成。另外它是無狀態的應用層協議，由于其簡捷、快速的方式，因此特別適合于分布式超媒體信息系統。由于HTTPS協議使用標準的443端口，對于服務器和防火墻也不需要進行任何特殊配置，部署起來比較方便，所以特別適合作為移動應用的傳輸協議。

系統和用戶間傳輸的數據使用了JSON進行格式化。JSON是一種輕量級數據交換語言，以文字為基礎，且易于讓人閱讀，同時也方便機器進行解析和生成，采用的是完全獨立于程序語言的文本格式，因此不受開發語言的限制。相比XML，JSON更為簡潔，傳輸占用帶寬更小，服務器端和客戶端花費更少的資源和時間解析，因此對于移動應用來說是更好的選擇。

為確保接口不被非法調用，系統采用OAuth認證體系。OAuth為用戶資源的授權提供了一個安全、開放而又簡易的標準。與以往授權方式不同的是，OAuth的授權不會使第三方觸及到用戶的賬號和密碼信息，即第三方無需使用用戶名與密碼就可以申請獲得該用戶資源的授權，因此OAuth是安全的。

為提高系統的可靠性、可用性和負載能力，還可使用負載均衡技術部署應用接口層，其架構如圖6所示。

首先使用多臺服務器分別部署應用接口，然后連接到負載均衡設備上，負載均衡設備再通過網絡與上層應用連接。負載均衡設備可以是一臺也可以是多臺，這要根據業務量而定。負載均衡設備會根據均衡策略將應用請求分發到不同的應用接口服務器上。如此，在負載均衡設備的支撐下，有效地解決了因單臺服務器中斷或處理能力而導致的服務不可用、響應延時等問題，提高了系統吞吐量，加強了系統的數據處理能力，加快了響應速度。

6系統安全

在當前大數據環境下，數據的安全性越發重要。為了保障系統和數據的安全，首先要制定相應的法律法規，其次是采用相關安全技術[13]。

近幾年來，我國就數據安全問題相繼發布了多項法令，如《加強網絡信息保護的決定》、《電信和互聯網用戶個人信息保護規定》、《網絡安全法》等。同時也在加強大數據安全標準建設，先后制定了《大數據標準白皮書》、《云計算安全標準路線圖》、《大數據安全標準路線圖》等。各單位也根據實際情況制定了相應的規章制度。有了制度的保障，安全技術才能發揮其最大的功效。

在技術方面，除部署防火墻、審計系統等安全設備外，還需要注意以下幾點：

（1）訪問權限控制。任何接口和數據都必須通過身份認證后方可使用，還必須按照權限大小控制其訪問范圍，防止越權訪問。

（2）數據加密。對于存放在數據存儲層的敏感數據要進行加密存儲；同時在網絡上傳輸的所有數據都必須進行加密處理，防止數據被非法竊取。

（3）數據備份。必須對數據進行定時備份，必要時采用雙機冗余備份方案，以防止數據丟失后能及時恢復。

7結語

使用數據虛擬化技術構建的云數據中心能夠將來自不同業務、不同體系、不同架構的數據匯入到抽象的服務層，然后進行整合、抽象，定義出新的數據對象，發布給上層應用使用，最終實現各個異構業務系統的數據交換和數據融合。數據虛擬化技術有助于減少對物理存儲系統的依賴，又為使用數據的所有應用，尤其是商業智能系統、分析系統和事務系統提供了統一的接口。有效整合了現有資源，提高了數據管理水平，為后續大數據的應用打下了堅實基礎。

參考文獻參考文獻：

[1]黃成兵.大數據環境下高校智慧校園建設應用探討[J].智能計算機與應用，2017，7（1）：131133.

[2]彭琳，李勇軍，馬春廣，等.數據質量分析與整合在高校信息系統的應用[J].電腦知識與技術，2015，11（23）：5155.

[3]趙國鋒，葛丹鳳.數據虛擬化研究綜述[J].重慶郵電大學學報：自然科學版，2016，28（4）：494502.

[4]王雄.云數據中心網絡架構設計[J].軟件導刊，2016，15（10）：180182.

[5]馬青.數據中心安全管理體系構建研究[J].軟件導刊，2013，12（7）：152154.

[6]熊俊.數據中心服務器虛擬化技術綜述[J].軟件導刊，2016，15（11）：206207.

[7]吳海洲.淺談存儲虛擬化[J].科技資訊，2016，14（31）：45.

[8]馬濤.云數據中心網絡虛擬化技術實現及運用研究[J].電腦知識與技術，2017，13（18）：5456.

[9]杜正剛.關于計算機軟件數據接口的應用探討[J].赤峰學院學報：自然科學版，2016，32（9）：2628.

[10]E RESCORLA. HTTP Over TLS[EB/OL]. https：//tools.ietf.org/html/rfc2818.

[11]D CROCKFORD. The application/json media Type for JavaScript Object Notation （JSON）[EB/OL].https：//tools.ietf.org/html/rfc4627.

[12]E HAMMERLAHAV. The oAuth 1.0 protocol[EB/OL]. https：//tools.ietf.org/html/rfc5849.

[13]龐金香，隋萌萌.高校云計算數據中心安全的設計與實現[J].微型電腦應用，2017，33（7）：2329.

責任編輯（責任編輯：何麗）