基于分布式架構的藝術類資源云平臺建設研究

周凱 李弘 褚寧琳

摘要：當前智慧化校園建設正響應時代的需要處于高速發(fā)展時期，如何建設一套高性能、可擴展的網(wǎng)絡教育資源平臺，特別是建設基于藝術類學科以非結構化數(shù)據(jù)為主的云資源平臺是一個迫切需要探討研究的問題。文章從實際出發(fā)，針對當前資源平臺建設技術的突出問題和藝術類資源特點，提出基于云計算的分布式架構的資源云平臺建設方案。建立一套基于云計算的分布式架構、分散存儲、統(tǒng)一管理的系統(tǒng)平臺，以實現(xiàn)藝術類資源的共建共享。

關鍵詞：分布式；資源；云；負載均衡

分布式系統(tǒng)早在20世紀七八十年代就已經(jīng)出現(xiàn)。進入互聯(lián)網(wǎng)時代，分布式系統(tǒng)得以高速發(fā)展。如Google，它充分運用分布式系統(tǒng)架構的設計思想及技術，構建了一套系統(tǒng)完整的軟件架構，使其具有可以處理高并發(fā)請求響應以及海量數(shù)據(jù)處理等能力。本文基于云計算平臺的基礎上，結合藝術類資源云平臺的特點，及非結構化數(shù)據(jù)的處理，采用分布式系統(tǒng)架構技術，探討一套先進的，適用于多種云架構形式的藝術類資源云平臺部署方案。

1 分布式服務系統(tǒng)概念

分布式服務系統(tǒng)就是將系統(tǒng)組件分布在幾臺獨立的服務器上，而后把各服務器連接成一個統(tǒng)一的網(wǎng)絡相互協(xié)作，從而完成整個系統(tǒng)的功能。

分布式結構在系統(tǒng)速度的處理上有著明顯的優(yōu)勢。各系統(tǒng)功能分別放在不同的服務器上以并行的方式協(xié)同工作，完成各自的功能。例如：在一臺服務器上運行兩個進程：A和B，如果A消耗系統(tǒng)資源（CPU或者內存）過高，則B只能使用少量的系統(tǒng)資源，這樣會導致進程B的效率低下。如果我們把A拆分到其他服務器上，那么除去A之外，原硬件服務器上其余的進程就能夠獲得更多的系統(tǒng)資源。通過多線程操作一個進程A，如果將其分為4個任務，2分鐘時間完成一個任務。非分布式結構系統(tǒng)將要花費8分鐘來完成，而采用分布式結構最快則需要2分鐘即可完成。

典型分布式服務器架構由3部分組成：表現(xiàn)層、業(yè)務層、數(shù)據(jù)層。表現(xiàn)層主要負責用戶與業(yè)務層之間的連接和數(shù)據(jù)的傳遞與處理，在整個系統(tǒng)中工作相對來說比較簡單。業(yè)務層是系統(tǒng)核心層。負責各功能模塊之間的運行通訊及數(shù)據(jù)的處理。數(shù)據(jù)層則主要負責數(shù)據(jù)的存儲。

從上述典型分布式架構可以得出，由于各部分所承擔的任務不同，對硬件的要求也是有所區(qū)別，所以我們可以根據(jù)每層具體的工作，因地制宜地選擇相應的服務器。如表現(xiàn)層負責的工作相對比較簡單，在服務器的配置上可以根據(jù)實際情況選擇實用經(jīng)濟型的；業(yè)務層負責整個資源云平臺的業(yè)務邏輯與數(shù)據(jù)處理，注重處理的速度、能力與資源的消耗。對服務器配置選擇上要求很高；數(shù)據(jù)層負責數(shù)據(jù)源。在搭建時要根據(jù)具體情況，充分考慮數(shù)據(jù)量、數(shù)據(jù)查詢檢索的要求及數(shù)據(jù)存儲的速度等因素，選擇相應的數(shù)據(jù)庫與服務器配置。

2 藝術類資源云平臺設計目標

2.1高穩(wěn)定

保證服務器群組穩(wěn)定高效運行，服務器之間的通信順暢及負載均衡。盡可能降低服務器異常崩潰、宕機的情況，確保資源云平臺提供的服務與用戶體驗的基本要求。

2.2高效率

高效率體現(xiàn)在工作效率高、系統(tǒng)承載能力強、成本得到有效控制，可根據(jù)實際服務器的功能配置相應的服務器以節(jié)約成本，減少帶寬與維護人員。

2.3可擴展

云平臺建設應充分考慮內容及功能模塊的可擴展性，使平臺服務具有可持續(xù)性；服務器集群具有周期性更新的擴展能力，并能應對用戶人數(shù)的增長與運營后期用戶在線留存率的保持。

2.4低耦合

充分降低各功能之間的耦合度，將各功能模塊分別在獨立的服務器上運行，保障各功能運行的獨立性。

2.5安全性

安全是資源云平臺運營中最重要的問題之一。為保障用戶信息安全，需建立嚴謹科學的身份驗證機制，使用安全套接協(xié)議層或高度加密協(xié)議反嗅取密碼，是有效的應對措施，以解決用戶誤操作、欺騙、重復登錄、密碼恢復等安全問題。

3 分布式架構的藝術類資源云平臺設計

藝術類資源云平臺設計以云計算技術為基礎，構建一套基于B/S架構的云平臺。平臺主要包含：Web Server、登錄服務器（Login Server）、網(wǎng)關（Gateway Server）、業(yè)務邏輯服務（Scene Server）、數(shù)據(jù)服務（DB Server）等。拓撲結構如圖l所示。

系統(tǒng)整體架構中除業(yè)務邏輯服務器采用單線程外，消息層則采用多線程來工作。對于客戶端與登錄服務器、Gateway之間的連接任務具有如下特點。

（l）需要大量線程完成的任務。此類任務數(shù)量多，單位任務小，完成時間短。如：客戶端通過Web服務器訪問網(wǎng)頁注冊、登錄任務。

（2）性能要求過高的業(yè)務應用，如：需服務器迅速響應大規(guī)模客戶的突發(fā)性請求現(xiàn)象。

（3）大規(guī)模客戶突發(fā)性請求，會導致內存在短時間內達到峰值，出現(xiàn)“Out of Memory”錯誤。可以利用多線程技術來解決處理器單元內多個線程執(zhí)行的問題，它可以顯著地減少處理器單元的閑置時間，增加處理器單元的吞吐能力[1]。若要進一步減少創(chuàng)建線程的數(shù)目，及創(chuàng)建線程與銷毀的時間，也可以建立封裝了一個線程多個連接的線程池框架，示例如下。

class TCPTaskPooI

{

ThreadGroup verifyThreads；//驗證線程，可以有多個

ThreadGroup okayThreads；//處理主線程，多個

SyncThread* syncThread；//等待同步線程

RecycleThread* recycleThread；//連接回收線程

bool m versionVerified；//是否驗證過版本 }

3.1網(wǎng)關（Gateway）

Gateway服務器也稱網(wǎng)關服務器。按圖1所示，Gateway建立在客戶端與業(yè)務邏輯服務器（Scene Server）中間。其任務在于實現(xiàn)客戶端與業(yè)務邏輯服務器的隔離。客戶端與業(yè)務邏輯服務器之間的通信，通過中間層Gateway進行轉發(fā)數(shù)據(jù)包實現(xiàn)信息交互通信。這樣客戶端與Scene Server由于不直接通信所以并不需要知道業(yè)務邏輯服務器內部的構建如IP、port等。帶來的好處是多方面的：安全上Gateway作為客戶端與業(yè)務邏輯服務器之間的中轉站，很好地隔離了內網(wǎng)與外網(wǎng)，使外網(wǎng)不能直接與業(yè)務邏輯服務器內部作訪問，加強了安全性。作為平臺的唯一入口，減少了與平臺服務器內其他服務之間的多條連接。很大程度上節(jié)約了網(wǎng)絡資源的消耗。

Gateway負責通信的加密、解密、過濾錯誤非法包、超時判斷與通信協(xié)議的邏輯處理。連接在網(wǎng)關上的客戶端通過Gateway發(fā)送的心跳，獲知客戶端與網(wǎng)關之間的連接狀態(tài)，如果客戶端掉線，網(wǎng)管就會通知各服務器做用戶的脫機、下線處理。

對于高負載下的通信瓶頸問題，可以采取多網(wǎng)關技術，同時部署多個Gateway來增加通信流量，達到平衡負載的作用。即便某個Gateway出現(xiàn)宕機，它也只影響到所屬Gateway的客戶端，而其他客戶端則不受影響。

Gateway作為客戶端與平臺各服務的進出口，承擔著頻繁的消息發(fā)送和接收工作。為提高系統(tǒng)效率，可以采取一種“以空間、換時間”的做法，采用“池”技術，建立一個消息對象池。“池”的技術己廣泛應用于系統(tǒng)設計中，例如內存池、數(shù)據(jù)庫連接池。“池”的優(yōu)勢在于節(jié)省對象重復創(chuàng)建和初始化時間，對于頻繁請求和使用的對象，簡化訪問和使用的過程，從而提升系統(tǒng)的性能。首先事先創(chuàng)建好被使用的對象，并按照特定的上下文環(huán)境進行初始化，保證客戶端提取后可直接使用，使用完畢后將對象歸還給“池”。當系統(tǒng)達到生命期的臨界值，由“池”統(tǒng)一釋放。這些保存在內存中隨時供客戶端調取的對象，所占用的內存空間與系統(tǒng)效率相比微乎其微。

3.2業(yè)務邏輯服務（Scene Server）

業(yè)務邏輯服務主要提供具體的業(yè)務邏輯，如：流媒體播放服務、會話交互服務、軟件下載等。它們共同完成平臺邏輯的運算和大量的信息傳遞、數(shù)據(jù)同步工作。

在做好各子模塊的交互、信息傳遞工作的同時，要重點考慮兩個問題：一是服務器的性能消耗問題。這里首先要考慮的是服務器承載多個子模塊的信息通信與邏輯處理帶來的性能消耗。二是基于流媒體服務的并發(fā)問題。前者我們通過把消耗資源過大的非共性的子系統(tǒng)單獨劃分服務處理。后者在解決大并發(fā)應用設計上，可以建設一套非結構化數(shù)據(jù)中心的負載均衡，如圖2所示。

搭建主流媒體服務及若干臺子流媒體服務可通過負載均衡及數(shù)據(jù)分發(fā)技術，由主流媒體服務器自動把上傳資源分發(fā)到相應的子流媒體服務器的存儲空間上。系統(tǒng)依據(jù)流媒體服務器的網(wǎng)卡流量大小進行負載均衡，通過數(shù)據(jù)中心的調度服務，判斷由哪一臺流媒體服務器響應當前上層應用系統(tǒng)的數(shù)據(jù)應用請求，并從對應的存儲空間讀取數(shù)據(jù)，為上層應用系統(tǒng)提供數(shù)據(jù)資源的流媒體播放服務。由于服務器的網(wǎng)卡及存儲設備的磁盤I/O存在局限，所以上述方式會對服務器及存儲設備占用較多。為了能最大化提升單臺服務器的服務能力，并降低整體硬件設備的投入，可以對服務器做多網(wǎng)卡綁定，來提升單臺服務器的網(wǎng)絡帶寬。配備高速率硬盤提升磁盤的I/O效率，從而提升單服務器的流媒體并發(fā)訪問量。具體設計如圖3所示。

3.3 Session Server

Session Server主要負責Scene與Scene之間的橋接，完成多個Scene之間的數(shù)據(jù)交互。

當用戶過多，Scene Server負載過高時，分出多組SceneServer可以有效地提高業(yè)務邏輯的處理能力，Session Server則用于多個Scene Server之間的數(shù)據(jù)交互。

Scene Server與Session Server服務器之間的通信使用TCP連接：在Scene Server初始化的過程中，首先建立Session Client實例，將該實例連接Session Server，從而實現(xiàn)Scene Server與Session Server之間的連接。連接的基本策略是將其中一個Server抽象成服務器，另一個Server抽象成客戶端。

Session Server與Scene Server通信時，Session Server層次級別高于Scene Server，所以抽象Session Server為服務器，Scene Server為客戶端。Scene Server中建立一個SessionClient類與Session Server的一個SessionTask保持長連接。每次建立的通信則為SessionTask與SessionClient之間的通信。示例如下：

bool SessionClient： ：connectToSessionServer（）

if （！connect（）） {

Eagle： ：logger->error（"連接 Session服務器

return false；

}

//發(fā)送到SessionServer進行注冊；

Cmd： ： Session： ：t_LoginSessionServer crnd；

cmd.serverID = SceneService：：getSingleton（）.getServerID（）；

cmd.serverType = SceneService：：getSingleton（）.getServerType（）；

return sendCmd（&cmd.; sizeof（cmd））；}

4 藝術類數(shù)據(jù)資源建設

藝術類數(shù)據(jù)資源具有一定的獨特性，即主體為非結構化數(shù)據(jù)。所以基于這樣的特殊性，需要秉承數(shù)據(jù)驅動服務的理念，統(tǒng)一數(shù)據(jù)標準，集中式、流程化、科學地處理非結構化與結構化數(shù)據(jù)。

藝術類資源數(shù)據(jù)類型多樣，所以對每類資源進行標準化時，需從多維度定義屬性，從而處理數(shù)據(jù)之間的異構化，完成數(shù)據(jù)清洗，對關聯(lián)數(shù)據(jù)進行邏輯封裝。數(shù)據(jù)的管理采取世系技術，對產生的多個數(shù)據(jù)集及同一數(shù)據(jù)集內部的數(shù)據(jù)演化進行系統(tǒng)記錄及管理[3]。這種數(shù)據(jù)世系管理技術可以幫助用戶加深對結果的理解，為教學科研的研究者提供整體活動的可信度及可重復性，為大數(shù)據(jù)分析及數(shù)據(jù)挖掘提供系統(tǒng)、準確的判斷。在出現(xiàn)故障時，結合容災備份機制，也可以準確、快速地恢復。

5結語

本文從實際問題出發(fā)，經(jīng)過理論研究，利用云計算技術、分布式系統(tǒng)架構技術及思想，給出一套系統(tǒng)的分布式架構的藝術類資源云平臺的建設方案。本方案有效地提高了整體平臺的邏輯運算處理、負載均衡的能力，特別是上層應用系統(tǒng)對非結構化數(shù)據(jù)資源的流媒體播放、存儲服務給出了優(yōu)化辦法，實現(xiàn)高性能、多樣化、可擴展的藝術類資源云平臺建設。

[參考文獻]

[1]朱彬若，杜衛(wèi)華，李蕊.電力用戶用電信息采集系統(tǒng)數(shù)據(jù)分析與處理技術[J]華東電力，2011 （10）：1682-1686

[2]王軍.云計算系統(tǒng)資源調度及安全性研究[D].武漢：武漢理工大學，2013.

[3]高明，金澈清，王曉玲，等.數(shù)據(jù)世系管理技術研究綜述[J].計算機學報，2010 （3）：33