基于云平臺的彈性Web集群擴縮容機制的研究

王曉鈺，吳偉明，谷勇浩

（北京郵電大學 計算機學院，北京 100876）

基于云平臺的彈性Web集群擴縮容機制的研究

王曉鈺，吳偉明，谷勇浩

（北京郵電大學 計算機學院，北京 100876）

彈性Web集群即隨著工作負載的變化，集群規模可以彈性變化的Web集群。本文研究彈性Web集群的擴縮容機制，首先分析現有擴縮策略的常用算法的優缺點，然后當前策略的不足，提出新的擴縮策略，使用更豐富的指標進行負載預測，提高預測的準確性；使對負載評估的結果帶有預測性，相對于簡單的非預測性算法可以更早地做出擴容決策，最終支撐Web應用系統對外提供高可用和高性能的服務。

云平臺，Web集群，彈性伸縮，GBDT

0 引言

隨著互聯網的日益普及和用戶增多，Web應用系統訪問量的爆炸式增長的和訪問的不確定性對Web服務的穩定性、伸縮性以及可靠性帶來了嚴峻的挑戰。固定集群部署模式是根據訪問量的峰值預估服務器數量然后搭建集群，集群規模固定，具有部署困難、資源利用率低和成本高昂等缺陷。然而在實際環境中，服務器會經常出現不可預知的負載需求，此時需要快速增加集群中服務的數量來應對額外負載，同時在流量下降時，需要停止空閑服務以降低成本。因此構建彈性集群，實現集群服務器數量的自動伸縮顯得尤為重要。本文研究彈性伸縮理論在搭建彈性集群中的應用，重點分析擴縮容策略現有算法，并根據現有策略的優缺點對擴縮容策略提出改進。

1 彈性Web集群

1.1 彈性Web集群概念

隨著系統日訪問量的增加，Web應用承受的壓力會越來越大，隨之會帶來諸多性能問題，如QPS下降等。為了解決這些問題，Web應用經歷了從單機規模到分布式集群到規?？蓜討B變化模式的發展過程。云計算的一個重要特點就是云中的資源規?？梢詣討B伸縮，為用戶提供可伸縮的服務。利用這個特點，將Web集群搭建于云基礎設施上，可以從基礎架構層實現彈性的集群規模?；谠破脚_的彈性 Web集群是利用云平臺的基礎設施提供 Web服務，并且集群規?？梢噪S著負載變化動態調整的集群：在集群負載達到一定閾值時，及時進行擴容操作，使之可以應對訪問高峰，對外提供高可用的服務；集群負載降到一定閾值時進行縮容操作，減少集群規模，降低硬件成本。

Web集群的規模是與負載變化密切相關的，當當前資源無法滿足負載需求時，需要對平臺資源進行擴展。但是擴展資源會耗費一定的時間，根據具體情況耗時從幾毫秒到幾分鐘不等，在這段時間內新增加的資源無法馬上為用戶提供服務，擴容滯后，造成服務滿意度下降。因此，在集群的擴縮容策略中，希望能通過對集群負載的預測來解決該問題，使集群能夠在性能發生問題之前就能提前發現負載的趨勢，預先根據服務負載的變化動態伸縮集群規模，防患于未然；在負載下降后，能夠及時發現并調整資源，節約成本。

1.2 彈性Web集群擴縮容模型

彈性Web集群的規模變化從兩方面來保證：一是云平臺的基礎架構支持資源動態伸縮；二規模調整時間和調整算法，主要是利用Web部署系統的擴縮策略模塊實現。整個模型包括云基礎架構層、應用部署與動態擴容層和客戶端三部分，如圖1所示。

圖1 基于云平臺的彈性Web集群模型Fig.1 Cloud-based elastic web cluster model

云基礎架構層：將底層的計算、存儲和網絡資源虛擬化，通過云層向上層提供虛擬化的資源。利用云計算技術，用戶只用關心使用何種資源或服務，而不必關心這些資源和服務如何提供，用戶所需要的只是一個能夠訪問互聯網的終端，用以提交請求和獲得結果，其他的都交由云端實現。云計算與虛擬化技術密切相關，虛擬化技術使得云端的資源整合更為敏捷和有效，也使得用戶能夠更為細粒度地使用IT資源。

應用部署與動態擴縮容層：自動化部署系統，包括對客戶端請求進行處理的負載均衡器；提供具體 Web服各個容器（containers），每個容器上搭載負載監控模塊，可以實時監控各容器的負載情況；擴縮策略模塊，根據當前集群負載動態判斷擴縮容時機，在必要時采取擴縮容操作。

客戶端層：接收來自各個客戶端的請求，傳遞給部署在自動化部署系統，進行獲取由部署在其中的Web應用提供的服務。

本文主要研究應用部署與動態擴縮容層中，擴縮策略模塊的機制及算法改進。

2 擴縮容機制

擴縮容機制是實現彈性集群的重要一環。準確的預測集群負載并能及時調整集群規模使之適應當前情況，是擴縮容策略模塊中最重要的兩個內容。

2.1 伸縮理論

伸縮理論關注的問題主要是在面臨超出現有集群最大承載能力的時候，如何通過調整集群的規模以提高集群的承載能力，從而保證用戶體驗和系統服務的穩定性，同時在集群負載很低的時候，盡可能的減少閑置服務器帶來的資源浪費。根據伸縮對象的不同，可以將伸縮方法分為以下三類，如圖 2所示。

圖2 伸縮方法的分類Fig.2 Classification of telescopic method

（1）應用的伸縮性

應用的伸縮性表示構建在集群上的應用能夠在集群規模變化的同時也保持應用性能變化的能力，例如在不斷擴大規模的集群上應用同樣能夠表現出很好的性能。

（2）技術的伸縮性

技術的伸縮主要體現在系統對新技術的適應性。一般包含三個方面：版本伸縮性、空間伸縮性和異構伸縮性。版本伸縮性是指應用了新技術的版本確實可以提高系統的性能?？臻g伸縮性是指在多處理系統中可擴充的處理空間。異構伸縮性類似于系統的兼容性，系統對于不同的組件具有很好的包容性，同時系統的輸出可以作為標準接口。

（3）資源的伸縮性

資源的伸縮性是指通過增加CPU、內存等硬件資源的投入來提升軟件效率以達到更高的系統性能。平常所說的集群伸縮方法大多數是指資源的伸縮性，而資源的伸縮性又可以劃分為兩個子類。從伸縮的方向劃分，分為縱向的伸縮和橫向的伸縮。

縱向伸縮是指通過提升系統當前各個節點的處理能力來達到提升系統整體處理 能力的伸縮方法。提高各節點的處理能力具體來說包括服務器升級現有的配置，例如更換主頻更高、多核的處理器，更換容量更大的內存條，配置讀寫速度更快的硬盤、甚至替換為更高端、更強勁的處理器等。

橫向伸縮是單純地通過增加節點的數量來提升系統整體的處理能力。橫向伸縮的優點在于當每臺服務器成本比較低的情況下，可以很容易地搭建起一個系統性能有保障的集群，相比縱向伸縮集群，這個集群面對增加的用戶量或者數據量帶來的性能瓶 頸可以處理得更靈活、游刃有余，并且能夠很好的減少由于單臺服務器出現故障而對于系統整體帶來的影響。

考慮云計算的資源可動態獲取的特點，我們將動態擴縮容研究定位到資源的橫向伸縮。

2.2 常用擴縮容算法

當前階段常用的策略算法有：

（1）單指標非預測性算法

常用的有CPU利用率為指標，不考慮多條歷史記錄，只關注當前的負載，直接將歷史記錄中的最后一條數據(可認為是當前負載)作為擴容指數輸出。這種算法簡單有效，根據實時的負載大小與閾值進行對比，超過了則擴容，否則保持原樣。因此這種算法雖然簡單，卻是目前工業界普遍采用的。

缺點：容易受噪音干擾；反應滯后，不具備預測性；無法預測到CPU之外的因素（內存等）引起的負載過重情況。

（2）多指標自回歸算法

自回歸模型一般用于統計和信號處理，是一種經常被用來對各種自然現象進行建模和預測的隨機過程。Web應用的負載變化雖然不是自然現象，但其多變且難以準確預測的特征在某種程度上具有一定的隨機性，因此可以用自回歸模型對負載進行建模和預測。將多個負載指標數據經過處理，求出加權負載平均值作為指標，將之用自回歸算法處理得出擴容指數。

缺點：該方法可以實現預測，且考慮了多種指標的影響。但是沒有考慮到Web服務訪問暗含的規律性，預測性不夠高。

3 擴縮容策略的研究與改進

3.1 Web負載分析

為了能夠準確地預測Web集群負載，需要對負載進行收集分析，從而了解負載的特性，并針對這些特性來選擇最適合的方法來進行平臺負載預測。在1997年和1998年，美國卡內基梅隆大學的Peter A. Dinda分別對38臺不同的機器進行長期的跟蹤抽樣，這些機器包括集群服務器、計算服務器和桌面主機等，并通過長期觀測獲取了大量的負載數據，通過對這些負載數據的統計和分析，Dinda總結了負載的幾個特性，主要有以下六個方面:

1. 負載有很大的波動性，這說明有必要通過預測算法來改善負載相關問題。

2. 方差和最大值之類的差異量數1與平均值是正相關的，平均負載高的機器也有較大的方差和最大值，這種關聯表明對高負載量的機器進行預測更有價值。

3. 負載相對來說比較復雜，有時多峰分布的負載不能根據一般的分布曲線來預測。

4. 通過負載時間序列分析可以知道，負載與時間有很強的關聯，也就是說上一時間段的負載對下一時間段的負載有很大影響。所以對于負載預測來說，線性模型也許是比較適合的預測模型。

5. 負載具有自相似性，其赫斯特指數范圍是0.63至 0.97，已經接近赫斯特指數的上限 2。通過這個結果可知負載按照時間以復雜的方式變化著，并存在長期依賴性。

6. 負載的變化在不同時間段顯示出不同特性。有時負載在一段較長時間內非常穩定，但是會忽然有一個較大的波動，這種波動可能是因為新的任務被創建或銷毀等，針對這種突發波動，線性模型可能需要自適應并進行修改。

3.2 擴縮容策略的改進

從上一節的Web負載分析可以看出負載和時間具有強相關性，因此本文將實際負載視為一個時間序列。時間序列往往具有一定的規律性:比如對于電商性質的Web應用系統而言：

每日晚上的交易量都要大于白天的交易量；

每周周末的交易量要大于周內的交易量；

節假日交易量大于平時交易量等。

從長期來看，交易量變化具有規律性；從短期來看，交易量變化又具有隨機性。

當前常用的擴縮容算法沒有考慮到集群負載的時間特性，只是將Web集群常見的負載參數作為衡量指標。GBDT算法是一種迭代的決策樹算法，可以同時將負載參數和時間參數作為算法模型的輸入，進行負載預測。根據以上規律利用時間和負載特征，提出擴縮容策略的改進，將GBDT算法用于負載預估，利用比其他算啊更豐富的衡量指標，可以增加負載指數預估準確度；由于帶預測性，可以提前知道負載情況，必要時提前采取擴縮容策略，且預測更加靈敏。

GBDT（Gradient Boosting Decision Tree），是一種迭代的決策樹算法，該算法由多棵決策樹組成，所有樹的結論累加起來做最終答案。它在被提出之初就和SVM一起被認為是泛化能力（generalization）較強的算法。近些年更因為被用于搜索排序的機器模型而引起大家關注。

GBDT主要組成概念如下：

（1）DT回歸樹Regression Decision Tree

決策樹分為兩大類，回歸樹和分類樹。前者用于預測實數值，如明天的溫度、用戶的年齡、網頁的相關程度；后者用于分類標簽值，如晴天/陰天/霧/雨、用戶性別、網頁是否是垃圾頁面。GBDT的核心在于累加所有樹的結果作為最終結果。

（2）GB梯度迭代Gradient Boosting

即通過迭代多棵樹來共同決策。GBDT的核心就在于，每一棵樹學的是之前所有樹結論和的殘差，這個殘差就是一個加預測值后能得真實值的累加量。

根據之前所述的 Web負載與時間強相關的特性，考慮使用某一段時間內的歷史數據和時間特征預測未來時刻的負載情況。

考慮多種指標的綜合因素作為指標特征。選取的指標有：cpu，內存，請求響應時間。采集的每組指標組成指標向量（x1,x2,x3），數據形式為由n條歷史數據組成的矩陣。對矩陣的每一行求加權平均值，將每項指標都考慮進去，但越重要的指標相應的權值也越大，對于第k行，按如下公式轉化為單一指標：

然后據負載與時間的強相關性，按時間衍生出多維特征，和負載指標一起作為GBDT算法輸入，訓練可根據歷史規律預測負載的模型。

此方法加入了對多指標監控值的綜合處理，著重考慮了最可能成為瓶頸的負載， 使得對不同負載特征的應用具有了一定的普適性，避免由于單一指標選擇不當導致預測算法失效。同時該算法充分利用了負載與時間的強相關性，并且加入了短期趨勢指標，由此模型預測出的結果可以同時兼顧長期規律和短期變化，增加預測結果的準確度；將結果作為擴容指數應用于擴縮策略，可以在負載高峰前提前擴容，緩解滯后性。

4 實驗結果分析

設計實驗驗證GBDT算法在Web負載場景下的有效性。

用有規律性的周期函數加上噪聲模擬長期有規律，短期有突發現象的負載情形，分別使用自回歸算法和gbdt算法進行預測。評價指標選用的是可決系數，是指回歸平方和（ESS-explained sum of squares）在總變差（TSS-total sum of squares）中所占的比重。（其中TSS=ESS+SSR，SSR-sum of squares residual）可決系數可以作為綜合度量回歸模型對樣本觀測值擬合優度的度量指標。可決系數越大，說明在總變差中由模型作出了解釋的部分占的比重越大，模型擬合優度越好。反之可決系數小，說明模型對樣本觀測值的擬合程度越差。

yi示第 i個真實值， y?l表示第 i個預測變量，公式表示預測值和真實值的差距的平方和。

實驗方法如下：將數據分為訓練集（70%）和測試集（30%），用訓練集分別訓練兩種模型，并用測試集進行測試，評價兩種算法的效果。

圖3 gbdt, 自回歸和原曲線結果合并展示Fig.3 Results’ combined display of gbdt,autoregressive and original curve

圖4 gbdt, 自回歸和原曲線結果分開展示Fig.4 Results’separately display of gbdt,autoregressive and original curve

從圖3和圖4中可以看出，在大多數時間段，本章的算法與實際曲線擬合得較緊密，預測效果較好。相比較來說，由于自回歸算法是基于對近幾個時間段負載直接計算的，造成預測結果總是比實際負載曲線滯后一些的后果，不能及時對負載做出準確判斷。

圖5 gbdt算法和自回歸算法的可決系數比較Fig.5 Decisive factor comparison of gbdt algorithm and the autoregressive algorithm

從圖5中可以看出，在此實驗場景下，gbdt算法的可決系數為0.95，高于自回歸算法的0.89，說明在擬合程度上gbdt算法優于自回歸算法。說明在該算法在當前負載的場景里效果更好。

該算法充分利用了負載與時間的強相關性，并且加入了短期趨勢指標，由此模型預測出的結果可以同時兼顧長期規律和短期變化，增加預測結果的準確度。

將結果作為擴容指數應用于擴縮策略，可以在負載高峰前提前擴容，緩解滯后性。

[1] Chieu T.C, Mohindra A, Karve A.A et al. Dynamic scaling of web applications in a virtualized cloud computing environment.in: Proceedings of the 2009 IEEE International Conference on e-Business Engineering. Washington, DC, USA: IEEE Computer Society, 2009. 281~286.

[2] Xu J. Analysis, Modeling and Simulation of Workload Patterns in Cloud. IEEE Transactions on Cloud Computing[J].2014, 2(2): 208—221.

[3] 何英東. 基于負載預測的OpenStack虛擬機智能管理[D].杭州. 浙江大學, 2015.

[4] 單志廣, 戴瓊海, 林闖等. Web 請求分配和選擇的綜合方案與性能分析. 軟件學報, 2001, 12(3): 355~366.

[5] 孫香花. 云計算研宄現狀與發展趨勢[J]. 計算機測量與控制, 2011, 19(5): 998-1001.

[6] 吳朱華. 云計算核心技術剖析[M]. 人民郵電出版社. 2011.66-67.

[7] 張敏輝, 趙錫奎. 基于云計算技術的研究與探討[J]. 數字技術與應用, 2010, 12: 038.

[8] 田文洪, 趙勇. 云計算一資源調度管理[M]. 國防工業出版社. 2011. 29-30.

[9] 曾金龍, 肖新華, 劉清. Docker開發實踐[M]. 北京. 人民郵電出版社2015. 8. 11.

[10] 劉健. 可伸縮服務器集群的研究與實現[D]. 長沙. 中國人民解放軍國防科學技術大學, 2002.

[11] Tesauro G,Jong N K，Das R.A Hybrid Reinforcement Learning Approach to Autonomic Resource Allocation. Proceedings of the 3rd International Conference on Autonomic Computing[C]. Dublin. Ireland: ICAC, 2006. 65. 73.

[12] 余浩維. PaaS云中w如容器及調度的設計與實現[D]. 北京.北京郵電大學, 2014.

[13] Chohan N, Bunch C, Pang S et al. AppScale design and implementation. UCSB Technical Report Number 2009-02,2009.

[14] Fedora Unified Network Controller, https://fedorahosted.org/func/.

Research on Elastic Web Cluster Capacity Expansion Mechanism Based on Cloud Platform

WANG Xiao-yu, WU Wei-ming, GU Yong-hao
(School of Computer Science, Beijing University of Posts and Telecommunications, Beijing 100876, China)

Resilient Web Cluster is a Web cluster with flexible scales as the workload changes. In this paper, we study the expansion and contraction mechanism of flexible Web clusters. Firstly, we analyze the advantages and disadvantages of the commonly used algorithms for existing expansion strategies. Then, we propose a new expansion and contraction strategy based on the current strategy. We use more abundant indexes to forecast the load to improve the accuracy of the result of load evaluation predictive. Compared with a simple non-predictive algorithm,it can make the expansion decision earlier, and ultimately support the Web application system to provide high availability and high performance services.

Cloud platform; Web cluster; Flexible scaling; GBDT

TP393.09

A

10.3969/j.issn.1003-6970.2017.11.004

本文著錄格式：王曉鈺，吳偉明，谷勇浩. 基于云平臺的彈性Web集群擴縮容機制的研究[J]. 軟件，2017，38（11）：24-28

國家自然科學基金項目資助(61173017，61370195)；工信部通信軟科學項目資助(2014-R-42，2015-R-29)；國網科技項目(SGTYHT/15-JS-191)

王曉鈺(1989-），女，北京郵電大學碩士研究生，研究方向：網絡管理、大數據。

吳偉明，教授，主要研究方向：現代網絡管理。