基于灰色模型的云資源動態伸縮功能研究

王天澤

摘 要：隨著云計算的快速發展，大量應用開始向云上遷移，云平臺資源分配受到關注。云服務負載是動態變化的，為保證服務質量不受負載量變化影響，最大化利用云資源，如何動態擴充、縮緊資源成為需要考慮的重要問題。設計并實現了一個Docker Swarm彈性云動態伸縮模塊，通過增加和減少云服務副本數量改變服務資源的分配。彈性云的動態伸縮模塊使用了響應式伸縮模型與預測式伸縮模型，其中預測式伸縮模型基于灰色預測模型。實驗證明基于灰色預測的預測式伸縮模型具有較高的預測準確率。

關鍵詞：云平臺；動態伸縮；彈性云；灰色預測

DOI：10.11907/rjdk.172652

中圖分類號：TP319

文獻標識碼：A 文章編號：1672-7800（2018）004-0131-04

Abstract：With the development of cloud-computing，more and more application start to move on cloud，and the resource allocation of cloud platform has been much accounted.The workload of cloud-service is changing dynamically. It is the main concern of how to maximize cloud-resource and realize auto-scaling to ensure quality service. A Docker Swarm elastic-cloud platform has been designed and achieved，which uses replica to change resource allocation of platform.The auto-scaling model in elastic cloud uses both reactive scaling model and prediction scaling model to ensure auto-scaling.The prediction scaling model is based on Grey-forecasting model.The experiment proves the prediction scaling model which based on Grey-forecasting model has high prediction accuracy.

Key Words：cloud platform； auto-scaling； elastic cloud； grey-forecasting

0 引言

在PaaS（Platform as a service）概念支撐下，云服務獲得了長足發展。很多公司如谷歌、亞馬遜等都在云服務上獲得了極大的成功[1]。云服務平臺應該保證其提供的服務質量（QoS，Quality of Service）達到SLA（Service Level Agreement）協定要求。云服務負載往往隨時間而劇烈變化。伴隨著云服務發展的則是大量的突發訪問[2]。如果維持最高負載所需資源，就會造成資源浪費。反過來，如果服務平臺通過保證服務的最低或中等計算資源來縮減資源消耗，那么當服務負載達到峰值時其體驗就會變差，最終導致客戶流失。云計算是一種基于支付體系的需求導向計算模型。在云計算的幫助下，開發者可以通過手動或API的方式將應用資源擴容或縮容，這種擴縮容操作通常需要花費很長時間。云計算中的自動伸縮功能可以很好地解決這個問題。自治彈性云根據當前負載狀態動態地分配資源[3]，而基于以往負載記錄對未來負載進行預測，就可以提前分配資源以避免違背SLA。

動態伸縮在云計算中是一個熱門研究領域，彈性云常常搭建在虛擬機（VM，Virtual Machine）之上。但是VM對于Web應用來說過于重量級，因為Web應用所需要的僅是Web Server（APACHE，TOMCAT，NGINX）、語言包、數據庫等運行環境，并非整個VM操作系統。因此，將Web應用部署在VM中就是一種資源浪費[4]。現在突發訪問情況越來越多，需要彈性云自動擴容，而基于VM的彈性云并不能實現這個目標。Docker是一種新型輕量級虛擬化技術。在Docker的幫助下，可以將Web應用與它的運行環境打包到一個Docker鏡像中進行開發、測試、轉移和部署。在同一個宿主機上運行的Docker容器共享相同的Linux kernel，所以Docker容器可以在秒級時間內部署并充分利用計算資源[5]。本文基于Docker Swarm集群設計并實現一個帶有響應式伸縮與預測式伸縮的動態伸縮模塊。

1 相關工作

圖1展現了Docker容器和虛擬機在架構上的不同之處。每個虛擬機都包含應用、二進制文件、依賴庫及一整套操作系統，所以虛擬機會浪費很多CPU、內存與存儲資源。在容器中只有應用與應用所依賴的庫。容器相當于運行在宿主機系統上的一個資源隔離進程。容器可在2s～3s啟動，而虛擬機啟動則要花費數分鐘，容器這種快速部署性質非常適合處理瞬間擁擠訪問。IBM研究[6]對比了虛擬機與容器的性能，使用一套負載任務給予集群系統的CPU、內存、存儲與網絡資源壓力，結果證明容器在大多數情況下性能優于虛擬機。

文獻[7]提出了基于DSA （detect-strategy-action）思想的資源調度策略框架。文獻[8]基于云計算虛擬化技術，提出了一種租借理論和動態多級資源池相結合的資源調度策略，可以有效減少資源空閑時間，提高資源利用率。文獻[9]提出了一種基于馬爾科夫鏈的資源預測方法，它全面考慮了CPU使用量、網絡負載以及資源失敗率，預測使用何種資源配置能獲得更好的工作調度結果。但是馬爾科夫鏈模型只考慮了當前狀態，忽視了資源配置的歷史記錄。文獻[10]提出了基于模型匹配的云計算資源預測，將歷史負載信息與當前負載情況配對解決負載預測問題，闡述了使用這種方法進行云資源自動擴縮容算法。這種基于歷史記錄的方法在沒有可匹配記錄時效果很差。

考慮到長連接應用特點，文獻[11]提出了基于最小權重連接的指數平滑預測法（ESBWLC）。ESBWLC優化了實際負載與服務能力權重，使用一次指數平滑法的預測機制。這種算法可以增加服務器的負載效率，但預測精度較差。

許多資源預測系統把重點放在預測任務的執行時間而非任務所需資源上。文獻[12]、[13]中的預測系統需要用戶提供任務運行時間的近似值，然后根據現有CPU負載預測任務運行時間。除此之外，還有一些技術不需要用戶提供任何信息就可預測任務的運行時間，如文獻[14]就使用了同用戶過往相似任務的執行情況進行回歸分析，以得到任務運行時間的預測值。

灰色預測模型基于灰色理論，灰色理論認為系統的行為現象盡管是朦朧的、數據是復雜的，但它畢竟是有序的，是有整體功能的。灰數的生成就是從雜亂中尋找出規律[15]。灰色預測廣泛應用于銷售與生產預測，本文基于灰色預測進行負載預測。

2 架構設計

圖2是彈性云平臺的基本架構，包括一個集群控制節點、多個工作節點、集群狀態監控子系統、資源預測子系統、伸縮控制模塊。考慮到應用會頻繁更新升級，所以添加了一個鏡像倉庫，能更方便地轉移、部署與更新在平臺上的應用。實現動態伸縮的3個模塊主要功能如下：

（1）集群狀態監控子系統：監控集群的負載狀態，用以實現響應式伸縮，負責記錄每個Service狀態，用以實現預測式伸縮。

（2）集群預測子系統：通過狀態監控的記錄數據預測集群未來的負載情況，提前分配資源以維持SLA。

（3）伸縮控制模塊：是伸縮功能的實施模塊，可通過集群狀態監控子系統獲得集群狀態，進行響應式伸縮，也可從資源預測子系統獲得預測信息進行預測式伸縮。

3 算法描述

3.1 灰色預測

灰色預測通過鑒別系統因素之間發展趨勢的差異程度，對原始數據進行生成處理，尋找系統變動的規律，生成有較強規律性的數據序列，然后建立相應的微分方程模型，從而預測事物未來發展趨勢。灰色預測的數據是通過生成數據模型得到的預測值的逆處理結果。灰色預測以灰色模型為基礎。在諸多的灰色模型中，以灰色系統中單序列一階線性微分方程模型GM（1，1）最為常用。GM（1，1）模型介紹如下：

3.2 響應式伸縮模型

服務剛建立時，還沒有負載歷史記錄用以預測，所以這時使用響應式伸縮模型實現動態伸縮功能。當某個服務的replica CPU負載達到90%時，觸發擴容，為其增加replica，直到負載回復到80%。當某個服務的replica CPU負載低于50%時，觸發縮容，為其縮減replica，直到負載回復到60%以上。

算法描述如下：

function reactiveScaling（）

Nexceed=0

while（R>=Tupper）

Nexceed++

end while

while（R<=Tlower）

Nexceed--

end while

Return Nexceed

其中，Nexceed是 replica變化個數，R為服務當前負載，Tupper為觸發上界，Tlower為觸發下界。

3.3 預測式伸縮模型

服務運行一段時間后，集群控制模塊有了負載歷史記錄，這時就可使用預測式伸縮模型進行動態伸縮。利用過去100s的負載記錄，使ΔT為10s，那么原始數據列就是過去100s內每10s的CPU負載均值。將ΔT設為10s較好地利用了Docker秒級部署優勢。

4 實驗結果

為了驗證灰色預測的準確度，使用Tsung模擬負載，將預測結果與真實負載進行比較，如圖3所示。將灰色預測與簡單平均法、加權移動平均法的預測結果進行對比，可以明顯看出灰色預測的優勢，如圖4所示。

從圖3可以看出，灰色預測與真實值的近似程度很高，其預測值隨著調度時間降低而減少。從圖4可以看出，灰色預測比簡單平均法和加權移動平均法表現更好，因為灰色預測不僅考慮當前情況，還根據以往記錄進行預測。

通過SLA的違背次數評價彈性云動態伸縮的可靠性，如圖5所示。服務剛被創建時，使用響應式伸縮模型， SLA的違背次數較多。預測式伸縮模型啟動后，SLA的違背次數就變得非常小。

5 結語

本文設計并實現了一個基于Docker Swarm集群的動態伸縮功能。設計了響應式伸縮模型與基于灰色預測的伸縮模型，以調度集群的伸縮。實驗結果證明，灰色預測模型具有良好的預測準確率，且該Docker Swarm集群動態伸縮功能具有良好的可靠性。但灰色預測模型在波動性較大的情況下精準度欠佳，未來將對這一問題進行改進。

參考文獻：

[1] 吳吉義，平玲娣，潘雪增，等.云計算：從概念到平臺[J].電信科學，2009（12）：168-171.

[2] 劉鵬程.云計算中虛擬機動態遷移的研究[D].上海：復旦大學，2009.

[3] 李冰.云計算環境下動態資源管理關鍵技術研究[D].北京：北京郵電大學，2012.

[4] 馬越，黃剛.基于Docker的應用軟件虛擬化研究[J].軟件，2015，36（3）：10-14.

[5] 劉思堯，李強，李斌.基于Docker技術的容器隔離性研究[J].軟件，2015，36（4）：110-113.

[6] FELTER W， FERREIR A， ARAJJAMONY R， et al. An updated performance comparison of virtual machines and linux containers[J].Technology，2014（2）：28-32.

[7] 肖斐.虛擬化云計算中資源管理的研究與實現[D].西安：西安電子科技大學，2010.

[8] 孫瑞鋒，趙政文.基于云計算的資源調度策略[J].航空計算技術，2010（3）：123-125.

[9] SHI L L， YANG S B， GUO L M， et al. A Markov Chain based resource prediction in computational grid[C].Frontier of Computer Science and Technology，2009. FCST'09. Fourth International Conference on，2009：119-124.

[10] CARON E， DESPREZ F， MURESAN A. Forecasting for grid and cloud computing on-demand resources based on pattern matching[J].Cloud Computing Technology and Science （CloudCom），2010 IEEE Second International Conference on，2010（12）：456-463.

[11] REN X N， LIN R H， ZOU H. A dynamic load balancing strategy for cloud computing platform based on exponential smoothing forecast[C].Cloud Computing and Intelligence Systems （CCIS），2011 IEEE International Conference on，2011.

[12] PADGETT J， DJEMAME K， DEW P. Predictive run-time adaptation for service level agreements on the grid[J]. 21st UK Performance Engineering Workshop. Nottingham，2005（7）：267-269.

[13] DINDA P. Online prediction of the running time of tasks[J].Cluster Computing，2002，5（3）：225-236.

[14] SMITH W， FOSTER I， TAYLOR V. Predicting application run times using historical information[J].Lecture Notes in Computer Science，1998，1459（122）：183-185.

[15] 鄧聚龍.灰色系統理論教程[M].武漢：華中理工大學出版社，1990.

（責任編輯：杜能鋼）