桌面云的智能自適應性調度研究

匡華 譚麗麗 李梓萌 陳艷

在廣東移動現有的桌面云基礎上，針對現有云計算平臺缺乏針對資源供應量的自動調整機制的問題，研究了云計算平臺中基礎設施資源供給的自適應性問題。主動監控不同等級用戶的性能指標和系統指標，并以此為依據，提出了桌面云的智能自適應性理論，統一調度管理不同資源。根據資源需求量對云服務的資源供給進行調整，選擇恰當的虛擬機組合為云服務提供足量且高利用率的資源。

云計算 桌面云 智能調度 自適應性

1 云計算簡介

云計算（Cloud Computing）是一種近年興起的計算模式，與傳統計算模式相比較，云計算通過共享可配置計算資源，解決以往傳統計算環境中，由于硬件或問題復雜度帶來的限制。云計算具有以下基本特性：按需索取、廣泛的網絡訪問、資源池化管理和供應、快速彈性伸縮和服務度量[1]。

依據服務模式分類，云計算可以分為軟件即服務（SaaS，Software as a Service）、平臺即服務（PaaS，Platform as a Service）和基礎設施即服務（IaaS，Infrastructure as a Service）。SaaS通過瀏覽器把程序傳給用戶，這個模式大大減少了用戶在軟件授權和開發商方面的開支，同時也實現了供應商的效益最大化。Salesforce[2]是典型的SaaS應用。PaaS則通過這種形式的云計算，把開發、部署環境作為服務來提供，如Google App Engine[3]。IaaS負責的是最底層的硬件支持，通過將CPU、內存、網絡等計算機資源可計算化，向上層SaaS和PaaS提供硬件支持。典型的例子有亞馬遜的EC2[4]、VMware的vSphere[5]等。本文的研究對象主要面向IaaS云。

2 研究環境及相關方法

2.1 廣東移動桌面云

2009年，廣東移動通過將云計算應用到辦公系統中，并且結合虛擬桌面技術，讓新全球通移動信息化大廈，實現員工的高效、安全、可控的移動辦公。在2010年和2011年兩年的努力下，構建了桌面虛擬化架構（VDI）與應用虛擬化結合的統一桌面云。云計算的核心就是整合資源，所以隨著桌面云的投入使用及用戶規模的不斷擴大，需要精細化整合資源，智能自動化調度管理資源，從而來構建高魯棒性的桌面云，來提高桌面云的ROI投資收益率。

2.2 云計算平臺的規模自適應性研究

私有云的主要目的之一是在云中設備及數據具有完全所有及控制權并滿足日常運作需求的前提下，降低能源及維護成本，提高系統整體可靠性，為硬件平臺的平滑升級提供支持?；谝陨夏康模接性仆ǔＥ鋫溆凶銐虻挠布Y源以保證高峰時期的資源供應。同時，私有云內部運行的虛擬機類型相對公有云比較少，資源的使用時間、數量有較強的規律性。本文所研究的云計算平臺的規模自適應性問題即在此環境下，建立適合的模型。通過對業務需求的資源量進行預測及必要的修正，自動調度虛擬機，以保證資源供給，支持應用的正常運行，合理分配資源，提高物理機的資源使用率，降低能耗。

云計算平臺的規模自適應性可以分解為向上擴展性（Scale-out）、向下擴展性（Scale-down）和規模的自適應性（Adaptive）三類。向上擴展性主要指伴隨著計算資源需求的增長，平臺自身的資源擴展性。向下擴展性則是平臺滿足節約成本的資源供給。規模的自適應性則是滿足用戶需求變化的資源供給。

3 系統設計

3.1 整體設計

不同等級的用戶有相應規定的資源使用標準，但用戶有時有些特別繁重的業務需要處理，需要臨時調大所需資源。通常的做法是用戶提出申請，管理員經過故障排查，當發現由非系統故障引起時，調整用戶虛擬機資源，交付用戶使用資源。用戶使用完后，管理員恢復用戶原有標準的資源，整個業務過程比較繁瑣，時間較長。

桌面云智能自動優化管理模型通過統一狀態監控，主動發現用戶的資源使用情況以及接近90%使用率等臨界狀態，并且相應系統資源有足夠的富裕資源。自動化運維模塊自動調度統一資源管理模塊，動態調整用戶資源，調整過程對用戶透明，滿足用戶的彈性需求。當統一狀態監控發現用戶資源已經釋放，自動化運維模塊自動調度統一資源管理模塊，動態調整用戶資源恢復到原有標準。這種主動智能動態資源調整可以及時滿足用戶的彈性需求，提升用戶的使用體驗。

主機資源占用率在80%～90%是合理經濟的狀態，主機資源占用率太低除了白白浪費資源外主機還要耗電，所以在滿足用戶需求的情況下，要精細計算所需資源，并自動將空閑資源進行整合，實現ROI投資收益率最大化。

3.2 系統架構

以自動化運維平臺為核心，通過統一監控平臺主動監控用戶狀態和系統狀態，智能統一地調度資源。系統架構如圖1所示：

3.3 主要技術方案及關鍵技術

以自動化運維平臺為核心，通過統一監控平臺主動監控用戶狀態和系統狀態，智能統一地進行調度管理。本文的模型主要包括三個部分，統一狀態監控、自動化運維和統一資源調度。具體如下：

（1）統一狀態監控

建立云性能指標基線，包括用戶狀態性能指標基線和系統狀態性能指標基線。這里的難點在于，桌面云平臺具有多平臺和多用戶特點。所以，選擇了具有跨平臺和穩定性兼具的Nagios監控方案。通過Nagios服務器和用戶虛擬機探針，在用戶虛擬機上收集行為數據集。并且，通過Web前端進行基線展示和優化的自動部署。具體如下：

用戶狀態監控：側重在用戶使用體驗監控。根據不同用戶等級建立用戶狀態的性能指標基線，包括VDI和應用發布2個部分。

1）用戶信息：用戶名、登錄時間、使用時間、當前狀態；

2）用戶虛機的性能：總體CPU、內存、磁盤I/O、網絡流量；

3）用戶虛機運行的應用性能：應用CPU、內存。

系統狀態監控：統一監控不同平臺和系統的狀態，建立系統狀態的性能指標。

1）VMware等虛擬化平臺性能監控：CPU、內存、存儲、網絡；

2）Windows等應用服務器性能監控：CPU、內存、磁盤I/O、網絡。

關鍵技術：采用數據庫建立性能指標基線，使用虛機性能監控技術、虛擬化平臺性能監控和Windows應用服務器性能監控技術。

（2）自動化運維

建立觸發條件（閥值），整合各種不同平臺和系統的接口。定時檢測用戶虛擬機狀態，并且根據預設條件觸發自動化運維流程，統一調度不同資源，智能恢復可用資源。

1）建立不同等級用戶的資源調度模式和要求（遷移、中止會話、關機等）；

2）流程模型；

3）整合各種不同平臺和系統的接口；

4）智能連接可用桌面；

5）統一管理混合虛擬化平臺。

對于智能連接可用桌面，其技術難點在于，如何讓SUNRAY瘦終端在VMware VC不可用或ESX服務器不可用情況下，自動智能地連接到其他可用的桌面。探索和研究結果如下：

1）VMware VC不可用（VC或DB故障）

正常模式下，VDI通過VMware VC獲得用戶虛機的信息（包括虛機狀態、IP等），然后SUNRAY瘦終端通過該信息連接虛機。如果VMware VC不可用，VDI無法獲得虛機信息，SUNRAY瘦終端無法連接虛機。研究建立用戶虛機IP信息庫，讓SUNRAY瘦終端自動直接連接用戶的虛機IP。

2）ESX服務器不可用（服務器硬件或系統故障，機籠交換機故障等導致大量虛機不可用），研究讓SUNRAY瘦終端自動連接應急虛機池的虛機或其他Windwos終端服務器。

通過采用多種虛擬化平臺，包括VMware、Hyper-V、

Oracle VirtualBox、Citrix Xenserver等，統一管理，提高整體高可用性并形成差異化虛機平臺，滿足各種用戶的需求。

關鍵技術：使用流程管理產品，建立運維模型，統一接口。

（3）統一資源調度

整合各種不同資源的接口，實現在用戶使用過程中動態進行資源調整，盡量對用戶透明無影響。同時，在實際部署的過程中加入了虛擬機優先級，用以區分用戶群體，實現了對用戶虛擬機的自動精細化管理。

1）虛機資源動態調整；

2）虛機動態遷移（主機遷移、存儲遷移）；

3）用戶會話資源動態調整；

4）災難恢復。

關鍵技術：使用虛擬化平臺管理工具和Windows終端會話管理功能。

4 核心算法

本研究的核心算法是云計算平臺的規模自適應性方法。

4.1 符號表

算法符號定義表如表1所示。

4.2 最大并發請求數預測

虛擬機的應用，根據用戶的行為習慣，每天都具有一定的規律性。如開發團隊的群體，因為經常要測試程序，需要長時間占用大量內存。而與之相比，銷售團隊的虛擬機使用，一般集中在上班時間，并且一般為辦公軟件。最大并發請求數預測則是根據這些用戶的歷史行為習慣記錄，對接下來的一段時間內，用戶虛擬機的最大并發請求做出預測。然后，根據預測結果對虛擬機進行資源的調度分配。本文采用一種基于歷史最大并發數的預測方法對即將到來時刻的最大并發數進行預測。

首先，本文的模型應用于大部分長期運行的基礎設施，所以能夠提供足夠多的歷史數據。同時這種基礎設施性也決定了算法具有通用性。其次，本文通過時間序列預測算法，對下一個單位時間段的最大并發數進行短期趨勢預測。所以，本文采用二次移動平均法作為預測下階段時間的資源需求的預測算法。二次移動平均法如公式（1）所示[7]：

為應對實際生產環境中可能產生的故障及保證桌面云的高性能運轉，最理想的取時長度為15分鐘，從每個小時的第0分鐘開始至第15分鐘、第16分鐘開始至第30分鐘，如此類推。本文的算法使用了上一個月的歷史數據，考慮到生產環境中季度業務更替等情況，因此具有其合理性。當應用到別的生產環境時，可適當進行調整。詳細的數據記錄及分時段整理由云平臺接口完成，此處省略。

4.3 預測修正

本文的算法根據聚類的結果，預測出每個類別的最大并發請求數。為了保證桌面云系統的有序高效運行。本文的模型根據當前的預測值，對當前的配置進行更改，并且在下一個時間段對預測值和實際值進行校檢。通過不斷計算誤差，可以得到預測的偏差值。然后根據偏差值，對下一次的預測做出修正。這里的偏差值是指經本節預測修正后的預測值與實際值相比的不足量與實際值之比，這是對模型的優化補充。

4.4 虛擬機選擇

本節將描述算法所構建的虛擬機調度方案。本文定義應用的最大并發請求req與所需資源rc間存在函數關系freq-rc，如公式（3）所示：

可以把實際的調度方案分為兩類：一類是開啟某類型的虛擬機，另外一類是關閉某類型的虛擬機。根據公式（3），可以通過freq-rc將給定的并發請求數轉化為資源需求，對于此資源需求，云系統需適當調度虛擬機以適應之。當給定的資源不足時，開啟某類型的虛擬機；反之當給定的資源過多時，關閉某類型的虛擬機，從而達到節省資源和適應用戶彈性需求的目的。通過聚類算法，閑置資源和虛擬機的資源差異甲醛向量模長為聚類距離。本文擴展了向量模型，引入了不同維度的權值：

調度流程具體如下：

首先預測修正算法得出的最大并發請求數預測值及最大并發請求數與所需資源存在函數關系freq-rc作為輸入。然后根據模型計算出所需的資源量以及虛擬機之間能夠提供的資源量及其預測間的偏差。本文的算法通過不斷地尋找最小模場確定候選虛擬機，并且對其進行資源需求校檢。直到當前的資源滿足預測值，算法才會停止。同時，當所有的虛擬機都進行了校檢或無法找到候選虛擬機時，算法也將停止。

5 結束語

本文從廣東移動的實際需求出發，進行合理的數據建模。將團隊自主研發的云計算平臺相關技術導入并完成有針對性的設計。通過科研實驗和實際數據挖掘，獲取平臺調優的參數。實現了統一狀態監控、自動化運維及云資源的統一調度。本項目提高了運維的自動化能力，減少了日常維護工作及處理工單數量，集群總體資源利用率提升了20%，節省資源30%。在實際部署的過程中，在自動化運維中加入了虛擬機優先級，用以區分用戶群體，實現了對用戶虛擬機的自動精細化管理。

參考文獻：

[1] Peter Mell， Tim Grance . The NIST Definition of Cloud Computing[J]. Communications of the Acm， 2011，53（6）： 50.

[2] Salesforce Enterprises. Salesforce[EB/OL]. [2015-12-10]. http：//www.salesforce.com/.

[3] 維基百科. Google App Engine[EB/OL]. [2015-12-10]. http：//en.wikipedia.org/wiki/Google_App_Engine.

[4] Amazon. Introduction of EC2[EB/OL]. [2015-12-10]. http：//aws.amazon.com/ec2/.

[5] VMware. Introduction of vSphere[EB/OL]. [2015-12-10]. http：//communities.vmware.com/community/vmtn/vsphere.

[6] 趙淦森，虞海，季統凱，等. 云計算平臺的自適應資源供給[J]. 電信科學， 2012（1）： 31-37.

[7] 二次移動平均法[EB/OL]. [2015-12-10]. http：//course.cug.edu.cn/cugFirst/statistics/neirong/zhang194.htm.

[8] Nagios Enterprises. Nagios簡介[EB/OL]. [2015-12-10]. https：//www.nagios.org/.

[9] frank2336. VDI虛擬桌面基礎架構[EB/OL]. [2015-12-10]. http：//blog.csdn.net/frank2336/article/details/7659506.

[10] VMware. Vmware ESXi[EB/OL]. [2015-12-10]. http：//www.vmware.com/products/esxi-and-esx/overview.