容器云資源調度策略的改進?

崔廣章 朱志祥

（西安郵電大學物聯網與兩化融合研究院 西安 710061）

容器云資源調度策略的改進?

崔廣章 朱志祥

（西安郵電大學物聯網與兩化融合研究院 西安 710061）

為了均衡利用容器云集群的資源，對Mesos的資源調度策略做了改進。改進的資源調度策略是在原有調度策略的基礎上，把Mesos-Slave節點的CPU使用率、內存的占有率以及運行的容器個數考慮進去，并對三者加權來做為接下來資源調度的依據。最后通過改進前后集群資源利用率的對比，驗證了改進后資源調度策略能夠使集群資源利用率趨于均衡。

容器云；集群資源利用率；資源調度策略

1 引言

隨著容器［1］化技術的發展，容器化技術正在成為應用交付的新標準，基于容器化技術的云平臺將成為下一代云計算的核心。在部署容器云的平臺中，容器的調度使用對于業務系統的正常運行和系統的穩健性起著非常關鍵的作用。各大互聯網公司正逐漸地使用容器化技術代替傳統的虛擬機技術。由于業務的擴展需要，對資源的需求分配也越來越高，為了滿足需求Mesos通過兩層調度框架完成作業，且不會在資源不夠的節點上運行任務，但這種資源調度分配方法［2］不能均衡的分配資源，造成個別節點上的容器數過多而致使部署在節點上的業務應用過載。在這種情況下，無法均衡的分布容器集群，合理的利用集群資源。導致節點的可維護性變差，容器集群出現故障。在以下情況時會導致Mesos集群中的任務運行出現故障：

1）當有多個框架時，會給Mesos調度架構帶來壓力，會使相同框架下的任務較為集中，容錯性無法保證；

2）Master節點得到資源需求響應后，采用輪詢的調度算法，可能會使某些Slave節點的任務過多而導致系統崩潰，宕機等狀況。

在出現上述情況時，會導致某些節點出現運行過載，內存和CPU資源耗盡等狀況。嚴重時可能導致業務系統故障，需要重新啟動，這對于核心系統來說是不可接受的。

針對DRF作為通用的多資源公平分配算法［3～5］，在集群環境下可能有失公平性的問題，有通過在Mesos框架中DRF多資源公平分配算法的基礎上，設計并實現了增加機器性能評估影響因子的me-DRF［6］分配算法，使得計算任務有均等的機會獲得優質計算資源和劣質計算資源。也有的根據BESIII集群的實際需求，在測試和研究了不同類型的高能物理數據處理作業不同配置機器上的運行效果的基礎上，提出了一種改進的DRF資源分配算法［7］，加入了機器性能評級和作業類型匹配兩個因素作為資源調度的依據，對算法進行實現并使用真實數據進行了實驗測試。測試結果表明：新算法能夠更加合理地分配資源，有效提高系統資源利用率，縮短作業運行時間。

但在大規模容器云集群環境下針對1）、2）中的問題還沒有一個比較好的解決方案，本文將通過考慮Mesos-Slave節點的CPU使用率、內存的占有率以及運行的任務個數，把任務細粒度的分發到各個slave節點，從而實現集群資源被均衡利用。

2 Mesos資源調度策略

2.1 Mesos資源調度策略原理架構

目前業內通常的做法是采用 Mesos［8～9］對容器資源進行調度，Mesos的Master節點作為資源整合的分配節點，Mesos的Slave節點作為容器的宿主機。Mesos采用雙層調度架構，第一層mesos將資源分配給框架，Master節點根據Framework響應的資源需求信息，對資源列表進行過濾，再進行二級調度。系統架構圖如圖1所示。

圖1 傳統資源調度架構圖

如圖1所示，Mesos的調度工作流程采用雙層調度架構進行調度，Slave節點主動的向Master節點匯報資源空閑情況，Master節點根據獲取的Slave節點的空閑資源情況向Framework發出資源邀約，資源邀約中的資源若滿足Framework上的作業需求時，則Framework的Scheduler單元向Master響應資源需求，Master節點根據CPU和內存對Slave節點進行過濾，在剩余滿足資源需求的Slave節點中，再根據輪詢調度算法進行節點的選取，并向Framework的Executor分配資源并啟動容器執行任務。這樣可以保證作業的順利執行。

2.2 Mesos資源調度算法

在任何共享的計算機系統中，資源分配都是一個關鍵的構建模塊。已經提出的最通用的分配策略是max-min fairness，這種策略會最大化系統中一個用戶收到的最小分配。假設每一個用戶都有足夠地請求，這種策略會給予每個用戶一份均等的資源。廣義的max-min fairness包括權重（weight）的概念，用戶可以獲得與它的權重成正比的那一份資源。

Mesos用到的就是一種通用的多資源的max-min fairness分配策略。DRF［10］背后的直觀想法是在多環境下一個用戶的資源分配應該由用戶的dominant share（主導份額的資源）決定，dominant share是在所有已經分配給用戶的多種資源中，占據最大份額的一種資源。簡而言之，DRF試圖最大化所有用戶中最小的dominant share。例如，假如用戶A運行CPU密集的任務而用戶B運行內存密集的任務，DRF會試圖均衡用戶A的CPU資源份額和用戶B的內存資源份額。在單個資源的情形下，那么DRF就會退化為max-min fairness。

DRF有四種主要特性，分別是：

1）sharing incentive：每一個用戶都必須更好地共享集群，而不是在集群中專享他們自己的分區。考慮一個集群具有相同的節點（每個節點都一樣）和n個用戶，一個用戶不能在超過1/n資源的集群分區中分配更多的任務。一個用戶最多只能分享1/n的資源；

2）strategy-proofness：用戶不能從謊報資源請求中得到好處。用戶不能通過欺騙來提升它的分配；

3）Pareto efficiency：不可能出現既能增加一個用戶的分配而不會降低至少另一個用戶的分配。這個特性非常重要，它使得在滿足其他特性的基礎上使系統利用率最大化；

4）envy-freeness：一個用戶不應該更喜歡其他用戶的分配。這點特性包含在公平的概念中。

3 改進后的資源調度策略

3.1 改進后的資源調度策略架構

根據傳統資源調度策略存在的問題，結合開源分布式資源管理框架Mesos和注冊到Mesos上的Marathon框架來實現對節點資源的均衡分配。在資源分配過程中，考慮了Mesos-Slave節點的CPU使用率、內存的占有率以及運行的任務個數，把任務細粒度的分發到各個Slave節點，提高Slave節點的工作效率和整個生態系統的穩定性。針對頻繁性的任務分發、多任務、多框架下的資源分配能夠很好的進行應對，保障系統和業務的穩定運行。

優化之后的調度系統架構示意圖如圖2所示。

圖2 優化資源調度系統架構圖

如圖2所示，系統架構中采用Mesos資源調度框架對作業和任務進行調度，該框架負責對請求資源的作業分配節點執行響應的任務，主要的Mesos-Master節點包含采集單元和分配單元，Mesos-Slave節點主要向Master節點匯報資源，并在其上執行任務。主要流程是Master節點通過采集單元采集和分析各個Slave節點的相關性能指標，再通過核心的資源分配單元對作業進行分配，在各個Slave節點執行對應的任務。工作示意圖如圖3所示。

如圖3所示，Mesos Slave節點會定期的向Master匯報資源空閑情況，同時Master上的收集單元會收集Slave節點的運行情況，包括CPU和內存的使用率以及當前運行的進程個數，當Master獲知所有的資源信息和slave節點的狀況后，會觸發Master的分配策略模塊，Master向framework發送資源邀約，描述Slave上的可用資源，Framework會做根據資源的需求情況進行判定，如果滿足資源條件，則Framework上的Scheduler就響應Master，并告知其所需資源情況。Master根據得到的CPU和內存需求對資源列表進行過濾，最后Master再通過分配單元的調度算法，來選擇合適的Slave節點進行啟動任務。

圖3 優化資源調度系統工作示意圖

3.2 改進后的資源調度策略的采集模塊和分配模塊

Mesos-Master上的調度模塊共有采集模塊，分配模塊兩個單元組成：

1）采集模塊：當Master獲取到Slave節點上的空閑資源時，會觸發Master節點上的采集模塊，獲取Slave節點的CPU、內存和容器個數。保存在Master節點上。

2）分配模塊：當收到Framework上Scheduler的資源響應后，分配單元采用兩級調度架構，第一級是過濾掉CPU和內存不符合條件的Slave節點，第二級是根據Slave節點的CPU、內存和容器個數來進行均衡判斷選擇。

以上兩個功能單元的工作流程如圖4所示。

圖4 采集模塊和分配模塊工作流程示意圖

通過采集模塊獲取Slave節點空閑的CPU和內存資源，同時獲取CPU占用率、內存的使用率和節點上的容器個數。

由于采用二級調度架構，在第一級調度過程中，根據作業所需的CPU個數和內存空間，對資源列表進行第一步的過濾篩選。

由1）獲得的CPU占用率、內存使用率和節點上的容器個數所占總容器個數的平均值作為參考因素。根據對于作業的整體需求和重要程度，利用層次分析法［11］（AHP）構建判斷矩陣求各個權值。判斷矩陣的形式如式（1）所示：

其中，aij表示指標i對于指標 j的重要程度。得出權值之后，可以根據一致性檢驗公式，來判斷權值是否達標。一致性指標和一致性比率的公式如式（2）所示：

其中，λmax是判斷矩陣的最大特征根［12］，n 是比λmax小的最大整數。RI是隨機一致性指標，其值參照表如表1所示，

當一致性比率CR＜0.1時，認為構建的判斷矩陣滿足條件，可以作為權值的計算。

表1 隨機一致性指標RI值

根據得出的權值和所對應的指標值，進行計算，得出詳細的參考指標值。

對得出的資源列表進行Top-N選取，參考指標值越低，表示當前slave節點最優。

調用Framework的Scheduler來在選出的Slave節點上創建任務，執行作業。

4 實驗分析

4.1 平臺環境

圖5中通過Mesos-master和Mesos-slave來對底層資源進行管理，通過Marathon來對上層應用進行管理并對底層資源進行調度，基于Zookeeper來做Mesos-master集群的高可用和信息同步，ETCD/CONFD用來做服務發現、狀態更新和ACL規則配置，通過Haproxy來做整個平臺的負載均衡。

這整個云平臺由三部分組成，分別為基礎資源管理部分（MESOS-slave），高可用的應用管理資源調度部分（Zookeeper［13］、Mesos-master、Marathon）和服務發現負載均衡部分（ETCD/CONFD、Haproxy）。各部分環境的詳情說明如表2。

圖5 容器云架構圖

表2 平臺環境詳情

通過marathon在該集群中按表3發布應用。

表3 應用發布配置詳情

4.2 改進前后集群資源利用率對比

優化前集群使用DRF的輪詢算法進行資源調度，優化后的集群資源調度算法采用在原來調度算法的基礎上對每個Mesos-slave節點上的CPU利用率、內存利用率和容器數進行加權，而且CPU利用率和內存利用率的權重較大。圖6、圖7分別為優化前后集群CPU利用率和優化前后內存利用率的對比情況。

圖6 優化前后集群CPU利用率

圖7 優化前后集群內存利用率

由圖6、圖7可知，優化前集群的CPU利用率和內存占有率都出現部分節點過高，其余節點過低；優化之后集群的CPU利用率和內存占有率都趨于均衡。

5 結語

通過上節的優化前后集群資源利用率的對比圖，可以得出如下結論：

1）在Mesos的雙層調度架構中，根據Slave節點的CPU利用率、內存占有率和運行的容器個數并對三者進行加權來作為第二層調度的主要參考因素，確保各類作業能夠均衡的分配到Slave節點中，可以實現細粒度的任務分配；

2）基于該優化后的Mesos的細粒度調度，可以避免集群中某些節點運行的任務或容器過載，而有些節點的資源空閑的情況發生，使各個Slave節點上運行的任務平衡運行。提高集群的高可用性和資源利用率；確保整個集群運行的穩定性。

［1］佚名.Docker容器與容器云［M］.北京：人民郵電出版社，2015.Anonymous.Docker container and container cloud［M］.Beijing：Posts and Telecommunications Press，2015.

［2］林偉偉，齊德昱.云計算資源調度研究綜述［J］.計算機科學，2012，10：1-6.LIN Weiwei，QI Deyu.Research on cloud computing resource scheduling［J］.Computer Science Press，2012，10：1-6.

［3］盧笛，馬建峰，王一川，等.云計算下保障公平性的多資源分配算法［J］.西安電子科技大學學報，2014，41（3）：162-168.LU Di，MA Jianfeng，WANG Yichuan，et al.Multi resource allocation algorithm with fairness under cloud computing［J］.Journal of Xidian University，2014，41（3）：162-168.

［4］王皓輪，倪宏，孫鵬.一種基于效用最大最小公平性的QAM資源分配算法［J］.小型微型計算機系統，2013，34（6）：1216-1220.WANG Haolun，NI Hong，SUN Peng.A QAM resource allocation algorithm based on utility max min fairness［J］.Mini-Micro Systems，2013，34（6）：1216-1220.

［5］Asadpour A，Saberi A.An Approximation Algorithm for Max-Min Fair Allocation of Indivisible Goods［J］.Siam Journal on Computing，2010，39（7）：2970-2989.

［6］柯尊旺，于炯，廖彬.適應異構集群的Mesos多資源調度DRF 增 強 算 法［J］.計 算 機 應 用 ，2016，36（5）：1216-1221.KE Zunwang，YU Jiong，LIAO Bin.DRF enhancement algorithm for Mesos multi resource scheduling in heterogeneous cluster［J］.Journal of Computer Applications，2016，36（5）：1216-1221.

［7］霍菁，石京燕，孫功星，等.一種改進的DRF算法對BESIII集群資源管理的優化［J］.核電子學與探測技術，2014（10）：1153-1158.HUO Jing，SHI Jingyan，SUN Gongxing，et al.An improved DRF algorithm for BESIII cluster resource management optimization［J］.Journal of Nuclear Electronics and detection Technology，2014（10）：1153-1158.

［8］Hindman B，Konwinski A，Zaharia M，et al.Mesos：A Platform for Fine-Grained Resource Sharing in the Data Center［C］//NSDI.2011，11：22-22.

［9］Meyerson J.Ben Hindman on Apache Mesos［J］.IEEE Software，2016，33（1）：117-120.

［10］Ghodsi A，Zaharia M，Hindman B，et al.Dominant Resource Fairness：Fair Allocation of Multiple Resource Types［C］//NSDI.2011，11：24-24.

［11］李文雅，歐宜貴.層次分析法在求解某些優化問題中的應用［J］.高等數學研究，2007，10（1）：62-64.LI Wenya，OU Yigui.The application of analytic hierarchy process in solving some optimization problems［J］.Advanced Mathematics Research，2007，10（1）：62-64.

［12］王文峰，袁慶祝，陸佃龍.基于Zookeeper綜合任務調度平臺的設計與應用［J］.信息技術，2016（6）：181-184.WANG Wefeng，YUAN Qingzhu，LU Dianlong.Design and application of Zookeeper based integrated task scheduling platform［J］.Information Technology，2016（6）：181-184.

［13］ Saha P，Govindaraju M，Marru S，et al.Integrating Apache Airavata with Docker，Marathon，and Mesos［J］.Concurrency and Computation：Practice and Experience，2015.

Improved Container Cloud Resource Scheduling Policy

CUI Guangzhang ZHU Zhixiang
（Research Institute of Networking of Things and Integration of Idustrialization and Informatization，Xi'an University of Posts and Telecommunications，Xi'an 710061）

In order to balance the use of container cloud cluster resources，the resource scheduling strategy of Mesos made improvements.Improved resource scheduling policy is based on the original scheduling policy and the CPU usage，share memory and the number of containers of Mesos-Slave nodes run into account，and to do for the next three weighted resource scheduling in accordance with.Finally，by comparing before and after the cluster improved resource utilization，validate the improved resource scheduling strategy can make the cluster resource utilization tends to be balanced.

container cloud，cluster resource utilization，resource management strategy

TN911.23

10.3969/j.issn.1672-9722.2017.10.009

Class Number TN911.23

2017年4月7日，

2017年5月11日

崔廣章，男，碩士，研究方向：大數據處理與高性能計算。朱志祥，男，教授，研究方向：云計算與大數據。