大數據平臺下容器資源調度的優化算法研究*

劉翔,李海榮

(1.內蒙古科技大學 信息工程學院,內蒙古 包頭 014010;2.內蒙古科技大學 工程訓練中心,內蒙古 包頭 014010)

隨著第3次以原子能、電子計算機、空間技術和生物工程的發明和應用為主要標志,涉及信息技術、新能源技術、新材料技術、生物技術、空間技術和海洋技術等諸多領域的一場信息控制技術革命浪潮的興起,人類迎來了信息化時代[1].據IDC研究報告指出,在2021年全世界數據資料的存儲大小已達到1.2 ZB,各行各業越來越趨向于數字化.

在過去十幾年的數字化浪潮中,大數據技術[2]已經經歷了幾次更新升級.從專注存儲的數據庫,到面向統計分析的數據倉庫,再到面向大數據分析應用場景的Hadoop/Spark為核心的大數據平臺,都在不斷地提升數據分析利用能力.當然,隨著大數據平臺的發展,一系列圍繞著大數據平臺而產生的問題也越來越多.如:應用OpenStack構建實驗平臺,其搭建和維護過程復雜[3];使用VMWare構建大數據實驗平臺,其價格昂貴[4];針對目前的Docker Swarm內置的調度策略無法很好地實現Docker集群的負載均衡,提出動態加權調度算法,其不能滿足大數據實驗平臺下的資源調度.現可從2個方面來改進現有的大數據實驗平臺[5].

③Jack L．Walker，“The diffusion of innovations among the American States”，The American Political Science Review，1969，63(3)，pp．880 ～899;Shipan，Charles R．，Craig Volden，“Policy diffusion:seven lessons for scholars and practitioners”，Public Administration Review，2012，72(6)，pp．788 ～796．

一方面,針對大數據平臺部署時不僅硬件設備昂貴,而且相關工具及系統體系龐大,部署過程復雜.在此提出一種基于Docker[6]容器虛擬化技術的一鍵式部署集群.

另一方面,針對Docker Swarm[7]原生3種調度算法Random, Spread, Binpack并不能滿足大數據平臺下的調度策略,在此提出了一種……