云計算實驗平臺虛擬機鏡像的管理與維護

金永霞， 孫 寧

(河海大學(xué) 物聯(lián)網(wǎng)工程學(xué)院， 江蘇 常州 213022)

云計算實驗平臺虛擬機鏡像的管理與維護

金永霞， 孫 寧

(河海大學(xué) 物聯(lián)網(wǎng)工程學(xué)院， 江蘇 常州 213022)

針對云平臺在實驗教學(xué)應(yīng)用中出現(xiàn)的一些問題，設(shè)計實現(xiàn)了虛擬機鏡像管理與維護系統(tǒng)。通過在云平臺的持續(xù)集成環(huán)境中部署腳本，實現(xiàn)對鏡像的緩存、回收、更新升級等維護功能，給出了維護模塊的具體實現(xiàn)方法和維護管理流程。鏡像的管理和維護有利于虛擬機保持良好運行，使云平臺可以快速創(chuàng)建實驗環(huán)境和及時回收實驗資源，為實驗教學(xué)提供有效的環(huán)境支撐。

云計算實驗平臺； 虛擬機鏡像； 管理與維護； 持續(xù)集成環(huán)境

虛擬機鏡像是封裝了操作系統(tǒng)、應(yīng)用軟件和系統(tǒng)配置的一種特定格式的文件，云計算IaaS (infrastructure as a service)平臺以鏡像為模板構(gòu)建虛擬機并分配vCPU、內(nèi)存等硬件資源，按用戶需求提供動態(tài)計算資源和個性化的云服務(wù)。一個完整的鏡像文件通常有GB級的容量，鏡像文件的存儲、傳輸和加載都會消耗底層硬件資源，對云平臺的資源利用率和服務(wù)性能有很大的影響，因此對鏡像文件的優(yōu)化管理已成為云計算研究的關(guān)鍵問題[1-3]。

筆者采用“IBM OpenStack Solution for System X”云解決方案構(gòu)建了基于私有云架構(gòu)的云計算實驗平臺[4]，在云平臺中根據(jù)不同的實驗要求配置了多種虛擬機鏡像，需要時利用這些鏡像創(chuàng)建虛擬機為用戶提供實驗環(huán)境。鏡像是虛擬機的基礎(chǔ)，對鏡像的有效管理和安全控制有利于虛擬機的良好運行，也是使云實驗平臺保持良好系統(tǒng)性能的主要維護手段。本文針對實驗教學(xué)中使用云平臺時出現(xiàn)的一些問題，如批量部署虛擬機耗時長、云平臺長期運行后產(chǎn)生閑置鏡像占用資源、虛擬機鏡像的升級更新需求等，設(shè)計實現(xiàn)了虛擬機鏡像管理與維護系統(tǒng)，通過在云平臺的持續(xù)集成環(huán)境中建立腳本對鏡像進行定期的回收、更新、清除等維護工作，提升云平臺的資源效用比，提高虛擬機集群的部署效率。

1 云實驗平臺架構(gòu)簡介

云計算實驗平臺主要為實驗教學(xué)和應(yīng)用開發(fā)提供環(huán)境支持，要求能夠根據(jù)需求快速創(chuàng)建實驗環(huán)境，并對云資源的分配和使用情況進行有效的管理和監(jiān)控。通過在云平臺中部署系統(tǒng)資源管理和監(jiān)控工具、云環(huán)境配置工具以及滿足實驗需求的應(yīng)用服務(wù)，實現(xiàn)對軟硬件資源的統(tǒng)一管理和按需分配。云實驗平臺架構(gòu)如圖1所示，主要包括虛擬化資源層、服務(wù)管理層、接口訪問層。

(1) 虛擬化資源層。云計算實驗平臺建立在由多臺物理機組成的計算機集群網(wǎng)絡(luò)中，包括控制節(jié)點和計算節(jié)點。物理服務(wù)器集群提供基礎(chǔ)的計算資源、存儲設(shè)備和網(wǎng)絡(luò)設(shè)備，借助KVM虛擬化技術(shù)對底層硬件進行抽象形成統(tǒng)一的虛擬化資源池。

(2) 服務(wù)管理層。通過建立和配置云計算節(jié)點，部署云計算IaaS服務(wù)實現(xiàn)對云平臺資源的動態(tài)規(guī)劃和管理，提供虛擬資源管理、服務(wù)配置管理、持續(xù)集成管理、實時監(jiān)控管理等眾多應(yīng)用服務(wù)。通過部署OpenStack的核心服務(wù)組件實現(xiàn)對云資源的管理，根據(jù)業(yè)務(wù)需求創(chuàng)建、配置和管理虛擬機用以提供云服務(wù)，這些組件包括存儲服務(wù)(Glance、Cinder)、計算服務(wù)(Nova)、認證服務(wù)(Keystone)、網(wǎng)絡(luò)服務(wù)(Neutron)等。設(shè)置自動化配置管理工具Chef對云環(huán)境進行自動化配置和部署。配置開源的網(wǎng)絡(luò)資源監(jiān)控工具Ganglia和Nagios，對云平臺的主機運行狀況、服務(wù)狀態(tài)以及性能進行實時監(jiān)控。搭建持續(xù)集成環(huán)境Jenkins[5]用以持續(xù)自動地構(gòu)建和測試軟件項目，監(jiān)控一些定時執(zhí)行的任務(wù)。這些服務(wù)運行于控制節(jié)點所配置的獨立虛擬機中，并伴隨控制節(jié)點系統(tǒng)一起啟動。利用虛擬機運行有利于服務(wù)的遷移和備份，也易于調(diào)整服務(wù)需要的資源[6]。

(3) 接口訪問層。提供云平臺的訪問入口，接受用戶的服務(wù)創(chuàng)建請求，提供服務(wù)部署和可視化的操作界面。

2 鏡像維護功能及實現(xiàn)方法

2.1 持續(xù)集成環(huán)境

Jenkins是一個開源的持續(xù)集成工具，可以用來搭建持續(xù)集成自動化測試平臺，配置在云環(huán)境中,主要用于管理和測試軟件項目的執(zhí)行。持續(xù)集成環(huán)境包括1個可獲取源代碼的倉庫、1個包含構(gòu)建腳本的項目以及1個Jenkins服務(wù)器，其工作流程如圖2所示。

圖2 Jenkins工作流程

對鏡像的管理和維護功能可以借助持續(xù)集成平臺下的腳本設(shè)計來實現(xiàn)，通過在持續(xù)集成環(huán)境中部署鏡像維護管理所需的腳本，定期構(gòu)建、編譯、運行相應(yīng)代碼實現(xiàn)對鏡像生命周期的管理，提供對鏡像的更新、回收、清除等服務(wù)機制。通過在云平臺中部署存儲源碼的倉庫(SVN Repository)，用于提交代碼和處理源碼修改的版本控制。Jenkins的構(gòu)建項目中需要配置代碼倉庫地址、觸發(fā)的方式、構(gòu)建后的步驟以及郵件通知等信息[7]，所有配置都通過其提供的Web界面實現(xiàn)。Jenkins根據(jù)構(gòu)建請求發(fā)起相應(yīng)的操作，通過給定的代碼倉庫地址URL，將代碼拉取到項目對應(yīng)的工作區(qū)執(zhí)行構(gòu)建過程。

當(dāng)云平臺中配置了提供Jenkins持續(xù)集成的節(jié)點后，通過登錄Jenkins Web服務(wù)器，在可視化的操作界面中選擇要執(zhí)行的項目名稱和構(gòu)建所需的相關(guān)參數(shù)，就可以開始一次腳本的構(gòu)建、編譯和執(zhí)行，之后腳本會按照所配置的觸發(fā)方式和頻率進行構(gòu)建執(zhí)行。

2.2 鏡像的緩存和清除

與云實驗平臺連接的客戶機中配置了鏡像的定制環(huán)境，用戶通過在Linux系統(tǒng)中運行的虛擬化工具Virt-Manager制作一臺適用于KVM的虛擬機鏡像文件，在進行適當(dāng)配置后上傳到云平臺的鏡像存儲池保存，同時對鏡像進行描述的數(shù)據(jù)字段也存入數(shù)據(jù)庫中。基于OpenStack的云平臺支持多種虛擬機鏡像格式，不同的鏡像格式讀寫性能也不盡相同[8]，本實驗平臺中制作的鏡像文件采用qcow2格式。qcow2格式具有占用磁盤空間小、支持快照、壓縮和加密等特性。當(dāng)定制的鏡像文件上傳到云平臺后就開啟了鏡像文件的生命周期運轉(zhuǎn)，用戶可以按照需要使用不同的鏡像創(chuàng)建虛擬機獲得實驗環(huán)境。

OpenStack平臺下的鏡像管理組件Glance用于鏡像的元數(shù)據(jù)信息管理和鏡像存儲池的管理。在基于本地存儲的虛擬機運行方案中，Nova需要從Glance服務(wù)器下載大小為GB級的鏡像文件緩存到計算節(jié)點本地，該鏡像文件是格式為raw的基礎(chǔ)鏡像，并基于該鏡像生成一個運行虛擬機的實例鏡像，所有對于虛擬機的寫操作都會寫入這個實例鏡像。在云實驗平臺中上傳了一個新制作的鏡像后，每個計算節(jié)點還沒有緩存該鏡像，此時批量部署虛擬機需要長時間等待鏡像下載，使虛擬機的啟動變得很慢。為此，利用Glance的緩存機制，在部署虛擬機集群前預(yù)先通過執(zhí)行腳本將所需的鏡像緩存到計算節(jié)點上，有利于提高虛擬機的創(chuàng)建速度。鏡像緩存腳本執(zhí)行的基本流程如下：

(1) 上傳一個鏡像后在指定計算節(jié)點上通過該鏡像創(chuàng)建一個虛擬機實例；

(2) 若虛擬機實例創(chuàng)建成功，則獲取虛擬機實例ID，否則處理錯誤并退出；

(3) 在計算節(jié)點根據(jù)虛擬機實例ID查詢虛擬機存放目錄下的鏡像信息，確定虛擬機實例對應(yīng)的基礎(chǔ)鏡像文件名；

(4) 遍歷計算節(jié)點，將所獲取的基礎(chǔ)鏡像文件從已緩存的計算節(jié)點同步到其他未緩存的計算節(jié)點。

在云平臺中順序啟動多個使用相同鏡像創(chuàng)建的虛擬機實例，所消耗的時間包括鏡像在網(wǎng)絡(luò)中傳輸?shù)臅r間和在計算節(jié)點啟動鏡像的時間。鏡像的緩存相當(dāng)于對鏡像進行預(yù)加載，通過啟動第一臺虛擬機實例將鏡像下載到本地，然后把鏡像同步到其他計算節(jié)點，鏡像的同步可以借助對遠程同步工具的優(yōu)化縮短網(wǎng)絡(luò)傳輸所用的時間。在鏡像文件緩存到所有計算節(jié)點的情況下，如果使用該鏡像創(chuàng)建多個相同配置的虛擬機，云平臺將直接生成運行虛擬機的實例鏡像，使虛擬機的啟動速度明顯提高，適用于需要批量部署實驗環(huán)境的教學(xué)場景。

需要注意的是在計算節(jié)點上產(chǎn)生的基礎(chǔ)鏡像不會隨著虛擬機的刪除而自動清除，云平臺長期運行后會導(dǎo)致基礎(chǔ)鏡像占用大量磁盤空間。因此在實驗平臺中配置了對基礎(chǔ)鏡像進行清除的腳本，用于定期檢查緩存鏡像的保存時間，對于長期不使用的鏡像，在沒有虛擬機運行的情況下刪除基礎(chǔ)鏡像文件釋放磁盤空間，以提高硬件資源利用率[9]。

2.3 閑置鏡像回收

云實驗平臺的管理員或用戶創(chuàng)建一個新的虛擬機時，虛擬機加載鏡像，使鏡像激活并處于在線狀態(tài)。當(dāng)鏡像長期不用時處于閑置狀態(tài)，但仍會占用云平臺有限的資源，在一定程度上影響系統(tǒng)的性能，所以有必要及時對閑置的鏡像進行回收以釋放資源。通過在Jenkins持續(xù)集成環(huán)境中構(gòu)建和執(zhí)行回收鏡像資源的腳本，定期對鏡像進行掃描獲取鏡像信息，可以識別出長期閑置不用的鏡像資源并進行處理。

鏡像資源的相關(guān)信息在上傳到云平臺時會注冊到OpenStack的Nova數(shù)據(jù)庫中，實現(xiàn)鏡像回收服務(wù)需要設(shè)置OpenStack數(shù)據(jù)庫的連接配置信息(數(shù)據(jù)庫服務(wù)器地址，Nova數(shù)據(jù)庫和Keystone數(shù)據(jù)庫的用戶名、密碼)、鏡像資源生命周期配置信息(資源留存的時長，對用戶進行提醒通知的時間)、云平臺管理賬戶配置信息以及Web服務(wù)的端口[10]。回收服務(wù)啟動時讀取這些配置信息，連接OpenStack數(shù)據(jù)庫，對鏡像的最后修改日期、用戶、主機、鏡像ID等進行查詢操作，比較鏡像的最后修改日期和當(dāng)前日期，判斷鏡像資源是否處于過期或即將過期的狀態(tài)，并對鏡像資源進行延期、刪除等操作。對于已過期的資源，執(zhí)行自動清除并通知所有者；對于將過期的資源，提醒所有者通過改寫鏡像的最后修改日期來實現(xiàn)延期。鏡像回收的流程見圖3。

圖3 閑置鏡像回收流程

在腳本中設(shè)計實現(xiàn)API接口函數(shù)，用以獲取鏡像信息以及對鏡像進行篩選、延期和刪除等操作，通過連接數(shù)據(jù)庫使用SQL語句來實現(xiàn)查詢鏡像的過期信息和更新鏡像的最后修改日期。在云實驗平臺中配置自動回收鏡像的腳本，可以避免存在和積累閑置的鏡像，提高CPU、存儲、網(wǎng)絡(luò)等硬件資源的利用率，減少系統(tǒng)不必要的開銷。

2.4 鏡像升級更新

在云實驗平臺的節(jié)點上運行著不同的基于Linux系統(tǒng)的虛擬機，它們提供具體的業(yè)務(wù)服務(wù)功能和實驗環(huán)境支持。在很多情況下，云平臺構(gòu)建的虛擬機需要以操作系統(tǒng)鏡像為基礎(chǔ)版本，用戶基于此系統(tǒng)鏡像的虛擬機實例安裝實驗所需的相關(guān)軟件并配置相應(yīng)參數(shù)，生成能夠滿足實驗環(huán)境要求的虛擬機。基于Linux操作系統(tǒng)發(fā)行版的虛擬機鏡像需要根據(jù)軟件安裝的需求進行及時的更新升級，這是維護虛擬機實驗環(huán)境穩(wěn)定性的需要，也有利于云平臺的安全運行。

云實驗平臺對鏡像的更新維護采用在線更新機制，即在虛擬機系統(tǒng)正常運行的狀態(tài)下執(zhí)行更新腳本進行軟件的升級和更新操作。鏡像升級更新的實現(xiàn)過程：選擇掃描節(jié)點和虛擬機鏡像，對鏡像和補丁源進行遍歷和匹配，獲取需要更新的軟件補丁包，在線安裝補丁，對更新后的虛擬機進行備份形成新的鏡像。

對虛擬機鏡像補丁的管理可以借助鏡像安裝操作系統(tǒng)提供的軟件包管理工具來實現(xiàn)，軟件包管理工具使用特定格式的數(shù)據(jù)來保存已安裝軟件的相關(guān)信息，并提供了系統(tǒng)配置文件保存軟件升級庫的信息。本實驗平臺運行的虛擬機基于RedHat操作系統(tǒng)，可以借助yum方式實現(xiàn)對節(jié)點虛擬機鏡像補丁的掃描和更新。為了獲得較快的更新訪問速度，在私有云的網(wǎng)絡(luò)環(huán)境下搭建一個內(nèi)部補丁服務(wù)器[11]，用于下載存儲從鏡像發(fā)行方獲取的補丁軟件包和操作系統(tǒng)版本匹配的補丁信息庫，虛擬機鏡像更新時從內(nèi)部補丁服務(wù)器獲取補丁包進行升級。虛擬機鏡像的升級更新主要通過2個腳本來實現(xiàn)：

(1) 補丁源遍歷和匹配腳本。主要功能是讓所選節(jié)點中的虛擬機鏡像和補丁信息庫掃描比較，通過匹配已安裝的包和可獲得的包的信息來檢查軟件包是否已經(jīng)過期，得到需要更新的軟件包補丁列表。腳本執(zhí)行時以最新的補丁信息庫作為虛擬機鏡像掃描的參照數(shù)據(jù)庫，然后從rpm數(shù)據(jù)庫文件內(nèi)提取已安裝軟件包的信息，與補丁信息庫進行對比，確定需要更新的補丁詳細信息。鏡像掃描的結(jié)果記錄在數(shù)據(jù)表中，詳細信息包括掃描時間、云節(jié)點標(biāo)識、虛擬機鏡像標(biāo)識、需要更新的軟件包名、軟件包當(dāng)前版本、需要更新的版本信息、補丁升級站點等。

(2) 補丁更新腳本。在腳本中配置參數(shù)使云節(jié)點的虛擬機可以通過yum方式更新補丁，編輯系統(tǒng)配置文件repo文件使yum服務(wù)器指向內(nèi)部補丁服務(wù)器。yum服務(wù)器能整理出每個rpm軟件包的基本信息，如軟件名、軟件版本、配置文件等，使用yum工具執(zhí)行更新或安裝命令時會從指定的配置文件中解析yum服務(wù)器的地址，在更新時清除原有補丁的緩存，從內(nèi)部補丁服務(wù)器中獲取匹配的rpm軟件包執(zhí)行安裝更新操作[12]。

補丁更新升級成功后對虛擬機進行備份，在云平臺管理端使用鏡像操作命令更改這個備份的屬性，使之成為一個新的鏡像。內(nèi)部補丁服務(wù)器設(shè)置為定期下載補丁和更新補丁信息庫，使存儲的軟件版本足夠滿足實驗教學(xué)的環(huán)境要求，能保持虛擬機穩(wěn)定運行即可，這種方式也解決了軟件更新過程中復(fù)雜的依賴包安裝問題。

3 結(jié)語

在云實驗平臺中對鏡像資源的有效管理和維護有利于虛擬機保持良好運行、提供滿足實驗教學(xué)需求的個性化實驗環(huán)境。通過在云平臺中部署腳本實現(xiàn)虛擬機鏡像的緩存、回收以及更新升級等維護功能，在一定程度上提高了批量創(chuàng)建虛擬機的效率，能夠及時回收實驗資源，維護云實驗環(huán)境的穩(wěn)定性。鏡像維護是云實驗平臺運維工作的主要內(nèi)容，利用腳本的自動構(gòu)建和執(zhí)行實現(xiàn)對虛擬機鏡像的維護，也提高了云平臺的運維效率。

References)

[1] 李鋒,陸婷婷,郭建華.一種基于重復(fù)數(shù)據(jù)刪除的鏡像文件存儲方法研究[J].計算機科學(xué),2016,43(11):495-498.

[2] 吳凡,宋云奎,徐繼偉,等.QoS約束的虛擬機鏡像放置優(yōu)化方法[J].計算機系統(tǒng)應(yīng)用,2015,24(10):197-203.

[3] 李思陽,羅宇.基于多級索引的云平臺鏡像管理系統(tǒng)Milance的設(shè)計與實現(xiàn)[J].計算機工程與科學(xué),2015,37(9):1637-1642.

[4] 金永霞,孫寧.基于OpenStack的云計算實驗平臺建設(shè)與應(yīng)用[J].實驗技術(shù)與管理,2016,33(6):145-149.

[5] Jenkins[EB/OL].[2017-04-10].https://jenkins.io/.

[6] 張小斌.OpenStack企業(yè)云平臺架構(gòu)與實踐[M].北京:電子工業(yè)出版社，2015.

[7] 劉華婷.基于Jenkins快速搭建持續(xù)集成環(huán)境[EB/OL].(2011-11-24) [2017-04-10].https://www.ibm.com/developerworks/cn/java/j-lo-jenkins/.

[8] 魯志軍,祖立軍.云計算虛擬化環(huán)境下開源鏡像對比分析[J].計算機應(yīng)用與軟件，2015,32(8):84-87.

[9] 黃凱,毛偉杰,顧駿杰.OpenStack實戰(zhàn)指南[M].北京:機械工業(yè)出版社,2014.

[10] 胡國清,吳春峰.OpenStack中自動回收實例與鏡像的最佳實踐[EB/OL].(2015-09-14)[2017-04-10].https://www.ibm.com/developerworks/cn/cloud/library/1509_hugq_openstackautocollect/.

[11] 張敬東. Linux服務(wù)器配置與管理[M]. 北京:清華大學(xué)出版社,2014.

[12] 楊卓然.基于OpenStack的云計算鏡像安全管理的研究[D].北京:中國地質(zhì)大學(xué),2016.

Management and maintenance of virtual machine mirror image at cloud computing experimental platform

Jin Yongxia， Sun Ning

(College of Internet of Things Engineering, Hohai University. Changzhou 213022, China)

In view of some problems in the application of the cloud platform in experimental teaching, a management and maintenance system for the virtual machine mirror image is designed and realized. Through the deployment of scripts in continuous integration environment of the cloud platform, the maintenance functions such as mirror image caching, recycling, updating, upgrading, etc., can be realized. The management and maintenance of the mirror image are beneficial for the virtual machine to maintain good operation, so that the cloud platform can quickly create the experimental environment and recycle the experimental resources in time to provide effective environmental support for the experimental teaching.

cloud computing experimental platform; virtual machine mirror image; management and maintenance; continuous integration environment

10.16791/j.cnki.sjg.2017.11.025

TP393.07

A

1002-4956(2017)11-0102-04

2017-04-26

江蘇高校品牌專業(yè)建設(shè)工程資助項目(PPZY2015B141)

金永霞(1973—)，女，寧夏平羅，碩士，實驗師，研究方向為云計算實踐與應(yīng)用.