虛擬機實時遷移的研究

魏志剛,黃 剛

(南京郵電大學 計算機學院、軟件學院，江蘇 南京 210003)

虛擬機實時遷移的研究

魏志剛,黃 剛

(南京郵電大學 計算機學院、軟件學院，江蘇 南京 210003)

虛擬機的實時遷移技術就是把虛擬機完整的從源物理主機遷移拷貝到另外一臺物理主機上，在負載均衡和災難恢復方面起到了重要作用。預拷貝算法實現了虛擬機的實時遷移，但在高負載場景下，一些內存頁會被反復傳送，嚴重影響了遷移效率，延長了總遷移時間。針對此問題，提出了基于臟頁預測算法，在高負載場景下，采用動態指數平滑法對臟頁面進行工作集預測，減少臟頁面的傳送，對于高頻臟頁，直接放入最后停機拷貝時傳送，從而減少實時遷移的時間，提高遷移效率。實驗結果表明，改進后的算法能在高負載場景下有效提高虛擬機實時遷移的性能。

實時遷移；預拷貝；臟頁；總遷移時間

0 引 言

虛擬化(Virtualization)是云計算中最核心的技術[1]，其主要是使用虛擬機監視器(Virtual Machine Monitor)來調度計算機底層的硬件資源,實現多個虛擬資源對同一個硬件資源的共享，并且每個虛擬資源可以作為獨立的主機[2]，充分提高設備的利用率，降低能耗，對計算機硬件資源的分配和管理更加便捷[3]。

虛擬機動態遷移(Live Migration)[4]就是把一臺正在運行的虛擬機遷移到另一臺物理機上，并且虛擬機可以保持原有的狀態正常運行。虛擬機的遷移主要包括存儲設備、網絡以及內存這三個方面的遷移[5]。其中，存儲設備的遷移對于網絡帶寬及時間影響較大，因此主要采用NFS共享數據和文件系統來提高遷移效率。網絡遷移是遷移虛擬機上的網絡設備，包括協議狀態以及IP地址。發送ARP重定向包，將IP地址與Mac地址綁定在一起，這樣使得虛擬機所有的包都可以發送到目標主機上，從而實現網絡的遷移。內存遷移產生的數據量大，而且實時存在變化，因此內存遷移是最重要的部分。

目前，內存遷移主要采用預拷貝(Pre-copy)算法(如Xen,KVM)，以迭代的方式把內存頁拷貝到目的機。預拷貝算法在低負載的場景下遷移性能優越，但是在高負載場景下，因為需要大量地傳送重復的內存頁，導致總的遷移時間過長，遷移性能低下。

針對預拷貝算法的不足，提出一種臟頁預測算法，使用動態指數平滑法預測臟頁，優化預拷貝機制，減少一些內存頁的反復重傳，縮短遷移過程中的總時間。

1 相關工作

近些年對實時遷移的研究中，針對預拷貝技術在高負載環境下存在的不足，國內外學者提出了多種優化方法來提高其效率與性能。文獻[6]根據統計的頁面的活躍度，提出了分層拷貝算法和臟頁減速算法，減少動態遷移的時間。文獻[7]結合按需和內存推送復制方式，提出了動態混合遷移機制—HybMEC，實現了虛擬機狀態的快速遷移，提高了實時遷移的性能。文獻[8]引入馬爾可夫模型預測工作集，細分了內存頁的狀態，提高了概率預測算法的準確性。文獻[9]針對內存頁的不同特征，提出了適應性壓縮方法模型—MECOM，降低了傳輸頁面的大小。

文中總結了相關工作，對預拷貝技術進行深入分析，提出一種臟頁預測算法，對內存頁的變臟程度進行適時預測，對于臟頁率低的內存頁優先傳送。在Xen中的實驗表明，改進的機制有效提高了動態遷移在高負載場景的性能，縮短了總遷移時間。

2 預拷貝算法分析

2.1 預拷貝算法介紹

利用虛擬機動態遷移中的預拷貝算法進行內存遷移主要分為三個步驟(見圖1)：預遷移階段、迭代拷貝階段和停機拷貝階段[10-11]。

圖1 虛擬機動態遷移

(1)預遷移階段：實時遷移開始，對需要遷移的虛擬機的內存頁進行實時監控，選擇遷移的目的主機，并且預定資源。

(2)迭代拷貝階段：虛擬機保持運行狀態的同時，通過迭代的方式將內存頁從源主機傳送到目的主機上。首輪傳送所有的內存頁，以后每輪則傳送上一輪拷貝過程中變更的頁。迭代結束的條件為迭代輪數是否超過閾值(默認設定為30)或迭代過程中被修改的頁數是否超過閾值(默認設定為50)。滿足條件則進入下面的停機階段。

(3)停機拷貝階段：該階段源主機上的虛擬機停止運行，拷貝全部剩余的內存頁以及CPU、I/O狀態，傳送到目的主機，傳輸完成后目的主機上的虛擬機開始運行。

2.2 預拷貝算法性能

對于預拷貝算法在高負載場景下的性能分析如下：

設總的遷移時間為Ttotal，總的遷移時間反映了整個實時遷移的效率。設第一輪傳送內存頁的時間為Tfirst，迭代傳送臟頁的時間為Titer，停機時間為Td。停機時間反映了服務程序運行的連續性。總的遷移時間表示為：

Ttotal=Tfirst+Titer+Td

(1)

設虛擬機內存分頁大小為M，分頁數為N。第i輪迭代傳送中需要傳送的內存頁數為n，內存頁變臟的程度組成的集合為D={d1,d2,…,dn}，每輪迭代傳輸的內存為Mi，所以每輪迭代的時間表示為：

(2)

則Tfirst、Titer可以表示為：

Tfirst=NM/B

(3)

(4)

根據式(2)～(4)可得:

(5)

從上面幾個公式中可以看出，在高負載場景下，由于服務程序會不斷地產生臟頁面，虛擬機需要不斷地重復傳送這些內存頁，使得迭代中傳送的內存變大，Titer的時間過長，總的遷移時間Ttotal受到嚴重影響，進而使得動態遷移的性能低下[12-13]。

3 基于臟頁預測的內存遷移

根據上述分析可知，在高負載場景下，臟頁面的重復傳輸會影響動態遷移的性能，因此文中將在迭代中被修改的內存頁定義為臟頁，內存頁修改程度定義為某個頁面的臟頁率。如果對迭代階段的內存頁使用預測算法，預測出下輪迭代中內存頁狀態修改的程度，只傳輸臟頁率低的內存頁，這樣便能減少臟頁面的重傳，從而減少迭代階段的時間，提高動態遷移的性能。

3.1 預測算法

在迭代拷貝階段對內存頁的修改進行監視，統計之前每個內存頁修改的程度構成時間序列。文中使用動態指數平滑法預測下一輪迭代中頁面的修改程度，預測是否需要傳送這些內存頁。

動態指數平滑法[14]是短期時間序列預測分析法，通過對時間序列進行平滑計算，去除隨機因素的影響，文中采用二次指數平滑法，預測目標的下一輪變化值。動態指數平滑法需要的數據量少，短期預測精度符合動態遷移的高負載場景。

待傳輸臟頁是通過統計短期的歷史數據，使用動態指數平滑法預測得到。設V={v1,v2,…,vn}是內存頁在各輪迭代過程中每個內存頁的臟頁率組成的時間序列，使用一次平滑法在第n輪迭代的一次指數平滑值為：

(6)

利用一次平滑指數計算可以計算出二次平滑指數：

(7)

所以第n+1輪的迭代預測值公式為：

(8)

為了提高臟頁率預測的準確度，需要在每輪迭代拷貝時確定平滑系數α的最優值。文中采用0.168優選法[15]確定最佳平滑系數，并且使用平均絕對相對誤差(MARE)作為預測α的目標函數，確定最優平滑系數。

(9)

通過式(9)采用0.168優選法可以求出α的精確值，其流程如圖2所示。

圖2 平滑系數α流程

3.2 基于預測臟頁的內存預拷貝

在原預拷貝中，使用to_skip，to_send和to_fix三種頁位圖來描述頁面的狀態[16]。to_skip是用來標識在本輪迭代弄臟的頁，可以跳過不傳送的內存頁；to_send是用來標識在上一輪迭代中出現的臟頁，即在本輪迭代要傳送的內存頁；to_fix是用來表示還沒有被映射到的內存頁，在最后階段會去傳送這些內存頁。

文中引入Page_table，to_dirty_table和to_send_last三種頁位圖，用來標識內存頁的狀態。Page_table是用來記錄每個內存頁的臟頁率；to_dirty_table是用來存放每個內存頁的編號，以及每個內存頁利用動態指數平滑法預測出下一輪迭代中內存頁的臟頁率，之后把低于設定閾值的內存頁傳入to_skip頁位圖中；to_send_last用來標識在預測出的臟頁中，內存頁的臟頁率過高，應該在停機階段再傳送的內存頁。除了頁位圖外，文中還引入了關鍵參數P0和P1。P0表示內存頁是否在本輪迭代中傳送的閾值，小于P0時內存頁則是本輪迭代需要傳送的頁；P1是判斷為高臟頁率的閾值，當預測值大于P1時，則是需要在停機階段才傳送的內存頁。

文中的停機條件為傳輸的內存頁小于閾值和迭代的輪數不能超過設定的閾值，圖3給出了具體實現。優化后的虛擬機內存遷移的步驟為：

(1)在預遷移階段，每隔時間T記錄內存頁的修改次數保存到Page_table中。

(2)迭代開始，第一輪傳送所有的內存頁，并將監控到的每個內存頁修改的信息記錄到Page_table中。

(3)下輪迭代開始時，將內存頁的信息以及預測內存頁臟頁率的信息寫入to_dirty_table中。

(4)將to_dirty_table中預測值小于P0的內存頁寫入to_send頁位圖中，即本輪迭代需要傳送的頁面。

(5)將to_dirty_table中預測值大于P1的內存頁寫入to_send_last頁位圖中，即最后停機階段傳送的內存頁。

(6)預測結束后，更新to_dirty_table，將預測值大于P0的內存頁，即為本輪迭代不傳送的頁面寫入to_skip中。

(7)將to_skip與to_send中的內存頁進行比較，跳過同時出現在2個頁位圖中的內存頁，傳輸to_send中剩余的頁。

(8)本輪迭代結束，判斷是否滿足停機條件，滿足則進入停機拷貝階段，不滿足則轉入3，進行下一輪迭代。

以上是優化后的迭代階段的步驟，使用動態指數平滑算法可以有效地測定臟頁工作集，根據預測值減少臟頁的重復傳送，提前進入停機拷貝階段，縮短了總的動態遷移時間。

圖3 內存遷移具體實現

4 實驗與分析

文中通過實驗對比的方式來評估基于臟頁預測的內存遷移的性能，將預拷貝算法的迭代次數、停機時間以及總遷移時間作為性能指標，與臟頁預測算法的內存遷移進行比較。

4.1 實驗環境及方法

實驗中使用了三臺硬件配置相同的物理機，它們的主要配置為8 G內存、500 G硬盤，CPU為Intel Core 2.93 GHz以及100 Mbits/s網絡帶寬。虛擬平臺為Xen3.4.3，虛擬機的操作系統為Centos7.0，通過局域網相連。其中一臺作為NFS服務器用于提供虛擬機的共享存儲，另外兩臺作為實時遷移的源主機和目的主機。在預拷貝算法中設定的停機閾值為50個臟頁或30輪迭代。

實驗時在源物理機上創建4個虛擬機，內存分別是256 M、512 M、1 024 M以及2 048 M。使用原預拷貝算法和預測臟頁迭代拷貝機制進行實驗，比較兩種方法的性能。首先是在無負載的場景下分別對兩種算法進行實驗，其中記錄的數據有迭代次數、停機時間以及總遷移時間，分別測試20組計算它們的平均值。然后在高負載的情況下使用兩種方法進行動態遷移，同樣分別測試20組計算平均值，比較數據得出結論。

文中采用動態指數平滑法，實驗中對于滑動指數α不需要設置為固定值，這樣可以提高預測的實時性和精確度。動態指數平滑法在每一輪迭代對內存頁的狀態修改次數預測時，會先根據當前的時間序列值確定本次預測使用的滑動指數α的最優值，通過式(8)得到之前的序列的各個預測值，帶入式(9)構建的目標函數中，最后得出α的最優值。

4.2 實驗結果及分析

在無負載場景下的實驗結果對比如圖4所示。

圖4 無負載場景遷移時間對比

從上面實驗數據中可以看出，在無負載情況下，改進的內存遷移算法與預拷貝算法在時間上比較接近，改進后的算法在遷移總時間上略優于預拷貝算法，但是優越性還不明顯。

在高負載場景下的實驗結果對比如圖5所示。

高負載場景下，優化后的迭代算法的遷移時間比預拷貝算法明顯減少，由于臟頁預測算法將高頻臟頁放入to_send_last中在最后一輪傳送，所以優化后的算法在停機時間上略微變長，但是總的遷移時間明顯下降，提高了動態遷移的效率。

綜上所述，在無負載或低負載的場景下，臟頁預測算法與預拷貝算法在性能上的差別不大；但是在高負載場景下，臟頁預測算法的優越性表現突出，提升了動態遷移的性能。

圖5 高負載場景總遷移時間對比

5 結束語

文中分析了動態遷移中的迭代拷貝機制，對于臟頁的重復傳送現象，提出了臟頁預測算法的動態遷移，通過對比實驗數據驗證了算法在高負載場景下的優越性。下一步將繼續優化動態遷移的性能，對網絡帶寬以及停機時間在動態遷移中存在的不足進行進一步的優化。

[1] 韓德志,李楠楠,畢 坤.云環境下的虛擬化技術探析[J].華中科技大學學報:自然科學版,2012,40(S1):262-265.

[2] 熊安萍,徐曉龍.基于內存迭代拷貝的Xen虛擬機動態遷移機制研究[J].計算機科學,2013,40(8):63-65.

[3] 崔 勇,林予松,李潤知,等.虛擬機實時遷移中自適應閾值機制的研究[J].小型微型計算機系統,2015,36(3):466-470.

[4] Clark C,Fraser K,Hand S,et al.Live migration of virtual machines[C]//Proceedings of the 2nd conference on networked systems design and implementation.[s.l.]:[s.n.],2005:273-286.

[5] 孫 昱.虛擬機Xen及其實時遷移技術研究[D].上海:上海交通大學,2008.

[6] 阮 敏.Xen環境下實時遷移結構和算法研究[D].大連：大連海事大學,2009.

[7] 陳 陽,懷進鵬,胡春明.基于內存混合復制方式的虛擬機在線遷移機制[J].計算機學報,2011,34(12):2279-2291.

[8] 孫國飛,谷建華,胡金華,等.基于預拷貝的虛擬機動態內存遷移機制改進[J].計算機工程,2011,37(13):36-39.

[9] Jin H,Deng L,Wu S,et al.Live virtual machine migration with adaptive memory compression[C]//Proceedings of the 2009 IEEE international conference on cluster computing.[s.l.]:IEEE,2009:1-10.

[10] 陳廷偉,姜雅楠.基于概率預測的改進虛擬機內存預拷貝方法[J].計算機工程,2015,41(7):289-293.

[11] 張 偉,張曉霞,王汝傳.一種基于臟頁面延遲拷貝的虛擬機動態內存遷移方法[J].計算機科學,2013,40(5):126-130.

[12] Amani A,Zamanifar K.Improving the time of live migration virtual machine by optimized algorithm scheduler[C]//Proc of international conference on computer and knowledge engineering.[s.l.]:[s.n.],2014.

[13] Franciso J,Enrique S.Adaptive downtime for live migration of virtual machines[C]//Proc of international conference on utility and cloud computing.[s.l.]:[s.n.],2014.

[14] 張中平.指數平滑法[M].北京：中國統計出版社,1996:36-49.

[15] 馮金巧,楊兆升,張 林,等.一種自適應指數平滑動態預測模型[J].吉林大學學報:工學版,2007,37(6):1284-1287.

[16] Sharma S,Chawla M.A technical review for efficient virtual machine migration[C]//Proc of international conference on cloud & ubiquitous computing & emerging technologies.[s.l.]:[s.n.],2013.

Research on Live Migration of Virtual Machine

WEI Zhi-gang,HUANG Gang

(School of Computer Science and Technology，School of Software,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

Live migration technology of virtual machine is to finish the migration copy of virtual machine from the source physical host to another,which plays an important role in load balancing and disaster recovery.The live migration is realized by pre-copy,but in the case of high workload,some memory pages will be transmitted over and over again,which affects processing performance seriously and extends the total migration time.For this problem,a dirty page prediction algorithm is proposed which is used to predict the dirty page by dynamic exponential smoothing method,reducing the repeated transmission of dirty pages.For dirty page with high frequency,directly into the final copy down the transmission,the number of live migration time is reduced and the efficiency of migration is improved.Experiment results show that the improved algorithm can effectively rise the performance of virtual machine migration in high scenarios.

live migration;pre-copy;dirty pages;total migration time

2015-12-31

2016-04-27

時間：2016-09-19

國家自然科學基金資助項目(61171053)

魏志剛(1991-)，男，碩士研究生，研究方向為云計算與物聯網技術；黃 剛，教授，研究生導師，研究方向為海量數據管理、云計算、物聯網、P2P等網絡計算環境下海量數據的存儲、索引、查詢和智能分析技術,移動商務平臺設計開發。

http://www.cnki.net/kcms/detail/61.1450.TP.20160919.0841.028.html

TP301

A

1673-629X(2016)10-0013-05

10.3969/j.issn.1673-629X.2016.10.025