面向云環境的虛擬機可信遷移方案

張建標，朱元曦，胡俊，王曉

?

面向云環境的虛擬機可信遷移方案

張建標1,2，朱元曦1,2，胡俊1,2，王曉1,2

（1. 北京工業大學信息學部，北京 100124；2. 可信計算北京市重點實驗室，北京 100124）

現今云計算技術迅猛發展，虛擬機遷移技術作為云服務的一項優勢，受到了廣泛的關注和應用。然而，虛擬機動態遷移過程中存在平臺認證復雜、數據傳輸安全性差等問題有待解決。為此，首先分析了現有的基于可信計算技術的虛擬機遷移方案，提出了云環境下基于可信計算技術的虛擬機動態遷移方案的3項安全要求：平臺認證、數據傳輸保護和虛擬可信根原子性保護。然后提出了面向云環境的虛擬機可信遷移方案，其中引入了虛擬機中央遷移引擎和可信遷移代理，實現了遷移過程的虛擬可信根的原子性保護。最后給出了具體的方案實現與驗證。

可信計算；云計算；vTPCM；虛擬機遷移

1 引言

現今云計算技術[1]迅猛發展，已經成為國內外互聯網行業的研究熱點，知名的有谷歌云、亞馬遜云、阿里云和騰訊云，也吸引了許多行業精英創立以云服務為核心的公司，國內較為成熟的有七牛云、青云等。云計算作為一種新型計算模式，它以資源租用、應用托管、服務外包為核心，把 IT資源、數據、應用作為服務[2]通過互聯網提供給云租戶，為互聯網公司帶來巨大利益的同時，也為云租戶節約了生產成本。

虛擬機動態遷移技術[3]是云計算技術的重要組成部分，可以實現服務器的動態負載均衡和在線維護，并提供了一種前瞻性災備容錯方案。虛擬機動態遷移具體指：將一臺虛擬機從源服務器遷移至目標服務器，遷移過程中的宕機時間極短，使用戶的正常使用不受遷移過程宕機的影響，保證遷移過程對用戶是透明的。

可信計算作為一項革命性技術，已經成為信息安全發展的新方向之一。如今，可信計算進入3.0時代，已經由被動防御變為主動免疫計算模式?？尚?.0的雙系統體系結構應用可信平臺控制模塊（TPCM, trusted platform control model）可以實現主動監控和主動度量，不僅可以對實體（如軟、硬件的啟動，網絡接入等）的初始狀態進行度量，還可以在系統運行中，對實體的狀態及行為進行動態度量，增強了系統的安全性。針對云計算自身的技術特點、服務模式嚴重影響傳統信息安全解決方案有效性，應用可信計算技術可以有效降低云計算安全風險。將vTPCM與云平臺、虛擬化結合起來，解決VM-vTPCM的遷移問題。

目前，針對虛擬機動態遷移技術的研究大多是對遷移效率的研究，如縮短遷移時間、快速遷移、減少遷移量等，對遷移過程中存在安全問題研究較少。而在實際的云計算環境中，存在大量遷移過程中的安全威脅有待解決。現有基于可信計算技術[4]的虛擬機遷移方案對虛擬機遷移過程的數據安全和平臺可信證明[5]有所考慮。但對于虛擬可信根的原子性問題，現有的方案絕大多數沒有考慮，很少一部分有所提及，但是也沒有給出具體解決方案。沒有針對性的具體解決方案，會造成云環境中出現虛擬可信根的副本存在，云環境的可信狀態無法保障，使云環境的安全受到嚴重威脅。同時，現有基于可信計算技術的虛擬機遷移方案沒有給出詳細具體的虛擬機動態遷移框架設計，沒有明確的功能模塊設計方案。所以，本文提出了一種面向云環境的虛擬機可信遷移方案，以解決遷移過程的虛擬可信根的原子性保護為出發點，提出了相應的解決方案。

2 相關技術

2.1 可信軟件基框架Cube

可信軟件基是可信機制的核心，其在可信計算平臺中的作用類似于操作系統對信息系統的作用。北京工業大學可信計算實驗室提出并設計實現了可信軟件基框架Cube[6]。Cube之間互相連接，構成一個分布式的可信計算子系統來管理信息系統。用戶可以開發可信處理機制，以插件的形式掛載到可信計算子系統特定節點的Cube進程中，通過Cube匯總到可信管理中心統一管理，Cube也可以提供針對特定安全機制定制的可信插件，將安全機制作為可信對象進行統一管理。

Cube提供了如下一些核心功能。

1) 策略格式的定義與解析功能：用來讓Cube能夠解讀不同格式的策略。

2) 內存鍵值數據庫維護功能：可以為Cube所定義的數據格式建立內存數據庫，持久化存儲這些數據格式，必要時還可以導出。

3) 可擴展消息處理功能：可以定義特定格式策略的消息，通過可信協議保護策略的傳輸和處理，并可利用消息驅動各模塊協同執行可信功能。

4) 子模塊載入功能：框架可以載入不同的可信功能子模塊，以實現不同的可信處理機制。

5) 消息路由定義功能：可以定義消息在子模塊之間以及不同節點可信軟件基之間的傳輸途徑，通過定義消息的傳輸途徑實現子模塊之間的數據對接和節點間可信協議協作過程。

Cube的具體架構如圖1所示。

圖1 可信軟件基框架Cube

2.2 VM-vTPM遷移過程的安全威脅

在現有的VM-vTPM遷移方案中，Hong等[7]和Danev等[8]都只提出了遷移過程的平臺認證、數據傳輸的機密性和完整性保護要求，設計了相應的協議。然而，其安全需求完全沒有考慮虛擬可信根的原子性保護要求，無法保證平臺的可信狀態不被破壞。Liang等[9]提到了虛擬可信根的原子性保護需求，然而描述不足，不夠具體，并且缺乏詳細的安全機制設計來解決虛擬可信根的原子性保護。

綜上，VM-vTPM遷移過程的安全問題主要有如下幾點。

1) 平臺間完整性證明。虛擬機可能被遷移到不可信平臺中，攻擊者在虛擬機遷移前，通過某種手段控制了目的平臺，一旦虛擬機被遷移過來，攻擊者就會對其進行攻擊破壞，獲取虛擬機權限。

2) 通信通道安全。遷移的數據可能遭到監聽甚至修改。一方面，攻擊者通過監聽源宿主機與目標宿主機之間的網絡，獲得遷移過程中傳送的全部數據，從而可以確定遷移虛擬機的大小、遷移時間，甚至虛擬機操作系統的用戶口令、應用數據等敏感信息。另一方面，攻擊者通過修改遷移的內存數據為特定數據，進而控制虛擬機。

3) 虛擬可信根的原子性問題。云環境中不可以出現一個虛擬可信根的多個副本，或者遷移失敗時虛擬可信根無法恢復的問題。無法恢復虛擬可信根可能會導致租戶遭受DoS，無法正常使用服務。

現有的虛擬機遷移方案實現了平臺認證、數據傳輸的機密性和完整性保護要求，然而對遷移過程的原子性保護問題考慮不足，缺少具體的解決方案。同時，現有的VM-vTPM遷移方案主要是遷移協議的設計，有些對安全需求考慮不周全，有些雖然有考慮，但是沒有詳細具體的遷移機制和功能模塊的設計。而且使用TPM也只是進行被動的防御，無法在復雜的云環境中對各種安全威脅主動免疫，降低安全風險。使用TPCM保證平臺進行主動控制和主動度量，達到主動免疫的效果則是更為合適的選擇。

3 云環境下基于vTPCM的虛擬機安全遷移方案

3.1 云環境下基于vTPCM的虛擬機安全遷移框架

本節針對云環境下VM-vTPCM遷移過程中的原子性保護問題提出云環境下基于vTPCM的虛擬機安全遷移框架，旨在防止云環境中出現vTPCM副本，保護虛擬可信根的原子性。

底層硬件環境的硬件TPCM芯片為系統提供了可信計算的密碼服務，而且TPCM與宿主機系統構成可信3.0提出的雙系統體系結構，為系統提供主動監控和主動度量機制，優先于系統進行加電啟動，監控系統運行環境，保障系統的安全性。

宿主機系統包含可信遷移代理和vTPCM管理器。vTPCM管理器作為一個服務程序，管理上層對vTPCM實例的訪問，根據上層對vTPCM的訪問情況，調度底層硬件環境的TPCM的可信計算資源，管理vTPCM上下文的導入導出，并提供新的vTPCM實例創建和vTPCM遷移功能?？尚胚w移代理與控制節點的虛擬機中央遷移引擎對接，接收中央遷移引擎發起的虛擬機遷移指令，二者協作實現VM-vTPCM的遷移功能，并提供虛擬可信根的原子性保護。

最上層是由VMM統一管理的虛擬機實例，每個虛擬機實例中都包含一個虛擬機的TSB，提供虛擬機的可信管理支撐。

云環境下基于vTPCM的虛擬機安全遷移框架的具體設計如圖2所示。

Xen[10]中的vTPM是一個miniOS，作為一個小型的虛擬域，通過vTPM Manager前端驅動和vTPM建立連接通路，通過vTPM后端驅動與指定虛擬機綁定連接，形成完整的VM-vTPM系統結構。因此，在VM-vTPM遷移的過程中，對vTPM的遷移要求遷移vTPM虛擬域，所以傳輸過程中網絡帶寬的占用率較高。

圖2 云環境下基于vTPCM的虛擬機安全遷移框架

而本文VM-vTPCM的遷移方案中，采用了Cube模型實現vTPCM Manager和vTPCM。因此，vTPCM上下文均是以文件形式存儲的。當系統需要進行相應操作的時候，會進行相應的讀寫操作。所以，遷移過程中只需對相應的PCR值、密鑰句柄、會話等數據進行遷移。

3.2 虛擬機中央遷移引擎

如圖3所示，虛擬機中央遷移引擎由5個模塊構成：狀態信息報告生成模塊、信息收集模塊、遷移流程控制模塊、遷移信號傳輸模塊和遷移回滾日志模塊。

圖3 虛擬機中央遷移引擎

遷移流程控制模塊作為核心，調度其他4個模塊協作完成VM-vTPCM遷移過程。主要功能包括接收控制節點的資源監控模塊發出的VM-vTPCM遷移指令，初始化生成可信遷移報告；發送信息收集指令，調度信息收集模塊進行VM-vTPCM遷移的預處理；接收狀態信息報告生成模塊的可信遷移報告，判斷是否符合遷移策略基準庫的遷移策略，確定是否發起遷移操作；對遷移信號傳輸模塊發起正式遷移指令。當遷移過程出現VM或者vTPCM遷移失敗時，遷移流程控制模塊會通過遷移回滾日志獲取系統需要執行的恢復操作。

信息收集模塊用于對VM-vTPCM遷移進行預處理，收集源服務器和目標服務器的信息，用于判斷源服務器的VM-vTPCM狀態是否可以進行遷移，目標服務器的剩余資源是否滿足遷移策略要求。

狀態信息報告生成模塊對信息收集模塊獲得的信息進行篩選，如內存、CPU信息，獲得必要的信息填入可信遷移報告中。

遷移信號傳輸模塊與服務器的可信遷移代理以及Xen ToolStack對接，分別控制vTPCM的遷移和VM的遷移。

遷移回滾日志是保證遷移過程的虛擬可信根原子性的核心機制。遷移回滾日志包括Redo[11]（重做信息）和Undo（撤銷信息）2個部分。Redo記錄了遷移引擎執行的每條操作，如VM遷移、vTPCM遷移等，當某一項操作失敗的時候，可以讀取Redo記錄再次執行相應操作。Undo記錄了遷移引擎執行的每條操作的逆向操作，如VM從A—>B的遷移，逆向操作則是由B—>A的遷移操作，一旦系統某項操作的多次執行均失敗超時，便不再讀取Redo記錄進行操作重做，而是讀取Undo記錄，將某一遷移過程恢復到初始狀態，即撤回VM-vTPCM的遷移操作。

在整個VM-vTPCM遷移的生命周期內，控制節點的虛擬機中央遷移引擎需要生成一份可信遷移報文?？尚胚w移報文隨著遷移控制流在模塊間傳遞，記錄遷移狀態，通過對報文中VM-vTPCM遷移狀態的判斷，一旦發生遷移失敗的情況，則調用遷移回滾日志，進行遷移的回滾操作，保證vTPCM不在源服務器和目標服務器出現相同的副本，確保遷移過程的虛擬可信根的原子性。

虛擬機中央遷移引擎的主要工作流程如下。

1) Host監控模塊實時監控服務器的資源使用情況，監控到資源負載過高的服務器時，確定VM-vTPCM遷移的源服務器和目標服務器以及待遷移虛擬機，對遷移流程控制模塊發出遷移指令。

2) 遷移流程控制模塊將生成可信遷移報文，填充源服務器和目標服務器以及待遷移虛擬機等相關的數據，發送到信息收集模塊。

3)、4) 信息收集模塊通過Host的UUID獲取對應的服務器連接，獲取源服務器和目標服務器的狀態信息、虛擬機的狀態、是否可以發起遷移的相關信息。

5)~7) 信息收集模塊將收集到的狀態信息發送給狀態信息報告生成模塊，相應地填充到可信遷移報文中，發送到遷移流程控制模塊，并存儲到可信平臺的存儲模塊。

8) 遷移流程控制模塊對可信遷移報告進行判斷，如果符合遷移要求，則發出遷移指令給遷移信號傳輸模塊。

9)、10) 遷移信號傳輸模塊接收到遷移指令后，對可信遷移代理發起vTPCM遷移的操作，并根據遷移結果對可信遷移報告中的vTPCM遷移狀態進行更改。

11) 完成vTPCM遷移后，對Xen ToolStack發起VM的遷移指令，并在遷移完成后進行VM-vTPCM的恢復綁定操作。

3.3 可信遷移代理

VM-vTPCM遷移過程中，為了保證虛擬可信根的原子性，防止vTPCM副本的產生以及數據的丟失，除了控制節點的虛擬機中央遷移引擎外，服務器端必須有控制遷移過程中vTPCM的創建、副本銷毀以及災備恢復工作的相應模塊。為了實現vTPCM遷移過程的原子性保護功能，本文設計了運行于服務器的宿主機上的可信遷移代理。該模塊作為VM-vTPCM的核心模塊之一，負責調度vTPCM Manager完成vTPCM的遷移工作。

可信遷移代理主要功能是接收并解析虛擬機中央遷移引擎發送的可信遷移報告，調用目標服務器vTPCM Manager生成vTPCM的容器，用于接收遷移的vTPCM實例。vTPCM遷移成功與否將返回狀態信息給可信遷移代理，由可信遷移代理對可信遷移報告的vTPCM遷移狀態進行修改，確保vTPCM_migration_status和vTPCM_reset_status互斥，保證vTPCM在源服務器和目標服務器不產生副本。

當vTPCM_migration_status為0時，表示vTPCM遷移失敗，系統將刪除目標服務器的vTPCM相關信息，同時恢復vTPCM在源服務器的運行，此時即vTPCM復位狀態，vTPCM_ reset_status設置為1。

4 方案實現及實驗分析

4.1 方案實現

本文方案基于Xen的云平臺實現VM-vTPCM的動態遷移過程，遷移過程的原子性保護的關鍵是對可信遷移報告的數據結構設計。下面給出具體設計方案。

1) Host監控模塊—>遷移流程控制模塊的過程中，必要的參數用于確定VM-vTPCM遷移的源服務器、目標服務器以及待遷移虛擬機，具體參數如表1所示。

表1 遷移啟動參數

2) Xen ToolStack—>信息收集模塊的數據傳輸過程中，主要收集服務器的狀態以及資源使用情況，用于下一步確定是否滿足遷移條件，是否可以執行遷移操作。具體參數有VM和Host這2部分的相關參數，如表2和表3所示。

表2 VM參數

表3 Host參數

3) 遷移信號傳輸模塊實時監控VM以及vTPCM的遷移狀態，結構如表4所示。

表4 遷移狀態參數

遷移過程中的信息收集主要函數是host_ info_collect (Connection connection, Uuid host, Uuid vm)，通過調用XAPI與Xen建立Https連接，獲取相關數據，并加密返回給控制節點。

vTPCM的遷移以及恢復主要函數包括以下2個。

vTPCM_migrate (Connection connection, Uuid sourceHost, Uuid targetHost, Uuid vm)；

vTPCM_restore (Connection connection, Uuid sourceHost, Uuid targetHost, Uuid vm)

第一個函數通過遷移的虛擬機獲得相應的源服務器vTPCM數據，通過Host UUID以及VM UUID確定目標服務器需要綁定的虛擬機，完成vTPCM數據的加密傳輸，以及VM-vTPCM綁定操作。

第二個函數用于在第一個函數返回vTPCM遷移失敗的時候，對遷移的原子性進行保護。在恢復源服務器vTPCM的同時，將遷移失敗的目標服務器的vTPCM副本刪除，防止云環境內出現vTPCM的復制。

4.2 功能測試

實驗環境如下。每一臺服務器均搭載TPM芯片，搭建XenServer私有云環境，對VM-vTPM虛擬機動態遷移方案進行測試。具體配置如表5所示。

圖4 遷移實驗拓撲

表5 實驗節點信息

遷移實驗拓撲如圖4所示。通過控制節點的虛擬機遷移引擎手動發起虛擬機遷移操作，指定源服務器（test1）和目標服務器（test2）以及待遷移虛擬機（vm_test），系統遷移過程中收集到了VM、vTPM和遷移狀態的相關信息。程序中強制設置vTPM_migration_status狀態為0，vTPM_reset_status狀態為1，使遷移過程失敗。系統執行Undo日志生成的遷移過程的逆向操作內容，恢復了源服務器的虛擬可信根，刪除了目標服務器的虛擬可信根副本，從而保證了遷移過程的虛擬可信根的原子性，如圖5所示。

4.3 系統性能分析

本節對VM-vTPM虛擬機動態遷移和常規虛擬機動態遷移的系統性能進行實驗和分析。實驗中待遷移虛擬機為CentOS 7.0版本，為虛擬機分配不同大小的內存，記錄虛擬機動態遷移所使用的時間。然后在虛擬機和vTPM綁定之后，為虛擬機分配不同大小的內存，記錄VM-vTPM動態遷移使用的時間。實驗的性能指標是虛擬機動態遷移的總時間。

圖5 虛擬可信根原子性保護測試

具體的實驗結果如圖6所示。遷移虛擬機的總遷移時間和虛擬機的內存成正比。相比常規的虛擬機遷移，基于vTPCM虛擬機動態方案在虛擬機內存為128 MB時，遷移總時間增加了19.2%，當虛擬機內存為1 024 MB時，遷移總時間增加了2.1%，總平均花費時間增加了5.2%?？梢婋S著虛擬機內存的增大，基于vTPCM虛擬機動態方案影響的遷移時間占比越來越低?，F今云計算行業中，云服務器最低是1 GB內存，很多企業的需求更高。所以，遷移過程中增加的耗時是可以接受的。

圖6 遷移時間對比

5 結束語

本文首先對可信軟件基框架Cube進行了介紹，對VM-vTPM的虛擬機遷移方案進行了分析，總結了云環境虛擬機遷移過程中存在的安全問題，提出了遷移過程中的3點安全需求：平臺間認證、傳輸數據的保護和虛擬可信根原子性的保護。根據安全需求，提出了面向云環境的虛擬機可信遷移方案，詳細說明了總體設計方案和各個模塊功能說明，最后給出了方案實現與驗證。通過設計面向云環境的虛擬機可信遷移方案，解決了遷移過程中虛擬可信根的原子性保護問題，保證了云環境的可信狀態不被破壞，使云環境免于受到遷移過程帶來的安全威脅。

[1] 張玉清, 王曉菲, 劉雪峰, 等. 云計算環境安全綜述[J]. 軟件學報, 2016, 27(6): 1328-1348.

ZHANG Y Q, WANG X F, LIU X F, et al. The review of cloud computing environment security[J]. Journal of Software, 2016, 27(6): 1328-1348.

[2] WANG C, WANG Q, REN K, et al. Toward secure and dependable storage services in cloud computing[J]. IEEE Transactions on Services Computing, 2012, 5(2): 220-232.

[3] LI W, TORDSSON J, ELMROTH E. Modeling for dynamic cloud scheduling via migration of virtual machines[C]//IEEE Third International Conference on Cloud Computing Technology and Science. 2011:163-171.

[4] 沈昌祥, 張煥國, 王懷民, 等. 可信計算的研究與發展[J]. 中國科學:信息科學, 2010(2):139-166.

SHEN C X, ZHANG H G, WANG H M, et al. Research and development of trusted computing[J]. SCIENTIA China: Information Soences, 2010, (2): 139-166.

[5] 馮登國. 可信計算:理論與實踐[M]. 北京: 清華大學出版社, 2013.

FENG D G. Trusted computing: theory and practice[M]. Beijing: Tsinghua University Press, 2013.

[6] 胡俊, 沈昌祥, 公備. 可信計算3.0工程初步[M]. 北京：人民郵電出版社, 2017.

HU J, SHEN C X, GONG B. Trusted Computing 3.0, Preliminary Project[M]. Beijing: Posts & Telecom Press, 2017.

[7] HONG Z, WANG J, ZHANG H G. A trusted VM-vTPM live migration protocol in clouds[C]// The International Workshop on Cloud Computing & Information Security. 2013: 299-302.

[8] DANEV B, MASTI R J, KARAME G O, et al. Enabling secure VM-vTPM migration in private clouds[C]//The 27th Computer Security Applications Conference( ACSAC 2011). 2011:187-196.

[9] LIANG X, JIANG R, KONG H. Secure and reliable VM-vTPM migration in private cloud[C]//The International Symposium on Instrumentation and Measurement, Sensor Network and Automation. 2014:510-514.

[10] SUN M, REN W. Improvement on dynamic migration technology of virtual machine based on Xen[C]//The International Forum on Strategic Technology. 2013:124-127.

[11] JOSHI A, NAGARAJAN V, VIGLAS S, et al. ATOM: atomic durability in non-volatile memory through hardware logging[C]// IEEE International Symposium on High Performance Computer Architecture. 2017:361-372.

Scheme of virtual machine trusted migration in cloud environment

ZHANG Jianbiao1,2, ZHU Yuanxi1,2, HU Jun1,2, WANG Xiao1,2

1. Faculty of Information Technology, Beijing University of Technology, Beijing 100124, China2. Beijing Key Laboratory of Trusted Computing, Beijing 100124, China

With the rapid development of cloud computing, as an advantage of cloud services, virtual machine migration technology has been widely noticed and applied. However, there are some problems about VMs migration which should be solved, such as the complication of authentication of platform and the security issues of data transmission, etc. For these problems, firstly, the existing virtual machine migration scheme based on trusted computing technology was analyzed. Secondly, three secure needs that the virtual machine migration scheme which based on trusted computing technology should meet were proposed: the authenticated platform, confidentiality and integrity preserving transfer and atomicity of the vTPCM. Thirdly, a trusted migration scheme of virtual machines for cloud environment was proposed, in which the virtual machine central migration engine and trusted migration agent were introduced to solve the atomicity protection of vTPCM during the migration process. Finally, the concrete scheme was given with verification.

trusted computing, cloud computing, vTPCM, virtual machine migration

TP302.1

A

10.11959/j.issn.2096-109x.2018009

張建標（1969-），男，江蘇海門人，博士，北京工業大學教授、博士生導師，主要研究方向為網絡與信息安全、可信計算。

朱元曦（1993-），男，北京人，北京工業大學碩士生，主要研究方向為云計算、可信計算。

胡俊（1972-），男，湖南湘陰人，博士，北京工業大學講師，主要研究方向為信息安全和可信計算。

王曉（1983-），女，河北石家莊人，北京工業大學博士生，主要研究方向為信息安全、可信計算。

2017-12-05；

2018-01-03

張建標，zjb@bjut.edu.cn

國家自然科學基金資助項目（No.61671030, No.U1405254）；國家高技術研究發展計劃（“863”計劃）基金資助項目（No.2015AA016002）

The National Natural Science Fundation of China (No.61671030, No.U1405254), The National High-Tech R&D Program of China (863 Program) (No.2015AA016002)