支持不同存儲方式的 OpenStack 云平臺設計與實現

馮偉斌，張云勇，王志軍

（中國聯合網絡通信有限公司研究院，北京 100032）

支持不同存儲方式的 OpenStack 云平臺設計與實現

馮偉斌，張云勇，王志軍

（中國聯合網絡通信有限公司研究院，北京 100032）

隨著云計算的發展，用開源軟件實現云平臺的搭建日益便捷，目前云平臺通常采用本地硬盤或共享存儲兩種方式來存儲虛擬機文件，針對兩種存儲方式存在的缺點 ，提出了一種支持兩種存儲方式的 OpenStack 云平臺搭建方法，搭建的云平臺有效實現了對兩種存儲方式的支持。 用戶通過指定不同的參數，創建相應存儲方式的虛擬機，從而靈活滿足了不同業務的存儲需求。 所提方法解決了云平臺對不同存儲方式的支持，有效促進了現網系統向 OpenStack 云平臺的遷移，對業務平臺云化具有重要的推動作用。

云計算；虛擬機；OpenStack；本地硬盤；共享存儲

1 引言

OpenStack 是 目 前 業 內 最 流 行 的 開 源 云 平 臺［1］，能 夠 快速 幫 助 用 戶 實 現 類 似 于 Amazon EC2 和 S3 的 云 基 礎 設 施服 務 。OpenStack 最 新 版 本 Kilo 已 經 于 2015 年 4 月 30 日正 式 發 布 ，這 是 OpenStack 的 第 11 個 版 本［2］。與 OpenStack云平臺的虛擬機存儲架構不同，虛擬機可以創建在 PC服務器的本地硬盤上，也可以創建在基于 PC服務器搭建的分布式共享存儲上，兩者各有優缺點。 本地硬盤虛擬機的性能更為穩定，但不支持實時遷移。共享存儲虛擬機支持實時遷移，但性能受到網絡帶寬的限制。

本文充分考慮了基于本地硬盤或共享存儲的虛擬機的優缺點，基于 OpenStack 實現了一種能夠在本地硬盤或共享存儲上創建虛擬機的云平臺。用戶通過指定不同參數，就可以創建相應存儲方式的虛擬機，從而靈活滿足業務的不同需求。

2 OpenStack 組件簡介

目前 OpenStack 主 要 包 括 8 個 核 心 組 件 ，分 別 是 用 戶界 面 （Horizon）、計 算 （Nova）、認 證 （Keystone）、網 絡（Neutron）、監 控 （Ceilometer）、 鏡 像 （Glance）、 塊 存 儲（Cinder）、對 象 存 儲 （Swift） ，如 圖 1 所 示 。每 個 組 件 都 是 多個服務的集合，一個服務意味著運行著的一個進程。

（1）用戶界面

為所有 OpenStack 服務提供一個模塊化的基于 Django 的界面，通過這個界面，不論是最終用戶還是運維人員都可以完成大多數的操作，如啟動虛擬機、分配 IP 地址、動態遷移等。

（2）計算

類似 于 Amazon 的 EC2 服務，為 用 戶 提 供 虛 擬 機 的 增 、刪、改、查服務，如虛擬機的創建、重啟、銷毀、遷移等。

（3）認證

為所 有 OpenStack 服 務 提 供 身 份驗 證 和 授 權功 能 ，跟蹤用戶權限，提供一個可用服務及 API列表。

（4）網絡

提供云計算環境下的虛擬網絡功能，允許用戶創建自己的虛擬網絡并連接各種網絡設備接口。

（5）監控

將 OpenStack 內 部 發 生 的 幾 乎 所 有 的 事 件 都 收 集 起來，然后為計費和監控以及其他服務提供數據支撐。

（6）鏡像

提供虛擬機鏡像的存儲、查詢和檢索服務，通過提供一 個 虛 擬 磁 盤 映 像 的 目 錄 和 存 儲 庫 ，為 Nova 虛 擬 機 提 供鏡像服務。

（7）塊存儲

類 似 于 Amazon 的 EBS 服 務 ，為 用 戶 提 供 塊 存 儲 服務，能夠創建數據卷，并掛載到虛擬機上。

（8）對象

存儲類似于 Amazon 的 S3 服 務 ，為 用 戶 提 供 對 象 存 儲服務，能夠以低成本的方式管理大量無結構數據。

圖1 OpenStack 主要組件架構

3 OpenStack 云平臺存儲架構

與虛擬機存 儲 直 接相關的 OpenStack 組 件 包括 Nova、Glance、Cinder，如 圖 2 所 示 ，目 前 OpenStack 已 經 支 持 三 者在 Ceph、GlusterFS 等分布式共享存儲上的統一存儲。其 中Nova 負 責 虛擬 機 整 個 生 命 周 期 的 管 理 ，例 如 創 建 、重 啟 、關 機 、銷 毀 等 ，虛 擬 機 自 身的 磁 盤 文 件 由 Nova 負 責 生成 ，屬于本地易失性存儲，即當虛擬機銷毀后，相應的磁盤文件 也 會 被 銷 毀 ；Glance 提 供 虛 擬 機 鏡 像 服 務 ，負 責 虛 擬 機鏡像文件的存儲、查詢和檢索；Cinder為虛擬機提供持久塊存儲服務，虛擬機創建完成后，可以通過 Cinder掛載塊設備 ，并 具 備 快 照 、備 份 等 功 能 ，類 似 于 AWS 的 EBS 服 務［3］。

圖2 OpenStack 云平臺的虛擬機存 儲 架 構

（1）本地硬盤虛擬機即虛擬機本身的文件位于 PC 服務器的本地硬盤上

主 要 優 點 在 于 服 務 器 硬 盤 通 過 做 RAID （redundant arrays of independent disk），除 非 發 生 硬 件 故 障 ，否 則 不 會 出現軟件問題，因此，虛擬機性能更穩定。同時，由于磁盤 I／O 不涉及網絡流量交換，性能也更為高效。主要缺點在于虛擬機在不同服務器之間遷移時，需要將虛擬機文件從一臺服務器通過網絡復制到另外一臺服務器，導致不支持實時遷移，同時還需對虛擬機文件做額外備份。

（2）共享存儲虛擬機即虛擬機本身的文件位于分布式共享存儲上

目 前 業 內 流 行 基 于 Ceph 或 GlusterFS 開 源 軟 件 實 現［4］。由于所有計算服務器都可以訪問共享存儲，因此，自然支持虛擬機的實時遷移，同時分布式共享存儲自帶對文件進行多個備份，可靠性更高。主要缺點在于虛擬機進行讀寫操作 時 ，涉 及 整 個 云 平 臺 中 的 網 絡 流 量 交 換 ，因 此 ，磁 盤 I／O會受到網絡帶寬的限制，同時分布式共享存儲在軟件實現層面較為復雜，與服務器硬盤相比，穩定性略差。

4 OpenStack 云平臺的設計實現

OpenStack 云 平 臺 中 虛 擬 機 的 創 建 由 Nova 組 件 負 責 ，整個服務調用過程如圖 3所示，每個服務都是單獨的進程實 例 ，之 間 通 過 RPC 相 互 調 用［5］。其 中 Nova-API 負 責 驗 證和 處 理 HTTP 請 求 信 息 ，對 外 提 供 REST API供 用 戶 調 用 ；Nova-conductor負 責 與 數 據 庫 交 互 ，提 高 數 據 庫 訪 問 的 安全 性 ；Nova-scheduler 負 責 服 務 調 度 ，決 定 虛 擬 機 實 例 創 建在 哪 個 服 務 器 上 ；Nova-compute 作 為 虛 擬 機 管 理 程 序 ，具體完成虛擬機的創建和控制。

用 戶 調 用 OpenStack 云平臺的 Keystone 服 務 得 到 認 證token 后 ，通 過 調 用 REST API， 向 Nova-API 服 務 發 送 創 建虛擬機的 HTTP 請求。 虛擬機創建的函數調用過程見算法1，算 法 1 為 OpenStack 虛 擬 機 創 建 的 函 數 調 用 過 程 的 偽代 碼 ，OpenStack 最 終 調 用 nova／virt／libvirt／driver.py 中 的_create_image 和 _create_domain_and_network 函 數 具 體 創建虛擬機實例，表示控制虛擬機文件存儲位置的是_create_image 函 數 。

算法1 虛擬機創建的函數調用過程

因 此 ，通 過 修 改 _create_image 函 數 可 以 支 持 不 同 的 存儲方式，偽代 碼簡單 實現 見算法 2，其中，當 stor_type=1 時，創 建 本 地 硬 盤 的 虛 擬 機 ；當 stor_type=2 時 ，創 建 共 享 存 儲 的虛擬機。同樣在虛擬機遷移或快照函數里，也需要配置以下代碼。如果云平臺想繼續增加對不同共享存儲系統的支持，只需簡單增加 stor_type參數的值即可。

圖3 不同存儲方式的虛擬機創建流程

算法2 偽代碼簡單實現

本文充分考慮基于本地硬盤或共享存儲的虛擬機的優 缺 點 ， 通 過 分 析 和 修 改 OpenStack 源 碼 ，設 計 和 實 現 了一種能夠同時在本地硬盤或共享存儲上創建虛擬機的云平臺。前臺通過指定不同參數，可以使后臺創建相應存儲形態的虛擬機，具體設計流程如圖 4所示。

具體創建步驟如下所述：

·前臺通過參數輸入模塊指定虛擬機創建的具體參數；

·觸發請求模塊向后臺系統發出虛擬機創建請求；

· 服務調度模塊根據虛擬機創建的具體參數，將虛擬機創建請求調度到1臺具體的物理服務器上；

·虛擬機創建模塊調用路徑轉換模塊，根據前臺指定的參數，得到本地磁盤和共享存儲對應的路徑，然后調用資源配置模塊，在物理服務器上配置硬件資源；

· 資源配置完成后，虛擬機創建模塊在相應的存儲路徑上創建出虛擬機。

5 OpenStack 云平臺驗證環境

目 前 OpenStack 云 平 臺 支 持 GlusterFS、Ceph 等 多 種 共享存儲系統，本文通過搭建 OpenStack 實 驗 室 環 境 ，采 用GlusterFS 分 布 式 文 件 存 儲 系 統［6］，對 以 上 想 法 進 行 了 驗 證 。如 圖 5 所 示 ，nn20 為 OpenStack 云 平 臺 的 一 個 計 算 節 點 ，其 中 ／var／lib／nova／instances_local為 本 地 硬 盤 的 掛 載 點 ，／var／lib／nova／instances 為 GlusterFS 共 享 存 儲 系 統 的 掛 載 點 ，虛擬機自身的磁盤文件會分別存儲在兩個掛載點下的private_dev_sdz 目 錄 。

通 過 在 虛 擬 機 創 建 腳 本 中 指 定 不 同 的 stor_type 值 ，如圖 6所示，就可以創建不同存儲方式的虛擬機。

圖4 不同存儲方式的虛擬機創建流程

圖5 OpenStack 云平臺中本地硬盤和 共 享 存 儲 的 掛載點

圖6 OpenStack 云平臺中的虛 擬 機 創 建 腳 本

如 圖 7 所 示 ，當 stor_type=1 時 ，虛 擬 機 test0-nn20 所 在的 目 錄 instance-00000971 位 于／var／lib／nova／instances_local／private_dev_sdz／目 錄 下 ，屬 于 本 地 硬 盤 ；當 stor_type=2 時 ，虛 擬 機 test1-nn20 所 在 的 目 錄 instance-0000096f位 于 ／var／lib／nova／instances／private_dev_sdz／目 錄 下 ，屬 于 GlusterFS 共享存儲。

最 后 test0-nn20 和 test1-nn20 兩 臺 虛 擬 機 分 別 向 計 算節 點 nn22 進行實時遷移，結 果 如 圖 8 所 示 。對本地硬盤虛擬 機 test0-nn20 執 行 nova live-migration 命 令 后 ，系 統 提 示不 支 持 遷 移 ， 對 共 享 存 儲 虛 擬 機 test1-nn20 執 行 Nova live-migration 命 令 后 ，則 成 功 遷 移 到 計 算 節 點 nn22。

圖7 OpenStack 云平臺中虛擬機文件所在目錄

圖8 不同存儲方式的虛擬機遷移結果

6 結束語

云平臺通常采用本地硬盤或共享存儲來存儲虛擬機自身文件，兩種存儲方式各自存在優缺點。本文基于OpenStack 開源軟件，實現了云平臺 對兩種存 儲 方 式的同時支持。用戶通過指定不同參數，就可以創建相應存儲方式的虛擬機，從而靈活滿足業務的不同需求。本文能夠促進 現 網 系 統 向 OpenStack 云 平 臺 進 行 遷 移 ，對 業 務 平 臺 云化具有重要的推動作用。

［1］ Open source cloud computing technology options ［J］.Silicon Valley，2012（1）：66.

［2］ OpenStack community website ［EB／OL］. ［2015-10-01］.http：／／www.openstack.org／.

［3］ Amazon EBS website［EB／OL］. ［2015-10-01］.https：／aws.amazon. com／cn／ebs／.

［4］ GlusterFS and Ceph performance test report ［EB／OL］.［2015-10-01］.http：／／www.openstack.cn／？p=2215.

［5］ A OpenStack access request between the components of the call process［EB／OL］. ［2015-10-01］.http：／www.infoq.com／cn／articles／openstack-access-request-calling-process.

［6］ Gluster community website ［EB／OL］. ［2015-10-01］.http：／www. gluster.org／.

Design and implementation of OpenStack cloud platform for different storage modes

FENG Weibin，ZHANG Yunyong，WANG Zhijun
Research Institute of China United Network Communications Group Co.，Ltd.，Beijing 100032，China

With the development of cloud computing，it is more convenient to implement cloud platform by using open source software，cloud platforms usually use local hard disk or shared storage to store virtual machine file.In view of the advantages and disadvantages of these two kinds of storage modes，a method supporting two kinds of storage modes in cloud platform building based on OpenStack was presented.Users specified different parameters to create virtual machine in a corresponding storage mode，so as to meet the needs of different storage business.The method solved the support of cloud platform for different storage modes，promoted the existing network system to migrate to OpenStack cloud platform and played an important role in cloud service platform.

cloud computing，virtual machine，OpenStack，local disk，shared storage

TP393

：A

10.11959／j.issn.1000-0801.2016097

馮偉斌（1982-），男，中國聯合網絡通信有限公司研究院工程師，主要研究方向為云計算、智慧城市、行業信息化等。

張云勇（1976-），男，博士后，中國聯合網絡通信有限公司研究院高級工程師，中國通信學會、電子學會、計算機學會高級會員，主要研究方向為下一代網絡、網絡融合、云計算、大數據等。 曾作為主要研究人員主持和參與總裝備部項目、教育部博士點基金項目、“863”計劃、“973”計劃、國家自然科學基金項目、國家重大專項項目。

王志軍（1976-），男，中國聯合網絡通信有限公司研究院高級工程師，平臺與產品實驗室、云計算實驗室主任，主要研究方向為業務平臺及支撐系統體系架構、面向移動互聯網的開放平臺、新業務及下一代網絡等。

2015-12-08；

2016-03-09