基于OpenStack 和Ceph 搭建私有云的方案

孫蘇偉

（南京郵電大學 江蘇 南京 210000）

1 概述

云計算作為大數據分析的基礎平臺得到了迅猛發展，在私有云建設領域開源的OpenStack 不僅市場占有率高，技術成熟度高，已經逐漸成為開源云計算的標桿，很多企業和組織都加入Openstack 開源社區，很多全球排名前列的大公司都是OpenStack 基金會的會員，在云計算領域OpenStack 占有重要的一席。同樣，開源的分布式存儲技術Ceph 也在軟件定義存儲領域占有越來越重的分量，在和OpenStack 結合后，能夠實現高性能、高可靠、易維護、彈性伸縮的私有云建設方案。

2 OpenStack和Ceph介紹

2.1 OpenStack 概述

OpenStack 是一個由NASA 和Rackspace 聯手發起，以Apache 許可證授權的自由軟件和開放源代碼項目。項目的目標是提供實施簡單、可大規模擴展、豐富、標準統一的云計算管理平臺。作為一個開源項目，它由開源社區來負責項目開展和維護，社區有自己的組織和基金會。作為一款云操作系統或者云平臺管理項目，能夠為私有云和公有云的實現提供穩定、高性能、高可靠、可擴展的彈性的云計算方案。

2.2 OpenStack 重要組成

OpenStack 作為IaaS 平臺的構建項目，主要功能和模塊都圍繞虛擬機（VM）展開，為虛擬機提供和管理計算、網絡和存儲能力和資源。項目中包括的核心模塊如下。

Nova：計算服務模塊，管理虛擬機的生命周期，負責虛擬機的創建、遷移、管理和銷毀等操作。

Neutron：提供網絡服務，實現了軟件定義網絡功能，負責創建和管理網絡，為VM 提供虛擬網絡和物理網絡連接。

Glance：提供虛擬機鏡像管理和存儲服務，管理VM的啟動鏡像。

Cinder：提供塊存儲服務，用作VM 中塊設備的創建和管理。

Swift：提供對象存儲服務的分布式存儲，VM 通過RESTful API 存放對象數據。

Ceilometer：監控和計費功能，為平臺報警、統計和計費提供數據。

Keystone：認證和授權，為平臺的各種服務提供認證和權限管理服務。

Horizon：用戶界面，提供基于 Web 的一個用戶操作和管理界面。

2.3 OpenStack 的優勢與特點

作為開源的云管理平臺項目，OpenStack 主要具備下列優勢：

（1）發展趨勢很積極，經過一段時間發展，應用普及程度和范圍廣。OpenStack 作為一個開源項目不僅與開源社區合作，而且得到供應商的普遍支持，很多關鍵模塊得到了關注，已經發展成為開源社區項目中關注度非常高的項目之一，而且在全球范圍已經有成熟的落地案例，可以在網上找到豐富的相關信息和應用經驗。

（2）具有極高的開放性和兼容性，可以屏蔽底層不同品牌、不同技術、不同用途的資源帶來的管理復雜度。硬件上OpenStack 能兼容市面上幾乎所有的x86 服務器和國產CPU 服務器，不會存在傳統硬件廠商綁定特定硬件的情況，完全保留用戶自主選擇的權利。軟件上由于OpenStack API 是Rest-full API，只要其他組件也是采用這種統一的規范，通過標準的OpenStack API，很容易互聯互通，因此基于OpenStack 做二次開發，將會比較容易[1]。

（3）自身架構具備優勢。與其他開源軟件相比，OpenStack 自身模塊松耦合，模塊分明，各個模塊間基本上是獨立的基礎架構，各模塊組件配置也較為靈活，模塊間的接口有相應規范，通過消息的機制互通，添加獨立功能的組件非常簡單，可以靈活按需搭建最合適的云平臺。

2.4 Ceph 概述

Ceph 是一個分布式存儲系統，項目最早起源于Sage就讀博士期間的工作，并隨后貢獻給開源社區。在經過了數年的發展之后，特別是伴隨著云計算技術的發展，Ceph已得到眾多云計算廠商的支持并被廣泛應用，成為開源社區受關注較高的項目之一，其中OpenStack 整合Ceph 以支持云平臺的后端存儲運用很廣泛。

2.5 Ceph 組成

按照功能和模塊劃分，Ceph 主要由OSDs、Monitors和MDSs 三個部分組成。

OSDs：Ceph OSD 守護進程，用于集群中所有數據與對象的存儲，處理數據的復制、恢復、回填、再均衡，并通過檢查其他OSD 守護進程的心跳來向 Ceph Monitors 提供一些監控信息。

Monitors：Ceph Monitor 維護著展示集群狀態的各種圖表，包括監視器圖、OSD 圖、歸置組（PG）圖和CRUSH 圖。Ceph 監控整個集群的狀態，保存著發生在Monitors、OSD 和PG 上的每一次狀態變更的歷史信息，維護集群的cluster MAP 二進制表，保證集群數據的一致性。

MDSs：Ceph 元數據服務器，為Ceph 文件系統提供元數據計算、緩存與同步。在ceph 中，元數據也是存儲在osd 節點中的，mds 類似于元數據的代理緩存服務器。

2.6 Ceph 的優勢與特點

Ceph 之所以能夠得到目前的市場地位，除了開源，更因為Ceph 具備下列特點。

高擴展性：Ceph 能夠同時提供對象存儲、塊存儲和文件系統存儲三種存儲服務的統一存儲架構，還支持自定義接口，支持多種語言驅動，能夠滿足不同云平臺需求前提下的部署和應用[2]。

高性能：通過Crush 算法的尋址操作，Ceph 摒棄了傳統的集中式存儲元數據尋址的方案，不僅做到數據分布均衡，而且并行度高。

高可靠：Crush 算法在一致性哈希基礎上很好地考慮了容災域的隔離，結合多副本模式，使得Ceph 能夠實現各類負載的副本放置規則，能夠實現各類負載的副本放置規則。

大容量：Crush 算法有相當強大的擴展性，理論上能夠支持上千個存儲節點的規模，支持TB 到PB 級的數據。

高可擴展性：由于Ceph 做到了去中心化，本身沒有主控節點，擴展起來比較容易，因而能夠滿足云計算需要的靈活擴展要求。

2.7 結合OpenStack+Ceph 一起的優勢

OpenStack 作為一款經過市場檢驗證明的優秀的云操作系統，需要Ceph 提供強大的存儲功能，Ceph 相比較別的開源或私有分布式存儲方案具有一定的競爭力，很多方面具備一定優勢，兩者屬于天然互補，可以共同發展強大。其次兩者都采用標準化的對外接口，兩者對接起來簡單、高效。作為開源項目，社區對二者的結合已經展開了有力支持，對二者的結合應用都做出了專門的研究，已經取得很多成果[3]。

3 方案架構

結合OpenStack+Ceph 構建私有云優勢很明顯。根據主流的IaaS 云計算架構，結合具體的業務需求分析，做到高性能、高可靠，考慮未來能夠按需擴容的架構，最終選擇的云平臺的總體架構采用業界廣泛使用的三層架構模式，設計見圖1。

圖1 私有云平臺架構

物理資源層：云計算平臺規劃使用通用的x86 服務器構建。采用應用遷移的方式，把應用系統從老的虛擬化系統遷移至新建的云平臺，這樣還可以把老的服務器逐漸納入到云計算環境，進行統一管理。

資源虛擬化層：方案采用全面虛擬化，包含服務器虛擬化、存儲虛擬化和網絡虛擬化，能從底層更好地支持上層云服務。計算虛擬化采用KVM 技術，依據每臺計算節點的性能和用途劃分不同的Zone，支持不同的計算資源池。存儲虛擬化運用Ceph 技術，把每臺服務器的存儲能力整合起來，并根據磁盤介質的性能差異和應用需求，規劃多個共享的存儲資源池，提供虛擬機使用的塊設備和對象存儲兩種訪問接口。網絡虛擬化采用萬兆網絡加VLAN 的模式，外部互聯網經過硬件防火墻與內部網絡連接，內部網絡基于Neutron 提供虛擬網絡服務，不同的租戶之間通過VLAN 實現網絡隔離。

云服務管理層：平臺自動管理和動態分配、部署、配置、重新配置以及回收資源，也可以自動安裝應用。平臺可以向用戶提供虛擬基礎架構，用戶也可以自己定義虛擬基礎架構的構成，如服務器配置，數量，存儲類型和大小，網絡配置等。

4 多節點OpenStack私有云搭建

部署一個OpenStack+Ceph 的私有云環境，主要分為控制節點、計算節點和存儲節點。由于OpenStack 的控制節點通常為奇數個，為了實現高可靠必須由3 個控制節點部署為控制集群。從資源復用、性能和效率考慮控制節點還兼充當網絡節點功能。為了數據的高可靠，后端的Ceph 采用三副本模式也至少需要3 個存儲節點。為了達成虛擬機基本穩定需求，確保可漂移，方案中至少要2 個計算節點。從網絡可靠的維度出發，用作互聯的交換機都必須是采用兩臺相同的交換機來互備。綜述搭建一個基于OpenStack 和Ceph 的高可靠私有云平臺，至少需要8 臺服務器和4 臺交換機。

OpenStack 可以擁有全棧的網絡架構，通過軟件定義的方式可虛擬出安全組、交換機、路由器、負載均衡器以及防火墻等網元，可大大節省物理網絡設備的消耗。這些網元均可被云平臺統一調度，形成真正意義上的網絡資源池。一般情況下，虛擬路由器、虛擬防火墻、負載均衡器建議部署于控制節點，將資源利用率最大化。網絡調度組件會以高可用方式部署于控制節點，不僅可以加固網絡層面的可靠性，還可增強網絡負載能力[4]。

OpenStack 的網絡可分為管理、業務、存儲、私有等幾種流量，采用邏輯分離的原則，提高網絡安全性，避免網絡之間相互干擾，且所有承載流量的網絡端口建議采用兩兩綁定的方式，提高網絡的可用性。

Mgmt 網絡：OpenStack 內部組件通信，用于承載控制節點與計算、存儲節點之間管理流量，如物理資源的管理，虛擬機的遷移等，建議萬兆網卡。

Public 網絡：用于外部訪問云平臺地址和各組件的訪問入口。作為控制節點集群網絡，對外提供OpenStack Dashboard，連接到業務網絡，建議千兆網卡。

Private 網絡：用于承載業務系統的業務流量。連接到業務網絡，通常配置成trunk，需要多個vlan，建議千兆網卡。

Storage 網絡：Ceph 內部管理的網絡，用于分布式存儲的數據同步、副本復制等；當然還有一個Ceph 對外提供的網絡，用于其他節點訪問分布式存儲，建議萬兆網卡。

服務器可以采用多個網卡直接實現網絡隔離，當然也可以通過同一個網卡，依賴虛擬交換機來實現隔離。外部的網絡劃分，可以同一個交換機上采用不同的網段和VLAN隔離來實現。經過上面的分析我們可以得到下面的一個部署方案。見圖2、表1、表2 所示。

圖2 私有云平臺服務器和交換機組成

表1 私有云平臺節點網絡規劃

表2 私有云平臺網絡VLAN 劃分

5 云平臺監控與管理

為了方便管理員對平臺的管理和維護，需要提供統一的操作維護界面，通過統一的監控告警信息界面，將所有的告警信息，計算、存儲和網絡等資源的監控信息呈現。云平臺的監控和管理可分為三個維度：

（1）管理員對租戶使用虛擬機的監控和管理。

（2）對平臺租戶和資源使用情況的監控和管理。

（3）對硬件資源使用的監控和管理。

平臺監控模塊在設計開發時就要考慮管理員可以監控物理資源、虛擬資源的運行和使用情況，提供對處理器、內存、磁盤和網絡等各種監控指標的監控。同時管理員也可以通過管理平臺實現對虛擬機的監控管理，掌握虛擬機操作系統運行狀態。對硬件和能耗的監控與智能管理，對基礎架構中潛在錯誤與故障進行判斷和預警，做到對IT資源的高效、智能的精確部署，以實現IT 基礎設施環境的穩定運行。

6 結語

本文從私有云建設的維度和需求出發，提出了基于OpenStack+Ceph 搭建私有云平臺的方案。OpenStack 作為云計算中IaaS 的解決方案，結合Ceph作為云平臺分布式存儲，能夠滿足大多數應用場景和需求，是一個成熟的方案。當然，本文僅僅描述了OpenStack+Ceph 構建私有云的主體方案，是一個基礎版本，還有很多細節、模式可以深入探討，技術上有進一步創新和提升的空間。