虛擬容器架構在Ceph中應用

摘? 要：近年來，Ceph越來越受到各大企業和高校的青睞。它的可靠性，可擴展性，使得Ceph在眾多存儲開源產品中脫穎而出，Ceph的對象存儲是其應用場景較為廣泛的功能。隨著直播等自媒體的興起，人們對于對象存儲的要求不只局限于功能上的使用，當把Ceph對象存儲進行商業化時候，對其性能的要求也是越來越高。該文引入“虛擬容器”的概念，通過增加一層容器以及對應算法，解決原有的索引瓶頸，使得在數據遍歷，搜索等方面發揮更好的效果。

關鍵詞：對象存儲;虛擬容器;索引

中圖分類號：TP393.09? ? ? ?文獻標識碼：A 文章編號：2096-4706（2020）20-0128-03

Application of Virtual Container Architecture in Ceph

JING Wenjun

（China Mobile（Suzhou）Software Technology Co.，Ltd.，Suzhou? 215153，China）

Abstract：Recently，Ceph has been increasingly attracted by enterprises and universities. Its reliability and extensibility make Ceph stand out among the store open source products. Cephs object storage is a more extensive function of its application scenarios. With the rise of self-media such as live broadcasts，peoples requirements for object storage are not limited to functional use. When Ceph object storage is commercialized，its performance requirements are getting higher and higher. The artical introduces the concept of “virtual container”，by adding a layer of container and the algorithm，to solve the original index bottleneck，so as to play a better effect in data traversal，search and other aspects.

Keywords：object storage;virtual container;index

0? 引? 言

Ceph對象存儲單個容器的性能指標備受各大企業應用的關注，當容器對象到達一定數量級（千萬級）時，容器遍歷性能會大受影響。目前，在容器遍歷性能的改進方面鮮有研究，大部分的做法是通過增加底層磁盤性能進行提升，比如使用磁盤緩存設備，或者直接使用高性能磁盤。

作者在從事的日常集群維護工作中也遇到上述容器遍歷的性能問題，隨著用戶容器數量的增加，對象頻繁遍歷會使得上層應用等待時間過久而超時。因此作者以此背景進行研究，本文提出虛擬容器概念和子容器分配算法，在原容器上增加虛擬容器層，在用戶層面該虛擬容器所有功能與原容器一致。虛擬容器和子容器之間通過一致性算法進行對象分配，這種偽隨機分配算法可以使得各個子容器對象數量相對均勻，同時對象的子容器分配路徑是“固定的”，即可以計算得出，且在動態增加或減少子容器時對象移動的開銷最小。所以在一定硬件條件下，虛擬容器架構可以提高容器可支持最大遍歷對象數量，文中最后給出了不同存儲設備后端的容器最大容量的建議值。本文的讀者對象建議為研究人員或者相關企業單位從事云計算領域專家。

1? Ceph對象存儲

隨著云計算生態環境的日漸成熟，軟件定義產品呼聲高漲，越來越多的企業和用戶選擇上云。Ceph作為軟件定義存儲的優秀開源代表之一，有著成熟社區的支撐，開源峰會的推廣和優秀企業的打磨，使得Ceph由開源界的“網紅”逐步成長為“元老”，打造開源存儲屆的“Linux”。對象存儲是Ceph應用廣泛的功能之一，網盤的對接、直播數據的存儲、監控視頻的存儲都離不開它，只要有一臺能訪問公網的計算機隨時隨地可以使用對象存儲。

2? 數據存儲方式

Ceph的對象存儲網關（Rados Gateway，RGW）提供了REST API，除了提供了原始的接口層，還兼容了AWS的S3接口和OpenStack的Swift接口，用戶可以根據需求進行使用和定制。一般來說對象存儲由用戶（user），桶或容器（bucket），對象（object）資源組成。桶歸屬于用戶，每個桶可以存放多個對象，該對象一般是非結構化的數據。

3? 現有數據存儲流程

存儲桶是用來存放對象的容器，含基礎信息和擴展信息。基礎信息主要是一些桶的標準元數據信息，比如桶的配額，placement rule，bucket的使用容量和bucket對象數目等。擴展信息主要是bucket的一些用戶自定義元數據信息。

在bucket的palcement rule里面記錄了數據的存放位置，如圖1所示。

存儲池default.rgw.buckets.index是圖1中index pool，用來存放bucket的索引對象。當容器容量到達一定規模，處理客戶端遍歷容器內對象（list）請求后Ceph會出現請求等待的性能瓶頸，即隊列繁忙導致其他請求阻塞（blocked）。為了提高索引效率，容器支持調整分片數，該分片用于關聯容器的索引對象，對象元數據可關聯在容器不同的分片上，在處理遍歷請求時，所有分片可以異步進行遍歷，一定程度上能夠提升性能。在此基礎上性能要突破需要依賴于硬件。

步驟2：當1

步驟3：創建N個子容器;

步驟4：根據子容器id通過一致性Hash算法得到子容器對應的Hash環位置;

步驟5：處理對象的相關請求時，解析請求中對象名稱（key），根據key通過一致性Hash算法得到Hash環位置，并在Hash環上按照順時針方向找到最近的目標子容器;

步驟6：最后該對象根據步驟5獲取的目標子容器進行存放。

6? 實際應用

我們對上述方法進行了模擬對比。集群配置如下：

操作系統：CentOS 7.3;集群數量：20臺;磁盤數量：200個，表2測試場景中采用HDD（機械盤）和Bcache（緩存盤）進行對比。每臺物理機2張網，帶寬均為萬兆，網卡綁定模式為mode1，物理機內存64 GB。mon數量：3個;osd數量200個;對象存儲網關數量：3個;rgw_override_bucket_index_max_shards配置為128。

通過實驗可得出單容器可支持的對象最大遍歷數如表2所示。

從上述對比可知虛擬容器架構的性能要優于原架構性能。

7? 結? 論

本文指出了Ceph對象存儲在現有的元數據池分片架構中，單容器存儲大量對象的遍歷性能問題。通過增加“虛擬容器”算法的方式對單容器存儲架構進行優化。使得對象存放到虛擬容器時，通過一致性算法能夠與“子容器”形成“固定的”對應關系，即這種對應關系是偽隨機的，相同對象的存儲路徑不隨不同的時間段的操作而改變，能夠大大地提高容器遍歷和查詢對象的性能。

參考文獻：

[1] WEIL S A. Ceph：Reliable， scalable， and high-performance distributed storage [D]. SANTA CRUZ：University of California，Santa Cruz，2007.

[2] 謝型果.Ceph設計原理與實現 [M].北京：機械工業出版社，2017.

[3] 葉毓睿，雷迎春，李炫輝，等.軟件定義存儲：原理、實踐與生態 [M].北京：機械工業出版社，2016.

[4] 張冬.大話存儲：存儲系統底層架構原理極限剖析（終極版） [M].北京：清華大學出版社，2015.

[5] SINGH K.Ceph Cookbook [M].Ceph中國社區，KVM云技術社區，譯.北京：電子工業出版社，2016.

作者簡介：荊文軍（1990.09—），男，漢族，江蘇丹陽人，中級工程師，碩士研究生，主要研究方向：云計算。