分布式存儲技術和應用淺析

周逸文 中國人民銀行蘇州市中心支行

分布式存儲技術和應用淺析

周逸文 中國人民銀行蘇州市中心支行

隨著云計算的不斷發展，傳統數據中心NAS+SAN的存儲架構已經無法適應不斷增長的存儲需求。分布式存儲系統橫向擴展能力強、總體成本低、天然具備高可用性，在云計算環境下應用前景廣闊。本文論述了存儲技術的發展趨勢和分布式存儲的技術特征，從自主可控的角度重點對比了幾種開源分布式存儲方案，并介紹了實踐情況，最后對分布式存儲的未來應用進行了展望。

分布式 存儲 云服務平臺 應用

隨著互聯網和云計算的發展，業界開始采用分布式技術打造新一代存儲系統，研究其技術特點并選用合適的方案是構建下一代云服務平臺的重點工作。

1 存儲技術的發展和趨勢

云服務平臺中存儲架構設計是整個平臺的重點之一，它承擔著整個平臺的全部數據存儲。傳統存儲架構有DAS、NAS和SAN等。SAN實現對虛擬機、數據庫、ODS形式下數據塊的存儲，NAS實現對文件型數據的存儲。由于傳統應用系統建設的煙囪式架構，造成在物理形式上存在多個專用存儲，無法實現存儲的彈性伸縮和靈活配置，數據孤島問題突出。

分布式存儲系統具備橫向擴展和低成本優勢，在提高基礎架構敏捷性的同時帶來以下好處：硬件解耦。新型分布式存儲系統通常使用標準的硬件設備：如服務器、SSD、磁盤等，具備很高的靈活性和通用性，避免了特定廠家依賴。良好的擴展性（Scale-Out）。新型分布式存儲通常采用集群技術同步擴展其性能和容量，且支持在線動態擴展，以適應大數據和互聯網時代處理海量數據的需求。按需成本投入。因為無需投入專用的硬件設備，每次擴容的成本可降低到單臺工業標準服務器甚至標準硬盤的價位，且可以按需投入而不必預留配置。

2 分布式存儲技術選型

2.1 技術特征

分布式存儲技術源于大型互聯網公司去IOE浪潮中自主研發的云存儲方案，如Amazon S3對象存儲，Amazon EBS彈性塊存儲，阿里云的OSS對象存儲等。目前分布式存儲技術仍在不斷發展變化中，尚未有明確的標準和定義，綜合當前各種技術實現的共同特征，我們可以從以下幾個方面總結其特征。

從支持的業務場景可分為：對象存儲、塊存儲、文件存儲。從技術實現的特點可分為：數據分布、一致性、容錯性、負載均衡、事務與并發控制、易用性等。從使用許可方式可分為：商業化方案。如華為、EMC、VMware等廠商提供的解決方案，這些方案除了軟件收費外，又分為捆綁專用硬件和使用通用硬件兩種方案。開源方案如 RedHat Ceph、RedHat Gluster、OpenStack Swift，Hadoop HDFS等，業界已有公司在開源軟件基礎上提供商業化支持。

從使用形態可分為：ServerSAN，如華為FusionStorage，EMC ScaleIO 等。HCI（超融合），如VMware vSAN、EMC VxRAIL、Nutanix XCP、深信服HCI等。

2.2 開源分布式存儲技術比較

基于自主可控的思路，我們著重對比HDFS、OpenStack Swift、Ceph和Gluster等熱門開源技術方案。

首先，這些方案的共性有：均采用了將文件分塊并分布在不同存儲節點上的數據分布思想；均采用了多副本或糾刪碼等技術提供容錯性；均采用了某些分布式算法保證副本的一致性；均采用了元數據管理思想，在性能和可用性之間的取得平衡。其次，HDFS主要與Hadoop大數據平臺緊密集成，暫時無法作為通用的分布式文件系統使用外，其他三個存儲方案各自功能特點有著諸多不同。

經過比較，Ceph存儲技術具備諸多優勢，主要表現在：高可靠性。三副本策略和數據分布策略可使數據可靠性達到6個9。統一性。可同時提供對象存儲、塊存儲和文件存儲服務。性能出色。支持諸多高級硬件優化，高級特性支持也較多。

3 初步實踐和未來展望

3.1 初步實踐

在初步探索分布式存儲技術的基礎上，嘗試利用Ceph搭建存儲環境逐步替代傳統的NAS存儲。如：構建Ceph對象存儲替代傳統NAS服務器；嘗試利用Ceph文件存儲提供容器外部卷存儲。

3.2 未來展望

3．2．1逐步遷移工作負載或新應用

通過在生產環境運行非關鍵工作負載對新型存儲建立信心，并逐步積累運維經驗，逐步借助分布式存儲的動態擴展能力逐步擴大存儲集群。

3．2．2構建基于分布式存儲的云計算平臺

利用分布式存儲技術整合服務器的本地HDD、SSD等存儲介質將其組織成一個大規模存儲資源池，形成穩定的高可用的多OSD存儲架構，測試流行的虛擬化層如原生支持Ceph的KVM/QEMU或采用iSCSI技術支持VMware vSphere，形成私有IaaS云的存儲基礎層。

[1] 龔利 史楊.淺析分布式存儲系統的研究及應用 [j].網絡安全技術與應用,2014(9):73-73

[2] 劉軍軍.基于Ceph的企業分布式存儲方案 [j].《電子技術與軟件工程》,2016(11):210-212