分布式存儲取代集中式存儲可行性分析

金天驕（中國移動通信集團浙江有限公司，浙江杭州 310030）

0 引言

近年來，國內運營商高舉“去IOE”大旗，對傳統的IT架構進行了大刀闊斧的改革。去“I”方面，通過應用改造將系統遷移至x86 資源池，完成應用系統“去I”；通過將OLTP 型核心系統數據庫遷移至一體機，非核心遷移至x86資源池，將OLAP型數據庫遷移至大數據平臺，完成數據庫系統“去I”。去“O”方面，通過區分在線交易、聯機分析和實時查詢等不同場景，引入PostgreSQL、MySQL、Hadoop和Gbase等技術組件，逐步替換Oracle 數據庫。去“E”方面，這些年通過大規模引入分布式存儲，停止采購集中式存儲，部分運營商省分公司集中式存儲容量占比已降至20%以下。在分布式存儲替代集中式存儲的過程中，尤其是分布式存儲經過多年的業務場景歷練，準備向高性能、核心業務場景覆蓋的關鍵時刻，本文對分布式存儲技術進行了深入思考，分析現階段分布式存儲是否能夠全面取代集中式存儲，并且對未來存儲的發展方向提出觀點。

1 分布式存儲的主要問題

軟件定義存儲（SDS——Software-defined storage）是一種數據存儲方式，使用通用的x86 設備組成分布式存儲替換傳統集中式存儲，是一種新的高性價比的存儲技術解決方案。某運營商省分公司自2015 年開始對國內幾個大廠商的分布式存儲產品進行功能及可靠性測試，2016 年初開始在虛擬化資源池進行小范圍部署，2017 年擴大部署規模并接入重要業務系統，根據2018年的年中統計，目前分布式存儲承載的核心系統包含中心化、CBOSS、CRM、統一開通等；非核心系統包含日志分析、數據稽核、統一認證和渠道管理系統等。

目前現網由H 公司和T 公司2 個廠家的分布式存儲產品提供服務。在使用過程中，2 家公司的產品集群產生了相同的故障，其中最主要的3 類故障如表1所示。

表1 分布式存儲產品故障表

通過故障分析總結，目前現網分布式存儲存在的問題可分為集群本身的性能和軟件成熟度兩大類問題，再結合現狀深入剖析發現這兩大類問題又包含以下5個具體問題，具體如表2所示。

表2 分布式存儲問題分析表

2 集中式存儲和分布式存儲的對比分析

2.1 全方位對比分析

根據上述分布式存儲存在的問題，結合目前分布式存儲的使用現狀，從性能、軟件成熟度和成本估算3個維度對集中式存儲和分布式存儲進行了全方位的對比分析，具體如表3所示。

表3 集中式存儲和分布式存儲總體對比分析表

2.2 性能對比

2.2.1 時延

集中式存儲由控制器與磁盤柜組成，主要部件包括各類控制、數據處理芯片以及高速緩存。分布式存儲系統采用可擴展的系統結構，利用多臺存儲服務器資源構成一個虛擬的存儲設備。由于架構不同，集中式存儲和分布式存儲的IO 路徑和時延也存在差異，通過對比發現前者的IO 寫時延有較大優勢，具體如表4所示。

表4 集中式存儲和分布式存儲時延對比表

綜上所述，集中式存儲由于寫入環節較少，在寫時延方面明顯優于分布式存儲。讀時延方面集中式存儲和分布式存儲均相對較低，但通過對比發現集中式存儲通過專用設備優化，在讀時延上依然有一定的優勢。

2.2.2 IO吞吐

IO 吞吐包括IOPS 和帶寬2 項指標，集中式存儲取決于硬盤的類型數量、控制器、緩存等硬件配制，而分布式存儲性能取決于單個節點性能和節點數量。理論上分布式存儲可通過增加節點來線性增加IO 吞吐，但在實際使用中鑒于穩定性、管理成本、時延等因素，各分布式存儲廠商對于實際生產中集群規模的建議一般是20～40個節點。

a）穩定性考慮：一個資源池節點數過多，發生故障的概率也隨之增加，發生故障后數據需要進行重平衡，平衡過程對系統感知影響極大。節點數增多會使集群復雜度增加，進而導致集群IO 調度開銷增加，加上時延等因素導致性能提升偏離線性曲線。

b）硬件及管理成本考慮：隨著集群中節點數量不斷增加，存儲集群的硬件成本和管理成本會隨之增加，內存資源、網絡資源、故障域管理復雜度都會呈幾何倍數增加。

c）時延考慮：業界分布式存儲的最佳實踐是20～40 個節點，通過1 臺48 端口標準交換機進行組網。集群規模越大，節點越多，整個集群需要橫跨更多交換機，導致時延增加。

綜上所述，由于集群節點數量并不能真正線性擴展，因此資源池的性能也就有了上限。比如常見的40個節點分布式存儲集群性能可到50萬IOPS、5 ms左右時延，高端配制可超過80 萬IOPS，2 ms 左右時延。目前相同容量的主流高配集中式存儲性能接近200 萬IOPS、1.3 ms 左右時延。分布式存儲相比集中式存儲還是有一定差距的。此外，由于分布式存儲的三副本特性，一份數據需要寫入3 份，額外占用IO 資源，因此對于寫密集型應用，分布式存儲在性能上不如集中式存儲。

2.2.3 數據重平衡

當存儲介質磁盤出現故障損壞或進行修復時，存儲軟件均會進行數據重構以保證數據的多副本可靠性。數據重構周期與存儲的硬件性能、重構數據量、前端業務壓力有關。綜合對比分析分布式存儲和集中式存儲在數據重構上的性能，得出如表5所示結論。

表5 集中式存儲和分布式存儲數據重平衡對比表

2.3 成熟度對比

集中式存儲在IT 架構中長期扮演重要角色，久經市場和時間考驗；而分布式存儲作為近年來的新技術產品，本身發展起步較晚，成熟度還需要不斷提高，加之硬件非定制化，通用軟件結合通用x86 硬件的穩定性還需要進一步驗證。兩者在成熟度方面的對比分析如表6所示。

表6 集中式存儲和分布式存儲成熟度對比表

2.4 成本對比

集中式存儲成本取決于控制器數量、配置規格、硬盤數量和類型，以及各種附帶軟件功能特性，因此單位容量成本需考慮的因素較多。同樣分布式存儲也取決于x86 服務器的CPU、內存、硬盤數量及類型、分布式軟件特性。表7 和表8 分別是普通配置和全閃存配置的集中式存儲和分布式存儲價格對比。

表7 普通配置集中式存儲和分布式存儲價格對比

表8 全閃存配置集中式存儲和分布式存儲價格對比

在性能相近的基礎上，分布式存儲采用三副本機制保障系統可靠性，相比集中式存儲整體利用率較低且需要較高的軟件授權費用，僅在低性能場景中價格稍占優勢，在高性能場景的全閃存配置上，分布式存儲價格要略高于集中式存儲。

2.5 對比總結

綜上所述，目前分布式存儲實測結論與部分業界流行觀點偏差較大，分布式存儲相比集中式存儲在某些方面的優勢并不明顯。然而，上述結論的依據為產品現階段的實測數據，后續隨著分布式存儲技術的不斷成熟，分布式存儲軟件license 的不斷降低，結論也會隨之發生變化。

傳統集中式存儲雖然有技術封閉、商務綁定等風險，但軟硬一體化及成熟度高的特點使其在運維、性能、穩定性等方面有不容忽視的優勢。分布式存儲雖然在軟硬件解耦、價格方面有優勢，但目前其在性能和穩定性方面還存在著諸多不成熟之處。現階段分布式存儲需要通過升級軟硬件技術和整合維護體系來解決目前遇到的問題。

3 結論

3.1 現階段集中式存儲與分布式存儲適用場景建議

由于現階段集中式存儲在時延、穩定性和軟件成熟度方面有明顯優勢，因此較適合應用于有數據強一致性要求、高IOPS、低時延的OLTP 類交易業務場景；而分布式存儲適用于海量數據、大數據塊、順序讀寫、時延不敏感的場景。這2類存儲技術的使用建議如表9所示。

表9 集中式存儲和分布式存儲使用建議表

3.2 分布式存儲優化方向

根據分布式存儲在生產中遇到的問題，結合第2章中集中式存儲和分布式存儲的對比分析，分布式存儲需要從性能和成熟度2方面不斷進行優化改進。具體措施如表10所示。

表10 分布式存儲優化思路表

4 結束語

近年來分布式存儲技術的發展及廣泛應用，是因為網絡技術的飛速進步以及閃存SSD 盤的大量應用，解決了存儲高時延和單節點IO 性能瓶頸兩大問題。將來隨著硬件的不斷發展和分布式軟件功能的不斷成熟完善，相信分布式存儲定會逐步從中低端存儲市場走向高端存儲市場。

本文建議國內運營商在現階段擴大分布式存儲使用范圍，但短期內不宜完全舍棄集中式存儲，尤其對于技術研發力量較弱的單位，應當根據應用場景合理規劃存儲類型，確保生產系統穩定運行。同時在分布式存儲的日常運維過程中要加強架構管控，確保分布式存儲單節點以及集群整體的性能，加強兼容性評估測試，定期升級軟件版本，加緊核心技術課題攻關，培養出新一代的能創新、善思考的技術團隊，加強核心能力內化，為運營商后續業務快速迭代創新奠定扎實的IT基礎。