基于多活中心模式的存儲虛擬化和文件系統高可用平臺研究及建設

涂暢+王海濱+鄭寶銘+師威

摘 要：文章立足開行實際，以跨數據中心的多活部署和資源云化管理為架構目標，面向云計算和大數據的新型技術要求，研究提供更加高效、敏捷、靈活、可靠的數據存儲資源平臺，探索跨數據中心的數據綜合管控、利用及保護。本課題結合開行稻香湖數據中心的規劃和詳細設計，以及正在開展的搬遷建設工作，完成了存儲虛擬化和文件系統高可用平臺的技術研究，提出了新型數據中心的混合模式存儲架構及演進路線，并搭建基礎環境進行推廣驗證，為后期架構轉型和技術升級積累經驗，為搬遷工作提供技術支持和參考，相關成果將應用于新數據中心建設。

關鍵詞：多中心；存儲虛擬化；文件系統高可用；混合存儲架構

中圖分類號：TP333 文獻標志碼：A 文章編號：2095-2945（2018）03-0189-03

Abstract： This topic is based on the reality of the Bank， with multi-live deployment of cross-data center and the management of resources cloudization as the framework goals， in order to meet the new technical need of cloud computing and big data， this research intends to provide a more efficient， agile， flexible and reliable platform for data storage resources， and explores the integrated management， utilization and protection of cross-data centers. In combination with the planning and detailed design from the Data Center of China Development Bank， as well as the ongoing relocation and construction work， the technological research of storage virtualization and file system high availability platform has been completed. The hybrid storage architecture and evolution route of the new data center are put forward， and the basic environment is built to popularize and verify it， which can provide technical support and reference for the later stage of architecture transformation and technology upgrading. The results will be applied to the construction of new data centers.

Keywords： multi-center； storage virtualization； availability of file system high； hybrid storage architecture

1 概述

對于數據的高速處理和深度利用，研究建設基于多活中心模式的存儲虛擬化和文件系統高可用平臺，是開行創新IT基礎架構和數據處理模式，建立架構開放彈性、業務IT深度融合、安全可控的信息科技體系的必要手段，將為新常態下開行踐行開發性金融戰略提供更加有力的支撐。

1.1 面臨需求與挑戰

當前國內銀行業IT數據存儲不斷向RPO和RTO趨向零的雙活方向發展，通過不同粒度資源池滿足應用需求，同時按照技術標準化、流程標準化和管理標準化三個維度推進服務管理體系建設。

1.2 存儲虛擬化及文件系統高可用應用

國開行2015年初啟動了稻香湖數據中心規劃設計，并以此為發展契機，于2017年初啟動了多中心存儲虛擬化和文件系統高可用平臺建設研究項目。

對于多活中心非核心系統結構化數據可以采用存儲虛擬化技術結合應用層多活技術實現數據多活，對于多活中心非結構化數據可以采用分布式文件系統高可用平臺技術實現數據多活。

2 多活中心存儲虛擬化平臺方案

2.1 概述

存儲虛擬化建設能夠取得較大效益，可以實現多個獨立存儲系統的整合、存儲空間及性能的整體利用率提升，賦予所管理存儲資源豐富的數據優化、高可用和業務連續性能力等。

2.2 分類與選型

存儲虛擬化分類具有三種類型：一是基于主機的存儲虛擬化；二是基于存儲網絡的虛擬化；三是基于磁盤陣列的虛擬化。對適用場景和優缺點的分析如下：（1）三種虛擬化模式優缺點比較。（表1）（2）主要技術選型說明。基于上述比較，存儲網絡的虛擬化適用范圍最廣，可作為一般情況下的首選。基于以上特點及借鑒同業應用經驗，開行選用存儲網絡虛擬化技術。

2.3 關鍵場景應用

（1）多活中心全場景部署模式。方案模式及效果：滿足非核心系統由數據級災備向應用級災備發展需求，構建五種場景：本地存儲雙活；本地雙活、同城異步復制；同城雙活；同城異步復制；同城雙活、異地異步復制。

（2）資源高效管理。方案模式及效果：納入存儲虛擬化網關強化統一管理；引入新技術：資源池管理統一分配資源，云管理平臺，提供自服務功能、運營服務目錄功能，提高資源管理效率。endprint

（3）利舊設備分級存儲。方案模式及效果：利舊設備分級組合；不同級別設備組合通過擴大網關內存，提高性能；增加應用靈活性。

（4）數據安全性保障。方案模式及效果：多份數據保存，保證數據安全；快照應用，提供各種環境使用。

（5）高效空間利用。方案模式及效果：使用自動精簡配置，提高存儲利用率；應用實時壓縮，壓縮后數據量減少，帶寬的占用降低30%左右。

（6）長距離數據同步。稻香湖與懷柔長距離影響，需要確認延遲是否對系統建設帶來影響；要分析不同存儲數據塊大小對于數據雙活讀寫性能的影響程度。

方案模式及效果：一是大數據塊時對測試值分析，單并發時遠程響應時間比本地多1.8ms；當并發數提高到24個時，本地和遠程的響應時間相差很小；小數據塊長距離寫測試分析，并發量小時性能較好，讀寫延遲滿足數據庫雙活要求，存儲塊大小與數據庫默認塊大小（8KB）一致時，數據讀寫性能更好；二是測試裸光纖長距離延遲，根據生產和同城實時數據傳輸測試驗證數據，遠程寫操作響應時間平均為2.16ms，能滿足數據庫雙活5ms的延遲要求。

2.4 平臺技術驗證

一是同城雙活的虛擬化驗證；二是異地異步復制技術驗證；三是開發測試OPENSTACK資源池使用驗證；四是管理分布式存儲軟件驗證。

3 多活數據中心文件系統高可用平臺方案

開行實施高可用平臺建設是為建設多活數據中心的基礎架構，為未來向云數據中心發展奠定基礎。

3.1 概述

文件系統高可用主要技術特點：一是物理部署分布式；二是處理過程分布式；三是數據存儲分布式；四是訪問接入分布式。

3.2 調研與選擇

在廣泛產品調研的基礎上，開行研究采用商用高可用文件系統產品。

各文件系統的優缺點及適用范圍總結如下（表2）：

對比分析，并行集群文件系統GPFS（General Parallel File System）各方面特征符合開行要求。

3.3 關鍵場景應用

（1）數據雙活。方案模式及效果：一是雙中心同步：搭建GPFS集群，數據以雙副本同步形式，分別存儲到生產中心和輔生產中心；二是雙中心數據雙活：數據在兩中心實時同步，同時讀寫，數據層面實現雙活；三是同等服務能力：雙活應用本地訪問后臺數據，應用服務器可同等提供對用戶的服務能力。

（2）長距離同步。方案模式及效果：一短距二層可靠：長安街、北豐20公里大二層雙中心模式下，雙中心的雙活秒級切換；二是三層同步不穩定：阜外、懷柔的跨中心距離120km，經測試三層網絡傳輸的同步工作不穩定。

（3）數據安全和保護。方案模式及效果：一是三副本：雙數據中心的GPFS集群，在集群中，數據以三副本的形式存儲；二是三份數據都可使用；三是與應用系統協同確保數據安全。

（4）優化數據生命周期。方案模式及效果：一是透明遷移熱點：利用分層存儲功能，掛載不同性能的存儲，配置自動遷移數據；二是數據自動分布：自動調整數據的分布，優化數據生命周期管理。

（5）統一大數據存儲平臺。方案模式及效果：一是利用FPO搭建大數據存儲平臺；二是構建通用分布式平臺。

3.4 平臺技術實踐

GPFS在多中心的實踐中，選定三種架構：一是Linux+GPFS，FPO+SAMBA服務；二是Power平臺GPFS集群連接高端存儲；三是X86平臺GPFS集群連接低端存儲。開行結合行內ECM平臺建設進行了雙中心模式下短距離GPFS集群功能測試、GPFS單中心集群測試、雙中心模式下長距離GPFS集群功能測試。

4 應用效果

應用效果一是存儲設備利舊，涉及裸容量750PB，可以有效降低存儲使用成本約1000萬元；二是簡化運維流程，提升了資源配置效率，推進多層次運維體系建設；三是新架構和服務交付能力提升，滿足應用系統容災恢復、多活和大數據等應用擴展性和高可用性的要求；四是業務連續性級別提升，存儲數據零丟失。

參考文獻：

[1]施澤全.基于虛擬化的高校數據中心異構存儲策略研究及實踐[J].中國新通信，2015（23）.

[2]馮偉斌，張云勇，王志軍.支持不同存儲方式的OpenStack云平臺設計與實現[J].電信科學，2016（4）.endprint