新一代數據存儲架構的設計與實現

孫安

【摘 要】面向教育信息化2.0時代，教育信息化系統建設過程中迫切需要解決一系列數據基礎設施構建問題。本文以北京市西城區教育數據中心為例，在分析當前教育數據存儲系統面臨的問題基礎上，研究探討新一代區域數據存儲架構的設計與實施方案，以期更好地為教育信息化2.0服務。

【關鍵詞】軟件定義存儲;數據中心;教育信息化

【中圖分類號】G434? 【文獻標識碼】A

【論文編號】1671-7384（2022）04-038-03

當前，隨著教育信息化發展的不斷深入，儲存教育數據的信息基礎設施已被視為重要的教育資源，面臨著數據存儲能力和數據安全管理能力雙重考驗。一方面，新技術新應用融合教育教學發展迅猛，結合Web應用的崛起，學校上傳大量的文檔、課件、照片和音視頻等非結構化數據，加快了數據量的增長;另一方面，由于新冠肺炎疫情肆虐，刺激了在線學習應用的發展，學校教科研和繼續教育活動多采用在線直播會議和錄播課的形式，進一步促進了數據量的爆炸式增長。面對這兩大趨勢，受傳統的存儲技術和架構的限制，無法進行有效應對，而構建一套部署靈活、易擴展的分布式存儲架構已成為新形勢下承載教育數據爆發增長的迫切需要。

以北京市西城區教育數據中心為例，在教育信息化建設上擁有較完善的基礎設施。近兩年以虛擬化技術搭建西城教育云計算和存儲集群，分布于南區、北區兩個數據中心，為西城區中小學、幼兒園及教育直屬單位提供計算資源和數據存儲空間。目前，在集群中運行了700余臺虛擬服務器，產生的教育數據約占400TB存儲空間;囊括了西城區教育單位絕大部分信息化應用，涉及學籍系統、門戶網站、辦公應用和數字校園等眾多系統，特別是“幼升小”和“小升初”入學排位查詢系統、領導干部評測系統、學生體檢數據采集系統、成績分析系統等重要系統也運行于其中。隨著教育教學應用系統的數量不斷增加，現有存儲設施已不能滿足不斷增長的數據量。

西城教育數據存儲系統面臨的問題

數據中心現有的存儲設施逐漸老舊，面臨存儲容量不足、硬件維護難度加大，軟硬件之間的緊耦合關系導致資源利用率和效率降低。突出表現在以下三個方面。

（1）存儲速度不足，現有存儲均為4GB光纖連接至虛擬化服務器主機，由于虛擬機數量的增加，音視頻業務的增多，需要升級至16GB光纖連接。（2）現有存儲設備種類眾多，不同存儲設備對接不同應用集群;傳統存儲邏輯卷分配復雜，擴容困難，RAID發生故障后恢復慢，已不能滿足現存儲容量的規劃。（3）缺乏對數據安全的保護，數據無可用副本和備份等措施，難以保證數據的安全性，一旦存儲出現邏輯錯誤或者物理故障，整個業務癱瘓，數據易丟失。

利用分布式架構擴容西城教育數據存儲資源池

軟件定義存儲（SDS）是一種能將存儲軟件與硬件分隔開的分布式存儲架構，把服務器、存儲等資源利用軟件進行定義，可實現按需自動分配存儲資源。分布式存儲架構不但能夠提供 ISCSI、FC、NFS、CIFS和S3 等多種存儲接口協議，支持 FC 虛擬化集群的利舊，還能夠滿足高性能低延時要求的業務場景。由于破解了存儲軟件對單一硬件廠商的依賴性，因此構建SDS分布式存儲資源池可以不被綁定任何一家傳統存儲廠商，同時從底層的硬件設備（x86服務器），到上層的虛擬化/云平臺軟件、數據庫/應用軟件都能無縫對接，大幅提高部署的靈活性。根據需求橫向擴展存儲架構，滿足不斷增加的容量需求;同時為保障數據安全，提供豐富的數據安全保護策略，有效避免數據受到侵害。

總體設計方案及實施過程

目前，西城南北數據中心分別規劃了兩個數據池，由12臺x86物理服務器連接組成，單池裸容量600TB，總存儲容量1.2PB，用以滿足目前存儲需求。同時對接虛擬化云平臺，提供南北各100TB備份一體機，實現關鍵數據信息的備份，如果出現數據損壞問題可以快速恢復原有數據。

1.SDS分布式存儲集群架構設計

按照西城教育數據存儲資源池設計要求，采用X86架構服務器構建統一的分布式存儲資源池，滿足了按需提供塊、文件和對象等全融合存儲服務能力，結合西城教育虛擬化平臺和數據庫應用，提供高性能、高擴展能力，可作為未來云計算的基礎設施。如圖1所示，一方面提供了標準NFS和CIFS接口，為Windows、Linux 物理服務器環境下的數據庫或業務應用系統提供文件存儲服務。另一方面提供了兼容Amazon S3接口，應用于海量音視頻等非結構化數據、備份歸檔等場景的對象存儲功能，可以無縫對接云計算生態，滿足西城教育云平臺、西城在線學習平臺及在線直播平臺場景需求。

2.SDS分布式存儲副本策略的設計

采用X86架構構建的資源池為保障數據的安全性，支持系統管理員按照設定的兩副本、三副本進行冗余存儲。以存儲數據為三副本的簡單模型為例，任意1個節點上的主副本數據損壞，其備副本數據會均勻分布在其他節點上，單點故障系統不會丟失數據。

對于副本策略需采用強一致性復制協議來保證數據的一致性，即只有當所有副本都寫成功，才返回寫入磁盤成功。正常情況下需要保證每個副本上的數據都完全一致，從任一副本讀到的數據都是相同的。如果某個副本中的某個磁盤短暫故障，SDS分布式存儲會暫時不寫這個副本，等恢復后再恢復該副本上的數據;如果磁盤長時間或者永久故障，存儲集群會把這個磁盤從群集中移除掉，并為副本尋找新的副本磁盤，再通過重建機制使得數據在各個磁盤上分布均勻。這樣可以達到設備的冗余設計，既使某塊硬盤出現故障或者某個節點服務器出現宕機，也可以安全保障數據不被損壞和丟失。這就是分布式存儲的優勢，節點越多，可靠性和可用性越突出。

3.SDS分布式存儲支持雙活數據中心

該方案還具有一大優勢，它支持數據中心雙活，實現數據中心級故障域;支持跨集群卷同步復制，存儲多副本數據鏡像在兩個數據中心，可保證任何一個數據中心內所有存儲節點故障，業務零切換、數據零丟失。西城教育南區和北區兩個數據中心相距較近，又通過裸光纖直連，保障5ms延遲內，可做卷同步復制，達到RPO=0，亦可手動切換，實現同城災備。

關鍵數據備份方案設計

這幾年，隨著勒索病毒的肆虐，對數據安全構成嚴重的威脅。為了最大限度保護關鍵數據，同時按照《網絡安全等級保護基本要求》指導建議，西城教育數據中心的災備中心設計采用兩套數據備份一體機，分別部署在南區數據中心和北區數據中心，實現南北數據中心重要應用數據、業務數據進行數據級災備。

方案中關鍵數據備份與容災系統采用萬兆光纖網絡設計，實現核心業務數據穩定可靠的快速備份與恢復。通過靈活定制自動備份恢復策略（根據不用業務等級，可按照月、周、天、小時、分鐘或周期性備份等策略設定），有效減少運維管理工作量，并大幅提升重建系統的時效性。支持重復數據刪除技術，大幅減少備份數據量，有效提升備份存儲空間利用率。

誠然，以軟件定義存儲（SDS）為基礎設計的分布式存儲解決方案，是當代數據中心技術演進的主要趨勢之一，作為“新基建”信息化基礎設施的核心組件，其具備良好的性能和可觀的經濟效益，并且具有敏捷高效、按需部署、穩定可靠等特點。新的存儲架構不但有效解決了之前遇到的數據存儲痛點，還增加了傳統“集中式”存儲難以具備的優勢和收益，主要包括：（1）軟硬解耦，實現存儲軟件化和硬件標準化，不被硬件廠商所綁定。（2）采用Scale-Out/橫向擴展，實現按需部署，后續擴容存儲性能和容量同步增加。（3）計算存儲分離，存儲系統更穩定，適用于多種虛擬化及物理服務器環境下的生產系統。

西城教育數據中心向軟件定義的基礎架構持續演進，不僅為當前VMware、Hyper-V、KVM、Xen、數據庫、文件共享等傳統業務提供了高性能、高可靠的數據存儲與管理服務，還可敏捷應對未來教育信息化業務發展需求，支持應對容器化應用、大數據、機器學習與AI，甚至云原生等新興信息技術的工作負載，持續為西城區助力教育信息化2.0服務。

作者單位：北京市西城區現代教育信息技術中心