分布式存儲——大數據中心建設解決策略研究

袁敬實 陳琰 王蓓蓓

【摘要】? ? 隨著“互聯網+”戰略的推進，信息消費正在加速滲透進各行各業與千家萬戶，給社會發展與信息化建設帶來了巨大發展機遇和發展空間。在“互聯網+”實現過程中，我們將目光鎖定在大數據、物聯網、云計算等熱點應用領域，這些領域與“互聯網+”的內容實質有很強相關性。也正是因為這樣，由于信息化所主導的新興業務領域才會有更好的發展空間，對“互聯網+”戰略的部署和實現也是一種很好的促進。本文首先對分布式存儲和分布式存儲的特點進行了簡要闡述;然后以POD方案和混合POD方案為例，對分布式存儲在大數據中心建設中的具體部署情況進行了詳細分析和描述;最后從資源利用和管理能力等六個方面出發，對云數據中心建設優勢進行了總結。

【關鍵詞】? ? 分布式存儲? ? 大數據? ? 建設策略

一、分布式存儲及其特點

1.1分布式存儲

分布式存儲的擴展性更強，其架構能夠實現跨設備數據分發，同時能夠做到多個服務器間共享存儲負載。分布式存儲一般分為塊存儲、文件存儲和對象存儲。

1.1.1分布式塊存儲

在物理機與虛擬機應用中，塊存儲可作為一種長期存儲設備來使用，對軟件導出和提供本地磁盤使用很有幫助。與此同時，像備份和快照等多樣化高級服務也會被提供。

1.1.2分布式文件存儲

在“客戶端—服務器”模型的支持下，分布式文件系統設計更具實用性和現實意義。其功能在信息資源傳遞方式上表現出很強靈活性，比如基于物理設備進行存儲的信息資源可在網絡環境支持下完成虛擬化存儲，這樣便在客戶端層面極大節省了存儲空間，也降低了投入資金。

1.1.3分布式對象存儲

相比分布式塊存儲和分布式文件存儲，分布式對象存儲要更復雜些，但所實現的功能更多，優點也更加明顯，比如網絡附加存儲優勢、存儲區域網絡優勢等，均是分布式塊存儲和分布式文件存儲無法比擬的，這些與分布式對象存儲的結構豐富性有直接關系。除了對象和對象存儲設備外，系統客戶端和元數據服務器在功能和優勢實現過程中也發揮了重要作用，比如高安全性和可靠性。

1.2分布式存儲產品的主要特點

1.2.1高彈性和擴展性

分布式存儲產品的高彈性和高擴展性主要體現在應用層面的負載均衡特性上，且每個硬件資源均具有這樣的特性。加之在多卷共享支持下，共享資源池功能也得到了最大限度發揮，使產品的高彈性特點得到了更好體現。而這一切均是在數據分片技術的支持來完成的，使數據能夠被均勻地分配到資源池中。

1.2.2高性能

分布式存儲通過動態智能分區、靜態選盤算法以及 EC 算法，采用小 IO 聚合、大 IO 直通等技術，在實現了業務均衡分布和保證了存儲高可靠的同時，也保證了存儲的高性能。在使用 HDD 作為主存時，采用分布式 SSD Cache 加速方案，將各個 存儲節點上的 SSD 組建成為一個共享的分布式 Cache 資源池，供所有的業務共同所 用，實現 HDD 主存的性能加速。

1.2.3高可靠性

分布式存儲采用分布式集群管理方式，系統全冗余部署，無單點故障。支持 多副本和 EC（Erasure Coding）兩種數據冗余保護機制，支持設置靈活的數據可靠性策略，支持DIF、后臺數據一致性校驗等數據完整性校驗功能。

二、分布式存儲在大數據中心建設中的部署方案

基于分布式存儲的大數據中心建設中的部署方案，在硬件方面需要X86和架頂交換機或大型數據中心交換機做支持，在不同網絡機構、網絡規模，以及不同的應用需求下，對設備的應用和組網方法也是有所區別的。

2.1存儲獨立POD方案

POD方案是指物理基礎設施資源池，該方案一般用在物理機房無法滿足和承載數據中心建設要求的情況下，方案應用宗旨是將存儲與業務和管理服務器分開。當前我們對“物理機房無法滿足和承載數據中心建設要求”的理解是，數據中心機房的服務器要達到千臺以上規模。

POD的劃分與建設主要依據業務內容和屬性。假如平均每一個機柜放置10臺服務器，那么1500臺服務器就需要100多個機柜，按照業務內容來進行劃分，可能我們需要劃分出20-30個POD。圖1是具體POD組網結構圖，假設數據中心的每臺服務器以2×10GE上聯一對TOR（接入交換機）上，每臺TOR以4×40GE上聯匯聚層交換機，并接入數據中心網絡。比如，在大數據計算節點每對接入交換機下掛載48臺服務器，那么從接入到匯聚就會采用1：3的收斂比。需要指出的是，無論是計算節點還是存儲節點，又或是管理節點，它們本身就是一個POD，有時獲取是多個POD，其主要任務是負責協調其它各個POD之間的業務互訪。

2.2采用混合POD組網方案

存儲獨立POD組網方案主要用來解決大型機房空間和資源利用率問題，而對于中小型機房來說，由于對空間和資源的要求并不是很高，所以采用存儲獨立POD方案難免會浪費掉多余的空間和資源。在這樣的情況下，我們可以采用混合POD組網方案。圖2為混合POD組網結構圖。

混合POD組網方案主要分兩種，一是按業務分區部署方案，二是機架混合部署方案。

2.2.1按業務分區部署方案

在空間部署方面，匯聚層交換機一般會被安置在機房物理中心位置，這樣便于其它設備連接。至于對交換機類型的選擇，主要還看具體業務需求。一般情況下，計算接入交換機、管理接入交換機、存儲接入交換機、IPMI管理交換機都會被置于機柜上層，一般在34U-38U這段距離之間，每個機柜所盛放的服務器數量需要控制在10-14臺，并需要在同一個機柜部署相同業務的服務器。

2.2.2機架混合部署方案

前面所講，混合POD組網方案一般用于中小型機房建設，但每個中小型機房的具體情況還是不同的，混合POD組網方案下的按業務分區部署方案多用于承載服務器數量較多的機房，而對于那些服務器數量少的機房來說，需要采用另一種方案，即機架混合部署方案。該方案與前一種方案相比，最大的不同就是計算和存儲共用一個交換機來協調業務之間互訪，而不是通過匯聚交換機來實現協調業務之間互訪。在此方案下，一個機柜既要承載計算服務器，也要容納存儲服務器，這樣做可以節省更多的空間資源，減少走線架線纜布放。

在同一個機柜中，計算接入交換機、管理接入交換機、存儲接入交換機和IPMI管理交換機的安置位置與按業務分區部署方案下的安置位置相同，但最頂層交換機位置不可超過40U。

三、與傳統IDC相比，云數據中心建設的優勢

3.1充分利用資源

云數據中心建設優勢主要體現在提高了資源使用效率，縮短了信息反映時間，提升了設備運行維護質量，簡化了信息管理流程，增強了IDC擴展靈活性，以及降低了資源擴充難度。這些內容全部是云計算管理通過進行動態監控、調度和部署虛擬化資源池中的各種資源來實現的。

3.2減少用戶初期投資與運營成本

相比重構購買符合應用需求的硬件設備和軟件產品，根據用戶實際業務需求來調整租賃資源，對幫助用戶減少初期投資成本，以及運營成本是十分有效的。特別需要強調的是，用戶可根據自身使用情況進行付費，這一極具人性化的投資特征對于中小型企業及其自身發展來說無疑是十分有利的。

3.3直接滿足并實現了眾多IDC業務需求

云數據中心建設具有很強開放性，應用平臺可將所有實際業務需求的相關內容整個在一起提供了用戶。同時，極具創新性的服務業實現了IDC業務服務的縱深發展。

3.4促進IDC管理水平提高

規范化和規模化是云數據中心建設的主要特征，這一特征，或與之相關特征，對實現IDC自動化管理，以及具有統一性的流程化管理有著重要幫助，直接促進了IDC管理水平的提高。

3.5綠色成長

對云數據中心建設來說，綠色成長即指節能減排的實現，以及對有限信息資源的高效利用。云數據中心的建設和應用，將不斷推動信息化環保事業的發展。

3.6業務多樣化的實現

業務多樣化只是相對而言，與傳統IDC相比，云計算支持下的IDC正在實現這一特征，這與移動終端業務的支持有直接關系。

四、結束語

應用分布式存儲技術于大數據中心建設中，需要我們能夠結合實際情、環境和需求還選擇合適的部署方案。建設空間和資源是當前我們比較關注的兩方們問題，對于如何去解決這些問題，還需要我們能靈活運用好相應的技術和方案。希望本文的建議能給大家帶來幫助。

參? 考? 文? 獻

[1]辛宇.網絡安全的分布式異構存儲網絡安全技術分析[J].電子世界，2021（01）：170-171.

[2]張恒均.分布式存儲——數據中心建設解決策略研究[J].數碼世界，2020（10）：54-55.

[3]王晶晶.分布式存儲——大數據中心建設解決方案研究[J].電腦知識與技術，2017，13（11）：14-16.