高性能氣象數據存儲集群及在線擴展技術應用

作者簡介：趙春燕（1984—），女， 北京人，工程師，研究方向：高性能計算系統管理維護、軟件配置管理（E-mail：zhaocy@cma.gov.cn）；孫英銳（1973—），男，河北遷交人，高級工程師，碩士，研究方向：氣象數據存儲管理。

摘要：為了滿足氣象數據快速增長和高效應用的業務需求，設計采用基于SAN和GPFS的高性能存儲集群進行數據存儲，并隨著數據量的快速增長，實現靈活在線擴展以滿足數據存儲需求。結合國家級氣象資料存儲檢索系統、省級風能資源數據庫共享服務系統和風能資源數值模擬系統的存儲設計，闡述基于SAN和GPFS技術的存儲集群架構，并重點介紹存儲集群的在線擴展技術的實現。基于SAN和GPFS的存儲集群在線擴展技術包含在線擴展服務器節點、在線擴展存儲容量和在線擴展文件系統容量三方面，實現了氣象數據存儲系統隨著業務數據變化的靈活擴展，使系統具備優秀的擴展性和適應性。

關鍵詞：氣象數據存儲；存儲集群；SAN；GPFS集群；在線擴展

中圖分類號：TP399文獻標識碼：A

1引言

隨著氣象事業和科技水平的迅速發展，氣象數據的種類、數量也隨之迅速增長，目前氣象數據的存儲采用數據庫和共享文件系統兩種技術，根據數據特點和服務方式將數據按照在線、近線和離線三種方式進行存儲。由于氣象數據種類多、數量大、格式多樣，除通用數據庫、專題數據庫存儲的數據之外，還有大量的數據采用高性能的共享文件系統實現在高速磁盤陣列上的直接在線存儲，以滿足業務應用、服務和安全備份的需求。隨著業務的不斷豐富，數據量呈現快速增長，大量數據庫系統也采用高性能共享文件系統作為底層存儲，如何高效的訪問存儲，保障業務應用的數據訪問效率，同時考慮滿足不斷增長的數據存儲需求，靈活的在線擴展，成為存儲系統設計和實現中必須考慮的問題。

我國氣象部門應用廣泛采用GPFS（General Parallel File System）[1]、NFS（Network File System）[2]等共享文件系統。GPFS是一個可擴展、高性能、安全的通用并行文件系統，在性能和安全性上優于NFS[3]，結合SAN（Storage Area Network）[4] 高速高可靠網絡互聯技術，構成高性能的數據存儲集群[5]，實現大容量數據庫存儲和直接的在線存儲，廣泛的應用于氣象信息系統數據庫、共享數據存儲系統建設中。

針對基于SAN和GPFS的存儲集群架構，探討了在數據計算和處理能力、存儲容量、文件系統容量變更等三方面的在線擴展技術，對氣象數據存儲系統的靈活擴展具有重要意義。

2高性能氣象數據存儲集群設計

基于SAN和GPFS的存儲集群物理架構包含三層，1）存儲層：高速磁盤陣列；2）SAN存儲網絡層：冗余鏈路配置的高速SAN存儲區域網；3）服務器層：至少兩臺的服務器作為冗余的數據訪問處理節點。

2.1存儲集群架構設計

2.1.1.物理架構 本實例采用三臺服務器作為集群節點，配置兩臺冗余SAN光纖交換機，四臺磁盤陣列。每臺服務器配置兩塊HBA卡，冗余連接至兩臺SAN交換機。每臺光纖交換機配置2個控制器，每個控制器兩個端口，將每個控制器冗余連接到兩臺SAN交換機。如圖1所示，為存儲集群的物理架構，冗余配置保證了在Zone劃分后集群的高可靠性。服務器節點間通過以太網連接，服務器節點和存儲之間的連接鏈路采用光纖線，磁盤陣列采用高端磁盤陣列，構成高性能數據存儲管理集群，根據業務數據訪問性能需求和磁盤陣列的光纖出口速率，可對集群性能進行精細化分析，在此不詳細探討。

2.1.2邏輯架構

使集群節點訪問存儲設備的路徑唯一，需要對連接到SAN中的服務器和存儲劃分Zone，實現設備的隔離。Zone劃分好以后，配置GPFS集群，形成邏輯上的存儲集群。存儲集群的邏輯架構如圖2所示，GPFS將物理磁盤映射形成虛擬設備NSD（Network Share Disk），將一個或多個NSD作為邏輯文件設備掛載到服務器節點上提供給文件系統使用。

2.2存儲集群構建

2.2.1物理結構配置

1）將三臺服務器連接至以太網絡，配置光纖交換機，配置Domain。

SAN1：Domain為1，SAN2：Domain為2

2）規劃服務器節點和存儲占用的交換機端口，并按規則為每個控制器進行編號，在交換機中配置。

（1）服務器節點

控制器A：I-SRV-1-A-1：1，1 ；

控制器B：I- SRV-1-B-2：2，1 ；

各項含義為：交換-服務器-服務器編號-控制器-Domain：Domain，端口號

（2）磁盤陣列

控制器A：I-DS42-1-A-1：1，4 ；

控制器A：I-DS42-1-A-2：2，4 ；

控制器B：I- DS42-1-B-1：1，5 ；

控制器B：I- DS42-1-B-2：2，5 ；

各項含義為：交換-陣列名稱-陣列編號-控制器-Domain：Domain，端口號

3）物理連線：按照圖1所示結構和端口規劃，用光纖線連接服務器、SAN交換機和磁盤陣列。

4）Zone劃分：創建Zone，并指定該Zone所包含的端口，將Zone添加到配置中，保存配置，并使其生效。

5）LUN Mapping：基于存儲管理軟件，將LUN與集群節點的端口進行綁定，使LUN與主機建立一對一或者多對一的映射關系。

2.2.2GPFS集群構建

如圖3所示，在物理架構搭建后，對各個服務器節點做互信配置，并在每個節點上安裝GPFS軟件包，創建GPFS集群。根據應用需求創建文件系統，提供給文件存儲使用或數據庫應用，則構成GPFS高性能存儲集群。

3存儲集群在線擴展技術

圖2所示GPFS存儲集群的邏輯結構分為三層，服務器節點層、文件系統層、磁盤存儲層。GPFS存儲集群的擴展包含這三方面：在線擴展服務器節點、在線擴展磁盤容量和在線擴展文件系統。

3.1在線擴展服務器節點

風能資源數值模擬系統[6，7，8]基于SAN和GPFS的集群架構，由7臺服務器節點構成高性能數據存儲處理集群，但風能資源數值模擬業務涉及大量的計算和數據處理，隨著業務計算需求的增加，7個節點的處理能力逐漸顯得不足，需要在不影響現有應用的情況下在線擴展集群節點至16個。圖4所示，將G07至G15節點在線增加至GPFS集群，流程與新建GPFS集群流程相似，如圖5所示，在物理連接配置環節，將新增的節點逐一加入到已有的Zone中，并使配置生效，在集群配置環節將節點增加至集群。集群節點的擴展包括剔除節點，直接執行最后一個環節：從GPFS集群刪除節點操作。

3.2在線擴展磁盤容量

國家級氣象資料存儲檢索系統[9，10]（簡稱“存儲系統”）中采用了基于SAN和GPFS的集群架構，提供高性能計算機用戶無法在高性能計算機上長期在線保存而又需要保存的各類數據以及需要備份和歸檔的數據。

擴容前存儲能力為337.8TB，可用磁盤容量以所有文件系統平均90%為可用上限計算為304.02TB，僅有20TB左右的余量，無法滿足數據量的增長，通過在線擴展磁盤陣列，實現系統無業務影響擴容80TB，如圖6所示。

集群中存儲容量的擴展，需要將新增的磁盤設備用光纖連線加入SAN中，并加入Zone的配置使其生效，將LUN與集群中的節點進行綁定。

流程如圖7所示，將已連接集群的該存儲設備創建為虛擬的NSD，并創建文件系統，分配這些空閑的NSD給掛載的文件系統。

3.3在線擴展文件系統容量

省級風能資源數據庫共享服務系統[11，12]基于基礎地理信息、風能資源專業觀測網數據、詳查區數值模擬結果與綜合評估數據，為決策部門、業務用戶、行業用戶以及公眾用戶提供不同層次的風能數據共享服務，其數據庫存儲基于SAN和GPFS的集群架構設計實現。

表1所示為省級風能資源數據庫共享服務系統文件系統容量擴展前的參數值，系統共建立四個文件系統，業務流程調試過程中發現/dev/gpfs_DB文件系統容量預估過小，不能滿足應用需求，擬在不影響現有系統數據存儲的情況下，對系統進行調整。

表2所示調整后情況，與表1所示調整前文件系統容量分布比較可以看出，/dev/gpfs_mysql文件系統容量由調整前的5.5TB縮減為2.2TB，/dev/gpfs_DB文件系統的容量由調整前的2.2TB，增加至5.5TB，而調整前后系統總容量未改變。調整過程在線進行，對用戶和應用透明，未對現有數據發生影響。

該方法是在線實現容量調整的，但在實踐中需要注意三點：1）GPFS在刪除磁盤前會自動遷移走該盤上的數據，前提是該刪除的磁盤是好的、可用的；2）除去要刪除的磁盤之外，是否剩余足夠的磁盤空間存儲文件系統中的數據。3）在執行調整命令后留出一定的時間供GPFS元數據同步，防止元數據不一致導致的性能下降的問題。

3.4系統擴展效果

以上三套系統所采用的基于SAN和GPFS架構的存儲集群，其分層的存儲架構和靈活的在線擴展技術使得系統具有良好的業務適應性，能夠提供高效的數據存儲訪問，并能夠隨著業務需求變化而快速、安全、無縫的擴展。

4總結

本文介紹了國家級氣象資料存儲檢索系統、省級風能資源數據庫共享服務系統和風能資源數值模擬系統的存儲架構和在線擴展的實施，闡述了基于SAN和GPFS技術的高性能氣象數據存儲集群架構及其在線擴展技術，實現了存儲集群數據處理能力、數據存儲容量及文件系統容量隨著氣象數據和業務需求變化的靈活擴展。經過實踐的檢驗，該存儲架構具備靈活的可擴展性和適應性，能夠在不影響已有數據應用服務的前提下實現在線擴展，適用于快速增長的氣象數據存儲管理的需求。

參考文獻

[1]楊昕. GPFS文件系統原理和模式IO優化方法[J]. 氣象科技，2006，S1：27-28.

[2]張媛， 盧澤新，劉亞萍. NFS over Lustre性能評測與分析[J]. 計算機工程，2007，（10）：474-475.

[3]楊發毅，李東升. 典型商用并行文件系統分析[J]. 計算機與現代化，2006，（5）：5-7.

[4]蔣麗娟. 基于SAN/NAS網絡架構的存儲整合技術[J]. 計算機系統應用，2011，（11）：155-157.

[5]范中磊. 網絡存儲技術漫談之三：集群存儲[J].. 記錄媒體技術，2010，（3）：52-53.

[6]朱蓉， 何曉鳳， 周榮衛，等. 區域風能資源的數值模擬評估方法[J]. 風能，2010，（4）：50-51.

[7]張德， 朱蓉， 羅勇，等. 風能模擬系統WEST在中國風能數值模擬中的應用[J]. 高原氣象，2008，（1）：202-203

[8]周榮衛， 何曉鳳， 朱蓉. MM5/CALMET模式系統在風能資源評估中的應用[J]. 自然資源學報，2010，（12）：2101-2102.

[9]沈文海， 趙芳， 高華云，等. 國家級氣象資料存儲檢索系統的建立. 應用氣象學報， 2004，15（6）：727-736.

[10]劉昊鈺，馬強，常飆，等.國家級氣象資料存儲檢索系統監視分系統的設計和實現[J]. 應用氣象學報，2007，（2）：251-254.

[11]王英， 趙建民，陳慧，等. 內蒙古風能資源數據庫共享服務系統[J]. 電子設計工程，2012，（17）：32-33.

[12]艾艷，胡英媚，王甫棣，等. 風能資源觀測數據省級傳輸系統[J]. 氣象與環境科學，2010，（4）：75-77.