GPFS在省級通信系統中的應用

葉雅泉

?

GPFS在省級通信系統中的應用

葉雅泉

新疆氣象信息中心，新疆 烏魯木齊 830002

GPFS并行文件用于氣象通信系統后，可極大地提高群集系統傳輸效率和速度，滿足地面氣象觀測中海量數據運算系統的大吞吐量、存儲容量和較高的可靠性要求。基于此，主要介紹了GPFS優勢和在國家中心和省級中心放入部署情況，并認為應用GPFS并行文件系統后極大地提高了數據處理效率。

GPFS并行文件；部署；應用

1 GPFS文件系統的優勢

GPFS文件系統結合Linux群集使用時，可明顯表現出其優勢：

（1）系統性能得到提高。GPFS允許在同一nodeset內的多進程或應用使用標準文件系統調用，并同時訪問同一個文件。可將nodeset內讀寫操作分布在多個磁盤上，這樣就極大地增加了文件系統的帶寬，而且通過整個系統的負載均衡可以避免某個磁盤出現過大的讀寫。

（2）數據一致性。GPFS能利用一套復雜的信令管理機制提供數據一致性，并允許任意節點通過各自獨立的路徑到達同一個文件，即使節點出現異常無法正常工作，GPFS也可找到其他路徑到達文件。[1]

（3）數據安全性。GPFS屬于日志文件系統，可為不同節點建立各自獨立的日志，日志中記錄了metadate的分布，如果出現了節點故障問題，日志可幫助其快速地恢復數據，確保數據的安全性。GPFS fail-over功能通過規劃后能將數據分布到不同failure group內，實現其較高的可用性，并降低單點故障的影響。GPFS還可在多個failure group內對每個數據實例作備份。這樣，即使在創建文件系統時，沒有要求復制，GPFS也會自動在不同failure group內復制恢復日志。

（4）系統可擴展性。通過GPFS可以對系統資源作動態調整，在文件系統掛載情況下添加或刪除硬盤。有系統處于相對空閑時，用戶可重新對已配置的硬盤進行文件系統均衡分配，從而提高系統吞吐量，添加新節點不需要重新啟動GPFS服務。

（5）管理簡單。GPFS可以自動在同一個nodeset內各個節點之間同步配置文件和文件系統信息，對GPFS的管理可以在任一個節點上進行。

2 GPFS 文件系統部署情況

2.1 國家中心部署情況

國家中心核心區和Internet區各配置一套版本為3.3的GPFS。在核心區提供應用支撐與共享服務器組、監控與內網FTP服務器組、數據處理服務器組和存儲管理服務器組對高性能磁盤陣列和大容量磁盤陣列的并行文件訪問。Internet區GPFS集群提供Internet共享服務器組對Internet區磁盤陣列的并行文件訪問。GPFS分成兩個集群，其中所有的IBM SystemP 刀片組成一個高性能計算集群，共21個節點；其他節點（包括P520/550主機和聯想PC Server）組成一個數據訪問集群，共15個節點。在高性能計算集群中，NSD Server訪問GPFS文件系統時，數據流在自身的光纖卡上；NSD Client訪問GPFS文件系統時，數據流在IB網上。在數據訪問集群中，除登錄節點（mgmtsw）之外，所有節點訪問GPFS文件系統時，數據流在自身的光纖卡上。在數據訪問集群中，登錄節點訪問GPFS文件系統時，數據流在以太網絡上。兩個集群的控制數據流在以太網絡上。所有的文件系統都在高性能計算集群上創建，數據訪問集群通過GPFS的互信方式，遠程掛載高性能計算集群所有的文件系統，且數據訪問集群所有的文件系統都不是自動掛載文件系統。[2]

國家中心核心區GPFS集群共包含應用支撐與共享服務器8臺服務器，監控和FTP服務器組4臺服務器，數據處理服務器組21個刀片服務器和2個管理服務器，存儲管理服務器組2臺服務器，通過SAN網絡連接到磁盤陣列。

2.2 省級中心部署情況

省中心核心區GPFS集群共包含應用支撐與共享服務器4臺服務器，監控和FTP服務器組4臺服務器，數據處理服務器組2服務器，存儲管理服務器組2臺服務器，通過以太網相連，作為GPFS通訊網絡，通過SAN網絡連接到磁盤陣列，所有服務器都連到SAN存儲網絡，可共享存儲劃分出的磁盤。

3 GPFS在省級通信系統中的應用

采用df-k命令可看到磁盤列表中每個節點都有一個相同的文件系統/gpfs，23個I/O節點直接與磁盤陣列相連，所有數據讀寫通過I/O節點并行完成，提高了數據的帶寬及交互能力。對比NFS及GPFS文件系統環境下的通信運行狀況，即在相同的節點下，運行相同的流程和數據，使用不同的并行文件系統得到的結果。使用NFS文件系統時，CPU運算效率較低，大多數時間都是CPU在等待數據I/O，但采用GPFS系統后，CPU運算效率提高，I/O占用CPU時間較少。可見將GPFS并行文件用于通信系統后，可極大的提高群集系統傳輸效率和速度，用于對I/O操作頻繁的常規地面觀測數據資料處理時，明顯提升了I/O效率，而且穩定性增加，滿足了地面氣象觀測中海量數據運算系統的大吞吐量、存儲容量和較高的可靠性要求。

[1]田銳，田晏嘉.基于集中式I/O技術的兩階段I/O算法優化[J].內蒙古科技與經濟，2009（20）：12.

[2]歐陽慎.GPFS在鄭州鐵路局信息系統中的應用[C]//鄭州鐵路局“十百千”人才培育助推工程論文集，2011.

The Application of GPFS in Provincial Communication System

Ye Yaquan

Xinjiang Meteorological Information Center，Xinjiang Urumchi 830002

GPFS parallel file for meteorological communication system,can greatly improve the cluster system transmission efficiency and speed,to meet the requirements of surface meteorological observation in massive data computing system throughput and storage capacity and higher reliability.This paper mainly introduces the advantages of GPFS and the deployment of the National Center and the provincial center,it is considered that the data processing efficiency is greatly improved after the application of GPFS parallel file system.

GPFS parallel file; deployment; application

P414.4

A

1009-6434(2016)6-0113-02

葉雅泉（1991—）男，漢族，安徽省合肥市人，本科學歷，助理工程師，新疆氣象信息中心，從事通信網絡保障工作。