IT資源優化技術研究及其應用效果

張紅杰 楊德興 尹龍 林輝 趙玉梅 馬迅飛

摘? 要： 高性能計算已成為運行RTM逆時偏移、FWI全波形反演等復雜運算的有效手段。隨著"兩寬一高”等勘探技術的發展，野外采集的數據量越來越大，先進的勘探方法帶來更為復雜的計算，單套PC集群的軟硬件配置及較低的網絡帶寬，已不能滿足PB級項目的技術要求。文章分析了當前IT資源面臨的主要問題，提出PC集群、網絡架構、I/O存儲等優化技術新思路，在整體系統效率、I/O性能改善、交互速度提升等方面取得了好的效果。

關鍵詞： PC集群; I/O; 網絡; 交換機; MDS

中圖分類號：TP338.6? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2020）11-32-03

Abstract： HPC has become an effective method to run complex operations such as RTM （Renverse Time Migration） and FWI （Full Waveform Inversion）. With the development of exploration technologies such as "two wide and one height"， more and more data are collected in the field. Advanced exploration methods bring more complex calculation. The hardware and software configuration of a single set of PC cluster and the low network bandwidth cannot meet the technical requirements of the PB level projects. This paper analyzes the main problems faced by current IT resources， and proposes new ideas of optimization technologies such as PC cluster， network architecture and I/O storage， which have achieved good results in overall system efficiency， I/O performance improvement and interaction speed improvement.

Key words： PC cluster; I/O; network; switche; MDS

0 引言

計算機技術的發展日新月異，無論是服務器的計算性能，存儲的讀寫能力和容量，還是網絡帶寬和延遲，其技術指標都在急速增長，為石油勘探處理業務的快速發展提供了良好的計算環境。

近年來，隨著地震勘探精度的不斷提升和“兩寬一高”等勘探技術的應用，野外采集的數據量呈指數級增長。以前處理的單步數據體僅有幾十甚至上百TB，而目前的數據量已高達幾百或PB級，且RTM逆時偏移、FWI等新方法在處理業務上的應用，使其計算量成倍增長。

另外，甲方對數據處理周期的要求也將越來越短，因此，落后、低配置的高性能計算機，將不再適應地震數據處理的需要，而大規模購置高端的計算機資源，也會帶來巨大的投資成本。

1 IT資源問題分析

現代計算機是一種基于高速網絡、具備一定計算能力、圖形處理能力、I/O能力和存儲能力負載均衡的復雜系統，無論是單節點計算機能力還是網絡傳輸、I/O讀寫能力，任何一環出現問題，都將制約著整個系統的性能發揮。

一套PC集群隨著應用時間的延長，在設備引進之初時整套系統較為先進，運算性能較高，但在后來的運行中，由于數據量的增大和計算量的增多等原因，計算速度將變得緩慢，系統性能也變得落后。

1.1 節點配置問題

⑴ 內置臨時盤容量小、性能低

長期以來，人們習慣于用“峰值運算速度”，作為超級計算能力的評價標準。但PC集群的實際應用性能，與其峰值性能相比，往往相差甚遠，特別是I/O能力嚴重制約了CPU的運算性能。

在處理業務中，一般將節點的內置硬盤做成臨時盤，給作業的中間成果提供I/O讀寫，而臨時盤的性能對運行的影響很大。

隨著地震數據量增大，原有硬盤的空間小、性能低，硬盤的I/O能力僅為130MB/s，不能滿足目前處理業務的要求（圖1）。

⑵ 內存配置小

大多數舊的節點，其內存配置一般在64GB以下，在運行大的作業如深度偏移時，占用較大的交換區，從而使節點的運行效率下降。

1.2 網絡瓶頸問題

⑴ 集群之間的網絡瓶頸[1]

數據中心的計算資源，一般都是由多套相對獨立的PC集群組成，各集群之間通過核心交換機連接。大部分集群與核心交換機的帶寬為1-2*10GB/s，僅可以滿足遠程登錄、交互和小數據量的遠程訪問。

隨著應用需求的增長，跨系統遠程訪問存儲增加，原有的小帶寬網絡，限制了跨系統遠程訪問存儲的能力，使得遠程讀寫文件系統的效率大大降低。

⑵ 終端房與核心交換機間的帶寬瓶頸[1]

終端房與核心交換機的主干網絡，最大也只有2萬兆（2*10GB/s）帶寬，卻連接了近百臺終端設備，而每臺終端設備全部是千兆（1GB/s）網絡，主干網絡與多用戶設備的網絡需求不匹配。

1.3 文件讀寫問題

有些并行存儲的同一個目錄，是由一個MDS服務器控制和管理[2]。當同一個目錄下有大量的數據讀寫時，會導致某一MDS元數據服務器的負載較重，而使讀寫變慢。

地震處理項目的同一工區數據，往往都集中存放在某個盤的同一個目錄下，同一目錄下的文件可能達到上萬個或更多，當大量的作業進行磁盤I/O讀寫操作時，由于MDS服務器的影響，而使數據的讀寫速度變得非常慢（圖2）。

2 資源優化技術研究

根據業務應用需求，適時對IT資源優化重組，提高設備性能并延長其壽命，這是當前計算機資源優化配置、系統集成與升級改造技術的研究重點與關鍵。

2.1 節點優化技術

⑴ 將幾套128節點分散的小集群，升級為一套512節點的較大規模集群，并進行PB級數據處理系統的測試和優化，形成PB級數據處理能力。

⑵ 將單節點的2塊硬盤，升級擴容到4-5塊硬盤，將多塊硬盤進行捆綁，提升讀寫空間大小。同時，將Ext3格式的文件系統改成Ext4格式，將Raid5改成Raid0[3]，打開Raid卡Cache緩存，優化讀寫條帶大小，提升內置硬盤的讀寫性能。

⑶ 針對高密度處理要求的大內存配置，將64GB的內存擴容到128GB，減少內存訪問延遲，擴展訪問帶寬，降低對Swap交換區的占用，提升數據傳輸能力。

2.2 網絡優化技術[4]

⑴ 將單節點的千兆網絡改為萬兆，同時部署萬兆集群交換機，提升每個集群節點的網絡傳輸能力。

⑵ 核心交換機的帶寬由2*10GB/s改為2*40GB/s，提升跨集群數據傳輸和遠程訪問能力;同時，終端房的交換機與核心交換機的級聯帶寬也升級為2*40GB/s，充分發揮桌面到萬兆網絡的帶寬能力，提升終端交互和遠程登錄的速度。

⑶ 對辦公網進行改造，將原有的100MB/s、1000MB/s網絡改成10GB/s，實現萬兆到桌面的遠程交互能力，解決了所有交互處理時的慢、卡、頓現象。

3 IT資源優化效果

3.1 PC集群優化效果

⑴ 本地盤優化集成

將4塊內置機械硬盤或2塊SSD固態硬盤，捆綁成Raid0并配置為臨時磁盤，并將Raid卡的Cache打開，文件系統做成新的Ext4格式[5]，條帶大小做成512Kb，用于中間成果數據的讀寫，極大提高了磁盤的讀寫性能，從而降低作業運行時間。

⑵ 內存與網絡優化

將內存由64GB升級擴容到128GB，同時使用萬兆網卡替換現有的千兆網卡，部署萬兆集群交換機，提升集群節點綜合運算能力（圖3）。

3.2 網絡優化效果

通過增大集群到核心交換機之間的網絡帶寬，將多套獨立的小集群整合為一套大的PC集群，實現了資源的集中統一，提升了集群間的數據傳輸能力，實現了PB級超大數據的并行處理能力，從而提高了作業運行速度，縮短了運行周期。

增大終端機房至主機房的上行網絡帶寬，提升了終端機房到主機房的訪問速度，尤其提升了用戶遠程交互能力。在終端房同時使用10臺工作站向主機房傳輸數據時，其平均速度從148MB/s上升到470MB/s，終端機房到主機房的網絡聚合帶寬有了明顯提升。

3.3 文件系統優化效果

通過在文件系統下創建多個目錄，并將這些目錄設置為同一個項目的附盤，把地震數據和速度文件分散到不同的目錄下，使元數據的訪問分散到不同的MDS服務器上，降低單個MDS的負載，從而提高了數據的讀寫速度（圖4）。

4 結束語

通過自主技術創新、應用技術研究和開發技術創新，在很大程度上解決了PC集群存在的I/O瓶頸、網絡帶寬低、CPU計算資源與外設不匹配等諸多技術難題，提高了設備效率，同時降低了投資成本;其成果已經在生產中得到廣泛應用和推廣，很好的解決了生產實際問題，取得了明顯的經濟效益。

對于擁有上萬顆CPU、數億元計算機軟硬件資產的高性能計算中心而言，針對現有的計算機資源，進行合理配置、優化集成、升級改造其軟硬件系統，以達到提高性能和效率的目的，其可挖掘的技術潛力巨大，非常值得持續開展一些新課題的研究。

參考文獻（References）：

[1] 高俊峰.高性能Linux服務器構建實戰[M].機械工業出版社，2014.

[2] 宋振龍.面向超級計算的大規模并行存儲系統關鍵技術研究[D].國防科學技術大學，2014.

[3] 吳晨濤.信息存儲與IT管理[M].人民郵電出版社，2015.

[4] 俞朝暉等.計算機網絡技術使用寶典[M].中國鐵道出版社，2014.

[5] 余柏山等.系統管理與網絡管理[M].清華大學出版社，2016.