氣象高性能計算系統的業務發展概述

■ 王彬 孫婧

中國氣象部門從1978年建設第一臺高性能計算機系統以來，逐步建立了支撐數值模式運行的高性能計算業務。高性能計算技術的發展日益呈現多態、異構和極大規模并行的趨勢。高性能計算資源管理將逐漸從本地預先分配為主的方式過渡到本地遠程統一調度、共享使用的方式。

基于并行運算的思想，高性能計算實現了對超級計算性能的需求。氣象始終是高性能計算的重要應用領域之一。

1　高性能計算技術概述與現狀

高性能計算（High Performance Computing，HPC）可定義為計算量巨大且快速高效的運算。承載支撐高性能計算運行的計算機系統即為高性能計算機系統，也被稱作超級計算機。作為計算機科學與技術的一個分支學科，高性能計算HPC從體系架構、并行算法與應用開發等方面研發高性能計算機的技術。一般認為高性能計算、理論科學與實驗科學三者共同構成了科學研究的支柱。

參考Flynn分類方法，HPC系統基本都屬于多指令流多數據流類型計算機。不同廠商生產的HPC系統硬件組成部件大同小異，體系結構可分為Cluster與MPP，CPU包括RISC與X86等兩類，內部互聯技術有Infiniband（IB網）、OPA、高速以太網、其他專有網絡等。作業調度管理軟件有LSF、PBSpro、GridView、LoadLeveler及開源社區軟件定制開發。并行編譯開發采用Intel、GNU、PGI編譯器以及MVAPICH、OpenMPI等并行運行環境。

目前HPC系統主要采用集群系統（cluster）架構。集群系統是指一組相互獨立的服務器，包括計算、存儲、服務、前后處理等用途，通過高速通信網絡結構聯結起來，構成統一的計算機系統，實現資源管理調度與高效并行處理，具有高可擴充性、可靠性與抗災難性。

HPC系統的關鍵性能技術指標包括體系結構、總體規模、CPU（核）數量、峰值速度、Linpack測速、運行效率、訪存速度、網絡互聯性能、每瓦特性能等。

超級計算機系統TOP500排行榜每年由國際HPC學術組織定期對全球高性能計算機系統評測，是業界普遍認可的衡量HPC技術水平的事實標準，成為了解HPC發展現狀和未來趨勢的風向標。

最新一期世界超級計算機TOP500（2017年6月）數據顯示：已經有138臺系統超過千萬億次（PFLOPS），X86+Linux為代表的開放體系技術占據上風，CPU+加速部件（Accelerator Devices）混合架構的數量和比例不斷增加。體系結構多為Cluster，內部互聯網絡以Infiniband技術為主，X86處理器芯片占據較大優勢，Linux操作系統使用比較廣泛。

盡管系統峰值性能有了很大的提升，但是HPC面臨的計算、數據密集型應用需求也日益突出。HPC系統仍然面臨著成本、能耗、并行程序支持的可用性以及有效沿用遺留代碼（Legacy Code）等問題。

CPU性能的提升在過去幾十年一直遵循著摩爾定律。利用不斷提高的CPU主頻，應用程序能夠獲得更好的性能。與此同時主頻升高會加大能耗，導致散熱、漏電等問題。在“后摩爾時代”，尤其是HPC峰值速度從萬億次發展到千萬億次量級過程中，僅依賴CPU芯片時鐘頻率的提高將無法滿足應用要求，為此CPU+加速部件混合架構逐漸興起，依托加速部件技術的快速發展和更好性價比加以支撐解決。

目前主流的加速部件技術包括GPU（Graphic Processing Unit）與眾核。TOP500中混合架構構建系統的數量和比例不斷提高，前10名系統已有5臺采用了加速部件混合架構，排名第1的神威·太湖之光系統（Sunway TaihuLight）采用了國產申威眾核技術，總計1064萬個處理器核。

2　氣象高性能計算業務發展

HPC技術的發展進步極大地推動了數值天氣預報（NWP）的應用發展。從歷史上看，NWP系統幾乎在任一個時期都使用了同時代頂尖的HPC系統，NWP也只有使用最強大快速的HPC系統才能達到預報應用時效性要求。

基于計算技術的迅猛發展，氣象HPC業務從無到有地建立起來，有力地推動了NWP業務的發展。HPC系統成為中國氣象局IT系統的重要組成部分，其計算峰值性能已成為氣象部門現代化建設水平的標志之一。1978年11月，成功引進了日立M-170計算機，其計算能力每秒百萬次、內存4 MB、存儲達2.1 GB，在當時國內綜合性能最強，用于氣象數據處理和支撐MOS數值預報模式運行，結束了我國沒有數值預報業務的歷史。1980年7月，歐亞區域模式正式投入業務。1983年8月，亞洲區域模式開始業務運行，標志著我國NWP業務進入實用化階段。

20世紀90年代中期以來，為適應氣象NWP業務與科研工作的快速發展，氣象HPC系統不斷升級、能力顯著增強。中國氣象局國家級業務中心先后引進了銀河Ⅱ、克雷J90、克雷EL98、克雷C92、IBM SP2、IBM SP、曙光1000A、銀河Ⅲ、神威Ⅰ、神威48I、神威32I、神威32P、IBM Cluster 1600、SGI Altix4700、神威4000A、IBM Flex P460等HPC系統，支撐了數值天氣預報、數值氣候預報業務運行與研究開發及衛星數據處理業務。

從20世紀90年代初至今，基本上每過5年，氣象部門HPC計算能力就會躍升1個量級。隨著IBM Flex P460系統在2014年正式業務運行，計算能力與“十一五”相比提高了將近30倍，比1978年更是提高了近10億倍。

從機型架構演變來看，最初主要采用了通用巨型計算機，20世紀90年代中期起逐漸轉向大規模并行架構計算機。從發展歷程來看，2000年之前以進口HPC系統為主；2000年之后國產與進口HPC并駕齊驅，分別引進建設了3套進口機系統與3套國產機系統。

中國氣象局國家級業務運行的主要HPC系統為IBM Flex P460。安裝在國家氣象信息中心二樓高性能計算機房，承擔了國家級數值天氣預報業務與準業務、短期氣候預測業務以及研究開發等工作。此系統主要由P460服務器組成，共計37120個Power7 CPU核。系統總計算能力達1054.2 TFLOPS，內存總量163584 GB，存儲物理容量超過4.2 PB。IBM Flex P460高性能計算機系統包括兩個同樣配置的子系統，每個子系統計算能力達527.1 TFLOPS，存儲容量達2.1 PB。該系統內部采用無阻塞胖樹結構的In finiBand網絡互連，構成了內部高速數據計算網絡。該系統采用了冷卻水制冷，所有機柜均配備了水冷背門，通過冷卻水可以帶走絕大部分的熱能，大大提升制冷效率，節省能源消耗。

2000年以來，隨著區域級氣象數值預報工作的不斷發展，部分區域、省級氣象部門根據自身業務發展需要，先后建設了不同規模的HPC系統，提升了本區域高性能計算能力。

HPC資源相對于氣象部門需求來說始終是稀缺資源，由于國家區域之間，以及區域之間數值預報發展的不平衡，再加上計算資源在部門內分布的不均衡，需推進分布在國家局及各區域中心的HPC資源共享使用，統一分配管理、監控和資源共享，解決部門內國家級、區域的超算資源整合協同與共享管理。

制訂異地HPC資源共享調度策略，需要考慮不同地點網絡帶寬、NWP模式輸入數據環境、NWP模式輸出產品的數據量和方式、其他系統使用模式產品的方式等因素。根據現有國內網絡帶寬租用成本、氣象HPC系統互聯網絡條件以及模式數據環境現狀，氣象現有HPC資源管理應以本地使用優先為原則。針對國家級、區域級HPC系統，基于資源預分配應用方案，建立起資源使用統計、分配審計技術手段。結合每年用戶、單位的資源需求與前一年資源實際使用情況，計算相應的年度資源分配額，協同調配系統資源，實現國家級、區域級HPC資源的合理使用與規劃。通過建立氣象HPC監控統一平臺，實現國家、區域兩級HPC系統資源使用與NWP業務運行狀態的實時監控。

由于業務型和科研型數值模式作業運行具有不同的特點，相應地采取不同的管理方式。在了解各HPC系統資源負載狀況的基礎上，優先使用用戶本地的計算資源，在本地資源不足的情況下考慮調配異地資源。在國家級中心建立數值模式統一運行管理平臺，統籌規劃，實現國家、區域兩級NWP業務的運維管理和統一調度。由于業務型作業相對成熟穩定，輸入、輸出數據流程固定，因此此類作業將主要在本地運行。如區域中心本地資源無法滿足數值預報業務模式，可以通過資源預分配管理調配至國家級資源運行。在平常時段，業務備份可采用冷備份的方式進行；一旦在重大氣象服務或重大氣象災害應急等特殊時期，通過熱備份的方式同時運行某一業務模式，保障業務的可靠運行。為了保持備份模式與原主業務系統的數據同步，利用云服務獲取數值預報模式啟動所需的初始場等數據并在備份系統啟用后接收異地運行生成的模式產品，從而實現數據同步。

由于研發型模式作業具有應用多樣、資源使用量不定的特點，按照本地優先、異地調配的原則分配使用資源。直接登錄高性能計算機的方式使用資源，限于目前的網絡性能及其他客觀條件，遠程用戶不通過網絡傳輸大數據，可直接在異地系統完成模式運行及后處理，在需要時將結果回傳到本地，對必需的大容量數據或可采用硬盤拷貝方式。支持科研應用異地提交，提供基于命令行登錄和Web門戶的兩種資源訪問方式，通過瀏覽器方式實現可視化的配置試驗運行控制和跨集群模式作業提交。

3　展望

隨著多核與眾核架構處理器、超大規模并行處理、異構編程語言、GPU計算、大數據、云計算等新技術的出現，科學計算將經歷思維和技術兩方面的變革，業界正處于計算技術發展的轉折點，未來的發展趨勢必定是多方面技術的融合，HPC技術發展呈現出多態、異構和極大規模并行的趨勢。國內外廠商正在加緊研制E級（百億億次）高性能計算機系統，預計很可能會在2018年左右出現。可以預見異構加速架構計算機將會迎來更大發展，輕量核技術會推動處理器與加速設備一體化，編程軟件工具鏈日趨成熟。

按照氣象信息化發展要求，高性能計算機系統建設、資源管理、技術開發將會更好地支撐氣象數值模式軟件業務與科研的發展。因應技術發展潮流，加大眾核、GPU計算等新技術應用力度，注重并行計算交叉型人才培養，推進氣象業務模式向新型并行技術架構平臺的移植優化研發，提高并行可擴展性。需要繼續統籌集約氣象部門內高性能計算資源的分布、建設與管理，逐漸減少地理上分散的小規模系統。為了滿足數值天氣與氣候預報模式業務運行和科研開發工作的需要，依托工程項目，將在2018年建成新一代曙光國產系統，緩解資源緊張局面，支撐數值天氣預報、氣候預測與氣候變化等業務與研究工作。高性能計算資源管理未來將逐漸從本地預先分配為主的方式過渡到本地遠程統一調度、共享使用的方式。基于國家、區域中心統一的全國綜合氣象信息共享平臺（CIMISS），實現數值預報業務應用和模式研發等應用跨系統的動態統一調度，實現業務應用系統可靠運行和異地備份。

深入閱讀

李國杰, 2010. 21 世紀上半葉信息科學技術展望. 中國科學院院刊, 25(1): 78-86.

沈文海, 2012. 從云計算看氣象部門未來的信息化趨勢. 氣象科技進展, 2(2): 49-56.

沈文海, 2013. 對氣象信息化的理解和再認識. 氣象科技進展,3(5): 56-62.

沈學順, 蘇勇, 胡江林, 等, 2017．GRAPES_GFS全球中期預報系統的研發和業務化．應用氣象學報, 28(1): 1-10.

孫婧, 沈瑜, 2015. 氣象應用的高性能計算機性能需求推算方法.計算機技術與發展, 25(6): 206-210.

王彬, 2014. 高性能計算技術在氣象部門的應用. 計算機工程與設計, 35(4): 1476-1479.

王彬, 肖文名, 李永生, 等, 2011. 華南區域中心計算資源管理系統的建立與應用. 氣象, 37(6): 764-770.

趙立成, 2011. 氣象信息系統. 北京: 氣象出版社.

宗翔, 王彬, 2006. 國家級氣象高性能計算機管理與應用網絡平臺設計. 應用氣象學報, 17(5): 629-634.