風云靜止氣象衛星地面應用工程計算機網絡系統發展

趙現綱　謝利子　衛蘭　林曼筠（國家衛星氣象中心，北京 100081）

?

風云靜止氣象衛星地面應用工程計算機網絡系統發展

趙現綱謝利子衛蘭林曼筠
（國家衛星氣象中心，北京 100081）

摘要：計算機網絡系統是風云系列靜止氣象衛星地面應用工程的重要組成部分，是衛星在軌管理和衛星觀測數據接收、處理、存檔、服務的重要支撐。自第一顆靜止氣象衛星發射以來，計算機網絡系統規模不斷擴大，其架構經歷了近二十年的滾動發展和持續改進。對該發展歷程和取得的成果進行了回顧，并對未來計算機網絡系統建設所面臨的諸多機遇和挑戰進行了分析。最后，基于靈活的作業和資源調度技術，設計了具有良好可靠性和可擴展性的我國新一代靜止氣象衛星風云四號地面應用工程計算機網絡系統架構。

關鍵詞：風云氣象衛星，地面應用系統，云計算，資源調度

0　概述

地面應用工程作為風云氣象衛星五大系統之一，負責衛星的日常運行管理和衛星的狀態監視，實現衛星數據的接收、實時處理和廣泛應用[1]。其中，計算機網絡系統（CNS，Computer Network and Storage）則是支撐地面應用系統運行的骨架和基石，負責計算環境支撐、資源分配、作業調度、數據傳輸以及產品分發。在風云二號系列氣象衛星地面應用系統中，計算機網絡系統不僅是地面應用系統運行的支撐，還是數據處理的指揮調度中心。計算機網絡系統的架構設計直接影響到地面應用系統的穩定性、可靠性、時效性、安全性、可擴展性和可維護性。

自1997年發射第一顆風云靜止氣象衛星FY-2A至今，我國共累計成功發射7顆風云二號靜止氣象衛星，其中FY-2A/B/C/D已離軌，目前在軌運行的靜止氣象衛星為FY-2E/F/G三顆。回顧我國靜止氣象衛星的發展歷程，其計算機網絡系統架構一直隨著信息技術浪潮的變革而持續改進。靜止氣象衛星計算機網絡系統的發展也經歷了從大型機到小型機，再到通用X86計算平臺的變革過程。其網絡互聯帶寬也由10Mb逐步提升至10Gb。所采用的存儲技術也由單一的磁帶、磁盤發展到目前磁盤陣列、網絡存儲以及分布式存儲等多種存儲技術共存的局面。地面應用系統的業務能力也由單星觀測提升至目前的雙星加密觀測、高頻次區域掃描和多星統一管理，實現了國內外多顆衛星資料的統一接收和處理。風云二號靜止氣象衛星地面應用系統體現了自主創新和集成創新，成果具有自主知識產權，工程總體質量和水平達到同期國際先進水平，被譽為“天地一體化的典范、地面應用系統的楷模”[2]。風云二號C星地面應用系統獲得國家科技進步一等獎，這也是國家對于地面應用系統工程（包括計算機與網絡系統）的具體肯定。

展望未來，FY-4A作為我國第二代靜止氣象衛星的首顆衛星，與FY-2系列衛星相比，其衛星平臺、工作模式、星載儀器、觀測密度和精度均有很大的變化和提高。表1列出了兩代衛星儀器數、通道數、產品數量的對比。經測算，FY-4A衛星原始數據量是風云二號單星的160倍，經過定位、定標和光譜圖處理后形成的一級數據約為風云二號單星的80倍。數據量百倍的增長和近乎苛刻的服務質量要求對地面應用系統的計算機網絡架構設計提出了新的挑戰。

表1　FY-2E、FY-4A衛星儀器、通道及產品數量對比表Table 1 The comparison between FY-2E and FY-4A satellite on instruments,number of channels and product

FY-4A氣象衛星地面應用工程計算機網絡系統在繼承FY-2系列氣象衛星地面應用系統建設成功經驗的同時，需要結合當前流行的云計算、物聯網、大數據等新技術，建設氣象衛星數據處理與服務私有云，進一步提升系統的可靠性、可擴展能力、管理能力和服務能力。統籌考慮靜止、極軌兩個系列計算資源的共享使用，摒棄豎井式建設模式，規避信息孤島和單點故障。設計開發云平臺、自主資源調度軟件，實現對不同品牌、不同架構計算資源的統一整合、管理與使用；通過計算虛擬化、網絡虛擬化、存儲虛擬化，實現更加靈活的計算環境規劃、部署和動態遷移。未來的網絡將以40Gb、100Gb帶寬互聯，存儲將以存儲虛擬化為媒介，對SAN、IPSAN進行整合，輔以NAS、集群NAS等多種各具特點的存儲技術。基于衛星需求，通過融合相關領域先進技術和產品，FY-4A氣象衛星地面應用系統將成為集氣象衛星大數據處理、應用、服務功能于一身的新一代氣象衛星數據中心。

1　歷史發展回顧

1.1初始創建

風云系列靜止氣象衛星的第一代計算機網絡系統初建于20世紀80年代末—90年代初，在當時是從無到有的創新工程，以FY-2A星地面應用系統計算機網絡系統為代表。系統采用了集中式的架構，以大型機IBM4381、富士通M770為主要的處理服務器，輔以各類監控管理終端，集中完成各類衛星數據和任務的處理；同時，采用自主研發的、定制的通信接口和專用網絡實現數據傳輸和交換。

FY-2A業務系統由指令和數據接收站，資料中心和運行控制中心組成。在資料中心，對衛星資料進行處理的核心計算機選取了當時性價比較高的富士通大型機，配置了多臺終端用于數據交互和系統管理。前端的衛星數據接收處理采用兩套工作站。設備之間的網絡互聯采用10Mbps以太網。目前來看，這些核心處理設備的配置和性能還不如現在一臺主流的PC機，但在當時的環境下，該套設備的處理能力和穩定性在業界位列前茅。該套系統從立項到完成系統調試花費了近6年的時間，自1991年設備安裝后，持續穩定運行超過10年，很好的承載了FY-2A星的在軌測試和試驗運行，以及后續系統的開發改進。整個系統的建設是一個摸索學習的過程，培養了一大批衛星數據處理以及大型機系統的專業人才。

在2000年初，為了滿足FY-2A/B星雙星共同運行的需要，對上述FY-2A計算機網絡系統進行了改造與擴建。資料中心增加了四臺UNIX服務器；設備之間的網絡互聯也由10Mbps以太網一躍升級為1000Mbps骨干互聯和100Mbps桌面接入。

“定制化”是第一代風云衛星計算機網絡系統建設的特點，從計算資源、存儲資源到網絡連接，都存在著相當大比例的定制設備，這也是當時IT設備百家爭鳴、通用性差的時代特征所導致的。該階段IT系統的建設和維護難度都很高，整個系統是一個封閉神秘的黑匣子。

1.2業務化運行

FY-2A/B星同屬于風云二號（01）批次衛星，作為試驗應用衛星，其在軌壽命較短。風云二號（02）批次衛星包含FY-2C/D/E三顆衛星，從FY-2C星開始，所有衛星均為業務衛星，業務化運行對地面系統的性能和穩定性提出了更高的要求。因此，計算機網絡系統再次升級換代，建成了如圖1所示的風云二號（02）批多星管理地面系統IT架構。第二代計算機網絡系統在主機方面以IBM power系列AIX小機雙機HA架構為特點；在網絡方面，采用標準以太網實現數據的傳輸與交換；在存儲方面，引入光纖存儲網絡SAN支撐實時業務處理，采用磁帶庫進行數據近線存儲，在線存儲容量達到TB級；在數據處理和任務管理方面，引入任務級分布式處理的理念[3]，對復雜的衛星數據接收處理和管理流程進行任務歸類，通過定制負載均衡調度軟件LSF實現復雜作業流的調度和管理[4]。從第二代計算機網絡系統開始，我國靜止氣象衛星地面系統開始進入了業務化運行，采用該架構的計算機網絡系統成功支撐了多顆衛星業務（包括我國風云衛星以及如MTSAT等國外部分衛星）的穩定運行，期間各項運行指標均滿足中國氣象局設定的業務考核要求。

圖1　風云二號（02）批地面系統架構圖示Fig.1　The ground segment architecture of FY-2(02)

風云二號（03）批次包括F/G/H三顆衛星，目前已經發射FY-2F和FY-2G兩顆。H星計劃于2017年底發射。風云二號（03）批次氣象衛星地面系統的計算機網絡部分架構沿用了前期高端UNIX小機加高端SAN存儲的結構。如處理主機采用IBM Power 780雙機，存儲采用日立VSP高端SAN。在網絡部分使用了諸如IRF等虛擬化堆疊技術[5]以提高核心網絡的穩定性，不同品牌網絡設備之間采用三層互聯。該架構很好地承載了雙星加密以及高頻次區域觀測業務的穩定運行。

“雙路冗余”是第二代風云衛星計算機網絡系統建設的主要特點。如計算節點的雙機HA，存儲雙活，網絡雙鏈路。通過雙路冗余的設計有效避免了單點故障，提升了業務運行的可靠性。不過，仍存在資源調度與業務邏輯強耦合，應用與計算資源強耦合的問題。維護工作的難度將隨著設備規模的增加而急劇上升。

2　FY-4A衛星計算機網絡系統介紹

2.1新一代IT支撐系統的設計理念

回顧風云系列靜止氣象衛星計算機網絡系統多年的發展歷程，其IT支撐系統綜合性能有超過1萬倍的增長，骨干網絡帶寬也從幾兆的專用通信接口發展到萬兆。第一代IT支撐系統可稱之為大型機時代，其主要問題是設備購置成本高，使用維護難度大。系統間接口極其復雜且兼容性問題導致系統故障率高，業務運維壓力很大；第二代IT支撐系統可稱之為高可用服務器時代，其主要問題是系統的通用性和擴展性較差，主機和存儲設備可選擇余地不大，長期在此架構上開發的各類應用，其遷移難度和工作量都很高，不利于系統的可持續性發展。

根據氣象衛星發展規劃，至2020年，還將計劃發射近10顆氣象衛星。隨著觀測儀器種類的增加、儀器觀測能力的大幅提升，氣象衛星獲取的原始觀測數據信息量將呈爆炸性增長，而后續處理所產生的臨時數據以及產品數據量會以幾何級數膨脹；衛星遙感反演技術的深入研究，將使得衛星遙感產品的種類日益豐富，多儀器、多星融合產品也將不斷涌現，通過IT支撐系統生成的數據信息量倍增；而衛星觀測與地面觀測、數值預報聯動等新的應用方向，將進一步提高對衛星遙感產品的時效要求；這些因素都對IT支撐系統的綜合性能提出更高要求，現有的第二代計算機網絡系統難以滿足需求，氣象衛星業務的發展呼喚新一代IT支撐系統的到來。

近年業界流行的云計算[6]是一種嶄新的IT建設理念，提出了IT資源持續發展、異構平臺整合以及跨系統互操作與協同管理的理想計算環境，目的是讓各類資源按需分配并隨需求和負載的變化而彈性伸縮。風云靜止氣象衛星的下一代IT支撐系統的建設，將全方面借鑒和采納云計算的先進理念和成熟技術。

在主機系統的設計方面，小型機憑借其穩定可靠和單機綜合處理能力強大的特性，使得它在以往的IT支撐系統中得到廣泛應用，在某些高可靠應用環境以及單機計算能力有特殊要求的應用場景應該予以保留。與此同時，通用X86機架服務器、刀片服務器不論從市場占有率還是設備可靠性方面都有了長足的進步[7]。新一代IT支撐系統內部一定是異構計算資源并存，需實現資源的統一管理調度。從長遠看，X86通用計算設備的可靠性不斷提高，RAS特性不斷完善，從理論上已經具備取代小型機的可能。但從應用遷移的角度而言，其在氣象衛星地面應用系統內完全取代傳統UNIX服務器還需要一個過渡的過程。

在網絡系統的設計方面，新一代的IT支撐系統將繼續采用硬件廣域網加速設備和應用軟件優化并用的方法優化廣域網傳輸[8]。骨干網絡帶寬將升級至40Gbps/100Gbps，多路萬兆網卡聚合將成為高端服務器接入的普遍方式。為強化網絡的穩定性，新一代的IT支撐系統除了提高單個設備的可靠性、設置冗余鏈路和節點等措施之外，還將優先選用扁平化的網絡設計、采用IRF/VSS/vPC等虛擬化技術[9]簡化網絡結構、提高網絡的可管理性。在集群計算網絡以及共享文件系統方面將采用IB互聯，充分發揮IB網絡低延遲高帶寬的特性。

眾所周知，CPU不是數據處理能力的全部，對于氣象數據處理而言，數據IO能力更受關注，具體指標包括數據讀寫帶寬、延遲以及IOPS。新一代IT支撐系統架構開始由“以計算為中心”轉向“以數據為中心”，數據處理模式由單胖節點順序處理轉變為多瘦節點并行處理。由此，IO能力可并行擴展的分布式存儲系統、本地計算技術[10]將成為優選設備和策略。在海量數據歸檔方面，磁帶庫的性價比無可替代。采用自建近線存儲和公有云存儲服務相結合方式以滿足衛星觀測數據存檔業務在容量和可靠性兩方面不斷提高的迫切需求。

2.2FY-4A計算機網絡系統結構設計

FY-4A計算機網絡系統（FY-4A CNS）是FY-4A氣象衛星地面應用系統數據處理的基礎支撐平臺，其結構如圖2所示。FY-4A計算機網絡系統的設計充分考慮了資源統一管理和調度、業務邏輯與資源調度剝離、統一運維管理、應用評價與持續改進以及未來多星IT系統資源共享等問題。

圖2　FY-4A計算機網絡系統結構示意圖Fig.2　The ground segment architecture of FY-4A

F Y- 4 A C N S將采用網絡虛擬化技術構建40Gb/100Gb核心網絡互聯；通過基于資源調度的私有云技術構建計算資源池[11]，實現異構計算資源的統一池化，對外提供資源管理與作業調度標準接口，輕松支持與其他信息系統的統管共用通過存儲虛擬化[12]、分布式存儲等技術構建10PB級存儲資源池；通過統一網管實現集中資源監控；通過資源調度保證作業處理的高可靠和高時效，實現硬件計算資源和虛擬化計算資源的統一管理和調度；通過應用運行特征抓取分析平臺，為各類應用提供持續性的優化支持。通過對資源的統一池化，將使IT系統從“雙路冗余”提升至“多路冗余”，通過容器、虛擬化技術實現應用的封裝與漂移，將各類復雜應用徹底與計算資源剝離，應用服務在計算資源池內無縫漂移，使系統整體達到可用性不低于99.99%的業務目標。

2.3FY-4A計算機網絡應用軟件

硬件是軀干，軟件是靈魂。FY-4A計算機網絡系統通過自主開發資源調度軟件實現資源池化，實現對異構物理主機和虛擬主機的統一管理和靈活調度；通過系統監視管理軟件實現業務運維現代化，通過典型應用測試與優化分析軟件實現各類應用以及業務系統的持續性改進。

系統監視管理軟件負責統一管理風云四號衛星地面應用系統計算機平臺的所有IT資產，實現資產的注冊登記與集中管理；在此基礎上，通過設置各類配置參數，采用多種手段統一采集系統運行過程中的各類信息，實現對各類硬件資源、軟件資源、基礎設施環境狀態實時、準實時監視，并將監視信息以可視化的方式統一展現；系統通過結合運維人員的工作經驗，設置故障報警閾值，實現對各類故障的分級報警與及時上報；系統還依據統計分析、數據挖掘等技術，生成各類運維報表，降低運維人員的工作強度，提高系統維護的便捷性，實現IT系統的量化運維和精準管理。

圖3　FY-4A地面應用系統分級調度結構圖Fig.3　The hierarchical scheduling architecture of FY-4A ground segment

資源調度軟件主要負責底層計算資源的調度，實現跨異構負載均衡調度集群的統一計算資源調度。業務邏輯與資源調度剝離是目前云計算數據中心發展趨勢，如元調度器MESOS被列為APACHE基金會的重點項目。如圖3所示，資源調度分系統從地面應用系統各系統的二級業務調度接收其提交的單個作業，根據作業的輸入、輸出和約束條件等生成可運行的作業指令，并根據當前資源實際負載、作業資源需求、資源池特性等情況分配作業到具體的資源池以及計算資源上運行。在作業運行過程中，監視作業狀態，并根據需要將作業狀態返回給各系統二級調度，對異常作業和調度故障能夠根據提前定義好的故障處理策略進行自動或半自動處理。通過資源調度實現異構資源的池化，實現對風云衛星地面應用系統IT資源統一管理和統一調度，徹底拋棄豎井式架構，消滅信息孤島和單點故障。

典型應用測試與優化分析軟件負責評估和了解應用系統資源使用及其合理性，對資源消耗最大的應用提出優化建議，力保資源使用率保持在合理范圍。CNS將建立典型應用量化測量軟件，對各類典型應用的資源需求與資源消耗實際狀況進行收集與評估（評估指標包括通用指標和微架構級指標），對典型應用本身和資源配置提出優化建議，確保資源使用率保持在合理范圍。對業務系統內各類應用、算法進行量化評價，包括業務上線前對應用進行體檢、在業務運行過程中對應用和平臺進行評估并提供優化建議，從而支撐風云四號科研試驗衛星業務系統的持續改進。

3　總結

風云系列衛星從立項至今已經發展了四十多年，地面應用工程計算機網絡系統也經歷了二十多年的滾動發展。計算機網絡系統的架構由兩方面因素決定：一是衛星數據處理和服務的時效性、可靠性需求；二是信息技術、產品的發展變化。采納合適的產品、技術，開發靈活的應用軟件以構建滿足風云系列氣象衛星業務運行的IT支撐系統是地面系統建設的重要工作內容。本文回顧了我國靜止氣象衛星地面應用工程計算機網絡系統架構的發展變化，對三代IT支撐系統進行了詳細的介紹。展望未來，自主研發基于資源調度的氣象衛星數據處理云是氣象衛星地面系統發展的方向和目標，新一代靜止氣象衛星計算機網絡系統將以氣象信息化中“集約化建設、資源充分共享”為指導原則，以云計算、資源調度、大數據等前沿技術為技術路線，構建成為以自主創新、高可靠、易擴展、可持續優化、具備與其他系統統管共用為特點的新一代大氣衛星觀測數據中心。

參考文獻

[1]董超華,許健民,張文建,等.風云三十年——國家衛星氣象中心成立三十周年紀念.國家衛星氣象中心,2001.

[2]楊軍,許健民,董超華,等.氣象衛星及其應用.北京:氣象出版社,2012.

[3]胡華平,金士堯,王維.分布式系統高可用方案的選擇.系統工程與電子技術,2000,22(3):65-67.

[4]賈樹澤,楊軍,施進明,等.新一代氣象衛星資料處理系統并行調度算法研究與應用.氣象科技,2010,38(1):96-101.

[5]黃石平,謝健,闞宏宇.IRF虛擬化技術在網絡中的應用研究.實驗技術與管理,2014(11):124-126.

[6]陳康,鄭緯民.云計算：系統實例與研究現狀.軟件學報,2009,20(5):1337-1348.

[7]黃昆.x86服務器市場如何提升數據、系統、應用及業務的高可用性.中國金融電腦,2012(2):88.

[8]衛蘭,林曼筠,趙現綱,等.廣域網加速在FY-3氣象衛星數據傳輸中的應用.應用氣象學報,2012,23(1):121-128.

[9]周燁,李勇,蘇厲,金德鵬,等.基于虛擬化的網絡創新實驗環境研究.電子學報,2012,40(11):2152-2157.

[10]崔杰,李陶深,蘭紅星.基于Hadoop的海量數據存儲平臺設計與開發.計算機研究與發展,2012,49(S1):12-18.

[11]劉永金,黃科.運營商業務平臺云計算資源池建設方案探討.電信科學,2013,29(9):201-206+211.

[12]呂小兵.存儲虛擬化整合技術研究.航空制造技術,2015(6):83-85.

The Development of Computer Network and Storage System in Fengyun Geostationary Meteorological Satellite Ground Segment

Zhao Xiangang,Xie Lizi,Wei Lan,Lin Manyun
(National Satellite Meteorological Centre,Beijing 100081)

Abstract:Computer Network and Storage(CNS)system is an important component of the meteorological satellite engineering.CNS supplies resources and environments for the satellite in-orbit management,satellite observation data receiving,processing,archiving and service.Since the first geostationary meteorological satellite was launched,the scale of the computer network of the ground segment has been greatly expanded; its architecture has experienced nearly twenty years of rolling development and continuous improvement.In this paper,the development process and the results are reviewed.The opportunities and challenges of CNS construction are well analyzed.Finally,based on the flexible job and resource scheduling technology,a new structure with high scalability and reliability of CNS for FY-4Ageostationary meteorological satellite is raised up.

Keywords:Fengyun,ground segment,cloud computing,resource scheduling

通信作者：謝利子（1982—），Email:xielizi@cma.gov.cn

收稿日期：2015年10月22日；修回日期：2015年12月29日

DOI：10.3969/j.issn.2095-1973.2016.01.015

第一作者：趙現綱（1976—），Email:xgzhao@189.com

資助信息：國家高技術研究發展計劃（2011AA12A104）