氣象數據分發系統集成優化技術研究與應用

馬艷軍 江蕾 劉俊宏

摘 要 本文針對省級數據分發系統集群故障頻發，難以支撐海量數據分發，影響業務應用的問題，研究新一代國內通信系統、CMACast系統及數據下載系統的軟件結構、硬件結構和硬件虛擬化技術，基于虛擬化環境整合混閃存儲和服務器，構建與硬件無關的操作系統環境，通過整合新一代國內通信系統的數據、CMACast衛星接收系統和數據下載系統，實現單臺服務器完成數據接收、下載和面向用戶的海量數據分發。并基于虛擬化環境實現系統的高可用性，最終形成一臺虛擬機替換原有6臺服務器加存儲的一個集群系統，在降低能耗和運維難度的同時，提高系統的穩定性，為各類業務系統提供穩定的數據保障。

關鍵詞 分發系統;CMACast;虛擬化;氣象數據

引言

隨著氣象業務的快速發展和預報技術手段的逐漸豐富，氣象預報所需資料越來越多，氣象數據也趨于海量增加，CMACast衛星數據廣播系統下發的數據巨大。因此，保證各類氣象數據的完整高效接收，實時提供給預報人員，對于預報預測、氣象預警和決策服務等具有重要意義。

1研究背景

目前，全省氣象預測預報的所需各類資料主要通過新一代國內通信系統完成分發，包括CMACast衛星數據廣播系統下發的各類資料，以及新一代主動從北京下載的各類資料。CMACast采用衛星廣播的方式，快速、大容量的下發各類資料，包括常規資料，數值預報，雷達PUP產品，衛星資料，數據接收量每日大概430多G，新一代下載系統主動下載各類資料，每日數據量大概200多G。新一代國內通信系統完成各類資料的分發，同時分發給多個業務單位的業務系統，其中包括氣象臺數值預報解碼系統，集合預報處理系統，雷達處理系統，數據存儲系統等，氣象服務中心全國區域站接收處理系統，數據中心基于Cassandra的Micaps 4系統，全省資料共享服務器和四川周邊11個省的區域站和雷達基數據共享等[1]。

新一代國內通信系統始建于2009年，其由6臺服務器構建的一個集群系統，共享存儲盤陣，由于使用時間比較久，盤陣的讀寫能力已經大大減弱。由于CMACast衛星廣播系統和新一代下載系統每天接收和下載的數據量特別大，新一代共享盤陣的讀寫能力嚴重不足，出現了大文件接收不完整，錯誤文件特別多的現象。更嚴重的是今年已出現3次共享盤陣崩潰的現象，雖然共享盤陣修復成功，但其穩定性已嚴重不足，嚴重影響業務運行。

綜上所述，目前急需建設一套氣象數據分發集成系統，集CMACast衛星數據廣播系統接收，新一代下載分發于一體，穩定高效運行，實時提供各類氣象數據，保證全省氣象預報預測的正常需要。該系統運行的穩定性將是我省氣象業務正常開展與否的一個決定性因素，該系統作為氣象信息系統的核心基礎系統，保證其用備健全是最基本的要求。

2氣象虛擬化資源池云

服務器虛擬化設計運用VMware整體解決方案設計建設省級計算資源池，實現了計算資源的虛擬化。利用雙路機架式中端服務器5臺和四路機架式高端服務器10臺初步建成計算資源池提供應用計算型服務。其中高端四路機架式服務器每臺配置4顆Xeon E7-4830 v2 CPU、160G內存，中端雙路機架式服務器每臺2顆XeonE5-2620 CPU、192G內存，軟件上配置相應虛擬化軟件許可，以及服務器操作系統、GIS、云自動化管理運維等基礎軟件，資源池整體可提供約250臺虛擬服務器供應用級業務系統使用。 VMware底層架構內置了虛擬機交換機和存儲多路徑軟件，可以靈活實現虛擬化系統中網絡環境和存儲環境的共享和隔離。通過充分利用資源和自動化，實現只有由 VMware 虛擬化驅動的云計算基礎架構才能提供的經濟性、彈性、安全性和遵從性。通過將 IT 硬件抽象為按需分配的資源池和部署私有云，可以實現極高的資源利用率和效率，以及更好地支持業務增長所需的敏捷性。

存儲虛擬化設計，采用業界先進SAN+NAS統一存儲技術，通過搭建一套NetApp FAS8040，與NetApp V3250存儲進行存儲集群部署，實現對現有的主流存儲進行虛擬化，對現有存儲資源的統一，形成塊級存儲資源池，可用存儲容量200T，并可線性擴展，可對群集中引擎之間的存儲域進行自動共享、平衡和故障切換。通過SnapMirror復制軟件，與NetApp VSC備份功能相結合，實現四川氣象關鍵業務數據的在線實時復制，虛機本地和遠程周期性備份，進一步提升四川氣象局數據安全和業務系統高可用。

運維管理設計，設計建設基礎資源池運維管理系統，實現資源池的資源自動化調度、運維管理和監控、日志管理、故障分析等功能;通過搭建云門戶平臺，滿足對資源池的可視化管理、滿足對資源的自助式服務，自動化、流程化、標準化分配和回收。為多個業務及部門或單位提供隔離的自助式門戶，實現統一資源調配、分級管理。

通過資源的集約化，利用率大大提高，按照標準規范化建設完成具備一定規模、統一管理、擴展靈活的基礎設施資源池，建立健全基礎設施資源池管理機制，逐步向基礎設施資源池遷移現有資源分散式、煙囪型業務系統，面向省級業務單位統一提供服務。虛擬化整合后，兩路中端服務器能夠承載的虛擬機為1：10，四路高端服務器能夠承載的虛擬機為1：20;物理機數量少，服務器資源利用率高，可根據各應用情況動態調節資源;通過預先制定好的各種操作系統、應用模板和自部署向導或拷貝虛擬機，快速部署開發測試環境和應用;自動備份和快速恢復虛擬機和重要數據;可以通過在線遷移功能將虛擬機遷移至另一臺物理機，硬件故障維護或升級時不影響業務的正常開展;管理維護的物理機數量大大減少;通過VMware HA功能，當服務器故障時，自動重新啟動虛擬機;物理機數量和機柜大大減少，減少耗電量[2]。

3氣象數據分發系統集成優化技術應用

3.1 虛擬化及CMACast衛星接收機和加密狗的接入

數據中心虛擬化資源池設計運用基于VMware虛擬化和深信服超融合云兩種主流技術架構整體解決方案設計建設省級計算資源池，實現了計算資源的虛擬化。底層架構內置了虛擬機交換機和存儲多路徑軟件，可以靈活實現虛擬化系統中網絡環境和存儲環境的共享和隔離。通過充分利用資源和自動化，實現只有由虛擬化驅動的云計算基礎架構才能提供的經濟性、彈性、安全性和遵從性。存儲虛擬化設計，采用業界先進SAN+NAS統一存儲技術，通過搭建一套整合混閃存儲進行存儲集群部署，實現對現有的主流存儲進行虛擬化，對現有存儲資源的統一，形成塊級存儲資源池，并可線性擴展，可對群集中引擎之間的存儲域進行自動共享、平衡和故障切換[3]。

CAMCast衛星接收系統主要由室外天線系統、衛星接收機、小站服務器和軟件子系統組成。CMACast衛星接收機擁有獨立的私網網段，同時，CMACast軟件系統需要USB接口的加密狗，所以在基于虛擬化環境整合混閃存儲和服務器后，構建與硬件無關的操作系統環境中，接入CMACast衛星接收機私有網址，與CMACast衛星接收機連通后，測試其連通。同時，在虛擬化的操作系統里，配置USB接口模塊的加載，接入CMACast接收系統加密狗，使其識別加密狗，讀出加密狗的卡號。

3.2 氣象數據分發系統單機構建及其高可用性

在研究虛擬化和CMACast衛星接收機和加密狗接入虛擬機的基礎上，構建氣象數據分發系統，在虛擬機linux操作系統穩定運行的基礎上，首先，用root用戶安裝mysql和tomcat，導入mysql的相關數目庫表，然后用cmss用戶安裝新一代分發下載軟件，配置相關分發下載，最后用cmacast用戶安裝衛星系統接收軟件，配置相關接收和ftp推送，優化相關接收通道，接入CMACast衛星接收機，測試其連通性，同時接入加密狗，測試加密狗識別加密狗卡號。至此，基于虛擬化環境的氣象數據分發系統完成，最終形成一臺虛擬機替換原有6臺服務器加存儲的集群系統，構建與硬件無關的操作系統環境，通過整合新一代國內通信系統的分發、CMACast衛星接收系統和數據下載系統，實現單臺服務器完成數據接收、下載和面向用戶的海量數據分發[4]。氣象數據分發系統如圖1。

圖1 氣象數據分發系統

基于數據中心VMware虛擬化和深信服超融合云2套資源池，建設2套與硬件無關的氣象數據分發系統，系統可以定期備份，如果故障，可以恢復到前一個時間點。2套氣象數據分發系統分別用2套CMACast衛星接收機，2套CMACast加密狗，形成一主一備，互為備份，提高系統的高可用性，在降低能耗和運維難度的同時，提高系統的穩定性，為各類業務系統提供穩定的數據保障[5]。

氣象分發系統是7*24小時不能間斷的業務，特點是實時性要求高、數據量大、處理復雜，必須保證整個系統的長期穩定性，不能出現任何系統級的影響業務運行的故障。

4結束語

基于虛擬化構建與硬件無關的操作系統環境建設的氣象數據分發系統是7*24小時不能間斷的實時業務，該系統穩定高效運行，實時提供各類氣象數據，保證全省氣象預報預測的正常需要。該系統運行的穩定性將是我省氣象業務正常開展與否的一個決定性因素，該系統作為氣象信息系統的核心基礎系統，對于預報預測、氣象預警和決策服務等具有重要意義[6]。

參考文獻

[1] 馬渝勇，徐曉莉，宋智，等.省級氣象信息共享系統的設計與實現[J].應用氣象學報，2011，22（4）：505-512.

[2] 沈文海，趙芳，高華云，等.國家級氣象資料存儲檢索系統的建立[J].應用氣象學報，2004，15（6）：727-736.

[3] 李集明，熊安元.氣象科學數據共享系統研究綜述[J].應用氣象學，2004，15（B12）：1-9.

[4] 聶峰英.大數據資源技術服務協同研究—以氣象數據為例[J].信息化研究，2016（1）：6-11.

[5] 王若瞳，黃向東，張博，等.海量氣象數據實時解析與存儲系統的設計與實現[J].計算機工程與科學，2015，37（11）：58-64.

[6] 楊芳，金琪，邢麗平，等.基于Cassandra的實時氣象數據分布式存儲系統[J].陜西氣象，2017（4）：26-30.

作者簡介

馬艷軍（1976-），男，甘肅省平涼人;學歷：碩士學位，職稱：高級工程師，現就職單位：四川省氣象探測數據中心，研究方向：計算機應用及HPC。