大數據時代氣象信息化面臨的問題與對策探討

葉青，陸曼曼，林明

（南寧市氣象局，廣西 南寧 530029）

當前，我國已經為氣象信息化的發展制定了明確的政策，所有地區的氣象部門都要認真研究氣象工作的現狀，發現問題，找到不足，然后做出有針對性的改進，制定科學的氣象信息化發展計劃。在建設氣象信息化工程的過程中，加強大數據云平臺的建設將有助于減少氣象領域一直存在的“信息孤島”現象，克服各個地區之間的信息交流障礙，促進有效的信息交換，提供包括氣象在內的信息資源和數據云。氣象大數據平臺建設是氣象信息化建設的核心，目前國家局初步建立了氣象大數據平臺，初步實現了天氣預報智能化，從而大大提高提供氣象信息服務的能力，改善氣象信息化業務管理水平。

1 大數據時代氣象信息化面臨的問題

1.1 通信基礎設施支撐能力不足

目前，氣象通信系統快速響應能力不足?，F有的氣象通信系統是基于“本地計算，本地服務、文件共享”的傳統業務模式設計的，主要支持氣象觀測數據的收集、傳輸以及氣象服務信息的分發。隨著衛星、雷達等數據規模的快速增長，氣象信息系統對網絡帶寬的需求急劇增加，網絡流量也顯著增加?，F有系統不足以支持大量的在線訪問、在線協作。為了提高氣象預報的準確性和預警提前量，需要氣象通信系統具備亞分鐘級數據速率。隨著氣象服務的不斷發展，高性能計算功能遠遠無法滿足業務需求。

1.2 氣象信息孤島現象嚴重

根據業務需求開發的氣象業務系統缺乏科學合理的頂層設計，沒有統一的標準和數據基礎，沒有構成良好的業務生態系統，各地氣象系統之間相互獨立，相似的功能反復開發，導致氣象數據結構不一致，這樣的信息孤島現象非常嚴重。數據環境密集且統一，但是，業務系統集約化程度較低?；趥鹘y體系結構的CIMISS在數據管理功能和信息訪問效率方面，不能滿足大型數據處理應用程序的并行計算要求。仍然有一些業務系統使用CIMISS作為數據源，并使用數據同步和其他技術在本地創建多個數據庫，從而產生新一輪的信息孤島，數據價值挖掘功能不足，以及部門和跨行業融合不足，不能充分發揮數據的作用。

1.3 提供氣象數據服務的能力不足

傳統的氣象數據管理模型無法提供有效的氣象預測，不能按需求提供針對性服務，也無法在線實時交換大量數據。傳統的計算能力和計算方法無法滿足海量數據處理和分析需求。在有限時間內不能做到及時有效地處理、分析和應用各種類型的數據，無法提供內部并行服務。在氣象部門外，其他行業部門進行數據分析是必不可少的，但是，在大數據分析領域還處于初級階段，而且氣象數據與行業數據之間的相關性分析和整合還不夠。

1.4 氣象數據安全保護能力不足

氣象信息的安全保護體系已初具規模，關鍵業務系統已經按照安全要求實施了分級保護，但現有的氣象信息服務系統對網絡安全突發事件的應急能力還不夠?？偟膩碚f，各級氣象部門信息系統的安全防護相對薄弱，技術上缺乏系統的安全防護措施，大多數業務應用系統都受到了威脅，網絡安全風險很高。在基于密集資源池的業務模型中，網絡邊界變得越來越模糊，必須重建氣象信息安全技術的體系結構，運用新的安全保護手段。隨著網絡覆蓋范圍的擴大和業務應用程序的增長，整個系統的網絡安全性仍然存在較多漏洞，氣象應用程序的安全隱患十分突出，缺乏內容級別的安全性管理，和國家網絡安全標準也存在差距。

1.5 氣象信息綜合管理能力不足

氣象信息化快速發展，然而，目前還缺乏完善的技術標準、管理體系和工作方法，無法完全滿足氣象信息化發展的要求。在氣象信息管理方面缺乏頂層設計和約束機制。集成的管理信息系統使使用過程難以做到高效的數據交換、業務協調以及有效的決策支持變得困難，同時存在大量異構格式的氣象管理數據，這些數據難以管理、共享和重用。

2 解決大數據時代氣象信息化問題的對策

2.1 建立健全氣象大數據平臺，提高基礎設施的支撐能力

建立基于云計算、大數據的氣象大數據平臺。氣象大數據平臺包括集中式的元數據管理、分布式的ETL管理、調度管理，可以進行大數據的采集、處理、存儲、共享，同時，還可以進行數據質量管理、系統自我監控以及系統自助服務和維護功能。氣象大數據平臺基于Hadoop集群、Impala集群、Oracle集群構建。平臺基本架構可以劃分成數據源層、大數據平臺層、應用程序層。氣象大數據平臺負責對整個數據資源進行標準化管理，以確保高效、穩定的數據性能以及數據的快速聚合、快速交換、快速存儲以及質量管理。

（1）數據源層包括與天氣服務有關的所有數據源。通過對氣象數據分類，可以分成多個數據塊，包括結構化的CIMISS數據、非結構化的CIMISS數據（衛星，雷達，數值預報等）和氣象行業的外部數據（航空、農業、保險、交通、水利等）、互聯網數據和地理數據。大數據平臺層基于前端計算機集群對數據進行分析、處理，生成高質量的信息產品，并將這些信息產品進行分類存儲。使用分布式ETL工具提取、清洗、轉換、合并初始數據，根據數據倉庫模型的預定義組合將數據加載到數據倉庫中。

（2）大數據平臺層是整個大數據平臺體系結構的核心組件。一個完整的大數據平臺必須提供脫機計算、臨時查詢、實時計算、實時查詢功能，僅僅依靠一個集群是無法實現的，因此，如何組合和使用上述三種集群非常重要。Impala集群由Kudu、Alluxio、Impala構成，主要接收結構化數據和基本數據；Hadoop集群包括由HBase、Spark、HDFS、Alluxio等構成，主要存儲非結構化數據和結構化數據；Oracle集群主要存儲臨時應用程序數據。在大數據平臺上部署Solr Cluster的分布式搜索。借助Solr的集中配置，自動容錯和實時搜索功能可以滿足大索引量和高并發搜索量的數據應用，通過Music氣象數據服務接口接收統一、標準化的數據，以實現統一格式氣象信息的顯示。

（3）氣象大數據平臺的應用層位于架構的最頂層，主要用在基于大數據平臺開發的業務應用，從大數據平臺層中提取出來的數據將應用于多項氣象應用，能夠高效滿足即席查詢、日常統計查詢等應用開發。目前，我國氣象部門正在進行氣象防災減災聯動支撐平臺、氣象與農業、氣象與旅游等應用專題研究，并且已經取得了一定的成果。

（4）氣象大數據平臺應通過數據和算法的融入，滿足氣象信息系統在數據共享、業務協同、計算框架等方面的集約化管理，實現氣象產品算法統一管理和調度運行、數算一體的業務應用模式。

2.2 建立高效氣象通信系統，開展氣象高性能計算應用

首先，利用電子政務外聯網和氣象寬帶網，建立直達省、市、縣的扁平化高效通信網絡，提高網絡帶寬，從而提高氣象數據傳輸能力，完成氣象通信系統2.0(CTS2.0)的業務運行，使氣象通信速度提升至秒級。

其次，建立高性能計算資源，啟動業務應用，提高氣象網格化預報、短臨天氣預報的計算能力，加快天氣雷達、氣象衛星、自動氣象站等氣象觀察數據源的計算分析速度，提高對氣象核心業務的支持。

最后，改造氣象業務系統，按照統一管理、數據共享的原則，打造省、市、縣建立多級氣象業務布局。整合綜合觀測、氣象預報、公共服務數據和處理等功能，實現技術集成、數據集成、業務集成，完善氣象業務系統的云+終端模式。促進氣象信息管理系統的集成和更新，幫助實現氣象管理功能的信息化、智能化，采用面向服務的體系結構（SOA），集成行政管理、業務管理、人力資源管理、財務管理等管理功能，開發決策支持應用程序、各種政務管理系統和業務管理應用系統，創建全面的氣象信息管理系統，實現氣象信息化的全面發展。

2.3 構建共治共用的信息安全管理體系

首先，應該建立健全安全責任制度，強化信息安全管理體系的建設，強化信息安全管理人員的安全意識和培訓，不斷提高氣象信息安全事件應急處置能力，定期組織應急演練。其次，健全信息安全技術體系，提高網絡安全防護能力，實現對網絡和核心業務系統的有效防護，運用資源池虛擬化防護能力，實行網絡安全審計，提高提升氣象業務內網和外圍的安全威脅預警能力。

3 結語

綜上所述，氣象信息化是實現氣象業務現代化的重要保證。信息技術的發展為氣象信息化發展提供了強大的技術支持。以分布式計算、分布式存儲的大數據平臺成為實現氣象信息化的核心，為解決應用程序集成之類的問題提供強大的工具，有效地推動了氣象服務的智能化、個性化，從而有效提高了氣象信息化服務水平。