基于“微服務+分布式”架構的公共氣象服務數據支撐系統研究

林孔杰　夏利娜　汪春輝　 陳玉吉

摘? 要： 氣象服務數據規模隨著精細化、多元化服務要求的提升，加之各氣象服務系統集約化程度不高、并發訪問能力不足，對氣象數據的處理和應用形成了新的挑戰。本研究基于“微服務+分布式”架構，采用數據采集和處理相分離方式完成數據存儲入庫;開發了多源數據融合模型完成對多源數據的融合，并生成氣象服務統一接口提供對外氣象數據服務。系統實現了氣象服務產品的采集、供給標準化，為用戶提供了安全、及時、高效的數據服務。

關鍵詞： 分布式; 微服務; 數據支撐; 氣象服務

中圖分類號：P409;TP311.1? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）05-138-03

Research on public meteorological service data support system based on

"micro service + distribution" architecture

Lin Kongjie， Xia Lina， Wang Chunhui， Chen Yuji

Abstract： Meteorological service data increases with the improvement of refined and diversified service requirements. However， the intensification of each meteorological service system is scattered， and the concurrent access capability is insufficient， which forms new challenges to the processing and application of meteorological data. Based on the "microservice + distributed" architecture， data storage are completed by separating data acquisition and processing， and a multi-source data fusion model is developed to complete the fusion of multi-source data. A unified interface for meteorological services is generated to provide external meteorological data services. In this system， the standardization of the collection and supply of meteorological service products is realized. It provides users with safe， timely and efficient data services.

Key words： distribution; micro services; data support; meteorological service

引言

隨著氣象現代化、信息化業務快速發展，氣象服務業務涉及面漸廣，交通、林業、電力、農業等行業氣象服務飛速發展，部門間的數據交互日漸頻繁，如何充分釋放數據價值而又避免計算資源浪費，并且支撐系統能夠安全、穩定、高效，是個挑戰。迫切需要建立一個安全、高效、集約的數據支撐平臺，能夠為各氣象服務平臺（系統）提供產品支撐，為各地市氣象部門、行業部門間數據交互融合提供數據支撐。

目前，國內外專家針對氣象數據產品的存儲、分析、應用等進行了大量研究，各省氣象部門對氣象服務數據支撐涵蓋了氣象基礎數據、行業專項數據等采集、解析、入庫、服務、監控管理。李波等[1]基于SOA、分布式存儲等技術設計了氣象數據共享平臺，朱亮等[2]基于分布式技術設計的農業氣象大數據平臺實現了對農業氣象數據的收集、存儲和應用，郭慶燕等[3]，利用消息中間件、WebGIS等技術開發的氣象數據應用服務系統為決策服務提供了可靠的數據依據。而面向服務用戶的大并發量訪問、中臺式服務管理、流式計算、同類產品多源融合等問題尚待解決[4-6]，另外，基于傳統方式對氣象影視制播等業務的數據支撐已無法滿足融媒體中心需求[7]。

本文旨在闡述利用信息化技術，結合公眾、決策、行業及融媒體等不同服務類型對服務產品、渠道、方式、應用場景等需求，構建多源數據融合模型，再造業務流程，實現氣象服務數據的采集、處理、存儲、分析和應用等功能。系統實現了氣象服務數據的“縱向互通、橫向互聯”，形成以“用戶為中心”，“服務為靶向”的格局，不但有利于氣象服務提升業務創新能力和智慧服務技術水平，也將進一步提升福建省氣象部門防災減災系統建設格局。

1 關鍵技術

1.1 基于Kafka的流式計算

Kafka[8]是一種高吞吐量的分布式流式處理系統，本研究利用Kafka系統處理活躍的流式數據，針對氣象服務數據的采集需求，配置千量級不同連接器，實現數據源（含FTP、CIMISS接口等）到支撐系統的分布式采集。本研究采用有序方式記錄信息（不受內存限制），接收信息持久化到硬盤，接收和消費互不影響，大大提高IO效率。其主要優勢有消息持久化、高吞吐量、高并發、分布式、容錯性、實時性。

1.2 微服務架構技術

微服務架構[9]（Microservice Architecture），是指將一個大型復雜軟件應用拆分成獨立的組件（服務），每個組件執行一項專門的任務。本研究使用微服務架構旨在通過將功能分解到各個離散的服務中以實現對解決方案的解耦。將功能分解到離散的各個服務當中，從而降低系統的耦合性，并提供更加靈活的服務支持。

1.3 API網關服務

本研究開發API網關[10]服務保障應用安全，該網關采用集群模式部署，利用負載均衡、API全托管服務功能提供高并發訪問和穩定性，且網關服務中實現了動態路由、身份認證、安全控制以及限流。設置動態路由可以自動適應網絡狀態的變化，自動維護路由信息;進行身份認證，防止非授權用戶訪問敏感數據，對每個外部請求進行用戶認證，拒絕沒有通過認證的請求，并且通過訪問模式分析，實現反爬蟲功能;采用服務限流，可以穩定服務、減輕網絡負擔，保護后臺服務不被大流量沖垮。

2 總體設計

該系統堅持氣象服務數據全流程協調、開放、共享服務理念，重構功能框架，再造數據流程，強化應用安全，總體架構設計包含基礎設施層、數據資源層、應用支撐層、應用層和展示層。

⑴ 基礎設施層：基礎設施層是用于支撐項目系統的軟硬件環境。包括系統建設支撐的網絡設備、主機與服務器以及存儲設備。

⑵ 數據資源層：數據資源層用于存儲數據量相對穩定的各類數據資源，支持氣象服務產品支撐系統的軟件運行。包括結構化數據庫、非結構化數據庫和第三方資源庫。

⑶ 應用支撐層：應用支撐層主要為應用層提供基礎支撐和通用的服務組件。包括工作流引擎、全文檢索、權限管理、數據分析及展示等應用支撐中間件。

⑷ 應用層：在數據資源層和應用支撐層的基礎上，建設各類應用服務對接平臺。建設模塊包括綜合監控模塊、數據匯聚模塊、數據存儲模塊、數據服務模塊、數據運維等模塊以及對采集解析處理服務的一鍵式、多手段發布與治理。

⑸ 展示層：在數據完備的基礎上，針對用戶所需提供多元化的數據服務支撐;并監測產品處理、對外服務等狀態。

3 系統功能設計

系統實現了地面、高空、海洋、雷達、氣象影視等氣象數據的采集、加工、融合，生成的產品為上層應用提供標準應用接口，整個節點數據流輔以全流程監控。整體業務功能處置流程如圖1。系統的功能主要如下。

⑴ 數據匯聚處理：基于分布式的設計及技術理念，利用數據抽取、消息服務、文件交換等技術手段，解決數據產品采集過程中時面臨的分散孤立、源頭多樣、跨網傳輸等問題，為數據資源的匯聚集中、統一標準化處理提供源數據支撐。

⑵ 自動匹配流式加工：對采集完成的各類數據產品按照實際需要進行分析、處理、算法實現、再加工等，通過選擇或者自定義編寫數據解析策略（如MICAPS格式等），進行自動的解析處理。

⑶ 同類數據多源融合：將多種數據產品進行融合，生成出新的產品。同源產品融合將所屬同源的產品，進行采集入庫后，根據入庫時間、設置產品優先級，選取符合條件的產品作為輸出的融合產品;不同源產品融合，將各種產品采集入庫后，抽取符合要求的各類數據，按設定的模型進行融合，形成新的產品進行輸出。

⑷ 多渠道產品服務：利用負載均衡模式，提供分布式數據接口服務。建立完整的服務體系，通過服務配置，將采集后的產品以ftp、流式、網絡接口方式進行服務的配發;對服務對象進行系統的管理，設置服務權限，收集服務反饋。

⑸ 全流程監控管理：監控系統各節點數據流，利用圖表形式直觀展示采集、解析、融合、服務等各流程節點狀態;采集系統各操作日志及數據庫、服務器運行日志，根據性能、網絡和IO擁堵等情況實施聲光、短信聲訊提醒，第一時間定位問題，便于跟蹤排查和處置。

4 系統分析與應用概況

4.1 性能檢驗

為了驗證系統的支撐性能，分別從并發能力，采集響應，解析執行時間等方面，以224個國家級地面考核站點實況數據文件為測試對象，測試情況如表1所示。

通過系統測試，結果數據表明該系統具備了較好的性能，能夠滿足氣象服務業務需求。

4.2 應用概況

目前，氣象服務產品支撐系統建設已初具規模，目前已實現七大類、678項產品數據交匯服務，服務22個行業用戶，涉及氣象、林火、交通、農業等各行業，實現了數據接口個性化定制服務，為各個系統及平臺提供標準化、專業化的服務產品支撐。

5 結束語

本文采用了分布式、微服務等主流技術，打造了一個安全、高效、集約的公共氣象服務產品支撐系統。系統構建了產品采集模式的標準化模型，規劃行業產品的標準化接入，匯聚行業應用產品系統/平臺產品，實現標準、集約的產品匯聚及行業應用產品的快速信息化支撐。為各氣象服務業務提供數據環境和技術支撐，為拓展公眾、行業等氣象服務提供了堅實基礎。

參考文獻（References）：

[1] 李波，杜景林，李正方.基于SOA的氣象數據共享平臺研究[J].

電子設計工程，2019，27（4）：25-29

[2] 朱亮，鐘艷雯，賀煒，等.基于分布式的農業氣象大數據平臺

設計與實現[J].湖北農業科學，2019，58（6）：128-130

[3] 郭慶燕，楊暉，張敏，等.氣象數據應用服務系統的研究[J].

計算機應用與軟件，2018，35（2）：107-111

[4] 蔣晨晨，季一木，孫雁飛，等.基于Storm的面向大數據實時流

查詢系統設計研究[J].南京郵電大學學報（自然科學版），2016，36（3）：100-105

[5] 朱濤，郭進偉，周歡，等.分布式數據庫中一致性與可用性的

關系[J].軟件學報，2018，29（1）：134-149

[6] 王建榮，華連生等.數值預報產品分布式處理與存儲系統

設計[J].計算機技術與發展，2018，28（2）：167-172

[7]丁海清，黃瑩霞.融媒體時代氣象服務信息傳播渠道的變革[J].

信息記錄材料，2021，22（4）：36-38

[8] 謝文康.Kafka流式計算性能優化算法研究[D].南京郵電

大學，2020

[9] 辛園園，鈕俊，謝志軍，張開樂，毛昕怡.微服務體系結構實現

框架綜述[J].計算機工程與應用，2018，54（19）：10-17

[10] 莊夏.API網關架構設計實例[J].信息系統工程，2018（5）：

99-100

收稿日期：2021-11-05

作者簡介：林孔杰（1994-），男，福建平潭人，碩士研究生，主要研究方向：氣象服務與應用氣象。