基于多源數據融合的一體化氣象服務產品加工系統實現及應用

王 瑩 任 芳 姜 峰 馬 磊

(陜西省氣象服務中心 陜西 西安 710014)

0 引 言

專業氣象服務能力與地方社會經濟關系密切。近年來，隨著互聯網+、大數據等技術的廣泛應用，全國各級氣象部門在專業氣象服務手段、服務產品、服務水平等方面都有了長足的發展，在專業氣象服務系統建設方面，各級氣象部門進行了有效的探索和實踐，開發了一系列專業預報服務系統。但是，全國各地的專業氣象服務情況受地域、氣候、社會經濟發展等多種因素制約，發展不平衡，各類系統的開發往往只是針對氣象服務系統的某個方面，缺乏自動化、精細化、集約化等特點，在很大程度上不能完全滿足用戶對專業氣象服務產品在制作廣度上、精度上的需求。主要體現在兩個方面：(1) 產品制作與產品新需求兩個環節嚴重脫節，產品制作自動化程度低。新產品需求在快速增加，僵尸產品仍在制作，造成大量人力、物力資源浪費。(2) 產品繁多且分散，精細化、集約化程度低。針對不同行業和不同用戶的需求，沒有深度挖掘氣象服務產品的通用性和制作流程的一致性，造成同一服務內容，多系統重復制作，不能及時共享，工作效率低。因此，實現一條面向不同行業的自動化、智能化的氣象服務產品生產線顯得十分必要。

陜西省專業氣象服務涉及行業13類，百余家用戶，重點集中在能源、電力、交通、旅游、林業、水利等行業。針對上述專業氣象服務的現存問題，提出從數據到客戶的一體化系統解決方案。通過氣象服務數據平臺化支撐、自動化產品制作生產、一鍵式多渠道協同分發、全流程可視化監控四個方面，研究并設計了基于多源數據融合的一體化氣象服務產品加工系統，實現各行業服務模型的智能化應用、多行業全景氣象服務概覽、氣象服務產品從生產到消亡的整個生命周期的可配、可視、可管，最終提升多源氣象數據在不同行業的再分析產品的可視化、智能化應用能力。

陜西省一體化氣象服務產品加工系統(SPMS)，是數據集約化、功能模塊化、支撐一體化的氣象服務平臺，不僅能夠滿足專業氣象服務的需求，還能滿足部分公眾和新媒體氣象服務的業務需求，同時面向不同用戶群體及氣象業務系統提供基礎產品及數據接口服務，為陜西省專業氣象服務提供統一架構的業務支撐。主要的功能特點有：(1) 數據接口服務，滿足不同用戶的數據服務需求；(2) 行業產品制作，滿足不同行業的專業性產品制作需求；(3) 一鍵式發布，實現行業服務產品的自動發布，減少人工；(4) 全流程監控，滿足業務流程化管理，做到產品從生產到發布的全流程監控。

1 系統設計

1.1 系統建設內容

SPMS旨在建立面向不同行業的氣象預報預警服務產品一體化制作、分發、監控、管理的綜合性業務系統[1]。主要設計完成數據分析、產品制作、專題制作、產品審發、產品展示、分發監控、系統管理、接口服務等任務：(1) 數據分析：對來自各類數據源如CIMISS接口、中國氣象局公共服務中心下發、氣象服務中心數據源、FTP傳輸的數據進行查詢、分析、校驗，對不完整數據進行補報，對錯誤信息進行訂正。(2) 產品制作：通過地圖劃片或者文字編輯的形式對預報內容進行解釋分析，制作產品發布內容。(3) 專題制作：進行臨時性的專題制作。(4) 產品審發：對即將發布的產品進行審核，審核通過進行發送。(5) 分發監控：對數據采集、產品制作及分發狀態進行監控、展示、查詢。(6) 系統管理：對用戶權限、崗位、產品配置等信息進行管理。(7) 接口服務：為氣象服務應用系統及氣象服務數據可視化系統提供數據支撐。(8) 產品展示：按行業-產品類型-產品名稱進行歸類展示與檢索，形成一個產品庫，實現產品可視化。

1.2 系統框架

系統采用SOA面向服務架構，由采集層、數據層、加工層、服務層組成。采集層使用Spring+Quartz框架，實現從數據庫、Http接口、FTP、網絡映射等多源異構數據(站點、格點、文本、圖片)的定時采集及數據分析，完成分布式存儲工作；數據層使用SpringMVC+Mybatis+Ehcache框架，將從采集層讀取并處理后的數據以Http接口的形式為本業務平臺和第三方應用提供服務；加工層使用前后端分離的模式，后端主要使用SpringMVC+Mybatis框架，結合地圖劃片技術，實現風險模型計算，文檔格式轉換、產品封裝等邏輯處理；前端使用Vue+OpenLayers+Echarts實現交通、能源、林業等行業和專題產品的制作，以及預警信號、歷史天氣、火險實況等數據的查詢；服務層使用Spring+Quartz框架，完成加工層制作的各類產品實時發送。系統框架圖如圖1所示。

圖1 系統框架

1.3 模塊劃分

系統主要設計了數據采集服務子系統、專業服務產品分析制作子系統、多渠道分發傳輸子系統、接口服務子系統、監控子系統、管理子系統六個模塊。核心是產品制作與分發，所有的產品及制作任務均可在后臺配置管理，最終實現產品制作可定制、可管理、可跟蹤。同時，面向不同角色用戶，設計了不同的業務操作流程，并設定崗位職責，主要分為產品制作崗、系統監控崗、系統管理崗。

數據采集服務子系統：采用PostgreSQL大型數據庫數據庫管理軟件建立中心數據庫[2]，包含公共預報產品、行業預報產品、常用的模式預報產品、預警信號、應急命令產品、公共氣象服務產品、實況、歷史數據等各類數據表。專業服務產品分析制作子系統：基于B/S架構和底層核心框架的繪圖及分析功能，采用Java、AJAX等技術開發，承接產品制作崗的主要業務流程，包括數據分析、產品制作、專題制作、地圖劃片、產品審發、分發監控和產品展示功能。多渠道分發傳輸系統：基于Java多線程技術，實現產品制作系統生產的交通、能源、林業等行業服務產品通過FTP、網絡映射、短信、郵件、傳真等渠道實時發送，為多渠道同時進行發布提供保障。接口服務子系統：依托云平臺資源池，建立面向氣象服務應用的氣象服務私有云平臺，對接CIMISS系統、中心數據源、公服下發數據、FTP傳輸等數據源，基于B/S架構，采用Java、HTTP等技術以JSON、XML等方式承載返回的業務數據，為本系統業務和第三方應用提供數據保障。系統管理子系統：主要承接產品管理崗的主要業務流程，包括產品配置、系統管理、配置管理等模塊，完成站點信息、要素管理、渠道配置、圖例管理、色標配置、分析管理、閾值管理和產品的配置、用戶相關的崗位和權限管理、組織機構和單位管理等基礎性配置管理功能。監控子系統：主要承接產品監控崗的主要業務流程，包括監控管理和監控展現模塊，完成數據、產品、網絡、系統狀態的實時流程監控和管理功能。

1.4 流程設計

數據采集系統根據入庫規則完成分布式數據庫存儲工作后，監控系統從數據庫獲取數據的采集動態、異常數據、數據訂正狀態等信息，如果出現異常告警，則快捷打開采集系統對異常數據重新采集；數據接口服務系統根據數據API接口標準從數據庫調用各類數據文件包(站點實況、格點精細化預報、空氣質量、森林火險)，將數據以Http接口的形式再對外提供服務；產品分析制作系統根據指標模型設置、專題模板設置、產品設置等相關設置，實時判斷各類產品的生成條件，獲取產品格式、內容等相關信息，從數據庫或者數據接口獲取所需數據完成產品制作，并將生成的產品發送到分發傳輸系統；分發傳輸系統收到產品后，通過產品ID查找相關分發渠道，完成產品分發，并將產品分發狀態寫入數據庫。監控系統從數據庫讀取產品分發的非正常狀態后，對產品制作崗和監控崗位提供相應異常提醒服務。系統業務流程如圖2所示。

圖2 系統業務流程

2 關鍵技術

2.1 分布式計算與存儲

系統以多源數據為基礎，構建“一體化”支撐體系。基于分布式計算與存儲技術，采用分布式數據庫PgSQL和內存數據庫Redis，存儲CIMISS系統及其他多種數據源下的各類結構化及非結構化數據，構建數據支撐平臺，同時采用高內聚、低耦合原則劃分數據集，減少數據同步損耗，提升運行效率，最終實現氣象數據快速存儲與讀取，為系統提供統一的數據采集、格式轉換、空間化處理、數據更新、數據加工、數據可視化等數據服務。數據支撐服務平臺每日平均訪問量6萬余次，為用戶提供數據服務200多MB，平均響應速度達到毫秒級。效果如圖3所示。

圖3 數據接口平臺

2.2 產品和行業的數據融合分析

以數據為基礎，緊密貼合行業，搭建“高性能圖形制作+時空多維影響分析”引擎?；诘貓D劃片技術，建立各類行業指標算法池，實現氣象要素數據、行業預報預警指標、災害影響分析指標相融合的行業氣象服務產品制作功能，最終生成基于影響的行業氣象服務產品。

地圖劃片技術底層核心框架主要包括：地理信息引擎[3]、氣象圖形引擎[4]、圖像分析引擎等功能模塊。地理信息引擎為產品制作模塊的核心，支持多種地圖底圖的展現，包括平面地圖、衛星地圖、地形地圖等，并支持導入高分辨率的地圖數據[5]。氣象圖形引擎用于氣象數據的處理和可視化，基于氣象圖形引擎強大的智能繪圖語言與繪圖技術，結合SHP地圖數據和氣象數據實現對最高溫度、最低溫度、風、雨量等天氣要素色斑圖繪制，支持hdf、grib2、shapefile、micaps4、.txt(站點)、.txt(格點)數據格式輸入，繪制色斑圖、散點圖等圖片類型。圖像分析引擎實現地圖上繪圖的底層分析功能，獲取各類色素對應的影響范圍、下墊面數據等，完成分析解剖并形成對應的產品結論[6]。

行業模型算法池采用了模塊化構建方法，具有較強的可擴展性，涵蓋電力、交通、旅游、能源等行業服務指標54種、模型13種。以交通大霧風險預報產品為例，將大霧強度、持續時間等氣象要素指標、公路路網密度、單項車流量、交通風險區劃等級等行業服務指標要素綜合考慮，構建交通大霧風險模型，得到大霧風險等級指數R：

F×f

(1)

式中：P為大霧的強度分指標；T為大霧的持續時間分指標；D為路網密度分指標；N為單項車流量分指標；F為風險區劃等級；p、t、d、n、f、d1、n1分別為對應的權重系數。

將氣象要素數據(P、T)與公路相關指標(D、N、F)代入式(1)，得到大霧風險等級指數R，通過后臺插值算法、人工主觀訂正、自定義氣象圖形產品樣式等操作，制作特定區域不同要素、風險影響的時序圖、色斑圖、等值線圖、剖面圖和空間分布圖，并對特定區域下墊面進行影響分析，最終生成全省公路大霧風險預報產品，見圖4。

圖4 公路大霧風險預報產品

以客戶為中心，基于多源氣象數據融合及再分析產品的制作與應用，實現多災害模型數據和行業數據的耦合，完成從天氣到影響的服務轉變，客戶體驗得以提升。

2.3 多業務流程引擎

以數據支撐平臺為基礎，使用流處理引擎，通過分布式任務調度和通信，建立基于多業務流程的產品制作、自動生成、審核分發、多渠道發布、可視化監控引擎機制，構建“一個崗位、一站式、一鍵式”全自動智能生產線，實現從數據到客戶的一體化服務交付[6]。任務調度實現方法：

Scheduler scheduler=sf.getScheduler();

scheduler.addJobListener(new TaskListener());

scheduler.scheduleJob(jobDetail,simpleTrigger);

scheduler.start();

通過定義調度器工廠SchedulerFactory，通過getScheduler()方法得到調度器實例，客戶端通過scheduleJob()方法將任務和觸發器存儲在JobStore中，通過start()方法通知調度線程執行任務，調度線程即完成從JobStore中去調取即將觸發的任務。

2.4 產品智能封裝可配化

基于JavaScript的API技術，深入開展氣象數據的挖掘、高效計算及行業應用。系統將實況、預報、影響分析[7]、色斑圖等各類氣象服務要素使用富文本編輯技術封裝成具有獨立展示功能的顯示單元，形成面向不同行業的多個組件，并提供二次開發接口，供新組件的定制開發[8]。配置管理、部分產品配置效果見圖5、圖6。

圖5 配置管理界面

圖6 產品配置頁面

2.5 產品制作閾值自動提醒

通過對不同類型的實況、預報數據設置不同的閾值，配置產品高影響及突發天氣產品制作的觸發規則，實時判斷各類產品制作是否超出閾值，如果超出則自動生成提示信息，告警提示并提供制作引導。

以低溫高影響產品為例，產品制作提醒條件：預報顯示某一區域內所有的點當日最低氣溫將小于等于-5 ℃；或者實況顯示過去1 h某一區域內所有的點以出現最低氣溫將小于等于-2 ℃且預報顯示該區域低溫還將持續。系統根據上述產品制作條件設置閾值，并生成制作提示頁面彈出提醒，效果見圖7。

圖7 低溫產品制作閾值提醒

3 系統實現

服務器采用CentOS7 64位軟件作為操作系統，系統開發采用Spring+Struts2+Mybatis企業級應用框架，主要編程語言為Java，并融合Vue、JavaScript、Ajax等網頁開發技術，開發環境為Eclipse2018+Maven3，數據庫管理系統使用PostgreSQL 9.4，Web Server為Tomcat 8.0和Nginx 1.14。

3.1 首頁全景

首頁以整合為核心，以用戶為導向，簡約直觀，并配以個性化圖標和智能提醒，體現互聯網+氣象。主要作用是對產品制作的流程追蹤，面向多行業的產品全景概覽，服務重點提醒。通過產品制作時間軸，展示預報應制作的時間，超時未制作的置頂變紅提示，點擊可進入相應產品制作界面；實時動態區動態滾動產品生成及分發情況；高突天氣(高影響及突發天氣)產品制作區：根據設定的高影響天氣分析、行業預警及臨近預報的制作閾值，判斷實況、預報、預警條件是否達到閾值，達到即提示制作并顯示；產品審發全景按照行業劃分，顯示待審核產品，點擊可進入產品審核界面。效果見圖8。

圖8 首頁全景

3.2 地圖劃片

作業人員在地圖劃片模塊，繪制全省及省外部分地區的天氣影響范圍，同時可確定此次影響范圍的預警圈，如圖9所示，可手工繪制，也可選擇數據源自動繪制，繪制完成后可根據后臺設定的各行業用戶關注區域預覽反演出各行業的影響范圍圖，保存后系統自動反演生成影響用戶關注區域的天氣影響服務產品[9-10]，如圖10所示，并形成對應的文字分析結論，如圖11所示。圖和文字分析都作為不同服務產品的內容模塊來源，配置到不同文件產品，然后進入審發流程。

圖9 全省范圍天氣影響

圖10 反演行業天氣影響

圖11 文字分析結論

模塊特色：可自定義繪圖，自由選擇業務圖、地形圖、衛星圖和無底圖。可靈活繪制落區，自由配置圖例、圖標、預警圈、文字等效果。

3.3 產品制作

產品制作既能夠按照行業要求制作特色產品，也能夠找出共性，制作綜合性產品應用于各行業，充分體現了系統針對行業的專業化及綜合性特點。產品制作任務均可在后臺配置，例如公路短期預報，可配置SHP底圖、按不同要素、不同數據頻次、不同氣象類型和綜合性文字分析，系統自動繪制產品圖并生成分析結論。圖文可切換展示重點，如圖12所示。

圖12 產品制作頁面

模塊特色：產品制作任務及內容自動化、定制化，均可根據實際需求靈活更改配置信息，具有較高的業務拓展性。

3.4 產品審發

產品制作完成后進入產品審發模塊，審核列表可按產品生成時間或按照行業排列，產品前小鬧鐘顏色表示審核狀態。產品是否審核可在后臺產品管理中配置審核規則，設置為自動審核的產品，小鬧鐘為綠色，設置為發送失敗的產品；小鬧鐘顏色為紅色，設置為發送中的產品；小鬧鐘顏色為黃色，產品生成后自動按照配置的渠道完成發送。此外，每個產品均可在審核中進行修訂，如圖13所示。

圖13 產品審發頁面

模塊特色：集約化程度高，在同一界面整合展示多個行業的產品，并可區分當天審發產品(日常列表)和不同行業的所有產品(產品列表)，同時協調發布到多個渠道，實現資源整合與一鍵式發布。

3.5 系統監控

系統監控主要用于數據、產品、網絡、系統狀態的實時流程監控和可視化管理。數據采集監控：對網絡文件與定時任務進行監控，出現異常則標色自動警告；站點實況數據以地圖模式展現，出現異常標色自動警告，可進行異常數據實時訂正，地圖點擊交互事件可展示該站點24小時天氣實況多要素曲線圖供訂正參考。見圖14中間部分。硬件網絡監控：以多層次節點監控結構圖形式布局和監控服務器、主要網站、第三方專線等硬件網絡，異常標色自動警告，見圖14左下部分。產品流監控：監控服務產品制作流程，通過統計應生成、應發送、實際生成、實際發送的產品數，查看產品生成、審核、分發情況，如圖15所示。

圖14 實況、網絡、任務監控

圖15 產品發送監控

模塊特色：具有概覽全局的效果，提供數據流、產品流、文件流等的狀態監測與報警功能。

4 系統應用

4.1 應用創新

系統的應用創新主要有：(1) 多行業資源整合：多個行業氣象產品編制與分發，統一全景概覽。(2) 靈活配置流程化：提供自定義產品配置，自動生成產品，實現從數據源到分發的整個產品流程。(3) 繪圖分析智能化：提供實時繪圖、實時分析與自動繪圖、自動分析。(4) 集約發布自動化：實現對同一個產品分發到多個渠道，減少重復工作，提高分發效率。(5) 省市縣區一體化：面向省市縣不同單位不同部門的一體化體系，實現不同用戶與對應產品的獨立應用。(6) 工作一站式：業務人員只需一個系統即可完成產品的制作及服務。(7) 集中監控可視化：對系統數據、產品、文件、網絡的全面可視化監控。

4.2 應用前景

系統建成后主要應用于陜西省專業氣象預報服務業務，實現了崗位一站式、發布一鍵式、產品專業化的全自動智能生產線，實現了用戶和服務之間的緊密聯動，資源節約52%，作業時效提升400%。同時，系統的模塊化及拼插式架構體系，非常適合移植到省、市級行業氣象服務中心，它可以通過配置當地行業用戶的氣象服務指標以及生產作業流程，為當地行業用戶提供智能化氣象服務支撐，適用于氣象與各行業的多維度融合，具有非常廣泛的應用前景。

5 結 語

陜西省一體化氣象服務產品加工系統以多行業氣象產品制作分發及平臺統一監控作為切入點，實現了氣象預報預警服務產品的個性化配置制作、多渠道協調分發、多行業產品全景、全平臺集中監控功能，重點解決專業氣象服務業務流程的優化問題，實現一次指導性制作，多樣化產品輸出，極大提高了業務人員的制作效率，具有較高的應用價值。