



摘要:為滿足公眾對于氣象災害預警信息內(nèi)容全面、便于理解的服務需求,本文提出了氣象災害預警公眾服務產(chǎn)品智能制作與發(fā)布系統(tǒng)的設計思路和總體框架,闡明了系統(tǒng)關(guān)鍵技術(shù):基于預警和氣象數(shù)據(jù)結(jié)合的綜合圖文模塊化組合技術(shù),實現(xiàn)預警信息自動關(guān)聯(lián)相關(guān)實況、預報數(shù)據(jù)模塊化組合,豐富了預警信息服務內(nèi)容;預警數(shù)據(jù)快速存儲及檢索技術(shù),實現(xiàn)海量預警數(shù)據(jù)快速處理;預警圖文產(chǎn)品渲染技術(shù),實現(xiàn)預警及氣象數(shù)據(jù)快速生成可視化圖表或圖形;多進程并發(fā)制作產(chǎn)品,實現(xiàn)同時段內(nèi)多條氣象災害預警信息同步處理生成產(chǎn)品,有效解決網(wǎng)絡擁堵導致預警服務時效性滯后問題。該系統(tǒng)有效提升了預警公眾服務水平,有助進一步提升預警信息發(fā)布效益,為開展綜合氣象服務產(chǎn)品研發(fā)及相關(guān)系統(tǒng)建設提供了新的建設思路。
關(guān)鍵詞:氣象災害預警;公眾服務產(chǎn)品;智能制作與發(fā)布;系統(tǒng)
doi:10.3969/J.ISSN.1672-7274.2024.12.048
中圖分類號:P 4;TP 3" " " " " " 文獻標志碼:B" " " " " " 文章編碼:1672-7274(2024)12-0-05
The Design and Implementation of Intelligent Production and Release System of Meteorological Disaster Warning Public Service Products
LIU Qingyang, ZHENG Wei, LU Liwen, ZHAO Chennan
(Huafeng Meteorological Media Group, Beijing 100081, China)
Abstract: In order to meet the public's demand for comprehensive and easy-to-understand meteorological disaster warning information, this paper puts forward the design idea and overall framework of the intelligent production and release system of meteorological disaster warning public service products, and expounds the key technologies of the system: Based on the integrated graphic and text modular combination technology of early warning and meteorological data, the early warning information can be automatically associated with relevant actual data and forecast data for modular combination, enriching the early warning information service content; Rapid storage and retrieval technology of early warning data, realizing rapid processing of massive early warning data; Early warning graphic product rendering technology, realizing the rapid generation of early warning and meteorological data visualization chart or graph; Multi-process concurrent production of products, realize the simultaneous processing of multiple meteorological disaster warning in the same period to generate products, effectively solve the problem of delayed timeliness of early warning service caused by network congestion." This system effectively improves the public service level of early warning, helps to further improve the benefit of early warning information release, and provides a new construction idea for the development of comprehensive meteorological service products and related system construction.
Keywords: meteorological disaster early warning; public service products; intelligent design and distribution; system
0" "引言
氣象災害預警是我國向安全型、生態(tài)型經(jīng)濟社會發(fā)展的重要保障措施之一。但災害性天氣隨機性、局地性強,預報難度大,現(xiàn)有以氣象要素為指標的氣象災害預警信息針對性不強,預警信息發(fā)布傳播時效滯后,缺乏基于影響區(qū)域并提供針對性防災避險措施的個性化預警服務產(chǎn)品制作模型和快速、廣泛、精準發(fā)布技術(shù)[1]。本文提出了利用大數(shù)據(jù)、云計算及融媒體等技術(shù),融合多源化氣象觀測和預報數(shù)據(jù)的氣象預警公眾服務產(chǎn)品制作與發(fā)布系統(tǒng)的設計思路和總體框架[2],搭建了由資源層、存儲層、中間件層、產(chǎn)品層、服務層和應用層組成的業(yè)務平臺,實現(xiàn)了融合氣象預警數(shù)據(jù)、天氣實況、歷史及預報數(shù)據(jù)、防御指南信息于一體的氣象預警圖文綜合產(chǎn)品,26秒內(nèi)機器自動完成從數(shù)據(jù)獲取、產(chǎn)品加工到傳播的全流程,該系統(tǒng)運行穩(wěn)定,高效智能,為用戶快速提供全方位的預警信息服務[3]。
1" "系統(tǒng)總體設計思路
立足預警信息發(fā)布要“發(fā)得出、收得到、用得好”的總體原則,利用大數(shù)據(jù)、融媒體和人工智能等最新技術(shù)[4],融合氣象觀測和預報數(shù)據(jù)打造集預警、預報、數(shù)據(jù)分析及防御指南于一體的氣象災害預警公眾服務綜合產(chǎn)品,構(gòu)建基于新媒體平臺傳播的氣象災害預警公眾服務產(chǎn)品智能制作及發(fā)布系統(tǒng),該系統(tǒng)前端連接國家預警信息發(fā)布系統(tǒng)和CIMISS系統(tǒng),后端連接微博、微信等新媒體傳播平臺,實現(xiàn)氣象災害預警信息公眾服務產(chǎn)品分鐘級制作秒級傳播,提高公眾接收氣象災害預警信息的便利性、時效性、豐富性及可視性[5]。
2" "系統(tǒng)設計
2.1 系統(tǒng)架構(gòu)
氣象災害預警公眾服務產(chǎn)品智能制作與發(fā)布系統(tǒng)技術(shù)架構(gòu)由資源層、存儲層、中間件層、產(chǎn)品層、服務層和應用層組成(見圖1)。系統(tǒng)采用SSM框架技術(shù),使系統(tǒng)能夠分層開發(fā),各層之間邏輯分明,讓系統(tǒng)具有極強的擴展性。利用組件技術(shù),力求將變化封裝在組件內(nèi)部。系統(tǒng)計算能力強,同步、異步兼顧,既能滿足快速反映的業(yè)務的需求,又能滿足大數(shù)據(jù)量、復雜的異步的業(yè)務的需求。
(1)資源層為整個系統(tǒng)的開發(fā)、部署和測試提供運行所需的全部硬件資源,在開發(fā)測試階段依賴于自有機房環(huán)境,提供主機、交換機、防火墻、機柜等基礎(chǔ)硬件服務,在業(yè)務化運行階段依賴于阿里云資源,提供云主機、云存儲、云數(shù)據(jù)庫等云資源服務。
(2)存儲層是整個系統(tǒng)的核心層,為基礎(chǔ)數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、用戶數(shù)據(jù)、運行日志數(shù)據(jù)等提供實時在線存儲,為產(chǎn)品加工和服務提供底層支撐,其功能包括提供分布式存儲、sql、nosql等多種數(shù)據(jù)存儲介質(zhì),根據(jù)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、冷數(shù)據(jù)、熱數(shù)據(jù)等數(shù)據(jù)的特點,選擇數(shù)據(jù)存儲介質(zhì),支持對數(shù)據(jù)存儲的管理,包括數(shù)據(jù)的增加、修改、刪除、授權(quán)等,根據(jù)不同的用戶提供不同的上傳、下載權(quán)限,保障數(shù)據(jù)使用的安全。
(3)中間件層為產(chǎn)品的加工提供核心中間件服務,是整個產(chǎn)品加工的基礎(chǔ),提供基礎(chǔ)數(shù)據(jù)的接入和匯聚功能,用于產(chǎn)品加工算法庫搭建,中間件提供搜索引擎、計算引擎、服務引擎等為產(chǎn)品的實時加工提供軟件服務,支持對多元數(shù)據(jù)進行融合、清洗、訂正、格式轉(zhuǎn)換等基礎(chǔ)處理功能,支持對數(shù)據(jù)計算結(jié)果進行統(tǒng)計、分析,挖掘數(shù)據(jù)價值,同時針對產(chǎn)品的加工流程進行調(diào)度,合理分配計算資源,保障產(chǎn)品加工流程完整和安全。
(4)產(chǎn)品層是系統(tǒng)產(chǎn)品的匯聚層,在線提供寒潮、暴雪、降水落區(qū),預警決策產(chǎn)品、科普圖文產(chǎn)品、科普視頻產(chǎn)品的模板設計,提供產(chǎn)品的模塊化庫,支持在線產(chǎn)品的自由拖拽組合,支持對產(chǎn)品的管理,包括產(chǎn)品的新增、業(yè)務化產(chǎn)品的修改以及刪除,支持對產(chǎn)品的使用授權(quán)。
(5)服務層是產(chǎn)品的對外輸出的服務控制層,基于springboot框架,搭建產(chǎn)品服務網(wǎng)關(guān),設計產(chǎn)品服務接口標準,支持對接口傳參的定義,通過不同的參數(shù)控制接口的輸出內(nèi)容,借助加密鑒權(quán)機制,基于平臺的用戶中心,授權(quán)用戶訪問產(chǎn)品權(quán)限,同時支持對接口的監(jiān)控、統(tǒng)計、分析等管理功能,為產(chǎn)品的服務質(zhì)量分析做支撐。
(6)應用層借助終端為用戶提供快速的氣象災害預警公眾服務產(chǎn)品,其中終端包括預警中心微信公眾號、預警中心微博賬號、預警中心百度百家號、預警中心預警頭條號,以及自有平臺的可視化大屏,支持多終端一鍵式發(fā)布,支持多終端產(chǎn)品展示的自適應,支持對多終端的發(fā)布結(jié)果反饋收集、處理、分析和可視化展示[6]。
2.2 系統(tǒng)智能制作流程
整體系統(tǒng)建設內(nèi)容分為業(yè)務子系統(tǒng)、基礎(chǔ)資源庫兩個部分。其中,業(yè)務子系統(tǒng)包括預警信息接收子系統(tǒng)、預警信息對接子系統(tǒng)、發(fā)布手段反饋子系統(tǒng)、產(chǎn)品控制子系統(tǒng)、預警產(chǎn)品加工子系統(tǒng)、產(chǎn)品服務管理子系統(tǒng)、大數(shù)據(jù)統(tǒng)計分析子系統(tǒng)、展示子系統(tǒng)和后臺管理子系統(tǒng);基礎(chǔ)資源庫包括Redis數(shù)據(jù)庫、消息隊列、數(shù)據(jù)處理、mongoDB數(shù)據(jù)庫、分布式文件系統(tǒng)。具體制作流程如下:
預警信息接收子系統(tǒng)、發(fā)布手段反饋子系統(tǒng)、產(chǎn)品控制子系統(tǒng)通過Rabbit Mq消息通知接口的方式,實現(xiàn)各類數(shù)據(jù)信息采集,同時搭建數(shù)據(jù)處理中心,將各類數(shù)據(jù)信息匯聚到數(shù)據(jù)處理中心,設計各類產(chǎn)品加工模板,引入各類基礎(chǔ)氣象數(shù)據(jù),利用算法庫,快速生產(chǎn)國家級和省級的預警圖文產(chǎn)品,構(gòu)建MongoDb數(shù)據(jù)庫、Ceph分布式文件存儲、Redis緩存數(shù)據(jù)庫等多種存儲介質(zhì),根據(jù)數(shù)據(jù)產(chǎn)品的屬性,選擇存儲介質(zhì),制定數(shù)據(jù)存儲規(guī)則,設計數(shù)據(jù)存儲表結(jié)構(gòu),支持對數(shù)據(jù)的新增、修改、刪除等管理功能,搭建數(shù)據(jù)檢索引擎,同時支持數(shù)據(jù)產(chǎn)品的快速檢索。
產(chǎn)品控制子系統(tǒng)通過對接包括微博、微信、百家號等國家預警發(fā)布中心賬號,通過對接口的二次封裝和改造,實現(xiàn)預警產(chǎn)品的多終端自適應一鍵式發(fā)布,同時收集各終端發(fā)布渠道發(fā)布預警的結(jié)果信息,分析用戶反饋效果信息,為推廣渠道的選擇提供數(shù)據(jù)支撐。
搭建后臺管理子系統(tǒng),支持預警數(shù)據(jù)在線管理、發(fā)布渠道管理、用戶中心管理以及各類產(chǎn)品模板管理,提供發(fā)布效果的可視化展示等功能。
2.3 開發(fā)環(huán)境選擇
開發(fā)系統(tǒng)時使用Git作為代碼版本管理工具,創(chuàng)建一個dev分支來進行開發(fā)工作,在發(fā)布的時候再將代碼合并到master分支,這樣可以保證master分支永遠都是穩(wěn)定的版本,在本地開發(fā)和測試完畢后,將代碼合并到master分支,并Push到遠程的Git倉庫。
由于本系統(tǒng)Web服務有3臺業(yè)務機,通過負載均衡,可實現(xiàn)流量的平均分配,提高服務的承載能力和可用性。為了實現(xiàn)線上快速部署,在本地建立shell腳本,通過Scp或者Rsync方式,將本地代碼快速上傳到業(yè)務生產(chǎn)機。
代碼遠程發(fā)布完成后,Git庫記錄此次發(fā)布的版本,如果在發(fā)布后發(fā)現(xiàn)出問題,可以快速執(zhí)行回滾命令,找出上一次發(fā)布的版本,并回滾代碼。
系統(tǒng)后端采用SSM框架,實現(xiàn)系統(tǒng)的高可用、高并發(fā)和訪問負載均衡,搭建分布式文件系統(tǒng)(Ceph),實現(xiàn)多格式、大文件的快速存儲。系統(tǒng)前端采用VUE框架,實現(xiàn)功能模塊化、數(shù)據(jù)可視化。系統(tǒng)開發(fā)采用主流的Java語言,方便運維。
3" "關(guān)鍵技術(shù)實現(xiàn)
3.1 基于預警和氣象數(shù)據(jù)結(jié)合的綜合圖文模塊化組合技術(shù)
為了研發(fā)多元化的預警+氣象數(shù)據(jù)可視化圖文產(chǎn)品,系統(tǒng)產(chǎn)品加工采用Matplotlib三維繪圖庫,自動在相應的國省市地圖上繪制多種預警及氣象信息數(shù)據(jù)圖,并進行防重疊排布,采用模塊化方式,動態(tài)組合預警及氣象信息不同內(nèi)容版塊自動布局,形成預警長圖。
Matplotlib具備三層架構(gòu):容器層提供畫布區(qū)、繪圖區(qū)以及坐標系設置功能;輔助顯示層提供添加x、y軸刻度、添加描述信息、添加網(wǎng)格、添加顯示圖例等功能;圖像層提供折線圖、散點圖、柱狀圖、餅圖以及其他圖層功能。
3.2 預警數(shù)據(jù)快速存儲及檢索技術(shù)
針對海量預警信息圖文、視頻文件存儲,使用分布式高性能、高可用、高擴展性Ceph服務器解決海量文件、視頻、圖片的存儲,建立圖文產(chǎn)品編碼庫,制定編碼標準,針對各類產(chǎn)品快速進行編碼,利用ES檢索引擎,實現(xiàn)產(chǎn)品的快速檢索。
Ceph存儲提供高性能、高可用、高擴展性功能,摒棄傳統(tǒng)的集中式存儲元數(shù)據(jù)尋址的方案,采用CRUSH算法,數(shù)據(jù)分布均衡,并行度高,考慮容災域的隔離,實現(xiàn)各類負載的副本放置規(guī)則,如跨機房、機架、感知等;支持上千個存儲節(jié)點的規(guī)模,支持TB到PB級的數(shù)據(jù)存儲;副本數(shù)可以靈活控制,支持故障域分隔,數(shù)據(jù)強一致性;多種故障場景自動進行修復自愈;沒有單點故障,自動管理;去中心化;擴展靈活;隨著節(jié)點增加而線性增長;支持塊存儲、文件存儲、對象存儲三種存儲接口,支持自定義接口,支持多種語言驅(qū)動。
3.3 預警圖文產(chǎn)品渲染技術(shù)
為了提升預警圖文產(chǎn)品的渲染效果,提高渲染效率,系統(tǒng)采用分布式渲染服務架構(gòu),支持渲染能力的動態(tài)擴展,整合Echarts、Matplotlib、Lottie多種技術(shù)庫完成預警圖文渲染任務。
預警圖文渲染流程:①Web服務器接收預警消息推送;②Web服務器對預警消息進行分析處理,封裝消息并將其傳送給任務服務器;③任務服務器尋找空閑渲染進程并分配渲染任務;④渲染進程搜索相應的圖文模板,進行預警相關(guān)數(shù)據(jù)替換并進行圖文視音頻渲染,生成圖片或視頻;⑤渲染進程把生成的產(chǎn)品推送至指定媒體服務器,并通知Web服務器任務完成。
4" "應用成效
該關(guān)鍵技術(shù)已應用于中央氣象臺臺風、暴雨等9類氣象災害預警公眾服務產(chǎn)品,同時以吉林省為試點,開發(fā)了吉林省、市、縣14類氣象災害預警公眾服務產(chǎn)品,產(chǎn)品從預警采集到機器自動生成圖文產(chǎn)品并發(fā)送至微博微信終端發(fā)布平均耗時26秒。
在預警信息快速發(fā)布方面,該技術(shù)已引用與研究復雜業(yè)務場景下多級平臺秒級傳輸技術(shù),實現(xiàn)了多級業(yè)務體系下預警信息傳輸時效性設計方案。在試點省開展預警信息通過數(shù)據(jù)庫同步和消息中間件進行傳輸?shù)臏y試,測試結(jié)果表明,這兩種方法均能夠滿足秒級傳輸?shù)囊蟆?/p>
基于這項關(guān)鍵技術(shù)的系統(tǒng)已于2023年正式上線運行,實現(xiàn)了預警數(shù)據(jù)在線的快速采集、存儲、加工和圖文可視化產(chǎn)品的智能生產(chǎn),系統(tǒng)的上線拓寬了預警數(shù)據(jù)展示方式的維度,提升了預警數(shù)據(jù)的多元化服務效果。災害預警公眾服務多元多維度省級圖形產(chǎn)品,如圖4所示。
5" "社會效益和經(jīng)濟效益
氣象預警公眾服務產(chǎn)品智能制作與發(fā)布系統(tǒng)的關(guān)鍵技術(shù)研究應用,對實現(xiàn)人才、專利、技術(shù)標準等在實際業(yè)務和預警服務中提供基礎(chǔ)支撐、對學科、行業(yè)產(chǎn)生的重要影響以及研究成果合作交流、轉(zhuǎn)移轉(zhuǎn)化和示范推廣情況等。
關(guān)鍵核心研究的柔性開放平臺框架技術(shù)、標準規(guī)范以及算法模型、服務產(chǎn)品加工技術(shù)等可在各級預警發(fā)布業(yè)務系統(tǒng)建設和國家突發(fā)事件預警信息發(fā)布能力提升工程中得到應用,可使國內(nèi)預警發(fā)布系統(tǒng)標準化、集約化程度得到提高,可在一定程度上解決各地自建發(fā)布系統(tǒng)出現(xiàn)的基礎(chǔ)業(yè)務功能重復建設、平臺之間銜接不暢等問題,提高預警發(fā)布系統(tǒng)精準發(fā)布能力、服務能力。
6" "結(jié)束語
本文基于智能制作與發(fā)布關(guān)鍵技術(shù),實現(xiàn)了預警圖文可視化產(chǎn)品快速加工時效的提升,滿足了不同業(yè)務邏輯及媒體傳播融合生產(chǎn)的需要,并且大幅減少各環(huán)節(jié)之間的時間損耗,大幅提升了預警產(chǎn)品加工能力,系統(tǒng)減少了氣象災害預警公眾服務產(chǎn)品制作加工的人力成本[7],解決了氣象災害預警信息單一的問題,實現(xiàn)了氣象災害預警+氣象數(shù)據(jù)融合產(chǎn)品智能生產(chǎn)快速傳播,為用戶提供快速的全方位的氣象防災減災信息服務。
參考文獻
[1] 徐碧裕,葉朗明,徐加民,等.專業(yè)氣象跨平臺發(fā)布系統(tǒng)及關(guān)鍵技術(shù)實現(xiàn)[J].氣象科技,2021,49(2):308-314.
[2] 喻迎春,王妍婕,萬成.基于微信的氣象災害預警信息精準智能推送技術(shù)的市縣[J].氣象科技,2020,48(2):195-199.
[3] 姚巍,宮志宏,李仁宇,等.氣象信息公眾服務平臺設計與應用開發(fā)[J].氣象科技,2016,44(4):571-575.
[4] 范以錦.人工智能在媒體中的應用分析.新聞與寫作,2018(2):60-63.
[5] 徐建華,薛瀾.風險溝通與科學傳播.科普研究,2020(85):5-12.
[6] 徐瓊芳,聶菊榮,馮海旭,等.基于微信平臺的氣象預警信息發(fā)布系統(tǒng)[J].氣象科技,2014,42(6):1019-1022,1038.
[7] 鄭保衛(wèi),楊柳.論風險社會中危機傳播的策略與方法.新聞前哨,2010(10):42-45.