氣象數(shù)據(jù)服務(wù)系統(tǒng)初步設(shè)計(jì)與方法研究

何學(xué)敏

（內(nèi)蒙古自治區(qū)氣象信息中心 內(nèi)蒙古自治區(qū)呼和浩特市 010051）

1 引言

我區(qū)氣象資料具備長序列、高精度、種類繁多、高時(shí)空分辨率、與社會(huì)生活息息相關(guān)等重要性質(zhì)，為氣象部門天氣預(yù)報(bào)、防災(zāi)減災(zāi)、服務(wù)人民生產(chǎn)生活的同時(shí)，也是天氣及氣候研究，氣候變化，多領(lǐng)域合作的基礎(chǔ)[1]。2017年，為貫徹落實(shí)“創(chuàng)新、協(xié)調(diào)、綠色、開放、共享”五大發(fā)展理念，利用云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)（簡稱“云物移大”） 等新興技術(shù)，依托“一平臺(tái)，三系統(tǒng)”建設(shè)，構(gòu)建氣象大數(shù)據(jù)綜合應(yīng)用平臺(tái)。建成氣象大數(shù)據(jù)管理云平臺(tái)，實(shí)現(xiàn)對(duì)氣象及相關(guān)行業(yè)部門數(shù)據(jù)的集約化、標(biāo)準(zhǔn)化匯集管理，促進(jìn)氣象信息資源整合共享，挖掘氣象大數(shù)據(jù)應(yīng)用價(jià)值的大數(shù)據(jù)平臺(tái)建設(shè)啟動(dòng)，旨在有效促進(jìn)氣象業(yè)務(wù)服務(wù)能力的提升，有效支撐和服務(wù)政府大數(shù)據(jù)平臺(tái)建設(shè)，支撐和服務(wù)行業(yè)部門氣象大數(shù)據(jù)應(yīng)用，支撐和服務(wù)氣象大數(shù)據(jù)在氣象防災(zāi)減災(zāi)、自治區(qū)生態(tài)文明建設(shè)、社會(huì)治理、公共服務(wù)領(lǐng)域的應(yīng)用[2,3]。

隨著氣象資料需求和服務(wù)方式的不斷拓展，氣象資料共享服務(wù)業(yè)務(wù)的復(fù)雜度不斷提升，如何及時(shí)了解用戶使用數(shù)據(jù)的問題，為我區(qū)氣象業(yè)務(wù)、科研和服務(wù)提供豐富、準(zhǔn)確的氣象資料，并實(shí)現(xiàn)氣象數(shù)據(jù)資源的充分共享，發(fā)揮資料價(jià)值，釋放氣象數(shù)據(jù)紅利至關(guān)重要，同時(shí)規(guī)范數(shù)據(jù)服務(wù)、做好資料服務(wù)情況的統(tǒng)計(jì)分析從而更好的為用戶和管理部門服務(wù)迫在眉睫。

2 研究內(nèi)容及相關(guān)技術(shù)

2.1 研究內(nèi)容

2.1.1 數(shù)據(jù)清單發(fā)布及賬戶清單查看

基于內(nèi)蒙古自治區(qū)統(tǒng)一數(shù)據(jù)環(huán)境，和內(nèi)蒙古自治區(qū)氣象檔案館，進(jìn)行數(shù)據(jù)資源的梳理，在本系統(tǒng)發(fā)布內(nèi)蒙古自治區(qū)在線服務(wù)資料的數(shù)據(jù)清單和離線數(shù)據(jù)服務(wù)的數(shù)據(jù)清單。根據(jù)業(yè)務(wù)發(fā)展的需要，建立數(shù)據(jù)清單更新發(fā)布流程，規(guī)范實(shí)時(shí)和歷史數(shù)據(jù)管理和清單維護(hù)。

2.1.2 數(shù)據(jù)服務(wù)反饋

建立規(guī)范化的數(shù)據(jù)使用反饋機(jī)制，接收用戶在服務(wù)方式、服務(wù)體驗(yàn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)種類的各方面的反饋意見，針對(duì)不同的服務(wù)問題進(jìn)行實(shí)時(shí)或定期處理和調(diào)整，從而避免的零散的問題處理和問題描述不詳細(xì)無法處理；同時(shí)，系統(tǒng)自動(dòng)記錄服務(wù)情況，定期進(jìn)行用戶使用情況的統(tǒng)計(jì)，實(shí)現(xiàn)服務(wù)技術(shù)與服務(wù)管理的有機(jī)結(jié)合，發(fā)揮氣象數(shù)據(jù)的效益。

2.1.3 數(shù)據(jù)服務(wù)情況統(tǒng)計(jì)和報(bào)告的制作

實(shí)現(xiàn)MUSIC 接口的異常訪問接口的監(jiān)控和告警管理；實(shí)現(xiàn)在線CIMISS 數(shù)據(jù)訪問量的用戶單位訪問量和訪問數(shù)據(jù)服務(wù)量的統(tǒng)計(jì)及排名，各類數(shù)據(jù)訪問量和服務(wù)量的統(tǒng)計(jì)；實(shí)現(xiàn)為用戶解決問題的情況統(tǒng)計(jì)。

2.2 相關(guān)技術(shù)

氣象數(shù)據(jù)服務(wù)系統(tǒng)采用B/S 結(jié)構(gòu)，選用Java 作為編程語言，基于SpringBoot 框架，通過SpringBoot 配置文件完成了后臺(tái)框架組織?；贛ysql 數(shù)據(jù)庫管理系統(tǒng)對(duì)本系統(tǒng)中的數(shù)據(jù)持久化進(jìn)行操作。Web 設(shè)計(jì)基于Bootstrap 前臺(tái)UI 完成頁面設(shè)計(jì)，采用JQuery、JavaScript、JSTL、Ajax 等技術(shù)完成動(dòng)態(tài)響應(yīng)。

2.2.1 SpringBoot 簡介

圖1：氣象數(shù)據(jù)服務(wù)系統(tǒng)總體架構(gòu)

圖2：數(shù)據(jù)服務(wù)系統(tǒng)流程

SpringBoot 是一個(gè)是由Pivotal 團(tuán)隊(duì)提供的全新框架，其設(shè)計(jì)目的是用來簡化新Spring 應(yīng)用的初始搭建以及開發(fā)過程[4]。該框架使用了特定的方式來進(jìn)行配置，它具有以下特點(diǎn)：

（1）創(chuàng)建獨(dú)立的Spring 應(yīng)用程序，基于其Maven 或Gradle 插件，創(chuàng)建可執(zhí)行的JARs 和WARs；

（2）內(nèi)嵌Tomcat 或Jetty 等Servlet 容器；

（3）提供自動(dòng)配置的“starter”項(xiàng)目對(duì)象模型（POMS）以簡化Maven 配置；

（4）自動(dòng)配置Spring 容器；

（5）提供準(zhǔn)備好的特性，如指標(biāo)、健康檢查和外部化配置；

（6）絕對(duì)沒有代碼生成，不需要XML 配置。

2.2.2 Quartz 技術(shù)

圖3：MUSIC 接口帳戶同步調(diào)度任務(wù)流程圖

Quartz 是OpenSymphony 開源組織在Job scheduling 領(lǐng)域又一個(gè)開源項(xiàng)目，它可以與J2EE 與J2SE 應(yīng)用程序相結(jié)合也可以單獨(dú)使用。Quartz 可以用來創(chuàng)建簡單或?yàn)檫\(yùn)行十個(gè)，百個(gè)，甚至是好幾萬個(gè)Jobs 這樣復(fù)雜的程序。

2.2.3 Redis 緩存技術(shù)

Redis 是一個(gè)使用ANSI C 編寫的開源、支持網(wǎng)絡(luò)、基于內(nèi)存、可選持久性的鍵值對(duì)存儲(chǔ)數(shù)據(jù)庫[5]。根據(jù)月度排行網(wǎng)站DBEngines.com 的數(shù)據(jù)，Redis 是最流行的鍵值對(duì)存儲(chǔ)數(shù)據(jù)庫。

2.3 系統(tǒng)架構(gòu)設(shè)計(jì)

氣象數(shù)據(jù)服務(wù)系統(tǒng)基于CIMISS 數(shù)據(jù)環(huán)境，通過實(shí)時(shí)獲取MUSIC 接口帳戶信息、在線數(shù)據(jù)清單、接口訪問日志，深度結(jié)合業(yè)務(wù)需求對(duì)各類數(shù)據(jù)服務(wù)情況數(shù)據(jù)進(jìn)行加工處理。其中，接口帳戶信息用于形成氣象數(shù)據(jù)服務(wù)系統(tǒng)帳戶清單，供數(shù)據(jù)用戶和數(shù)據(jù)管理員登記維護(hù)在線接口帳戶。

在線數(shù)據(jù)清單，進(jìn)行實(shí)時(shí)同步和加工處理，同時(shí)納入數(shù)字化資料、離線資料等形成氣象數(shù)據(jù)服務(wù)系統(tǒng)數(shù)據(jù)清單。

通過對(duì)CIMISS 在線接口訪問日志對(duì)進(jìn)行加工處理入庫，形成在線數(shù)據(jù)服務(wù)情況日統(tǒng)計(jì)，長期保存以支持?jǐn)?shù)據(jù)服務(wù)情況查詢統(tǒng)計(jì)功能和數(shù)據(jù)服務(wù)報(bào)告自動(dòng)制作。如圖1 所示。

2.4 系統(tǒng)流程設(shè)計(jì)

系統(tǒng)設(shè)計(jì)分為數(shù)據(jù)服務(wù)管理員和數(shù)據(jù)使用用戶2 種角色，基于數(shù)據(jù)服務(wù)系統(tǒng)賬戶開展MUSIC 接口賬戶的管理、對(duì)接業(yè)務(wù)系統(tǒng)管理、資料申請(qǐng)使用管理，及滿意度反饋的管理，建立規(guī)范化的服務(wù)反饋和申請(qǐng)?zhí)幚砹鞒?，如圖2 所示。

3 系統(tǒng)功能頁面設(shè)計(jì)

3.1 清單功能

數(shù)據(jù)服務(wù)的建設(shè)任務(wù)之一是構(gòu)建包含在線、離線、業(yè)務(wù)內(nèi)網(wǎng)各級(jí)資料類型的數(shù)據(jù)清單，本功能主要包括：

（1）在線服務(wù)數(shù)據(jù)清單頁；

（2）在線服務(wù)帳戶清單頁，集中展示數(shù)據(jù)服務(wù)系統(tǒng)中所有用戶綁定MUSIC 接口帳戶、接口帳戶綁定業(yè)務(wù)系統(tǒng)和接口帳戶數(shù)據(jù)訂閱情況；

（3）MUSIC 接口帳戶同步調(diào)度任務(wù)，將CIMISS 系統(tǒng)支撐庫中的接口帳戶基本信息同步到數(shù)據(jù)服務(wù)中（圖3）；

（4）MUSIC 接口帳戶頁，可綁定或解綁接口帳戶、查看接口帳戶基本信息、接入業(yè)務(wù)系統(tǒng)以及管理每個(gè)接口帳戶的數(shù)據(jù)清單；

（5）新增資料提醒；

（6）對(duì)接業(yè)務(wù)系統(tǒng)登記，便于進(jìn)行MUSIC 賬戶的級(jí)別區(qū)分，進(jìn)一步規(guī)范資料安全和數(shù)據(jù)使用，開展MUSIC 接口綁定業(yè)務(wù)系統(tǒng)登記。其中在線數(shù)據(jù)清單自動(dòng)同步，離線及業(yè)務(wù)內(nèi)網(wǎng)數(shù)據(jù)清單手動(dòng)維護(hù)。

3.2 資料訂閱

資料訂閱主要包括：

（1）數(shù)據(jù)清單訂閱，用于展示一個(gè)MUSIC 接口帳戶下，在線數(shù)據(jù)清單的訂閱情況；

（2）數(shù)據(jù)清單訂閱審核頁，用于審核數(shù)據(jù)服務(wù)用戶提交的，單個(gè)MUSIC 接口帳戶數(shù)據(jù)清單訂閱申請(qǐng)。

3.3 問題和反饋

問題與反饋主要針對(duì)數(shù)據(jù)用戶在使用數(shù)據(jù)過程中出現(xiàn)的問題，系統(tǒng)中提供問題提交和處理的統(tǒng)一渠道，并由數(shù)據(jù)管理員集中處理問題。主要包括的功能有：

（1）建議登記和處理反饋，用戶對(duì)數(shù)據(jù)服務(wù)相關(guān)的建議可通過系統(tǒng)提交，可在后臺(tái)查看所有用戶提交的建議，并進(jìn)行處理反饋。

（2）滿意度調(diào)查，以調(diào)查問卷形式，定期給數(shù)據(jù)用戶推送滿意度調(diào)查表，點(diǎn)擊相關(guān)提示后在系統(tǒng)內(nèi)完成滿意度調(diào)查的填寫。

3.4 數(shù)據(jù)服務(wù)情況

數(shù)據(jù)服務(wù)情況主要統(tǒng)計(jì)用戶使用離線數(shù)據(jù)和在線數(shù)據(jù)情況，并用于相關(guān)統(tǒng)計(jì)及服務(wù)報(bào)告。主要功能包括：

（1）離線數(shù)據(jù)申請(qǐng)/審核；

（2）離線數(shù)據(jù)服務(wù)統(tǒng)計(jì)，用于開展離線數(shù)據(jù)服務(wù)情況的統(tǒng)計(jì)及服務(wù)報(bào)告；

（3）在線服務(wù)情況逐時(shí)統(tǒng)計(jì)調(diào)度任務(wù)，用于逐日統(tǒng)計(jì)調(diào)度任務(wù)，及支持后續(xù)其它數(shù)據(jù)分析；

（4）在線服務(wù)情況逐日統(tǒng)計(jì)調(diào)度任務(wù)，將前一天的MUSIC 接口訪問情況進(jìn)行初步統(tǒng)計(jì)并入庫，為后續(xù)的統(tǒng)計(jì)、超閾值提醒等功能提供數(shù)據(jù)支持；

（5）在線數(shù)據(jù)服務(wù)情況統(tǒng)計(jì)頁面，用于在線數(shù)據(jù)服務(wù)情況的查詢統(tǒng)計(jì)并進(jìn)行圖表展示；

（6）MUSIC 接口訪問超閾值告警，如果訪問次數(shù)或數(shù)據(jù)量超過預(yù)設(shè)的閾值，為其用戶生成告警消息；

（7）數(shù)據(jù)服務(wù)報(bào)告制作，基于系統(tǒng)內(nèi)在線和離線數(shù)據(jù)服務(wù)日常業(yè)務(wù)的數(shù)據(jù)積累，及數(shù)據(jù)服務(wù)業(yè)務(wù)系統(tǒng)相關(guān)訪問情況的實(shí)時(shí)同步統(tǒng)計(jì)，進(jìn)行階段性數(shù)據(jù)服務(wù)報(bào)告的人工制作和自動(dòng)制作。

4 結(jié)語

氣象數(shù)據(jù)服務(wù)系統(tǒng)的建立為氣象資料的安全管理、規(guī)范氣象資料服務(wù)業(yè)務(wù)流程、提升氣象資料服務(wù)水平和能力提供了前提和基礎(chǔ)，保障了統(tǒng)一數(shù)據(jù)環(huán)境數(shù)據(jù)服務(wù)的正常和穩(wěn)定，為用戶提供平等、穩(wěn)定的數(shù)據(jù)環(huán)境和接口環(huán)境。

在充分考慮數(shù)據(jù)安全使用的前提下，既能夠規(guī)范數(shù)據(jù)使用問題和接口用戶調(diào)用數(shù)據(jù)的管理，同時(shí)也有助于提升用戶服務(wù)體驗(yàn)的同時(shí)，便于數(shù)據(jù)服務(wù)管理員開展問題的梳理和總結(jié)，提升服務(wù)能力和服務(wù)水平。