混合架構的可視化數據調度檢索模型①

孫周軍,喬文文,侯 靈,何文春,張金標,敖振浪

1(廣東省氣象探測數據中心,廣州 510080)

2(國家氣象信息中心,北京 100081)

氣象服務是國家公共服務和社會事業發展重要組成部分,但氣象的基礎是數據.氣象服務已由傳統的農業氣象、地質災害、水文氣象、航空氣象等不斷向海洋、森林草原火險、交通、能源、城市、旅游、環境、公共衛生等更廣闊的領域拓展,科學家們從事的科學研究也向跨領域、跨行業發展[1,2].對專業的地球科學和社會其他行業數據采集、存儲和管理,以及對互聯網上海量的數據資源進行科學的超融合管理和便捷式供應成為氣象科研活動需要迫切解決的問題.

為滿足對海量氣象數據管理和服務的需求,中國氣象局設計開發了全國氣象信息共享系統(China Integrated Meteorological Information Sharing System,CIMISS),已于2016年底投入業務運行.該系統采用國、省兩級布局,負責氣象數據收集、加工處理、質量控制、存儲管理和數據共享服務,為氣象部門及相關行業用戶快捷便利地獲取氣象數據提供數據支撐[3-5].全國各省份也在數據管理和服務方面做了相關研究,馬渝勇等[6]提出的氣象信息管理與共享服務系統模型,基于中間件技術研發的接口服務讓數據庫的安全性和訪問效率得到保障,實現了開放式的氣象信息共享服務；王宏記等[7]開發的氣象信息綜合數據庫系統,從數據流程、采集、存儲和質控等方面解決氣象業務發展中面臨的數據管理和服務問題；鄧莉[8]提出的基本氣象資料共享系統,利用氣象元數據管理技術,結合人機交互界面提供了可視化的資料下載共享服務；重慶、內蒙、河北等氣象部門均研發不同的共享系統和數據服務.這些業務方法在一定程度上為氣象數據的共享方法提供了改進的理論支持和實現方法,但未充分性考慮到科研用戶的個性化調取和組織格式需求,未充分考慮需要較強的編程技能才能調取數據給科研人員帶來的困惑等問題.CIMISS系統提供的數據接口平臺提供了豐富的數據資源,提供多語言調用API方便開發人員調用數據,但科研人員需要較高的學習成本研究相關調用技術、以及對調取的數據進行二次處理形成所需的數據格式.有沒有一種能夠讓科研人員零編程、自定義數據格式的調用機制,解決科研人員個性化需求呢?

本文提出了一種混合架構的可視化氣象數據調度檢索模型(IDEA Data Hub,IDH),該模型將可視化任務定制、調度和數據格式模板適配技術相結合,自動限流調取數據服務接口數據,較好的滿足了科研人員對數據的個性化調用需求.

1 需求分析與設計

1.1 應用需求

氣象科學研究是氣象業務的發展基礎,而在科研究活動中,科學家一直受到科研數據組織的困擾,例如：不了詳細的資料清單,不了解資料時間、空間、地域、觀測頻次和要素,不了解獲得途徑,不了解數據服務接口調用方法等.主要有以下原因：(1)數據雖爆發增長,但業務供應能力仍然偏弱.近年來隨氣象綜合觀測系統和互聯網技術的迅速發展,來自于專業化觀測和社會化萃取的氣象數據,已經構成了氣象科研活動所需的豐富數據資源.然而,依托CIMISS構建的國家和省級集約化數據環境,只是對傳統的14大類進行了加工處理,且在線服務能力和存儲容量有限,個別資料僅能提供十幾天到幾個月的在線服務.對氣象預報、氣候預測、決策服務和防災減災所需的跨行業、社會經濟、社會化觀測數據并未進行加工和管理.(2)數據科學管理,但與應用習慣脫節.同樣依托CIMISS系統研發的統一數據訪問服務對數據進行分類和元數據描述,解決了了解數據的途徑問題,但輸出的格式無法與科研工具對接,例如：MICAPS、Suffer、Grads、NCL、IDV等.(3)IT技術日新月異,科研人員跟進稍顯滯后.計算機科學的3大定律能夠很好的描述技術的發展速度,但氣象科研人員更注重于地球科學的原理、算法和實際應用的深入鉆研,對于新的軟硬件技術則關注較少,難免對于數據存儲和服務采用的新技術和新方法無所適從.為解決以上問題,可通過計算機軟件技術實現對數據下載、格式轉換等流程的自動化封裝,避免其對科研活動的干擾.

可視化氣象數據調度檢索模型的設計采用“云+端”的業務設計模式,確?？茖W家有豐富的數據資源取用,也保證數據檢索下載的便捷性,解決科研人員組織科研數據的長期困惑.

1.2 總體設計

平臺設計方案采用內嵌式Web服務的混合技術架構,分別保持C/S和B/S的架構的優勢.表1詳細列出2種架構的特點[9,10],從中可見,C/S在圖形的表現能力上以及運行的流暢度上遠強于B/S模式,但B/S架構的跨平臺、響應及時性、數據安全一致和實時性的優點很難替代.

未來發展趨勢,是將兩種架構優勢完美地結合起來,該平臺的應用系統既能以B/S的方式發布運行,同時又具有C/S方式的極強的可操作性,即混合架構,該架構恰好滿足云+端系統的設計與實現需求.

考慮到氣象科研人員對數據需求具有較大的個性化需求,數據檢索任務模型定義需要較強的交互操作,訂閱任務、任務分類和執行記錄的管理,以及訂閱的數據需要本地存儲等,所以需要采用C/S技術架構；同時考慮到用戶鑒權、數據清單瀏覽、接口元數據查看、過程數據清理配置等,具有通用性,所以采用B/S技術架構,方便統一研發和運維.

表1 B/S與C/S架構優缺點比較比較

1.3 功能設計

可視化氣象數據調度檢索模型以云+端模式業務運行,其中數據服務作為云端提供氣象科研數據,可視化檢索客戶端軟件作為終端提供數據下載調度的任務定制、管理、運行控制、格式轉換和個性化設置等可視化交互操作.

1.3.1 數據服務接口

氣象統一數據服務接口和實時歷史一體化數據訪問服務接口為氣象數據調度檢索模型提供氣象數據服務,即數據服務云端.

圖1 MUSIC接口數據流程

(1)氣象數據統一服務接口(Meteorological Unified Service Interface Community,MUSIC)基于CIMISS面向氣象業務和科研提供全國統一、標準、豐富的數據訪問服務和應用編程接口,為國、省、地、縣各級應用系統提供唯一權威的數據接入服務.它的處理流程如圖1所示.用戶在向MUSIC接口服務發起數據調用請求后,接口服務根據請求參數進行訪問權限認證和數據訪問權限認證,通過鑒權后,分別調用站點數據服務、格點數據服務和文件數據服務執行具體的數據獲取與格式封裝邏輯,從而原路返回給調用請求發起端.

(2)實時歷史一體化數據訪問服務接口平臺(Integrated Database for Easy Access,IDEA)數據服務接口,基于CIMISS系統標準自研的一體化集成數據環境(包括結構化與非結構化氣象數據),面向全省氣象業務提供標準、統一的數據服務接口,是對CIMISS支撐服務能力的擴充.它的處理流程如圖2所示.用戶在向IDEA發起數據調用請求后,接口服務根據請求參數進行訪問權限認證和數據訪問權限認證,通過鑒權后,根據請求數據類別,將請求轉發到具體的文件、格點、站點、圖形數據服務和算法服務集群執行具體的數據獲取與格式封裝邏輯,從而原路返回給調用請求發起端.

其中IDEA接口與MUSIC接口平臺相對比,從系統功能角度來說IDEA接口平臺增加了檢索路由功能、數據服務分布式服務功能,以及增加算法、圖形產品數據服務,以及數據寫入和刪除API等功能；從具體的實現來說,MUSIC是根據用戶提交的參數動態拼接檢索SQL,而IDEA平臺是預先定義的檢索SQL；CIMISS數據庫采用集中式存儲,由于存儲總容量限制則需定期對過期數據則進行清理,實時歷史一體化數據庫則采用分布式數據服務與分業務存儲方式,理論上能夠做到數據的永久存儲和服務.

1.3.2 代理服務模塊

氣象數據可視化調度檢索模型為數據服務接口平臺智能化的調用者,設計并實現能夠統一處理權限認證、接口元數據服務、調用請求轉發、異常流量監控的代理服務,可在不介入接口服務平臺的情況下實現對其兼容,即該模型需要對MUSIC和IDEA接口平臺的兼容.具體處理流程如圖3所示.

(1)權限認證 模型自身并不提供用戶權限認證,需要借助數據服務接口平臺的賬戶認證功能確保氣象數據的安全,所以在進行調度任務的創建時需要根據數據所屬具體的服務接口平臺進行鑒權,才能可見具有調用權限的數據接口列表.

(2)元數據服務 數據服務接口平臺的定義、屬性和具體實現千差萬別,統一定義該模型需要使用到的元數據結構體,并針對以上數據服務接口多態實現統一的元數據服務,在可視化調度檢索模型上展示資料和接口列表,以及詳細展示單個接口的調用系統參數和接口參數、以及其他說明信息.

(3)請求轉發 模型將具體的數據下載請求通過代理服務模塊定位到具體的服務接口平臺獲取數據,在轉發請求的過程中增加額外的用于標識請求發起源的相關管理參數.

(4)為避免隨模型用戶擴大和模型調度數據種類增長,對數據服務接口造成突發性訪問壓力,導致服務接口平臺無法正常對用戶提供數據服務,因此,模型在提交具體的數據請求時,按照預先設定的每秒請求量進行提交,當提交的請求量達到設定閾值時,則暫停提交請求.另外定時從服務接口平臺的訪問日志中分析時間段內處理的請求數量是否達到系統承受的壓力,并提供可視化的強制用戶禁用功能,優先保證數據接口服務穩定運行.

(5)智能升級 模型最終是以客戶端的方式運行在科研人員的終端主機上,軟件需要具備能夠監測自身是否具備更新條件、自動下載與重啟,以及處理不同版本之間的兼容性等功能,智能升級模塊需要對模型發出的以上請求進行相關的響應處理.

圖2 IDEA接口數據流程

圖3 代理服務處理流程圖

1.3.3 數據格式模板適配

數據格式模板適配功能是本模型的重要功能之一.在氣象科研領域中常用數據格式有Txt、Surfers、Micaps、NetCDF、HDF、Grib、BUFR等,而氣象數據服務接口輸出的主要格式有Txt、JSON、XML、Html、Csv格式,要讓用戶直接獲取到與應用切合度高的數據,則規定只從服務接口獲取JSON格式數據,并根據用戶定制數據格式參數將其處理為應用可識別的數據格式,簡化科研人員對數據的二次處理工作.轉換功能基于插件方式進行具體實現,科研用戶可自行實現所需格式的插件,進行功能擴展.

2 系統模型定義

氣象可視化檢索調度平臺是IT技術在氣象數據存儲管理和服務應用中的科學綜合運用,提供具有一定智能管理的可視化科學數據檢索模型,由此需要定義任務的管理模型、任務狀態遷移模型,以及設計科學的業務操作流程[11,12].

2.1 任務模型定義

定義1.接口模型平臺可適用于氣象統一數據服務平臺和廣東的實時歷史一體化數據訪問服務平臺,兩套接口平臺的實現均采用Restful方式,所以統一定義接口模型為(Interface Model),設接口對象屬性組為In={InID,SP,IP},其中InID為接口唯一編號,SP為接口調用的系統參數組,包括賬戶、密碼、數據返回格式,IP為接口參數組,根據具體接口的自身定義而定,一般包括時次、地域、站點、經緯度范圍等.

定義2.數據調用任務模型(task model)是科研人員定制的所有數據檢索任務模型,主要包括任務模型關聯的接口模型和任務調度的相關屬性等,TM={TmID,InID,{sT,eT},tmS,{eI,eD},rT,{pE,fP,bF}}.其中TmID為任務模型編號,sT、eT為模型有效時間定義,其中eT可以取值為空,則表示任務模型永久生效,tmS為模型的運行狀態,eI為任務調度的間隔,eD為任務調度時匹配時間參數的偏移量,rT為重試次數,pE、fP為任務模型存儲數據的路徑和文件名表達式,bF為任務模型下載的數據是否合并為大文件.任務模型分為歷史數據調取模型、未來數據調取模型和混合數據調取模型,主要取決于任務模型的有效時間區間.

定義3.數據調用任務實例(task instance)是任務模型產生要執行的具體任務,包括任務模型的具體執行時間點、執行狀態、已重試次數、任務實例具體下載數據的時間范圍用,以及任務模型所有屬性的賦值,TI={TnID,exeT,exeS,exeF,rT,{pE,fE,bF},{pST,pET}},其中TnID為任務實例編號,exeS為任務執行狀態,exeFT為任務執行失敗次數、pST與pET分別為檢索數據的時間范圍.

定義4.數據調用任務實例集(task instance set)是所有任務實例集合.平臺根據科研人員定義的任務模型生成的需要執行的任務實例列表,分為立即執行實例集和未來執行實例集.其中立即執行實例集用來調取創建任務模型時間點前數據的任務實例,TISI={TI},未來執行實例集用于調取創建任務模型時間節點后數據的任務實例,TISW={TI},則任務實例集定義為：TIS={TISI,TISW}.

2.2 任務模型中的角色

任務模型管理器(Task Model Manager,TMM),負責任務模型運行過程中的任務狀態轉換控制,根據任務模型定義生成具體的任務實例集,監視統計任務實例集已完成、已生成和總數,同時為便于科研人員對任務模型的管理,提供創建、刪除、修改、克隆、啟動/暫停和手工生成任務實例的功能.其中任務模型狀態轉換如圖4所示.

圖4 任務模型狀態轉換

任務實例管理器(Task Instance Manager,TIM),負責收集需要立即執行的任務實例集,任務實例的具體執行(包括：調用接口獲取數據、將返回結果按照任務模型定義組織文件存儲等)、狀態轉換和失敗重試,以及避免并發過多給服務端帶來較大壓力,所以TIM負責任務實例調度的并發流量控制等功能.

任務調度管理器(Task Schedule Manager,TSM),主要負責對平臺中的已完成任務實例、帶執行任務實例、失敗任務實例和暫停任務實例進行定期清除；負責對該平臺向接口服務發送調用請求量的統計,便于服務端能夠對請求量大的用戶進行強制禁用,確保接口服務能夠正常運行.

2.3 任務管理流程

為了更直觀、更詳細的展現任務模型調度的實現過程,將該過程用流程圖展示出來,如圖5所示.

圖5 任務管理流程圖

(1)任務實例生成過程 用戶根據選定的接口,設定任務模型需要填寫的調度參數和接口參數,任務模型管理器TMM保存任務模型.任務實例管理器TIM根據用戶定義的任務模型立即生成任務實例集,對于未來任務實例集只生成當天實例,后續的未來任務實例則由任務實例管理器定期預先生成.

(2)任務實例調度過程 任務實例管理器定時線程對所有實例集按照預執行時間倒序排序,按照預設的流量閥值檢索一定數量的任務實例,設定為C,通過下列規則將任務實例提交到任務調度器TSM,TSM則根據任務實例的預定執行時間執行具體線程.設t為TSM定時檢索任務實例間隔；i為批量提交任務間隔；v為設定的流量閾值,為i時間內提交的任務數量；則c=v*(t/i)為每次處理最大數量.如果C=c,則系統滿負荷提交任務；如果C＜c,則依據距預執行時間權重階梯性確定提交任務量.

(3)任務實例重試過程 任務實例執行后,根據執行結果狀態進行后續處理.如果任務執行失敗,則執行次數自動加1,且將該任務實例的預定義執行時間延長一個t值,等待TSM的下次處理.如果執行次數屬性值達到系統設定的放棄執行閾值,則將該任務實例設定為放棄狀態不再進行處理.

3 關鍵技術

3.1 任務實例集預處理實現

根據任務模型定義,每日定時生成第二天需要執行的任務實例列表.任務模型定義中的屬性包括：任務有效時間范圍、任務調度間隔、任務調度時匹配時間參數偏移量,計算與執行的任務時間和接口的具體時間參數.具體的任務實例生成算法如下：

算法1.任務實例生成算法2.images/BZ_72_243_2214_547_2247.png；Task instance generate procedure(),此過程中的參數表示t時刻任務模型集.1.取得系統時間t；3.；4.For i=0 to nimages/BZ_72_251_2268_318_2298.png5.6.If(t>= TM.sDate && t

3.2 任務實例執行限流實現

漏桶算法是網絡世界中流量整形或速率限制時經常使用的一種算法,主要是控制提交到接口服務的調用請求流量,避免突發流量對對服務接口造成類DDoS攻擊.為此設計了任務實例調度限流算法,具體步驟如下：

算法2.任務實例調度限流算法1.lastTime = 取得最先需要執行的任務實例時間；2.waitExeTaskSet = 獲取lastTime時間偏移N的任務實例集；3.Executor.submit(waitExeTaskSet)；4.Sleep(T)；5.循環執行步驟1.

3.3 數據壓縮優化傳輸效率

MUSIC和IDEA接口采用HTTP協議提供文本數據服務,整個過程中網絡傳輸占據較大的時間.因此,數據調度檢索模型每次調用數據時,強制在客戶端與服務器之間采用壓縮方式傳輸數據.經實驗測試,采用標準的GZIP方法可壓縮至原內容的40%,從而節省60%的數據傳輸.任務實例在向服務接口發送數據調用請求和處理數據的具體過程如下：

(1)初始化請求,IDEARequest request = new IDEARequest()；

(2)設定請求采用GZIP算法傳輸數據,request.setHeader(“content-type”,“gzip”)；

(3)提交請求,獲取經過壓縮傳輸的數據,gzipReturn=request.post()；

(4)對Gzip壓縮數據進行解壓縮處理,unGzipReturn=unGzipDecoder(gzipReturn).

3.4 數據格式轉換實現

MUSIC和IDEA接口服務提供標準的JSON格式數據結果,要對其進行轉換處理為MICAPS、Suffer、Grads、NCL、IDV等軟件所需的格式.基于工廠模式實現的數據格式轉換插件化模塊,具體實現過程如下：

(1)定義格式轉換接口協議DataFormat,并定義json2DataFormat(gzipReturn)方法；

(2)實現各個數據格式轉換插件,插件必須實現DataFormat協議；

(3)實現格式轉換插件工廠,創建具體的插件實例；(4)按照3.3節方法下載具體數據并解壓；

(5)格式轉換工廠類加載具體需要轉換格式類,將解壓數據作為轉換類的輸入參數,完成格式的轉換.具體方法如下：

DataFormat df =DataFormatFactory.getInstance()

.createDataFormat(“MICAPS”)；// 加載 Micaps 數據格式轉換插件

String micapsReturn=df.json2DataFormat(unGzipReturn)；//對解壓JSON數據進行格式轉換

3.5 交互性設計

零編程獲取氣象數據是該模型設計的目標之一,所以設計功能完整、操作便捷的可視化交互界非常重要.按照用戶的使用習慣和軟件設計方法,如圖6所示,系統分為用戶登陸、接口瀏覽、任務創建、任務管理、個性設置、智能升級和強制下線7個部分.

圖6 氣象數據調度檢索軟件功能

(1)用戶登陸,即用戶在使用該模型時,首先要獲得MUSIC或IDEA接口平臺的接口調用賬戶,并在該模型進行登陸后方可操作其他功能,同時可以進行兩套賬戶的登陸切換和注銷.

(2)用戶登陸,即用戶在使用該模型時,首先要獲得MUSIC或IDEA接口平臺的接口調用賬戶,并在該模型進行登陸后方可操作其他功能,同時可以進行兩套賬戶的登陸切換和注銷.

(3)接口瀏覽,可以通過代理服務獲取到接口服務平臺發布的所有分類和接口列表,查看接口的詳細定義：系統參數和接口參數等.

(4)任務創建,用戶在選定調用數據接口后,點擊“創建固定間隔任務計劃”或“創建定時任務計劃“,則通過定制任務模型,并選定需要保存的文件格式.

(5)任務管理,為方便科研用戶進行任務模型和實例的管理,模型按照任務計劃、已完成任務、待執行任務、失敗任務和暫停任務進行分組,用戶可對任務進行業務分類,用戶可精確查看任務的執行情況.

(6)強制下線,為保護數據服務接口對模型發起的調用請求量,除過進行自身流量控制之外,還定時通過調用日志進行分析,對于近1小時內的用戶進行訪問量和數據下載量的監視,管理員認為可疑時,則可強制該模型下線,從而控制其不在對數據服務接口發起訪問請求,需要用戶與管理員溝通重新開通.

(7)個性設置,因為任務模型的定義、任務實例、任務執行結果等信息均記錄在模型的內嵌數據庫中,用戶可根據實際情況設定具體清除策略,以及開發新的數據格式轉換插件進行部署.

4 性能分析與業務應用

4.1 性能測試

從中國氣象局CIMISS系統調取全國50 000多氣象自動站整點小時數據,組織為MICPAS格式為例進行測試,分別調取1、3、6、12個月的數據進行耗時和性能測試,結果如表2所示.

表2 檢索數據性能測試

根據測試結果,氣象數據調度檢索客戶端采用壓縮傳輸時,從總體耗時和數據傳輸量均有顯著提升.其中組織1年的數據僅需2小時,業務上完全可以滿足科研活動需求.同時,限流策略的應用,以及對服務接口端的并發監視,并未對其造成突發性的訪問的壓力.

4.2 運行效果

最終實現的軟件運行效果如下所示.圖7是用戶登陸后能夠瀏覽到已經定義的所有任務模型和實例,以及接口服務提供的所有資料接口信息.

圖7 任務模型和實例顯示界面

圖8是用戶定制獲取2018年中國地面逐小時文本格式的調度任務.

圖8 任務定義示例界面

圖9是用戶查看所有任務模型的運行狀態列表,以及對任務模型進行控制的功能界面.

圖9 任務模型控制界面

4.3 典型應用

目前,氣象數據可視化調度檢索模型軟件已經在多個業務中進行應用,均產生好的應用效果.行業用戶如民航、軍隊、水利、農業等,以及政府部門對氣象觀測數據的需求非常旺盛,每年數據共享量達到100 TB,但氣象部門近年來綜合觀測系統的迅速發展,觀測的原始數據格式逐步與向世界氣象組織標準靠攏,每次數據格式的改革均給資料使用單位帶來重新解碼處理等諸多不便,該模型作為生成共享格式的文件中間環節,避免了觀測資料格式變化帶來的共享問題,具體業務流程如圖10.目前,已經承擔向20多個單位提供標準的共享數據文件.且已經在海洋預報數值模式、南海臺風預報、珠三角洲大氣灰霾等科學研究領域,以及海珠城市生態氣象綜合系統[13]等多個建設項目中使用本模型組織獲取科學數據,滿足業務需求.

圖10 基于IDH數據共享業務流程

5 結論與展望

可視化氣象數據調度檢索模型針對氣象科研人員的獲取科研數據的痛點問題,結合可視化交互、任務調度和數據格式模板適配技術,為科研提供便捷、零編程的數據組織方法,提高科研活動前期數據準備的效率.

經過在氣象業務與科研活動的實際應用,對于全國氣象部門以MUSIC和IDEA接口提供數據支撐的業務模式起到很大的推動作用；在向非氣象部門進行數據共享中,屏蔽數據源結構的異構性和變化,避免用戶因數據格式或存儲結構變更導致業務變動的困擾,提升氣象行業的數據服務信息化水平.同時,任務調度模型設計可用于其他領域的業務調度模型中；對于形成的云+端數據交換流程,適用于其他行業領域的數據共享業務中,為充分發揮數據的價值提供一種新的共享方法.