基于實況氣象服務產品的數據質量控制方法研究

基于實況氣象服務產品的數據質量控制方法研究

在如今資訊等手段迅猛發展的今天，各種氣象服務產品應運而生，我們可以有更好的條件，自如的應用自動控制和人機交互、 利用氣候背景資料和程序編譯等技術， 并適當結合自身所在區域與氣象相關服務產品需求， 來設計所在區域的氣象數據質量控制方法。

基于產品的數據需求分析

為“我的沈陽”應用提供實況數據

由沈陽市大數據局主導開發“我的沈陽”主要應用于便民服務，是重要的民生工程。沈陽市氣象局為“我的沈陽”提供氣象實況數據，對外提供的實況數據應進行質量控制。主要數據質量控制要素為地面溫度、壓強、濕度、氣壓、風向、風速。

氣象數據的社會化運營

通過2015年初李克強總理講話，貫徹“互聯網+”戰略將逐步開放氣象數據，提供氣象數據的社會化運營，自動站數據是其中一個組成部分，地面自動站六要素中環境溫度、氣壓、環境濕度、風向、風速、降雨量等要素作為對外開放的數據需要先進行數據質量控制，為氣象、水文、農林、航空、海洋、科考等領域提供氣象數據支撐。

自動預警產品發布

沈陽自動預警發布手段將進一步整合廣播、電視、報刊、互聯網、微博、手機短信、智能終端、電子顯示屏等信息發布渠道，不斷提升信息發布的能力，使得各類重要預警信息能在第一時間發送至公眾手中，最大限度地降低突發事件造成的損失，提高政府應對突發事件和風險的能力，因此確保自動預警發布平臺為全市各類突發事件預警信息發布提供權威、有效的綜合平臺尤為重要。自動的預警產品發布需要有實況數據為基礎，如出現錯誤的實況數據很有可能觸發預警判斷條件，進而影響自動預警產品發布的準確性。因此通過對實況數據進行質量控制可提高自動預警產品發布準確性。

質量控制方法

主要方法

在質量控制方法上主要采取效果較好的傳統方法，主要為設置質量控制碼，通過極值檢查、時變檢查、時間一致性檢查、空間一致性檢查，內部一致性等方法，將其編譯成程序語句來對數據庫進行數據篩選，主要流程如下。

功能設計與實現

資源分析

沈陽市氣象局“基礎數據平臺”數據庫使用Oracle DataBase 11G 數據庫系統，沈陽市已有的230個自動站數據保存在其中，也可作為系統支撐數據庫使用。系統采用Oracle JDeveloper Studio 工具，主要開發語言為JAVA是由Oracle提供快速程序開發工具系統，針對Oracle數據的開發具有較強優勢。

數據層設計

系統使用沈陽市氣象局“基礎數據平臺”數據庫，質量控制可能包括數據的修改、刪除、和歷史數據保存操作。采集的實況數據應分別保存在2個表中，一個用于長期保存數據，另一個用于應用開發顯示讀取。新建自動站數據表用于保存歷史數據。對于質量異常數據應進行修改或刪除的操作，但僅限于對用于應用開發的數據表，歷史數據表應確保不做修改，但設計歷史數據統計是也需要參考質量控制結果。系統設計數據質量控制表用于校對歷史數據表中數據，質量控制表通過站點編號、觀測時效與歷史數據相關聯，查詢歷史數據是通過對應查詢語法可剔除或更正質量不合格數據。

一些特殊情況下會出現由于設備和系統導致的數據質量問題。例如，出現“///”占位符和“9999”的情況，還有出現溫度出現-60℃或60℃，等一些明顯可判斷為異常的值。應通過設計Oracle響應機制在入庫的同時即完成初步數據質量控制。系統通過建立觸發器并調用Oracle sql/plsql塊完成數據處理。新建基于寫入數據的觸發器用于調用sql/ plsql塊

圖1　基于產品的數據質量控制流程

應用層設計

系統由界面層 、核心層 、存儲層 3 個部分組成 。界面層由繪圖用戶界面組成， 用戶使用人工QC 圖形交互或Web 瀏覽 ； 核心層由運算法則、Java代碼、 分析設計模式組成； 存儲層由 Oracle 數據庫構成， 包括臺站和儀器詳細信息、QC 標識 、錯誤信息等 。

圖2　數據庫質量控制判定流程

應用層采用Oracle JDeveloper Studio 工具，主要開發語言為JAVA是由Oracle提供快速程序開發工具系統，針對Oracle數據的開發具有較強優勢。

系統支撐架構設計

使用B/S實現開發支撐架構，主要實現功能：①任務運行管理模塊，使用JAVA開發數據質量控制部分進行任務的調度管理、狀態監督、參數配置；②綜合數據管理模塊，完成支撐數據功能③質量控制模塊，完成極值檢查模塊、時間一致性模塊、空間一致性模塊、內部一致性模塊開發。④系統管理模塊，實現權限及日志等管理功能；使用B/S結構實現開發數據的修改和補入界面，用于修改和補入實況數據。

結語

實況氣象數據的質量控制是關系到氣象資料應用的基礎，也是數據社會化運營的關鍵一步，本文實現基于產品的自動氣象站實時資料質量控制系統設計能夠實時對中心站收集的逐小時觀測數據進行質量控制，主要方法是通過極值檢查、時間一致性、空間一致性和內部一致性檢查觀測數據質量，并應用Oracle DataBase 11G 數據庫系統建立環境，應用JAVA語言建立應用模塊，在時間一致性上采用相鄰小時一致性檢查和時變檢查控制方法，空間一致性采用了克里金差值法，在氣象要素超出時間一致性規則時，通過內部一致性相關聯的數據序列對異常值進行估算，并進而判別異常值的可信度，質量控制貫穿在整個數據采集到可作為產品提供氣象參數的整個過程中，加強了對觀測數據的質量控制。

10.3969/j.issn.1001- 8972.2016.15.021