南海區域站實時氣象數據質控系統研究

王立俊，江 益，程洪濤，鄭虹暉

(海南省氣象信息中心，海南 海口 570203)

南海區域站實時氣象數據質控系統研究

王立俊，江 益，程洪濤，鄭虹暉

(海南省氣象信息中心，海南 海口 570203)

近年來，各類型區域站提供的氣象資料對天氣預報及氣候研究等方面的作用越來越大。由于南海區域站位于島礁上，數據采集易受到周圍多變環境的影響，會造成數據產生偏差或錯誤。為保證海島站數據的可靠性和可用性，提出了HV-Process(Horizontal and Vertical Process)算法。該算法利用雙重判斷和處理機制，對原有質量控制得出的疑誤數據進行分析處理，降低了南海區域站氣象數據的誤檢率。在此基礎上，設計并研發了一套實時氣象資料質控系統，實現了實時質控、全庫質控和數據查詢等功能，實時處理最新入庫的疑誤數據，并提供簡易的實時查詢。應用演練情況表明，所設計構建的實時氣象資料質控系統在日常業務中提高了甄別南海區域站氣象疑誤數據的準確性，有效地保障了實時氣象數據的質控業務。

南海區域站；氣象數據；HV-Process算法；實時質控

0 引 言

近年來，對著中尺度、短時效和特殊行業的天氣預報不斷發展以及全球氣候和大氣環境的深入研究，對氣象資料服務的需要越來越高。目前，氣象部門在全國已建的自動站超過30 000個，其中很多為無人值守的區域站，又由于站點數量眾多，區域站數據質量具有不確定性，所以要對區域站數據進行質控[1-3]，這樣才能確保數據的代表性和準確性[1,4]。對此，中國氣象局聯合各省級氣象局，研發了臺站-省級-國家級的MDOS(Meteorological Data Operation System，氣象資料業務系統)。通過該系統對各種類型的區域自動站數據進行質控，對質控后的疑誤數據，再通過人機交互的形式進行審核。

南海是我國領土的重要組成部分，具有重要的戰略軍事意義，因此預報南海區域的天氣，南海氣象資料顯得尤為重要。由于南海區域自動站分布在南海的各個島礁上，其位置具有特殊性，且數據采集易受周圍環境的影響，會造成數據出現偏差甚至錯誤，為確保自動站資料的可靠性和可用性，需要探索適用于海島區域自動站資料的質控方法。

針對南海區域自動站數據的質控特點，在MDOS的質控數據基礎上，提出了HV-Process算法。該算法利用雙重判斷和處理機制，再次對原有質控數據進行質控，剔除掉不滿足數據對比一致性的記錄，降低南海區域站數據的誤檢率；在此基礎上，研發了一套具有實時質控、全控質控和數據查詢等功能的南海區域站實時氣象數據質控系統。應用演練表明，在日常業務工作中，系統提高了甄別南海區域站氣象數據的準確性和值班人員的工作效率，有效地保障了南海區域站實時氣象數據的質控業務。

1 相關技術

1.1 質控技術

針對不同的氣象數據，國內外研制了不同的質控系統，例如：在地面觀測業務中，北歐采用臺站級質控、入庫前實時質控、入庫后非實時質控和人工質控的方式對自動站數據進行質控[4]，美國則采用臺站級、州級和國家級的三級質控方式對地面觀測數據進行質控[3]；與國外相比，國內是對自動站資料進行臺站級、省級和國家級的三級質控[5]。

針對不同質控系統中數據的質量檢查過程，主要分為以下幾種檢查方法[6-13]：要素主要變化檢查、要素內部一致性檢查、要素時間一致性檢查和空間一致性檢查。

(1)要素主要變化檢查：指某個固定站點歷史上出現過的最大(最小)值[6]，超出主要變化范圍的數據，為歷史極值，需要進一步確認，同樣主要通過站點歷史數據的統計分析得到。

(2)要素內部一致性檢查：不同要素之間是否符合一定的物理聯系[7]，例如：日最低氣溫數值≤當日各時次的氣溫值≤日最高氣溫數值；極大降水量≥最大降水量。當相關數據不滿足這類關系時，其中有一方的數據至少為錯誤數據。

(3)要素時間一致性檢查：不同要素要滿足隨時間變化的特定規律[8]，如小時氣溫有明顯的日變化，如果連續24小時無變化，數據為可疑或錯誤。

(4)空間一致性檢查：根據要素的空間分布特點，檢查待測測站的數據與鄰近測站的數據是否滿足一定的空間連續性，目前較常用的方法有Madsen方法[10]和空間回歸檢查法[11]。

1.2 SSH框架

SSH框架是目前主流的輕量級J2EE軟件架構，根據Struts2、Spring和Hibernate三者的應用特性進行整合而成，其基本架構如圖1所示。Struts2為表現層，是所有業務邏輯的最終展現層，充當邏輯層的客戶端，實現人機交互；Spring為業務邏輯層，負責業務對象轉換傳遞、業務邏輯組織及事務控制等工作，由spring framework實現業務beans間的依賴關系管理和運行時的注入和事務控制等功能；Hibernate為數據持久層，負責業務數據的持久化存儲，采用O/R Mapping技術實現。

圖1 SSH框架基本架構圖

其中，Struts2是基于MVC(模型-視圖-控制器)開發模式的開源Web層應用框架，主要采用Servlet和JSP技術實現，具有很高的可配置型。Spring為企業提供了一種輕量級的業務解決方案，通過簡單的配置，可以實現“快速裝配式企業組件”，在此基礎上，Spring提供了包括多種持久化數據庫，聲明式事務管理和Web Services遠程訪問業務邏輯的解決方案。Hibernate是一個優秀、輕量級對象持久化的框架，通過配置映射文件對Java對象和數據庫建立映射關系，實現操控對象即操作數據庫的目的，也提供了數據查詢和恢復機制。相對于傳統地使用JDBC和SQL來手工操作數據，使用Hibernate，可以大大減少操作數據庫的工作。

通過使用SSH這三種框架的優化組合實現系統分層解耦，一方面有利于項目組各角色的明確分工，提高開發效率，縮短系統開發周期，另一方面使系統具有良好的擴展能力和可維護性[14-15]。

2 HV-Process算法

在地面觀測數據質控業務中，國內采用臺站-省級-國家級三級質控的方式，并研發了MDOS系統來實時質控采集到的地面觀測數據。在此基礎上，針對南海區域自動站數據的質控特性，提出HV-Process算法，對經MDOS質控后得到的疑誤數據進行橫向-縱向雙重判斷和處理，剔除不滿足數據對比一致性的疑誤數據，約簡原有疑誤數據的條數，并降低質控數據的誤檢率。

2.1 算法思路

南海區域自動站每個島礁都建有兩個測站，每個測站通過雙通道來傳輸采集數據。因此，算法利用雙站對比和累計對比的方法過濾原有的質控數據。其中，雙站對比方法是指在同一地理區域內的島礁，遍歷MDOS質控后的數據，根據同個島礁的不同區站號，逐一進行雙站雙通道的、同要素編碼的數值對比；累計對比則是指在同一地理區域具有多個島礁，遍歷質控后的數據，根據當前區站號，逐一與要素編碼相同的其他站點進行計算。

整個流程主要分為四個部分，如圖2所示。

圖2 HV-Process算法流程圖

(1)數據縱向判斷：遍歷當前時次的所有疑誤記錄，統計在當前時次中，出現與當前記錄的要素編碼相同的其他記錄(同一區域不同島礁的臺站)，累計值超過數值2的記錄，置該記錄的標志為刪除標識；否則，置該記錄的標志為保留標識。

(2)數據橫向判斷：遍歷當前時次的所有疑誤記錄，與當前記錄的要素編碼相同的其他記錄做數值對比(同一區域同一島礁的其他臺站)，參考自動氣象站測量性能指標要求[13]和自動站與備份站之間各要素的差值范圍，確定當前記錄的標識，超過設定閾值，標記該記錄的標志為刪除標識；否則，標記為保留標識。

(3)數據橫向處理：遍歷上述橫向判斷后的所有記錄，剔除掉所有標有刪除標識的記錄。

(4)數據縱向處理：遍歷(3)階段處理完的所有記錄，剔除掉所有標有刪除標識的記錄。

2.2 實 驗

2.2.1 實驗環境

使用Java編程語言來實現算法，算法的實驗環境如表1所示。

表1 實驗環境參數表

2.2.2 數據集

由于MDOS質控系統是2015年7月后正式運行的，所以，算法的實驗數據集為MDOS數據庫中2015年9月至2016年9月的海島區域自動站的疑誤數據。

2.2.3 實驗結果及分析

根據上述的方法，將HV-Process算法拆分成橫向和縱向兩類操作，分別對數據集進行了以下操作：

(a)15次橫向判斷-處理操作；

(b)15次縱向判斷-處理操作；

(c)15次橫縱向判斷-處理操作。

實驗結果見表2(均取執行15次操作后的平均值)。

表2 實驗結果

其中，記錄數(前)為質控后的數據記錄條數;記錄數(后)為執行上述某操作后的數據記錄條數;有效剔除率為經處理后正確刪除的數據記錄與處理前正確數據被檢測為異常的數據記錄之比;耗時為執行上述某操作的時間。

實驗結果表明：在有效剔除率方面，由于數據集中存在某些島礁只有單個區站的質控數據，執行(a)操作時，不能進行質控數據的橫向對比、判斷，所以有效剔除率只有64.9%，而執行(b)操作后的有效剔除率會接近99%，效果與操作(c)相近。但如果出現同個區域內，僅有3個以內的島礁的質控數據的情形，執行(b)操作后的有效剔除率將會明顯下降。在時間消耗方面，由于算法在對比-處理過程中有效地使用了數據緩存機制，執行操作(c)的時間消耗僅比執行操作(a)和(b)多一些，但能保證較高的有效剔除率。

因此，文中算法將操作(a)和(b)整合在一起，有效地降低了質控數據的誤檢率，且對于正確數據被檢測為異常的情況，與原有質控方式相比，該算法利用雙重判斷-處理機制(操作(c))，有效地刪除掉被檢測為異常的正確數據，大大約簡了質控后的數據記錄，保證了南海區域站氣象質控數據的正確性和可用性，提高了MDOS值班工作人員的工作效率。

3 系統的設計與實現

為了能更好、更快地對疑誤數據進行校對，提高值班人員的工作效率，在上述基礎上，根據MDOS值班人員的工作需求，經分析得到如圖3所示的系統工作流程，并研發了一套島礁區域自動站的，集實時質控、數據查詢和全庫質控于一體的實時質控系統。

3.1 系統整體架構

系統的工作流程如圖3所示。

圖3 系統工作流程圖

首先，如果是第一次安裝、部署系統，需由管理員判斷數據庫是否執行過全庫質控操作，若沒執行過，執行全庫質控操作，若已執行過，跳過全庫質控操作，進入實時質控環節。

主要分為兩個部分：

(1)全庫質控部分：導入歷史數據庫或者還原備份數據庫后，須由管理人員執行該操作，使用HV-Process算法處理當前數據庫中的區域站疑誤數據表中的數據，接著將處理后的數據展示在客戶端。

(2)實時質控部分：系統正常運行時，會實時監控最新時次的區域站疑誤數據的入庫行為，若監控發現有數據的入庫行為，則調用HV-Process算法進行處理，并在客戶端展示處理后的數據。

3.2 系統功能實現

根據圖3，將系統功能主要劃分為三個部分：實時質控、全庫質控和數據查詢，它們都通過文中算法來處理原有的質控數據，并將處理后的數據展示到客戶端的瀏覽器上。

系統主要分為應用服務器和數據庫服務器兩個組成部分，前者部署業務應用系統，后者部署各種數據庫管理工具。應用服務器與數據庫服務器是分離的。該業務系統的運行環境為已安裝、配置JDK 1.7的Windows 7以上操作系統，中間件服務選用Tomcat 6.0；數據庫服務器的運行環境為Windows Server 2008以上操作系統，數據庫服務器選用Microsoft SQL Server 2008 R2，采用集中式數據管理。

系統遵循MVC開發原則，基于多層組件式B/S架構和SSH框架，采用Java編程語言，整個系統操作簡易且人性化，具有良好的可維護性和可拓展性，為MDOS業務值班提供了極大的支持。

在日常值班業務中，值班人員只需將系統的后臺服務開啟，系統會自動監控、處理最新入庫的疑誤數據，無需額外的人工操作。

系統的主界面如圖4所示。當用戶登錄到主界面時，系統后臺會自動啟動實時質控功能，監控MDOS數據庫的入庫行為，處理當前最新時次的質控數據，并將處理后的結果顯示在用戶的瀏覽器上。

圖4 系統主頁面

圖5為全庫質控功能界面。當用戶導入歷史數據庫或還原備份數據庫后，可點擊頁面的“處理全部記錄”按鈕，系統后臺會調用HV-Process算法，處理當前MDOS數據庫的區域站疑誤數據表中的數據，完成全庫質控的操作后，將處理完后的數據展示在前臺頁面。

圖5 全庫質控執行頁面

根據工作人員的使用習慣，系統還提供了特定時間段的數據查詢頁面，用戶可自定義查詢時間段和搜索字段，后臺根據用戶提交的搜索信息，在不刷新當前頁面的提前下，即可獲取搜索結果，如圖6所示。

4 結束語

為提高南海氣象數據的準確性，在分析研究南海區域自動站數據的質控特點及MDOS數據質量控制的基礎上，提出了HV-Process算法。該算法利用雙重判斷-處理機制來約簡質控后的數據，降低了南海區域自動站質控數據的誤檢率。在此基礎上，設計并研發了一套集實時質控、全庫質控和數據查詢等功能的質控系統。該系統構建完成后，經過了應用演練的檢驗，各個功能模塊運行穩定，有效地提高了值班人員的工作效率。

[1] World Meteorological Organization.Guide to meteorological instruments and methods of observation[M].[s.l.]:Secretariat of the World Meteorological Organization,1983.

[2] Shafer M A,Fiebrich C A,Arndt D S.Quality assurance procedures in the Oklahoma Mesonetwork[J].Journal of Atmospheric and Oceanic Technology,2000,17(4):474-494.

[3] Jiménez P A,González-Rouco J F,Navarro J,et al.Quality assurance of surface wind observations from automated weather stations[J].Journal of Atmospheric and Oceanic Technology,2010,27(7):1101-1122.

[4] 任芝花,熊安元.地面自動站觀測資料三級質量控制業務系統的研制[J].氣象,2007,33(1):19-24.

[5] 熊安元.北歐氣象觀測資料的質量控制[J].氣象科技,2003,31(5):314-320.

[6] 周 林,李 湘.關于美國自動地面觀測系統(ASOS)的考察報告[J].氣象科技合作動態,2002(4):18.

[7] 王新華,羅四維,劉小寧,等.國家級地面自動站A文件質量控制方法及軟件開發[J].氣象,2006,32(3):107-112.

[8] 任芝花,趙 平,張 強,等.適用于全國自動站小時降水資料的質量控制方法[J].氣象,2010,36(7):123-132.

[9] 趙煜飛,任芝花,張 強.適用于全國氣象自動站正點相對濕度資料的質量控制方法[J].氣象科學,2011,31(6):687-693.

[10] 鞠曉慧,曹麗娟,朱建華.地面自動站氣壓的臺站極值檢查方法研究[J].氣象與環境學報,2010,26(3):48-52.

[11] Lanzante J R.Resistant,robust and non-parametric techniques for the analysis of climate data:theory and examples,including applications to historical radiosonde station data[J].International Journal of Climatology,1996,16(11):1197-1226.

[12] 王海軍,劉 瑩.綜合一致性質量控制方法及其在氣溫中的應用[J].應用氣象學報,2012,23(1):69-76.

[13] 何志軍，封秀燕，何利德，等.氣象觀測資料的四方位空間一致性檢驗[J].氣象,2010,36(5):118-122.

[14] 黃美林,馬建華,李 東.基于SSH框架與泛型的通用分頁方法設計與實現[J].計算機技術與發展,2012,22(1):67-71.

[15] 付更麗,曹寶香.SOA-SSH分層架構的設計與應用[J].計算機技術與發展,2010,20(1):74-77.

Study on Quality Control System of Real Time Meteorological Data from Regional Stations on South China Sea

WANG Li-jun，JIANG Yi，CHENG Hong-tao，ZHENG Hong-hui

(Meteorological Information Center of Hainan Province,Haikou 570203,China)

In recent years,the role of meteorological data provided by various types of regional stations in weather forecasting and climate research has becoming more and more large.Since the regional stations are located in the islands or reefs of the South China Sea,data collecting is vulnerable to be affected by the surrounding environment,which may result in the deviation or error for the data.To ensure the reliability and availability of the data from island stations,HV-Process algorithm to analyze and process the suspect data of the preceding quality control by using the mechanism of dual judging and processing is proposed,which reduces the false detection rate of meteorological data obtained from regional stations.And thus a system of quality control for real time meteorological data is developed,which implements so many functions,including quality control for real-time and whole database,and data query,real-time processing of the latest data and providing a simple real-query.The applications practice show that it has improved the accuracy of distinguishing the meteorological suspect data of regional stations and effectively guaranteed the quality control service for real-time meteorological data in the daily business.

regional stations on the South China Sea;meteorological data;HV-Process algorithm;real-time quality control

2016-10-05

2017-01-09 網絡出版時間：2017-07-05

國家科技支撐計劃課題(2013BAK05B03);海南省氣象局科技創新項目(HNQXQN201405)

王立俊(1989-)，男，助理工程師，研究方向為氣象數據理論和應用。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170705.1652.078.html

TP311

A

1673-629X(2017)08-0177-05

10.3969/j.issn.1673-629X.2017.08.037