楊揚,苗慶生,韋廣昊,董明媚,東成
(國家海洋信息中心 天津 300171)
海洋站觀測資料的質量控制方法及其應用
楊揚,苗慶生,韋廣昊,董明媚,東成
(國家海洋信息中心 天津 300171)
文章闡明開展海洋站觀測資料質量控制的必要性和重要性,以海洋站觀測延時(月報)資料為例,詳細論述其質量控制的對象、流程和參數以及包括日期檢驗、位置檢驗、格式檢驗在內的19種質量控制方法,同時概述海洋站觀測資料質量控制軟件,最后提出下一步開展海洋站觀測資料的均一化檢驗和訂正以及建立多模式檢驗系統和均一化數據集的研究重點,以期為海洋和氣候變化研究提供科學準確的第一手資料。
海洋站;海洋觀測;觀測數據;質量控制;均一化
海洋站觀測獲得數據資料的長期性、連續性和近岸性是其他觀測方式無法比擬和替代的,其實用價值和應用意義不言而喻。尤其是在需要長時間序列資料時,海洋站觀測資料的重要性和寶貴性就更加明顯。然而海洋站觀測資料隨時間的變化相當顯著且復雜,有些變化不是單獨存在而是相互疊加,從而加大了觀測要素隨時間變化的顯著性[1]。因此,在對海洋站觀測資料進行研究分析之前,必須對其進行必要的質量控制和人工審核,及時發現資料中的錯誤數據、可疑數據或異常數據信息,并根據提示對數據進行修改和查證處理,從而將資料中的錯誤減到最低,提高資料質量,確保數據的可靠性、代表性和可比性。
已有很多專家學者對海洋站觀測資料的質量控制做過很多研究,但多數集中于地面氣象資料[2-7],對水文資料的研究鮮有報道,僅有李學坤等[8]于1997年對海洋水文氣象資料實時數據的質量控制做過分析研究。本研究以海洋站觀測延時(月報)資料為例,詳細論述其質量控制技術和方法,同時概述海洋站觀測資料質量控制軟件,并提出下一步研究重點。
海洋站觀測月報資料共有4種類型10種文件。①溫鹽:T011定時溫鹽海發光和T012逐時溫鹽,共2種;②潮汐:T021逐時潮位和高低潮位潮時、T022 5 min潮位以及T023 1 min潮位,共3種;③波浪:T031定時(逐時)波浪,共1種;④氣象:T051定時溫壓濕和逐時風等氣象要素、T052逐時溫壓濕和逐時能見度、T053 10 min風速風向以及T054 1 min溫壓濕、風速風向和降水,共4種。
海洋站觀測月報資料的質量控制流程為:讀入質控參數-檢查站代碼-檢查資料的年月是否合法(按升序排列)-檢查經緯度和表頭各項觀測參數-檢查記錄類型和觀測日期-檢查觀測要素值是否合法(有無非法字符、是否在合理值范圍內)-檢查觀測方法是否正確-檢查儀器代碼是否正確-檢查質量符是否正確-觀測要素范圍檢驗-氣候特性檢驗-相關性檢驗-極值檢驗-其他質量控制方法檢驗-檢查說明記錄是否合法-質量控制綜合分析-數據質量標識。
在質量控制過程中,可根據觀測資料類別、觀測要素和用戶需求的差異對上述流程環節進行增減。
質量控制參數通常包括通用質量控制參數和單站質量控制參數。其中,通用質量控制參數是各海洋站在進行質量控制時均可使用的參數;單站質量控制參數是從各海洋站歷年資料中經大量統計計算選取的、專門提供給對應海洋站進行質量控制的參數。
依據海洋學、氣象學、天氣學和氣候學原理以及《海濱觀測規范》[9]《地面氣象觀測資料質量控制》[10]和數據文件格式的相關規定,進行水文氣象觀測數據序列的技術性和合理性檢驗;同時結合各海洋站的不同海洋氣候背景,由程序自動對觀測資料進行檢查,找出不合理、不正常的錯誤或可疑記錄,從而達到質量控制的目的[11]。
目前采用的質量控制方法主要包括日期檢驗、位置檢驗、格式檢驗、觀測要素范圍檢驗、統計特性檢驗、氣候特性檢驗、全等性檢驗、非法碼檢驗、相關性檢驗、遞增性檢驗、連續性檢驗、極值檢驗、尖峰檢驗、增減水位審核、一致性檢驗、變化連續性檢驗、相鄰站的一致性檢驗、可視化圖形繪制檢驗以及異常數據的判別和處理等,這些方法已經投入日常業務化工作中且取得了很好的效果。本研究分別介紹這些方法的具體內容。
(1)日期檢驗。海洋觀測資料的觀測日期應在合理取值范圍內。如,年份的取值不大于當前年份,月份的取值范圍為1~12,日期的取值范圍為當月天數,小時的取值范圍為0~23,分和秒的取值范圍為0~59。
(2)位置檢驗。海洋觀測資料的測站位置應在合理取值范圍內。如,緯度的取值范圍為-90°~90°,經度的取值范圍為-180°~180°,固定觀測站位漂移范圍不超過5 km。
(3)格式檢驗。海洋觀測資料均是按照規定格式記錄的,如項目要素記錄的起始位置和長度、數據記錄的類型以及缺測值的填寫等都有相應的要求,根據這些固定格式對資料進行檢驗。
(4)觀測要素范圍檢驗。簡稱范圍檢驗,主要是對已有的國內外海洋觀測資料數據進行統計分析,根據各項觀測要素的自身特點和取值范圍對資料進行檢驗;如果超出正常范圍,則可認為該數據異常。
(5)統計特性檢驗。理論上海洋觀測資料往往具有一定的概率統計特性,數據對應的隨機變量和隨機過程既相互獨立又服從特定分布,時間序列資料對應的隨機過程也是平穩的或周期性的;根據數據的這些特性對其進行檢驗,檢驗觀測數據是否獨立,獨立的數據往往是異常值。
(6)氣候特性檢驗。根據海域海洋環境氣候要素的變化特點,檢驗其是否遵循相應的變化規律,如季節性變化和日變化等。具體檢驗方法為:從歷史資料中統計測站位置要素數據累年逐月(累年逐季)平均值Ann和對應的均方差Sd,根據該測站要素變化的劇烈程度選取合理的倍數m;如果不能滿足Ann-m·Sd≤觀測值≤Ann+m·Sd,則判定其為異常值,需進一步分析。
(7)全等性檢驗。主要針對觀測記錄中的某些要素項進行,如資料類型、浮標號、平臺代碼、海洋觀測臺站代碼、觀測方法、儀器名稱、觀測儀器海拔高度和觀測點水深等,這些要素項的參數具有特定值且往往長期保持不變,記錄值和約定值必須完全一致,否則視為錯誤。
(8)非法碼檢驗。主要針對取值在有限代碼范圍內的海洋觀測要素進行。如,《海濱觀測規范》[9]規定波型取值只能為U、U/F、F/U、F、FU、---、+++和空格的其中之一,不在此范圍內的取值視為錯誤。
(9)相關性檢驗。根據海洋觀測資料中要素間的相互關系檢驗數據是否異常。如,1 d內各定時或逐時記錄值是否超出日極值,最大波高必須大于或等于平均波高,最大周期必須大于或等于平均周期,高、低潮潮高和逐時潮高的關系,波型、波高和海況的關系,風速、波高和周期的關系以及海水鹽度、溫度和密度的關系等。
(10)遞增性檢驗。檢驗遞增量差值是否大于或等于某一確定值。具體檢驗方法為:假設當前觀測值為V(t),與其相鄰的上一個正確值為V(t-1),檢驗值=V(t)-V(t-1)。
(11)連續性檢驗。海洋觀測要素在一定時空范圍內具有連續性,即時間接近或位置鄰近的觀測要素的差值在一定范圍內。具體檢驗方法為:假設當前觀測值為V(t),與其相鄰的上一個正確值為V(t-1),檢驗值=|V(t)-V(t-1)|。
(12)極值檢驗。一般情況下,定點定時要素觀測值的取值應在該點該要素多年極值的范圍內,即Min(X)≤觀測值≤Max(X);否則判定其為異常值,需進一步分析。
(13)尖峰檢驗。經檢驗如出現較大突變,則判定其為異常值,需進一步分析,具體參數視觀測要素而定;具體檢驗方法為:假設當前觀測值為V(t),與其相鄰的第一個正確值分別為V(t-1) 和V(t+1),檢驗值=|V(t)-[V(t+1)+V(t-1)]/2|-|[V(t+1)-V(t-1)]/2|。
(14)增減水位審核。當淺水潮較大區域的實際潮位數據和增減水位同時超出合理范圍時,或當其他區域的實際潮位數據和增減水位其中之一超出合理范圍時,則認為觀測數據是可疑的。
(15)一致性檢驗。主要包括內部一致性檢驗和時間一致性檢驗。其中,內部一致性檢驗是對同一時間觀測的水文氣象要素之間的關系是否符合一定物理聯系的檢驗,時間一致性檢驗是對水文氣象要素在一定時間范圍內的變化是否具有特定規律的檢驗。各要素觀測記錄應符合的關系主要包括:干球溫度大于(等于)濕球溫度(濕球結冰時除外)、氣溫大于(等于)露點溫度、10 min平均風速小于(等于)最大風速、2 min平均風速小于(等于)極大風速、能見度小于(等于)4 km時應有霧出現、極大風速大于(等于)17.0 m/s時應有大風現象以及靜穩時風速應小于0.2 m/s。不符合上述關系的記錄中至少有1個視為錯誤數據。
(16)變化連續性檢驗。1 min間隔數據的變化范圍和24 h內氣溫氣壓的變化范圍應滿足的各項要求分別如表1和表2所示,超出范圍則視為可疑數據。

表1 1 min間隔和給定時間范圍數據變化界限

表2 24 h內氣溫氣壓的變化范圍
(17)相鄰站的一致性檢驗。①物理高斯權重插值法。從統計學和氣象學相關性的角度,為周圍3個相關站點的某要素分配不同的權重,通過周圍要素值并根據物理高斯權重插值法的原理計算出欲測站點某要素的插值。②24 h變量場法+插值法。用前24 h的資料求得變量場,再使用插值法進行檢驗;如果沒有前24 h的資料,則不進行此項檢驗。系統在默認情況下首選使用最優的24 h變量場法+插值法,最終選擇哪種方法由系統根據報文類型決定。
(18)可視化圖形繪制檢驗。由于觀測要素的變化是連續的,通過繪制可視化圖形可直觀地判斷出異常值。如,繪制要素的時間序列過程線,顯示的尖峰值即視為異常值(圖1)。

圖1 5 min潮位數據的時間序列
(19)異常數據的判別和處理。異常數據的判別和處理是在海洋站觀測資料質量控制中需解決的重要問題。異常數據主要包括2類:①正確的異常值,即海況急劇變化的真實記錄,如臺風過境時風速和水位觀測數據的異常增大等;②含有過失誤差的異常值,即由于儀器失靈、外界干擾或觀測人員失誤造成的錯誤記錄,應在資料質量控制中加以標識或刪除。
根據上述質量控制的原則和方法,國家海洋信息中心研發了海洋站觀測資料質量控制系統,為海洋站觀測資料的質量控制工作提供了良好的工具,是質量控制技術的最終體現。目前該系統已更新為2.03版本,包含上述各種質量控制方法,并利用可視化質量控制技術實現交互操作,極大地提高了質量控制的工作效率。此外,還建立了海洋站觀測資料質量控制的審核制度,從海洋站、中心站、各海區信息中心到國家海洋信息中心,每級至少有1位審核員負責觀測資料的質量控制工作,并在形成的文件說明中記錄審核人、審核日期和相關信息。審核員都是海洋觀測一線工作人員,最為了解當時當地的天氣、環境和儀器設備狀況,因此他們對觀測資料的審核極為重要也最為有效。
開展海洋站觀測資料質量控制的主要目的是確定正確記錄,找出缺測記錄、錯誤記錄和可疑記錄,并對其做出標識或使用盡可能準確的值代替,以確保提供應用的觀測資料符合各種要求[12]。我國現有的觀測資料質量控制技術和方法與發達國家相比差距很大[13],而觀測資料的質量直接影響其應用效果。此外,由于在觀測記錄過程中不可避免地受到諸多主觀或客觀方面的影響[14-15](如臺站遷移、儀器故障或變更、系統更新升級、觀測人員更換或水平不一、觀測頻次和時間改變以及統計分析方法改變等),觀測數據在記錄真實環境氣候變化之外還隱藏了一些非均一的變化,這些變化將不利于資料同化系統的發展以及預報模式等業務和研究工作水平的提高[16],因此僅對觀測數據本身進行質量控制是遠遠不夠的,還應加強對觀測數據非均一性的研究。本研究下一步的工作即在不斷研發新的質量控制方法的基礎上,重點研究海洋站觀測資料(尤其是海洋水文資料)的均一化檢驗和訂正,選取最適合中國海洋環境水文和氣候資料特點的均一性檢驗方法,努力建立多種均一性檢驗和訂正方法聯合使用和研究的多模式檢驗系統,構建高質量的中國海洋站海洋水文氣象資料均一化數據集,為沿海氣候變化研究提供準確的第一手資料。
[1] 張鐵艷,王化仁,楊鯤,等.海洋調查觀測資料的質量控制[J].水道港口,2006,27(1):48-50.
[2] 熊安元.北歐氣象觀測資料的質量控制[J].氣象科技,2003,31(5):314-320.
[3] 劉小寧,任芝花.地面氣象資料質量控制方法研究概述[J].氣象科技,2005,33(3):199-203.
[4] 王海軍,楊志彪,楊代才,等.自動氣象站實時資料自動質量控制方法及其應用[J].氣象,2007,33(10):102-109.
[5] 竇以文,屈玉貴,陶士偉,等.北京自動氣象站實時數據質量控制應用[J].氣象,2008,34(8):77-81.
[6] 尹嫦姣,江志紅,吳息,等.空間差值檢驗方法在地面氣象資料質量控制中的應用[J].氣候與環境研究,2010,15(3):229-236.
[7] 劉小寧,鞠曉慧,范邵華,等.空間回歸檢驗方法在氣象資料質量檢驗中的應用[J].應用氣象學報,2006,17(1):37-43.
[8] 李學坤,李鳳金,等.海洋水文氣象實時數據質量控制[J].海洋預報,1997,14(3):71-78.
[9] 中華人民共和國國家技術監督局.海濱觀測規范:GB/T 14914—2006[S].北京:中國標準出版社,2006.
[10] 中華人民共和國國家技術監督局.地面氣象觀測資料質量控制:QX/T 118—2010[S].北京:氣象出版社,2010.
[11] 何健,王潛梅,錢光明,等.廣東省區域自動氣象站資料的質量控制與評估[J].廣東氣象,2011,33(3):37-40.
[12] 中華人民共和國國家技術監督局.地面氣象觀測規范 第22部分:觀測記錄質量控制:QX/T 66—2007[S].北京:氣象出版社,2007.
[13] 王英,苑躍,王小蘭.氣象資料的質量控制[J].高原山地氣象研究,2007,27(3):39-40.
[14] 李慶祥,劉小寧,張洪政,等.定點觀測氣候序列的均一性研究[J].氣象科技,2003,31(1):3-10.
[15] 李琰,牟林,王國松,等.環渤海沿岸海表溫度資料的均一性檢驗與訂正[J].海洋學報,2016,38(3):27-39.
[16] 張高杰,何金海,周自江,等.RHtest方法對我國降水資料的均一性檢驗試驗[J].氣象科技,2012,40(6):915-921.
QualityControlMethodsandApplicationfortheOceanicStationObservedDataintheDelayedMode
YANG Yang,MIAO Qingsheng,WEI Guanghao,DONG Mingmei,DONG Cheng
(National Marine Data and Information Service,Tianjin 300171,China)
This paper expounded the necessity and importance of quality control for the oceanic station observed data.Taking the data of the delayed mode (monthly) of the oceanic station as an example,the object,the process and the parameter of the quality control were discussed in detail,including 19 tests in sum such as the date test,the position test,and the format test.At the same time,the paper analyzed the quality control software of the marine observed data.The next steps were put forward to carry out a variety of tests and correction methods combined with the use of multi-mode test system,which would make the results more reasonable and scientific,and also could be used to provide accurate first-hand information for the coastal climate change researches.
Oceanic station,Marine observation,Observed data,Quality control,Homogeneity
苗慶生,工程師,研究方向為水文氣象資料的管理和質量控制
P71
A
1005-9857(2017)10-0109-05
2017-03-01;
2017-08-17
楊揚,助理研究員,碩士,研究方向為水文氣象資料的管理和質量控制