自動氣象站數據文件格式錯誤診斷與統計分析

董德保, 錢 毅, 吳奇生, 竇煒明

(安徽省氣象局大氣探測技術保障中心,安徽合肥230031)

0 引言

隨著地面氣象觀測業務改革的推進,自動觀測逐步取代了人工觀測,觀測業務從以數據采集為主逐步向儀器設備運行保障、數據質量控制和數據處理分析為主的綜合觀測轉變。地面氣象觀測資料由自動氣象站自動采集、處理和上行傳輸,通過監控分析上行傳輸數據文件(Z文件)的到報、文件格式解析和數據質量控制情況,可以評估自動氣象站運行穩定性與可靠性。由于自動氣象站容易受到雷擊、電磁脈沖干擾、人為操作失誤以及頂層設計等因素影響[1-2],導致自動氣象站業務運行故障,自動觀測資料缺測,影響氣象資料的連續性、及時性、完整性。因此,提高自動氣象站業務運行的穩定性與可靠性對于發揮觀測資料的應用效益具有重要的意義。

1 自動氣象站數據文件特征

自動氣象站觀測的數據每小時正點向中國氣象局以數據文件形式上行傳輸,對原始上傳數據文件進行解析,解析后的數據文件由4條記錄組成:

第1行(測站基本參數):包括區站號、經度、緯度、觀測場海拔高度、氣壓傳感器海拔高度、觀測方式共6組項目3個字,每組用一個半角字符分開。

第2行(器測項目):包括觀測時間、風速、風向、氣溫、地溫以及氣壓和能見度等共52個要素值262個字節,每組用一個半角字符分開。

第3行(分鐘雨量):120個字節,每分鐘2個字節,即1～2位為第1分鐘的記錄,3～4位為第2分鐘的記錄……,如此類推,119～120位為第60分鐘的記錄;每分鐘內無降水時存入“00”,微量存入“,,”,降水量≥10mm時,一律存入99,缺測存入“//”。

第4行:共23個要素值,每組用1個半角空格分隔,無該條記錄內容時則省略,“=”加在分鐘降水量之后。文件最后一條記錄為NNNN,表示文件結束[3]。

2 自動氣象站運行效能指標分析

2.1 運行監控概述

CAWS600型自動氣象站在中國氣象臺站已廣泛投入業務使用,由于頂層設計缺少數據采集器模塊、傳感器模塊以及通信網絡等硬件的監視參數,一般利用上傳數據文件到報監視、格式解析、質量控制等方法進行遠程狀態監控,對于上傳數據文件的診斷分析,可以方便自動氣象站故障報警,提高裝備保障的時效性。基于“綜合氣象觀測系統運行監控平臺”(Atmospheric Observiug System Operations and Monitoring,ASOM)和安徽省級監控平臺,并結合自動氣象站業務運行特點,從上傳數據文件通信能力、設備運行能力、設備故障情況方面進行運行能力評估[4-5]。通過上傳每小時觀測數據文件(Z文件)時次與數據文件格式檢查,得出未到報時次與格式錯誤時次的文件,這些時次的數據文件將不能錄入數據庫;從數據存儲、查詢等管理角度來看,均視為無效數據文件,統計時用到報率指標評估。從時間一致性、空間一致性、氣候極值、內部一致性等檢查方法對數據文件中的觀測要素項進行質量控制[6-8],分析出數據錯誤時次文件,其可反映自動站觀測要素采集通道或傳感器運行能力;結合上述3種因素,用可用性指標(即:應觀測時次減去未到報時次、數據文件格式錯誤和數據錯誤再與應觀測時次之比)進行運行監控評估。

2.2 運行效能指標分析

通過ASOM和安徽省級監控平臺監控2010～2011年安徽省國家級自動氣象站運行效能指標的統計分析,圖1為2010年、2011年自動氣象站運行效能指標逐月變化曲線,2011年運行效能指標優于2010年,從圖中可以看出,2010年4月自動站運行效能指標較差,到報率和可用性僅為98.58%和98.45%,之后自動站運行效能指標呈迂回上升趨勢;從中可知到報率與可用性變化趨勢基本相同,具有一致性的特征且到報率(評估數據文件未到報時次和數據文件格式錯誤時次)是影響可用性高低的首要因素。

眾所周知,安徽省81套自動氣象站可分為3種站類,分別為基準站(3個)、基本站(21個)和一般站(57個);圖2為不同站類運行效能指標逐月變化,其中,2010年1～8月3種站類運行效能指標具有明顯的階梯性,一般站優于基本站,基本站優于基準站;到9月基準站的運行效能指標明顯上升,10～11月一般站和基準站運行較好,而基本站運行效能呈下降趨勢,到12月,3種站類運行效能指標均較高;2011年3種站類逐月運行效能指標均在99.85%以上,無明顯特征,自動氣象站業務運行相對穩定。依照地面氣象觀測規范規定,基準站每天通過OSSMO2004地面測報軟件定時觀測人機交互操作24次,基本站8次,一般站3次;對于同種型號觀測儀器業務運行,2010年8月之前3種站類運行效能指標具有明顯的階梯性,可能與人機交互操作頻次高低有著密切關系。

針對影響自動氣象站運行效能指標的3個因素:未到報、數據文件格式錯誤和數據錯誤,以2010年11月省級監控平臺監控自動氣象站業務運行情況為例。圖3為自動氣象站運行故障逐日變化與類型分布,從圖3(a)知,出現數據文件格式錯誤時次高于未到報時次與數據錯誤時次,三者逐日變化無明顯特征,伴有隨機性;從圖3(b)知,11月數據文件格式錯誤時次占故障頻次89.22%,未到報時次占故障頻次7.43%,數據錯誤時次占故障頻次3.35%;顯然,數據文件格式錯誤是影響自動站運行效能的主要因素。

3 數據文件格式錯誤分析

3.1 數據文件格式錯誤類型

根據上傳數據文件編碼特征,利用ASOM和省級監控平臺監視數據文件格式錯誤出現頻次較高的類型列舉如下:

(1)第二行記錄字符長度短于相應文件格式編碼長度,第三行分鐘雨量均為缺測記錄,如:

(2)第二行觀測要素字符長度少于相應字段文件格式編碼長度,主要是第52個觀測要素(最小能見度出現時間)缺少一個字節,此類格式錯誤較高,如:

(3)第二行觀測記錄缺失的文件格式錯誤,如:

(4)第三行分鐘雨量觀測記錄缺失的文件格式錯誤,如:

3.2 文件格式錯誤診斷分析

地面氣象觀測場自動氣象站數據采集器至值班室業務計算機通信故障時,正點上傳數據文件格式錯誤為上述的第(1)類,做好自動氣象站運行監控,及時排除故障,可避免相應文件格式錯誤的發生。重點分析影響后3類文件格式錯誤的因素,以58531、58428和58102測站為例。圖4為58531測站(基準站)2010年8～9月出現數據文件第二行缺少一個字節格式錯誤時,對應的人機交互保存發送文件操作時間散點圖,圖中縱坐標為正點(00分00秒)之后的時間,不難看出,出現此類數據文件格式錯誤時次對應的人機交互操作時間均45s;此外,在8月下旬安徽省大氣探測中心以該測站進行試驗,規范該測站觀測員人機交互操作時間＞45s,9月較8月發生此類格式錯誤明顯減少,即基準站運行效能指標明顯上升的緣故。對于58428測站(一般站)其人機交互操作時間逐日變化如圖5所示,該測站人機交互保存發送文件操作時間均＞45s,上傳數據文件到報率和可用性均為100%,臺站2010年10～11月未出現此類格式錯誤時次。結合圖4～5分析,若定時觀測人機交互保存發送文件操作時間＞45s,測站上傳數據文件未出現第2類格式錯誤時次。

通過地面測報軟件OSSMO2004的監控軟件(SAWSS)與數據采集器通信時間節點分析如圖6所示,58102站10～11月寫入定時觀測數據時間與自動彈出天氣、航空等定時觀測對話框時間近于30s左右,寫入定時數據時間基本上略早于啟動定時觀測時間,分鐘數據卸載時間主要在41～42s波動;人機交互輸入能見度等目測要素并保存發送操作時間(45s)與SAWSS數據流進程時間沖突,導致出現數據文件第二行缺少一個字節格式錯誤。另外,從圖中推知,若自動氣象站受到電磁等干擾,寫入數據文件中第二行定時數據時間延遲于分鐘雨量數據卸載成功時間,上傳數據文件第二行記錄將缺失,即為(3)類文件格式錯誤;若分鐘數據卸載成功時間延遲于Z文件上傳時間,即為第三行記錄缺失的格式錯誤。由于自動氣象站為中國氣象局定型設備,需要廠家對軟件頂層設計優化,如:在正點45s后自動彈出人機交互操作對話框,以及進行自動氣象站電磁干擾防護等優化措施;或是業務管理部門規范各級測站正點45s之后進行人工交互操作;可減少相關數據文件格式錯誤發生的概率。

圖6 58102測站業務軟件與數據采集器通信時間節點逐日變化

4 結束語

通過ASOM和安徽省級監控平臺監控自動氣象站運行效能指標的統計分析,得出了影響自動氣象站業務運行的主要因素為數據文件格式錯誤。論述了不同類型文件格式錯誤的特點,依據地面觀測業務特點和人機交互輸入定時觀測數據的操作時間分析,得到了出現數據文件第二行缺少一個字節的格式錯誤與人機交互操作時間45s的關系。為保障地面觀測資料的連續性和完整性,生產廠家需要優化自動氣象站頂層設計,地面觀測業務管理部門需要規范觀測員恰當的人機交互操作時間,以達到提高自動氣象站運行穩定性和可靠性的目標。

[1] 李偉,王柏林,李書嚴,等.自動氣象站觀測資料質量控制方法介紹[C].首屆儀表、自動化與先進集成技術大會論文集,2007:468-473.

[2] 宋軍,高磊,王秀萍,等.大連自動站與人工站觀測數據的差異對比分析[J].氣象與環境學報,2009,25(1):58-61.

[3] 中國氣象局.地面氣象觀測數據文件和記錄簿表格式[M].北京:氣象出版社,2005:9-46.

[4] 李雁,裴羽中,孟昭林,等.全國自動站運行能力統計及其影響因素分析[J].儀器儀表用戶,2010,17(2):4-8.

[5] 李雁,梁海河,孟昭林,等.自動氣象站運行效能統計[J].應用氣象學報,2009,20(4):504-509.

[6] 王伯民.基本氣象資料質量控制綜合判別法的研究[J].應用氣象學報,2004,15(B12):50-59.

[7] 王海軍,楊志彪,楊代才,等.自動氣象站實時資料自動質量控制方法及應用[J].氣象,2007,33(10):102-109.

[8] 劉小寧,任芝花.地面氣象資料質量控制方法研究概述[J].氣象科技,2005,33(3):199-200.