



摘 要:根據國標酸雨觀測規范中關于酸雨觀測的審核規則,文章利用IDL語言開發了一款月酸雨觀測資料數據文件審核軟件。該軟件具備報表解析和數據審核功能,能夠對酸雨報表文件中的臺站參數、月統計數據、日觀測數據、附加參數、現用儀器情況和備注等內容進行檢查和審核。檢查內容包括格式、界限值、內部一致性、數據一致性和準確性檢查,最后形成輸出檢查結果的審核單,供業務人員參考。月酸雨觀測資料數據文件審核軟件的開發,有助于行業內相關數據自動化審核的規范化管理。
關鍵詞:IDL;酸雨觀測;數據審核;軟件開發
中圖分類號:TP311 文獻標識碼:A 文章編號:2096-4706(2025)02-0100-05
Research on the Development of Monthly Acid Rain Observation Data File Audit Software
CHEN Beiying1, HUANG Chunxi2, GUO Yang2, NIAN Feixiang2, JIN Jin2
(1.Hebei Information Engineering School, Baoding 071000, China;
2.Tianjin Meteorological Information Center, Tianjin 300074, China)
Abstract: According to the audit rules of acid rain observation in the national standard acid rain observation specification, this paper develops a monthly acid rain observation data file audit software using IDL. This software has the functions of report analysis and data audit, and can check and audit the station parameters, monthly statistical data, daily observation data, additional parameters, current equipment status, and notes in the acid rain report files. The inspection content includes format checking, limit value checking, internal consistency checking, data consistency and accuracy checking, and finally the software forms audit sheets for output inspection results for reference by business personnel. The development of monthly acid rain observation data file audit software is helpful to the standardized management of automatic audit of relevant data in the industry.
Keywords: IDL; acid rain observation; data audit; software development
DOI:10.19850/j.cnki.2096-4706.2025.02.018
0 引 言
目前世界上面臨著包括海洋污染、氣候變暖、森林銳減、生物多樣性減少等多種嚴重的環境問題,其中酸雨蔓延是最嚴重的影響事件之一。酸雨的出現是由于煙霧中的二氧化硫氧化形成硫酸或者酸霧所致,工業革命以來,英國、比利時、美國、日本等國家相繼出現了由酸雨導致的重大公害事件,酸雨蔓延引起了煙霧事件、湖水酸化、森林損毀和建筑物腐蝕等后果。1982年6月,國際社會召開了“環境酸化會議”,標志著酸雨污染已經成為當今世界重要的環境問題之一。我國酸雨問題是從20世紀90年代開始突顯,在《中華人民共和國大氣污染防治法》實施情況報告中指出,我國酸雨區面積正急速擴大,降水酸化率急速升高。因此,酸雨觀測是氣象基本業務之一。
1982年,我國開始開展酸雨觀測業務。至1989年,全國共設有22個酸雨觀測站點,主要分布在東部地區。此時的酸雨觀測業務是科研性質的,尚不具備業務化能力,觀測項目也只有降水pH酸堿度。2005年,酸雨觀測站點增至89個,遍布全國各地,酸雨觀測實現了全面業務化,觀測項目增加了電導率,同時在各大氣本底站也開展了此項業務。截至2023年底,全國酸雨觀測站數量達到342個,業務相對成熟。
月酸雨觀測資料數據文件整合了地面氣象觀測站一個月內的酸雨觀測數據,體現了臺站本月內酸雨觀測的全部記錄。月酸雨觀測資料數據文件內容涵蓋了臺站基本參數、觀測方式、酸雨月統計資料、酸雨日觀測資料、附加參數、現用儀器情況和備注等,是氣象觀測站所積累的酸雨資料的原始檔案。在天津市范圍內,薊州、西青和塘沽三個國家基本氣象站均開展了酸雨觀測業務。
目前,地面氣象觀測數據的質量控制方法主要包括從物理意義、氣候學和氣象記錄角度出發的界限值檢查、格式檢查、指定時空的要素主要變化范圍檢查,以及要素間的時間一致性、內部一致性以及空間一致性檢查等方法[1-4]。隨著服務需求的擴大和業務科研水平的提升,對于地面氣象觀測數據的質量需求也在逐步提升,而酸雨觀測數據的人工審核存在著工作效率差、主觀不一致性等潛在風險和問題,數據審核由人工方式轉變為自動方式可以有效解決上述問題。因此,本文在參考現有國家地面氣象觀測數據審核的技術規定基礎上[5-9],結合月酸雨觀測資料數據文件數據特征建立審核規則,并基于交互式數據語言(Interactive Data Language, IDL)開發設計審核軟件,以規范化酸雨觀測數據文件審核,提升酸雨觀測數據文件審核的一致性。
1 審核規則的建立
1.1 酸雨數據來源
本文設計的審核軟件僅針對天津市酸雨觀測站點的月酸雨觀測資料數據文件,文件名稱格式為SIIiii-YYYYMM,其中YYYY和MM分別代表年份和月份。數據包括降水信息、降水樣品pH酸堿度、電導率、降水采樣日界內風向風速、天氣現象和各要素相關統計值、現用儀器和備注信息。本文所需酸雨觀測資料來自天津市氣象信息中心。
1.2 建立審核規則
依據《酸雨觀測規范(GB/T 19117—2017)》,結合酸雨觀測數據變化特征,結合現有的氣象數據質量控制方法、人工審核經驗以及本地氣候閾值,建立月酸雨觀測資料數據文件審核規則,共計包含數據文件的格式檢查(質控參數檢查)、數據段檢查(月統計數據段檢查、日觀測數據段檢查)、文件尾部檢查(附加參數檢查、現用儀器檢查、備注檢查)等六項41條審核規則。
2 軟件開發
依據建立的月酸雨觀測資料數據文件審核規則,采用IDL語言開發審核程序。IDL內置的數學庫函數語言大大減少了圖像處理算法開發所需的工作量[10],是進行氣象數據分析和應用開發的理想軟件工具。
2.1 軟件結構
軟件讀取月酸雨觀測資料數據文件和基本參數模塊,利用格式檢查、界限值(閾值)檢查、內部一致性(邏輯關系)檢查和數據準確性檢查等方法,對酸雨數據文件進行審核,最后輸出審核單即審核結果。軟件結構如圖1所示,包括:基本參數模塊、臺站參數和附加參數檢查模塊、數據段檢查模塊以及現用儀器和備注檢查模塊等。
具體介紹如下:
1)基本參數模塊。將內置的月酸雨觀測資料數據文件的基本參數(臺站基本信息、采樣方式等)和檢查參數(各臺站氣象要素界限值等用于審核的閾值)傳遞給相關變量,用于氣象報表審核。
2)臺站參數、附加參數檢查模塊。檢查臺站基本信息、附件參數信息。
3)數據段檢查模塊。檢查月統計數據段、日觀測數據段是否正確。
4)現用儀器、備注檢查模塊。檢查現用儀器、備注是否正確。
5)報表審核輸出、輸出提示等。
2.2 模塊功能
2.2.1 基本參數模塊
模塊功能如下:
1)模塊內相關變量可以將用于審核的設定閾值和酸雨數據月報表中的臺站基本信息、采樣方式進行比對,用于酸雨報表審核。
2)程序根據讀取的數據文件年月參數,自動計算當月應有天數,用于后續參數檢查、數據審核使用。
2.2.2 臺站參數與附加參數檢查模塊
參數檢查內容如下:
1)與表頭參數對比文件名中的臺站基本信息,如站號、年月份等是否一致,如果不一致則輸出到審核單。
2)對比程序內置參數與臺站基本參數信息是否一致,如果不一致則輸出到審核單。
3)對比程序內置參數與附加參數信息是否一致,如果不一致則輸出到審核結果。
4)檢查傳輸日期(報表數據報送傳輸時間)與臺站基本信息月份的時間邏輯關系,以及傳輸日期是否為8個字符,如不是則輸出到審核單。
2.2.3 數據段檢查模塊
數據段檢查包括月統計數據段檢查日觀測數據段檢查,具體如下:
1)月統計數據段檢查。算法流程如圖2所示。一是檢查月統計數據段指示碼格式,檢查文本第二行月統計數據段指示碼是否為M0,如不是則輸出到審核結果,并結束當月統計數據檢查。二是檢查數據段格式,是否與規定的格式相同,如果不一致則輸出到審核單。三是內部一致性檢查,檢查月降水日數是否等于酸雨觀測日數,如不相等則輸出到審核單。四是數據一致性檢查,分別統計國家級地面氣象觀測月(報表A文件)降水大于0.1 mm、1 mm日數,檢查月酸雨觀測資料數據文件(S文件)大于等于0.1 mm降水日數與A文件是否一致,如果不一致則輸出到審核單。檢查S文件降水日數 與A文件降水日數是否一致,如果不一致則輸出到審核單。五是輸出提示,“人工檢查A文件最后一日20時-08時是否有降水!”
2)日觀測數據段檢查。算法流程為:一是檢查日觀測數據段指示碼格式,檢查文本第四行指示碼是否為D0或D0=,如不是則輸出到審核單。二是檢查日觀測數據段格式,是否與規定的格式相同,如果不一致則輸出到審核單;檢查數據段結束符,如不為“??????”,則輸出到審核單。三是數據一致性檢查,提取數據段酸雨觀測樣品對應的降水量,如與A文件對應不一致則輸出到審核單;提取數據段14時、20時、02時、08時的10分鐘平均風向風速,如與A文件中對應數據不相等,則輸出到審核單。四是內部一致性檢查,提取數據段酸雨觀測日期,檢查降水開始時間、結束時間是否在規定時間范圍內,如不是則輸出到審核單;提取數據段初測時的降水樣品3次pH值(電導率值),如不相等則輸出到審核單。五是界限值檢查,提取數據段初測時的降水樣品溫度,檢查水溫是否在0 ℃至30 ℃之間,如不是則輸出到審核單;提取數據段初測時的降水樣品pH平均值,如pH<3或pH>9,則輸出到審核單;提取數據段初測時的降水樣品25 ℃時的電導率平均值,如電導率大于1 000則輸出到審核單。六是數據準確性檢查,提取數據段降水期間的天氣現象組(ww1ww2ww3ww4ww1ww2ww3ww4),檢查4組天氣現象是否出現60、68、70之一,如不是則輸出到審核單;提取數據段酸雨觀測備注(B1B2B3B4B4B1B2B3B4B4,共4組5位),檢查復測指示碼、K值測量是否使用溫度補償功能指示碼,B3B3為因故延遲樣品測量指示碼,B4B4B4B4為降水樣品異常狀況是否符合規定要求,如不是則輸出到審核單。
2.2.4 現用儀器與備注檢查模塊
現用儀器檢查的算法流程如圖3所示,具體為:
1)檢查現用儀器指示碼格式,是否為YQ,如不是則輸出到審核單。
2)檢查現用儀器pH指示碼,如無則輸出到審核單。
3)檢查現用儀器pH格式,是否符合要求,如否則輸出到審核單。電導率儀(指示碼:YK)、pH(復合)電極*(指示碼:YF)、電導電極*(指示碼:YD)、溫度測量電極(傳感器)*(指示碼:YT)規則同pH計,不再重復。
4)內部一致性檢查,檢查現用儀器pH參數信息是否和內部參數一致,否則輸出到審核單。
備注檢查的算法流程如下:
1)檢查備注段指示碼格式,起始標識符為“BZ”,結束符為“######”,如不一致則輸出到審核單。
2)檢查備注段格式,是否為“BB/??/*”,如不一致則輸出到審核單。
3)檢查是否存在固定格式的備注,如未出現則輸出到審核單。
4)內部一致性檢查,檢索S文件、A文件降水量不足1.0 mm的天數和日期,如不一致則輸出到審核單。
2.3 exe可執行程序文件
該軟件是基于IDL語言編寫,如需將代碼封裝為Windows系統下的exe可執行程序文件,可在Windows系統IDL環境(建議使用IDL 8.2版本)的“控制臺”輸入程序發布命令來實現。操作步驟如下(以“F:\酸雨報表審核軟件”路徑為例):
1)在“F:\酸雨報表審核軟件”目錄下新建文本文檔,將代碼粘貼到文檔內保存,并將文件名保存為“QC_S_file.pro”。
2)用IDL打開QC_S_file.pro文件,并在控制臺輸入命令“help,/pro”,查看當前IDL環境下編譯的程序。
3)在IDL控制臺輸入命令“.compile -v 'F:\酸雨報表審核軟件\QC_S_file.pro'”編譯QC_S_file.pro源碼。
4)在IDL控制臺輸入命令“save,filename='F:\酸雨報表審核軟件\ QC_S_file.sav',/routines”調用save命令將編譯后的程序保存到sav文件中。
5)在IDL控制臺輸入指令“.reset_session”對IDL進行重置。
6)在IDL控制臺輸入命令“make_rt,'QC_S_file','F:\酸雨報表審核軟件',savefile='F:\酸雨報表審核軟件\QC_S_file.sav',/overwrite”實現exe程序發布。
2.4 審核信息輸出
運行可執行文件(QC_S_file.exe),加載月酸雨觀測資料數據文件(文件名應為“SIIiii-YYYYMM.TXT”的規定格式),自動進行數據審核并形成“酸雨疑誤信息-YYYY-MM.txt”文件,打開txt文件即可查看月酸雨觀測資料數據文件的審核結果,如圖4所示。審核結果包含上述所有審核功能模塊輸出的不一致問題以及提示信息,用戶根據審核結果進行修正干預即可完成數據文件的審核質控工作。
3 結 論
綜上所述,得出如下結論:
1)軟件經測試能夠穩定運行,建立的審核規則滿足業務需求,實現了月酸雨觀測資料數據文件的審核功能。該軟件工具能有效地提升數據審核效率、降低審核工作技術門檻,避免數據審核工作中因人工經驗審核而導致的主觀不一致的風險。
2)軟件增加了配置文件,存儲審核閾值,用戶只需要更改配置文件參數,無須修改代碼即可進行本地化應用。軟件被封裝為可執行文件,拷貝后即可運行,目前已被應用到天津、北京、新疆等相關氣象業務單位。
3)該軟件是基于IDL語言開發的,數據處理方式獨特,交互式窗口友好,非常適合進行數據處理并成像。因此,對于氣象類觀測數據的可視化表現、分析及應用開發,IDL是一個理想的編程語言。
參考文獻:
[1] 傅娜,陳葆德,譚燕,等.上海自動站氣溫資料的空間質量控制與特征分析 [J].大氣科學學報,2014,37(2):199-207.
[2] 黃純璽,郭陽,陳蓓瑩,等.基于IDL的塘沽鹽場地面氣象觀測報表審核軟件開發 [J].天津科技,2023,50(8):30-35.
[3] 張雅昕,粟定華,楊麗娟.輻射月報表質量控制方法的研究與實現 [J].氣象研究與應用,2012,33(3):55-57+73.
[4] 成兆金,莊立偉,吳門新,等.農業氣象觀測記錄年報表審核系統設計與實現 [J].干旱氣象,2019,37(3):490-495.
[5] 全國氣候與氣候變化標準化技術委員會大氣成分觀測預報預警服務分技術委員會.酸雨觀測規范:GB/T 19117—2017 [S].北京:中國標準出版社,2017.
[6] 中國氣象局.地面氣象觀測規范 [M].北京:氣象出版社,2003.
[7] 全國氣象基本信息標準化技術委員會.氣象要素分類與編碼:QX/T 133—2011 [S].北京:氣象出版社,2011.
[8] 全國氣象基本信息標準化技術委員會.氣象觀測資料質量控制 地面:QX/T 118—2020 [S].北京:氣象出版社,2020.
[9] 中國氣象局.氣象數據歸檔格式 地面:QX/T 119—2021 [S].北京:氣象出版社,2022.
[10] 侯立鵬,楊勝天,趙長森,等.基于IDL的遙感水文時空序列數據可視化分析系統開發與應用 [J].遙感技術與應用,2014,29(6):1074-1080.
作者簡介:陳蓓瑩(1988—),女,漢族,天津人,工程師,碩士,研究方向:地面氣象觀測研究;通信作者:黃純璽(1989—),男,漢族,天津人,工程師,本科,研究方向:數據質量控制研究;郭陽(1990—),男,漢族,河北滄州人,工程師,博士,研究方向:數據質量控制研究;年飛翔(1992—),男,漢族,安徽蚌埠人,工程師,碩士,研究方向:數據質量控制研究;金津(1982—),女,達斡爾族,天津人,工程師,本科,研究方向:數據質量控制研究。
收稿日期:2024-07-18