氣象災害風險普查數據質量控制技術研究與應用*

陳東輝，熊安元，唐為安

(1.國家氣象信息中心，北京 100081；2.安徽省氣候中心，安徽 合肥 230031)

全國氣象災害綜合風險普查是自然災害綜合風險普查的重要內容，對于認識和把握氣象災害發生發展規律、建立綜合防災減災救災體系、實現災害風險管理等具有重要意義[1]。為貫徹落實《國務院辦公廳關于開展第一次全國自然災害綜合風險普查的通知(國辦發〔2020〕12號)》精神，全面做好全國氣象災害綜合風險普查工作，中國氣象局結合氣象部門實際，制定并印發《第一次全國自然災害綜合風險普查總體方案》(以下簡稱總體方案)[2]。總體方案確立了以調查為基礎、評估為支撐，客觀認識當前全國和各地區主要氣象災害的風險水平，科學預判氣象災害風險變化趨勢和特點，形成全國氣象災害風險區劃的總體工作思路。

我國周期性普查工作主要有全國人口普查、農業普查、經濟普查，各類調查統計數據是普查工作的主要成果，成果能夠推廣使用的根本是保證數據質量[3-6]。高質量的統計數據的產生依賴于對數據質量的評估[7-8]。國內外權威組織和學者針對數據質量評估方法進行了研究，形成了一系列成果[9-10]。但采用的方法或多或少存在一些局限性，比如有的方法能較大程度地檢查出邏輯性錯誤，但卻無法保證數據的準確性；有的為匯總階段的事后質量評估，而不適合對收集階段的數據進行質檢[11-13]。隨著氣象部門觀測手段自動化和數據傳輸速度持續的提高，在地面自動站觀測資料質量控制技術方面也積累了一定的經驗。肖心園等[14]針對不同異常數據提出了基于3樣條插值和皮爾遜相關的光伏數據清洗方法，可以得到更優化的數據利用率和重構正確率。潘騰輝等[15]提出了一種ETL(Extract-Transform-Load，抽取-轉換-加載)與數據清洗相結合的分布式數據集成工具，將數據清理的技術引入到ETL中，基于統計聚類方法和關聯規則的數據清洗算法，清洗數據信息的框架。

2020年開始的全國范圍內的分災種、分區域、長時間序列的氣象災害綜合風險普查工作在我國尚屬首次。此次災害調查主要采取自上而下和自下而上兩種方法開展，其中在技術層面上采取自上而下形式，國家級和省級技術組承擔普查技術規范制定、調查表格設計、普查數據采集信息系統研發等；在實際操作層面上采取自下而上形式，縣(區)級根據技術規范和調查表格填報表格，并逐級審核、上報至普查信息收集系統。通過此次普查共收集暴雨、干旱、臺風等10種氣象災害記錄條數6 245 225條，其中以低溫災種記錄條數最多，達2 029 730條，其次為雷電災種，記錄條數為1 301 675條，雪災記錄條數相對較少，全國范圍內共收集141 827條。高質量數據是普查工作順利展開的前提，數據質量控制技術水平的高低則是確保普查數據質量的根本，也直接決定了氣象災害致災危險性評估與區劃及綜合風險評估與區劃結果的質量。氣象數據質量控制方法多通過閾值和一致性檢驗，但對于此次氣象災害風險普查工作的復雜性和致災因子調查的不確定性，需要結合氣象災害事件客觀化識別和空間化驗證的屬性規則來綜合判定。本文擬從數據質控方法、數據質檢規則、管理流程、質量核查分析以及評估結果驗證等方面來闡述全國氣象災害風險普查數據質量控制技術，其中通過系統質檢建立質檢規則庫保障“事前”，管理流程約束保障“事中”，可疑數據核查分析和致災危險性評估結果驗證來評估“事后”，構建全過程數據質量閉環，從而最大限度保障氣象災害普查數據質量，為成果高效應用提供有力支撐。

1 數據和方法

1.1 數據

根據我國氣象災害種類的分布、影響程度和特征，本次全國氣象災害風險普查的氣象災害包括暴雨、干旱、臺風、高溫、低溫、大風、冰雹、雪災、雷電、沙塵暴等10種。通過調查和科學分析，獲取的國、省、市、縣10類氣象災害致災因子數據，即以縣(區)級行政區為基本單元，開展全國氣象災害的特征調查和致災孕災要素分析而獲取我國主要氣象災害的致災因子信息，覆蓋空間范圍為全國各省、直轄市、自治區和新疆生產建設兵團(不含香港特別行政區、澳門特別行政區和臺灣省)，時間范圍為1978―2020年近40年數據。

1.2 質控方法研究

借鑒氣象觀測數據質控方法，根據氣象領域對數據質量控制方法的特殊規范和要求，以氣象要素的時間、空間變化規律和各要素間相互聯系的規律為線索，分析數據是否合理[16-19]。首先對源數據進行數據檢查，通過統計分析的方法識別可能的錯誤值或異常值，如偏差分析、識別不遵守分布或回歸方程的值，利用常識性規則和業務特定規則等簡單規則庫檢查數據值，并使用不同屬性間的約束、外部的數據來檢測和清理數據。其次建立針對普查數據的涵蓋閾值并融合要素一致性以及空間一致性等質控方法。具體處理方法如下。

(1)要素一致性。對某個氣象測站歷史記錄中某觀測要素結合氣象災害事件發生過程(時間)中曾出現的最大值(最小值)，判斷氣象資料要素值是否超出極值作為要素一致性檢查。判斷資料的基礎是進一步核實超出對應觀測站點要素極值的觀測資料。

(2)時間一致性檢查。利用氣象要素隨時間變化的規律，對氣象資料變化進行時間一致性的檢查，各要素不能超出一定時間內的變化范圍，超出則判為可疑。

(3)空間一致性檢查。根據氣象參數具有一定的空間分布特點而進行的檢查。通常采用空間回歸檢驗法進行空間一致性檢查，其有效性取決于觀測站網的密度和被檢參數與空間的相關程度[20]。將逐日的觀測站要素數據與被檢站周邊站點相關系數進行顯著性檢驗，找出相關性最好的5個站，被檢測觀測要素與5個相關站逐一建立一元線性回歸方程。

(1)

(2)

式中：xi為被檢站第i日的實測值；m為全月日數。

(3)

(4)

2 數據質控流程

2.1 質控總體設計

由于涉及災害種類多、覆蓋面廣、時間跨度長，因此對調查數據的質控需考慮信息、技術、流程和管理在內的四大因素，從而構建全過程的數據質量控制閉環，總體設計如圖1所示。

圖1 全國氣象災害調查數據質控總體設計

為滿足國、省、市、縣四級高效開展氣象災害風險普查工作以及保證數據高一致性，基于“云+端”氣象集約化業務布局，建立物理統一、邏輯分布的氣象災害風險普查信息系統平臺。基于“云”一級部署形成國家級氣象災害風險普查數據庫，提供國、省、市、縣四級“端”應用。對上報調查類數據資源采用集中統一管理，使國、省、市、縣用戶(包括匯交和審查用戶)共同操作“一套數據”，避免因分布式架構需要數據頻繁同步導致數據不一致。

為確保本次氣象災害風險普查數據的準確性，除人工審查外，提供通過系統質檢功能，提高數據的準確率和格檢效率。針對10類氣象災害設計的每張調查表的所有核心數據項進行格式檢查、邏輯合理性檢查、關聯性檢查等，保障災害風險普查屬性信息的準確。

2.2 數據質檢規則建立

調查數據在全國氣象災害綜合風險普查技術規范要求基礎上，采用行政記錄檢查法、邏輯規則檢驗法、局部空間自相關檢測法等方法，通過系統平臺建立數據質檢規則庫，對用戶信息、行政區劃信息、氣象臺站信息、致災因子等進行完整性、規范性、一致性、合理性的質量檢查，如表1所示。

(1)數據完整性。包括調查數據上報完整性和數據本身完整性。重點檢查填報指標是否必填、選填、缺省值以及重復值等要求。

(2)數據規范性。分為數據格式規范性和文件格式規范性。數據格式規范性包括填寫采集數據類型是否符合要求(如字符型、數值型、整型、浮點型、日期型、日期時間型)，數據長度、精度、選項個數的規范性(如單選、多選、選項個數不超過XX個)等；文件格式規范性包括上傳文件是否符合格式要求等。

(3)數據一致性。分為邏輯一致性、屬性一致性、時空一致性。邏輯一致性包括填報致災因子間邏輯關系約束、致災因子間邏輯關系等；屬性一致性包括致災因子的量綱一致性等；時空一致性包括填報經緯度是否在本級行政區范圍內等。

(4)數據合理性。分為值域合理性、異常值合理性。值域合理性包括致災因子是否在值域范圍內等；異常值合理性包括填報數據的邊界范圍控制。

基于數據質檢規則，以雪災為例，數據校驗方法和對應質檢指標項如表2所示。

表1 氣象災害普查系統數據質量檢查規則

表2 雪災過程及危險性因子調查數據質檢規則

表3 風險普查數據匯交與審核人員信息登記表

2.3 管理流程約束

2.3.1 用戶認證管理

為加強氣象災害普查數據安全與數據質量管理，啟用實名用戶證書登錄方式。各級氣象部門根據普查工作的實際情況，報送本轄區內普查和審核人員的名單信息，具體格式如表3所示。其中，單位行政區劃代碼、單位名稱、姓名、聯系方式、用戶角色為必填項；單位行政區劃代碼為國普辦發布的縣級及以上行政區劃代碼；單位名稱為普查人員所在氣象部門單位；姓名必須為氣象部門證書(實名證書)對應的姓名；聯系方式為本人微信綁定手機號，方便后續開通微信推送填報任務提醒服務；用戶角色按規定要求填寫，包括對應行政區的匯交或審核人員。

通過“證書+白名單”雙重認證方式實現用戶的初始化與權限分配。用戶實名認證管理一方面，避免傳統使用用戶名密碼登錄方式可能存在賬戶泄露導致數據風險。另一方面，由于用戶實名實現數據責任劃分和電子留痕，減少數據胡填亂報，一定程度上保障了數據質量。

2.3.2 人工審核機制

國、省、地(市)、縣(區)四級氣象部門依據《氣象災害調查與風險評估技術規范》[21]和《氣象災害綜合風險普查成果匯交和質量審核管理辦法》[22]，對本級或其下級部門線上匯交的數據成果進行人工質量審核。國、省、地(市)三級行業部門，應對下級部門匯交的數據與成果進行質量審核。上級氣象部門應及時向下級氣象部門反饋質量審核結果，對未通過審核的應要求在規定時限內完成修改更新和再次匯交。

在國家級通過人工審核后，即轉入人工抽查階段。人工抽查工作由國家級和省級分別負責完成。國家級成立國家級氣象災害普查數據核查組，負責對各省上報的數據進行抽查，抽查數據要求覆蓋各省，各省被抽查數據占該省調查對象的比例不低于3%。省級氣象部門應成立本省氣象災害普查數據核查組，負責對本省各地(市)、縣(區)上報的數據進行抽查，抽查數據應具有地域代表性，抽樣比例不低于本省調查對象總數的5%。相比于氣象災害風險普查信息系統平臺的數據質檢，人工審核和人工抽查不僅需要對填報數據的完整性、規范性、一致性、合理性對進行審核，還應通過氣象月報表、氣象志、地方志等多源數據來重點核查填報數據的真實性，即某填報數據是否為真實的發生值，而不是由于觀測系統錯報、觀測員錯誤記錄或填報人員錯誤填報等問題而產生的。

2.4 數據核查分析

在氣象災害普查數據上報過程中，通過以上系統質檢和管理約束可基本解決調查數據不規范問題，包括數據格式不對、存在異常值、邏輯性錯誤等，因為不規范的數據是無法進入普查系統。但是對于可疑/疑似錯誤的數據，即數據內容本身的科學甄別通過系統質檢是不容易發現，并且近千萬條上報數據靠人工審核和抽檢也會“漏網”。針對以上問題，需要對已上報數據進行“事后”的數據質量核查分析，該工作也應基于系統代替人工去完成。因此在現有數據質檢流程上增加數據質量核查分析功能。

數據質量核查分析功能區別于數據質檢規則，本質是因為數據核查分析是“事后”，數據質檢規則是“事前”，即數據核查是針對已經上報數據的質量篩查，在“事前”考慮當時質檢效率和客觀填報事實以及當時條件下并未預見的質檢規則等(具體見表1的A.2、A.3、D.1內容)。比如，地方在上報數據時存在由于當時未找到相關史料或確實某時段氣象觀測數據缺測而將其作為缺省值(999999標識)，或者某些數據項由于當時設定閾值過高或過低導致數據已經“入庫”需要重新篩查出來讓普查填報人員進行再次確認。

從圖2可以看出，低溫調查表3的“過程累積降水量”為缺省值，因需要普查人員再次確認其數據是否為缺測，如果確實缺測，基于氣象災害普查系統將數據導出后再導入。如果該數據項已經通過重新統計獲取過程降水量，則導出結果并更新后再導入系統。通過上述更新導入后，次日將不再作為問題或錯誤數據發布。基于不斷滾動發布最新問題數據，實現問題數據逐一解決完畢，從而保障國家級氣象災害風險普查數據庫的數據質量保持最佳。

3 質控效果驗證

利用上報且經過質量核查分析的普查數據，以山東省雪災致災危險性評估為例，對其上報的普查數據質量以及危險性評估結果圖件的合理性、準確性進一步核驗。山東省上報1978―2020年雪災調查類數據2 086條，根據《雪災調查與風險評估技術規范》[21]，以每次過程的累積降雪量、最大積雪深度和降雪日數作為雪災危險性評估的致災因子。為了消除各致災因子量綱可能對評估結果的影響，對各致災因子進行歸一化處理：

(5)

式中：Dij表示第j次雪災過程的第i個致災因子的歸一化值，以下類同；xij表示第j次雪災過程的第i個致災因子的原始值；ximin表示所有雪災過程中第i個致災因子的最小值；ximax表示所有雪災過程中第個致災因子的最大值。

在各致災因子經歸一化處理后，采用加權綜合，計算得到每次雪災過程的致災強度指數。

(6)

式中：Vj表示第j次雪災過程的致災強度指數；wi表示第i個致災因子的權重系數，采用專家打分法確定，取等權重，即均取1/3。

圖2 利用質量核查分析定期發布此可疑/疑似錯誤數據

圖3 山東省雪災致災危險性評估結果

圖4 氣象災害風險普查信息收集系統中54823及周邊7個區填報數據

然后，將山東省1978―2020年所有雪災過程的致災強度指數升序排列，采用百分位數法[23]，分別取50%、80%和90%百分位所對應的值，將致災強度指數劃分為弱、較弱、較強、強四個等級，統計每一個國家級氣象觀測站各等級范圍內的致災強度指數的發生次數。各國家級氣象觀測站致災危險性指數由1～4級致災強度指數的發生次數的歸一化值加權綜合得到，按強度越強權重系數越大的原則，1～4級的權重系數分別取0.1、0.2、0.3和0.4。基于各國家級氣象觀測站致災危險性指數，在GIS中采用反距離權重法[24]插值得到了山東省雪災致災危險性評估結果(圖3a)。

對比氣象災害風險普查信息收集系統中山東省上報的雪災致災危險性評估結果(圖3b)，可以發現：位于濟南市歷城區附近兩者的等級差別較大。盡管插值算法、分類閾值不同可能會造成兩者結果在局部地區等級不一致，但是如果在同一區域的分級結果相差兩個及以上等級，一般認為是兩者使用的數據源不一致造成的。經過對山東省填報數據查詢發現，濟南市7個區上報數據都是使用54823這一個國家級氣象觀測站的數據上報，且上報數據內容一樣(圖4)，這可能是導致在54823這個站及周邊求出的致災危險性等級偏高的原因。針對54823數據重復上報造成評估等級過高的問題，采用刪除54823重復數據，然后在此基礎上重新計算致災危險性評估結果(圖5)，進一步分析可以發現兩者等級分布形態大體一致。

圖5 山東省雪災致災危險性評估結果(異常值處理后的結果)

4 討論和結論

4.1 討論

高質量的氣象災害致災調查數據是氣象災害風險評估、災害風險管理的基礎，也是筑牢氣象防災減災第一道防線的根本，同時還是科學決策依據的先決性條件。全國第一次氣象災害綜合風險普查重點是對1978—2020年精細到縣(區)級的10種氣象災害致災要素調查，由于涉及范圍廣、災害種類多，雖經過省、地(市)、縣(區)三級審核后再上報全國氣象災害風險普查軟件系統，但上報的數據質量仍存在一定程度上的不確定性。不確定性可能主要的來自于兩個方面：

(1)區級行政單元無氣象站點數據填報造成的不確定性，這主要與我國國家級氣象觀測站點的空間布局有關，我國大多數省份的地市級往往布設一個國家級氣象觀測站，大多數市轄區沒有國家級氣象觀測站點，而本次普查工作的分辨率至少為縣(區)級，這就導致沒有國家級氣象觀測站的市轄區的填報數據要么是缺測，要么是基于該市有國家級氣象觀測站點的市轄區的氣象數據進行填報。通過上文分析可知，數據重復填報在很大程度上會導致致災危險性評估的不確定性。

(2)異常值判定造成的不確定性，這與氣象要素隨時間的演變有關。像溫度類觀測要素，其隨時間是正態的、連續漸變的，而降水類的卻是偏態的、不連續突變的。如果溫度出現異常時，可以通過判斷該溫度與之前和之后時刻的溫度值差異程度來判斷該溫度是否為異常值，而降水量卻不能通過該方法來判定，特別是20世紀90年代以來，因全球變暖，極端性降水事件的發生愈加頻繁，降水異常值出現概率偏大，這些都在一定程度上增加了數據質控的難度和不確定性。

4.2 結論

文中以氣象災害風險普查數據為研究對象，將氣象觀測數據與氣象災害致災因子數據深度融合，通過質檢規則、管理約束、質量核查分析以及評估結果驗證，建立動態數據質控方法，使得數據上報完成率和數據質量審核通過率均達到100%，有力推動全國氣象災害致災危險性調查任務全面完成，為全國氣象災害風險評估業務應用提供很好支撐。通過本研究獲得以下主要結論：

(1)利用常識性規則和業務特定規則等建立數據質檢規則庫檢查數據值，并使用不同屬性間的約束、外部的數據來檢測和清理數據。

(2)通過用戶實名認證管理和人工核查機制既實現數據責任劃分和電子留痕，又減少數據胡填亂報，一定程度上保障了數據質量。

(3)運用統計分析等數據核查分析方法識別可能的可疑值或異常值，如偏差分析、識別不遵守分布或回歸方程的值，定期發布和反饋問題數據，實現問題數據逐一解決。

(4)利用上報且通過質量核查分析的災害調查數據，對其上報的致災危險性評估結果進一步驗證質控效果的準確性。