一種基于特征曲線的自動土壤水分觀測數(shù)據(jù)異常值檢測方法*

周笑天，陳益玲，李 蕓，李長軍，張 平，張茜茹

一種基于特征曲線的自動土壤水分觀測數(shù)據(jù)異常值檢測方法*

周笑天，陳益玲**，李 蕓，李長軍，張 平，張茜茹

(山東省氣象防災(zāi)減災(zāi)重點實驗室/山東省氣象信息中心，濟南 250031)

以土壤水分時間序列特征提取和形態(tài)匹配為基本操作，提出了一種基于特征曲線的自動土壤水分觀測數(shù)據(jù)異常值檢測新方法。首先確定檢測序列X和模板序列Y的長度和范圍，利用經(jīng)驗?zāi)B(tài)分解（EMD）方法對序列X和Y進行分解，分別獲得特征重構(gòu)序列C和序列Q，然后利用動態(tài)時間歸整（DTW）算法對重構(gòu)序列做匹配對齊操作，分別形成序列C和Q，通過序列C和Q計算獲得變異序列D，并將序列D中變異系數(shù)超過門限值threshold的異常元素或異常片段標記出來，最終實現(xiàn)檢測序列X中異常點的定位。運行實例表明：（1）檢測方法無需引入土壤物理常數(shù)和氣象條件等外在影響因素，避免了土壤水分計算過程中加入高低閾值、變化率閾值等相關(guān)參數(shù)。（2）方法使用同一站點相同深度的土壤水分連續(xù)數(shù)據(jù)，無需多站數(shù)據(jù)對比，且對于檢測序列X和模板序列Y沒有嚴格的長度一致性要求，因而計算更加靈活，適用性較強。（3）方法流程清晰，輸入和輸出對象簡單明確，較為適合進行計算機編程開發(fā)和業(yè)務(wù)化運行部署。

特征曲線；土壤水分；EMD；DTW；異常點

土壤水分是土壤的重要成分也是最活躍的要素之一，它制約著土壤中養(yǎng)分的溶解、轉(zhuǎn)移、吸收及土壤微生物的活動，對土壤生產(chǎn)力有著多方面的重大影響[1]。對土壤水分實現(xiàn)持續(xù)有效的監(jiān)測，對于指導(dǎo)農(nóng)業(yè)生產(chǎn)、保護生態(tài)環(huán)境以及研究氣候變化都具有十分重要的意義[2?4]。中國氣象局從2009年起，在全國范圍內(nèi)開展以FDR(Frequency Domain Reflectometry)頻域反射法為技術(shù)標準開展自動土壤水分觀測站網(wǎng)的建設(shè)工作，逐步取代傳統(tǒng)人工烘干稱重法獲得土壤水分監(jiān)測數(shù)據(jù)[5]。土壤水分觀測自動化的實現(xiàn)，一方面可以大幅提高土壤水分數(shù)據(jù)的時空觀測密度，為農(nóng)事活動和農(nóng)業(yè)氣象服務(wù)提供第一手實時監(jiān)測資料；另一方面，也可以極大減少人工勞動量，降低因人為操作而產(chǎn)生的隨機誤差。

與其他氣象觀測資料一樣，土壤水分觀測數(shù)據(jù)在投入使用之前，應(yīng)當(dāng)先經(jīng)過數(shù)據(jù)質(zhì)量的檢測，剔除和訂正異常（可疑）數(shù)據(jù)，保證數(shù)據(jù)的可靠性。目前，針對土壤水分觀測數(shù)據(jù)的質(zhì)量控制方法，國內(nèi)外學(xué)者已有相關(guān)的研究成果。Dorigo等根據(jù)土壤含水量的時間序列特征以及與氣象要素的關(guān)系，設(shè)計了一套應(yīng)用于全球土壤水分數(shù)據(jù)網(wǎng)的質(zhì)量控制方案，但是數(shù)據(jù)序列只包含了中國2000年之前部分人工測墑?wù)军c的觀測數(shù)據(jù)[6]。在國內(nèi)，王建榮等對安徽省自動土壤水分觀測實時數(shù)據(jù)實現(xiàn)了質(zhì)量控制[7]；王良宇等給出了判定土壤水分異常的高低閾值和變化幅度閾值[8]；張蕾等制定了土壤水分觀測歷史數(shù)據(jù)集質(zhì)量控制方法，對土壤水分奇異值進行分析和校正[9]；王佳強等對全國范圍內(nèi)土壤水分異常數(shù)據(jù)實行了分類[10]。以上的研究成果，充分結(jié)合土壤物理和水文特性等理論與經(jīng)驗，并參考地面氣象要素質(zhì)量控制中的空間一致性、時間一致性和內(nèi)部一致性等方法[11?16]，以單位時間內(nèi)數(shù)據(jù)變化率計算為主要研究目標，最終查找出異常數(shù)據(jù)。這種方法是目前普遍采用的異常數(shù)據(jù)檢測方法，但是，以上方法在實際應(yīng)用過程中，仍然存在以下問題。

第一，以固定土壤物理常數(shù)作為計算土壤水分含量上下限極值或者變化率極值的條件，在方法上仍然具有一定的局限性。土壤水分觀測站點在測定土壤水力特性時，大多假定土壤容重不隨土壤水分狀況發(fā)生變化。但實際上，土壤在干濕交替以及耕作等過程中會發(fā)生膨脹與收縮，從而使容重等物理指標發(fā)生顯著變化，即土體產(chǎn)生“壓實效應(yīng)”，進而改變了土壤的持水特征[17]。因此，土壤水分含量上下限極值或者變化率極值，隨著土壤容重等物理指標的變化，也應(yīng)是一個動態(tài)變化的過程。

第二，現(xiàn)階段仍然難以準確掌握影響土壤水分變化的主要外在因素。目前對于土壤水分變化主要外在影響因素的研究，主要集中在易于獲得實測數(shù)據(jù)的降水或地溫等氣象因素上，但是除氣象因素外，人工灌溉、植被種類、地勢條件、地下水位等非實測數(shù)據(jù)，也都是土壤水分變化的重要影響因子。影響因子的枚舉數(shù)量、排列組合方式或者權(quán)重賦值的不同，都會對土壤水分數(shù)據(jù)變化的合理性判別產(chǎn)生重大影響。中國幅員遼闊、生態(tài)與氣候區(qū)域差異顯著，采用多因素分析方法去闡釋土壤水分的變化特征，依然面臨很大的困難。

為此，不同于上述文獻中的技術(shù)路線，本研究以土壤水分曲線在干濕轉(zhuǎn)換過程中所呈現(xiàn)出的變化特征為研究目標，通過EMD特征提取、DTW匹配對齊和變異系數(shù)計算等步驟，最終實現(xiàn)觀測異常值的拾取。本研究提出的新方法無需引入土壤物理常數(shù)或氣象等外在因素，并且對于檢測序列和模板序列無嚴格的長度一致性要求，可方便和快速地實現(xiàn)小時級觀測密度的土壤水分數(shù)據(jù)檢測。

1 資料與方法

1.1 資料來源

全國氣象部門建設(shè)的基于FDR(Frequency Domain Reflectometry)頻域反射法的自動土壤水分傳感器是基于LC震蕩電路，通過探測電容變化來計算土壤介電常數(shù)，從而獲得土壤水分含量[5]。其中土壤體積含水量為一級探測數(shù)據(jù)，土壤重量含水率、土壤相對濕度和土壤有效水分儲存量為根據(jù)一級數(shù)據(jù)計算出來的二級數(shù)據(jù)。

本研究資料來源于山東省氣象局在省內(nèi)布設(shè)的231個插針式DZN1型設(shè)備逐小時土壤體積含水量(Soil Volumetric Moisture Content, SVMC)一級數(shù)據(jù)，土壤探測深度為0?10cm，數(shù)據(jù)獲取時間范圍在2020年6?8月，其中，6?7月強降水較為集中，8月全省受臺風(fēng)“巴威”影響也有明顯的降水過程。該時段全省土壤水分含量峰谷值出現(xiàn)較為頻繁，土壤水分干濕交替過程中曲線特征明顯，數(shù)據(jù)更具有代表性，便于選擇典型案例對新方法進行流程演示和運行結(jié)果分析。

1.2 土壤水分原始觀測時間序列的EMD分解與重構(gòu)

EMD(Empirical Mode Decomposition)經(jīng)驗?zāi)B(tài)分解算法來源于Huang等在1998年提出的一種全新的信號時頻分析方法，即希爾伯特?黃變換(Hilbert-Huang Transform，HHT)中的數(shù)據(jù)分解部分[18]。該算法將原始非平穩(wěn)信號逐級分解為若干個本征模態(tài)函數(shù)(Intrinsic Mode Function，IMF)分量和一個余量(Residual，Res)，分解過程為篩分(Sifting)，具體步驟包括

EMD分解算法具有以下特性：（1）分解自適應(yīng)，與目前最為流行的小波分解算法不同，EMD算法在分解前不需要主觀設(shè)定基函數(shù)和分解層數(shù)；算法分離出來的各個IMF分量大致是按照波形波動頻率由高到低依次排列；（2）分解過程具有完備性，全部IMF分量和Res相加，可以還原原波形；（3）Res是一個趨勢線，代表波動頻率極低的波，它可以被看作是一個“基底”，全部IMF都建筑在Res之上；IMF和Res波形具有實在的物理意義，保留有原數(shù)據(jù)量綱[19]。該算法已被廣泛應(yīng)用于信號去噪的研究[20]。

對土壤水分原始觀測時間序列曲線，可以截取有限的連續(xù)時間段，按照上述步驟進行EMD分解，在去除代表趨勢的余項Res后，將得到的IMF累加序列IMFs首尾各延展一個值為0的時序元素，使重構(gòu)曲線兩端端點收斂于0，重構(gòu)形成新序列，即

1.3 利用DTW算法實現(xiàn)特征曲線的匹配對齊

人體的個體差異造成了人聲的個性特征，土壤的物理和外在因素差異同樣也造成了土壤水分個性化變化特征。本研究借助DTW語音匹配算法思想進行土壤水分特征匹配操作。

DTW(Dynamic Time Warping)動態(tài)時間規(guī)整算法，是把時間規(guī)整和距離測度計算結(jié)合起來的一種非線性歸正計算方法，它的最大優(yōu)勢是能夠?qū)崿F(xiàn)不同長度序列的相似度匹配，是語音識別中較為經(jīng)典的算法[21]，已被廣泛用于孤立詞語音識別系統(tǒng)中[22?23]。

行走完畢后，原時間序列C被非線性縮放為C'，Q被非線性縮放為Q'，C'和Q'的長度相同，都為L。

圖1 DTW算法行走路徑示意圖（M=5，N=6）

1.4 變異系數(shù)計算與變異序列的獲得方法

2 結(jié)果與分析

2.1 基于特征曲線的自動土壤水分觀測數(shù)據(jù)異常值檢測方法

2.1.1 方法總體流程設(shè)計

2.1.2 門限值threshold的計算

即以序列和序列標準差之和平均值的3倍作為門限值。

2.2 山東典型站點自動土壤水分觀測序列異常值檢測

2.2.1 鄆城北站異常值檢測運行過程

為清晰展示方法流程中各步驟的執(zhí)行細節(jié)，結(jié)合業(yè)務(wù)實際，從山東省氣象局自動土壤水分采集數(shù)據(jù)庫中，選擇鄆城北站（站號：D8815）2020年6?8月0?10cm深度土壤體積含水量（SVMC）逐小時實況數(shù)據(jù)對方法進行全過程演示。其中，將該站已通過站點質(zhì)量核查和修正的6?7月逐小時數(shù)據(jù)作為模板序列Y，以尚未進行質(zhì)量檢查的8月逐小時數(shù)據(jù)為檢測序列X，Y長度約為X長度的2倍，以使序列Y的時間跨度中包含更多特征數(shù)據(jù)信息，用以查找序列X中的特征異常。繪制出的逐小時土壤體積含水量時間序列如圖3所示，序列統(tǒng)計信息如表1所示。

按照圖2的流程，輸入序列X和序列Y之后，需要將二者分別進行EMD分解和序列重構(gòu)，以形成序列C和序列Q。該過程如圖4所示，其中，圖4a為序列X的EMD分解結(jié)果，其IMF分量的階數(shù)為5階；圖4b為序列Y的EMD分解結(jié)果，其IMF分量的階數(shù)為8階，圖4c為利用式（2）將各階分量分別累加和延展后重構(gòu)形成序列C和序列Q。

圖3 山東省鄆城北站（站號：D8815）2020年6?8月0?10cm深度逐小時土壤體積含水量（SVMC）檢測序列X和模板序列Y

表1 D8815站土壤體積含水量（SVMC）時間序列的統(tǒng)計信息

圖4 D8815站檢測序列X與模板序列Y的EMD分解與序列重構(gòu)

圖5 D8815站序列C和序列Q的DTW行走路徑

圖6 D8815站序列C和序列Q經(jīng)過DTW行走后獲得序列C’和序列Q’

圖7 D8815站通過變異序列D’和門限值threshold獲得超限點

根據(jù)表2中的檢測序列X中異常點的日期，可以在圖3的基礎(chǔ)上將異常點標記出來，如圖8所示。

2.2.2 昌樂站和無棣站運行結(jié)果

使用本研究提出的方法和流程，對山東省昌樂站（站號：D2806）和無棣站（站號：D3805）2020年8月0?10cm深度土壤體積含水量進行了檢查，圖9展示了昌樂站被檢出的異常數(shù)據(jù)，圖10展示了無棣站被檢出的異常數(shù)據(jù)。限于文章篇幅，此處僅對異常結(jié)果進行展示，不再進行完整計算過程展示。

表2 D8815站異常點與超限點的位置映射信息

圖8 D8815站檢測序列X中的逐小時土壤體積含水量異常點

2.2.3 運行結(jié)果分析

結(jié)合表2和圖8可以看出，在經(jīng)過算法全流程計算后，D8815鄆城北站檢測序列X的觀測異常時段出現(xiàn)在2020?08?18 T 01:00?T 11:00連續(xù)時間范圍內(nèi)，從直觀角度上分析，該異常時間段呈現(xiàn)出了一個“V”字形的數(shù)據(jù)波動，而由于該“V”字形曲線特征在模板序列Y中找不到特征“記憶”，因而被算法認定為異常；另一方面，從圖8中還可以看出，在此異常時間段以外，檢測序列X中雖然也存在其他一些明顯“突升”、“突降”數(shù)據(jù)跳變點，但是這些跳變數(shù)據(jù)的曲線特征由于能夠在模板序列Y中找到特征“記憶”，因而未被算法認定為異常點。

圖9 山東省昌樂站（站號：D2806）2020年8月0?10cm深度逐小時土壤體積含水量異常點

同樣，通過對圖9和圖10的觀察分析可以發(fā)現(xiàn)，D2806昌樂站在8月下旬出現(xiàn)了幅值較大的高頻波動，D3805無棣站在8月上旬出現(xiàn)了倒“V”字形的尖角特征。由于這些特征也明顯區(qū)別于它們各自在6?7月模板序列Y中的特征“記憶”，因而也同樣被算法認定為特征異常。

圖10 山東省無棣站（站號：D3805）2020年8月0?10cm深度逐小時土壤體積含水量異常點

從以上三站的實況運行結(jié)果分析中可知，本研究提出基于特征曲線的異常值檢測方法，能夠有效檢測出時間序列中的異常片段或異常點，且方法在判定過程中，沒有對時間序列設(shè)置諸如“單位時間內(nèi)變率”或“極值上下限”等全局性的門檻條件，減小了數(shù)據(jù)誤判的概率，可合理保持土壤在干濕交替中所呈現(xiàn)出來的“個性化”變化特征。

3 結(jié)論與討論

3.1 結(jié)論

（1）針對土壤在干濕交替過程中水分變化曲線特征，采用了類似于“特征記憶”的獨特操作方式，通過將檢測序列與模板序列進行特征對比，找出檢測序列中曲線特征明顯異于模板序列的要素點或者要素片段，從而進行異常點標記。

（2）使用來源于同一站點同一層次的連續(xù)觀測數(shù)據(jù)，無需臨近站點數(shù)據(jù)的橫向?qū)Ρ龋覍τ跈z測序列X和模板序列Y無嚴格的長度一致性要求，操作靈活，適應(yīng)性強。

（3）無需將土壤物理或水文等參數(shù)加入計算流程，從而避免了高低極值、變化率等閾值的設(shè)定；也無需引入氣象因子等外在影響因素，避免了因影響因素枚舉數(shù)量或者側(cè)重點不同，造成評判指標的不一致。

（4）方法流程清晰，輸入和輸出對象簡單明確，較為適合進行計算機編程開發(fā)和業(yè)務(wù)化運行部署。

3.2 討論

（1）模板序列的選擇具有關(guān)鍵作用。本研究實例中以6?7月數(shù)據(jù)作為模板數(shù)據(jù)，以8月數(shù)據(jù)作為檢測數(shù)據(jù)，原因是考慮到6、7、8三個月為山東省傳統(tǒng)的雨季，強降水頻繁，土壤水分特征曲線明顯，極端值出現(xiàn)概率較高，適合進行算法演示。而在實際工作中，模板序列的選擇，可以考慮將觀測站點業(yè)務(wù)化入網(wǎng)之前，人工對比期間的時間序列作為模板序列的起點，并結(jié)合季節(jié)、耕作以及方法運算效率等具體情況，進行擇優(yōu)選擇；而有效的模板序列庫的建立也是一個從起點開始不斷滾動擴充的過程。

（3）對于同站不同深度層次的曲線特征相關(guān)性，本研究尚未涉及，這也是方法后續(xù)改進的另一個重要方向。

（4）因儀器安裝或者校訂等問題造成的數(shù)據(jù)誤差，不在本研究探討范圍之內(nèi)。

（5）農(nóng)業(yè)氣象中，土壤水分影響因子非常復(fù)雜，土壤“個性化”特征非常明顯，需要進一步深入業(yè)務(wù)一線，不斷總結(jié)和發(fā)現(xiàn)新的技術(shù)方法，該方法的思路也可以為其他影響因子復(fù)雜的農(nóng)業(yè)氣象觀測項目，如設(shè)施農(nóng)業(yè)或者農(nóng)田小氣候等的數(shù)據(jù)質(zhì)量控制提供一個良好的借鑒。

[1] 李佳帥,楊再強,李永秀,等.不同水分條件下葡萄臨界氮稀釋曲線模型的建立及氮素營養(yǎng)診斷[J].中國農(nóng)業(yè)氣象, 2019,40(8):523-533.

Li J S,Yang Z Q,Li Y X,et al.Establishment of a critical nitrogen dilution model for grapes and nitrogen nutrition diagnosis under different water conditions[J].Chinese Journal of Agrometeorology,2019,40(8):523-533.(in Chinese)

[2] 張媛鈴,郭曉磊,王娜,等.基于決策系統(tǒng)模擬不同降水年型旱作冬小麥的最佳播期[J].中國農(nóng)業(yè)氣象,2021,42(6): 475-485.

Zhang Y L,Guo X L,Wang N,et al.Analysis on the optimal sowing date of dry-land winter wheat under different precipitation pattern based on wheat decision system[J].Chinese Journal of Agrometeorology,2021,42(6): 475-485.(in Chinese)

[3] 代立芹,李春強,康西言,等.基于氣候和土壤水分綜合適宜度指數(shù)的冬小麥產(chǎn)量動態(tài)預(yù)報模型[J].中國農(nóng)業(yè)氣象, 2012,33(4):519-526.

Dai L Q,Li C Q,Kang X Y,et al.Dynamic forecast model of winter wheat yield based on climate and soil moisture suitability[J].Chinese Journal of Agrometeorology,2012, 33(4):519-526.(in Chinese)

[4] 王蔚丹,孫麗,裴志遠,等.典型旱年農(nóng)業(yè)干旱遙感監(jiān)測指標在東北地區(qū)生長季的表現(xiàn)[J].中國農(nóng)業(yè)氣象,2021,42(4): 307-317.

Wang W D,Sun L,Pei Z Y,et al.Performances of remote sensing monitoring indices of agricultural drought in growing season of typical dry year in Northeast China[J].Chinese Journal of Agrometeorology,2021,42(4): 307-317.(in Chinese)

[5] 黃飛龍,李昕娣,黃宏智,等.基于FDR的土壤水分探測系統(tǒng)與應(yīng)用[J].氣象,2012,38(6):764-768.

Huang F L,Li X D,Huang H Z,et al.Soil moisture detection system based on FDR and its application[J]. Meteorological Monthly,2012,38(6):764-768.(in Chinese)

[6] Dorigo W A,Xaver A,Vreugdenhil M,et al.Global automated quality control of in situ soil moisture data from the international soil mosture network[J].Vadose Zone J,2013.12(3). DOI:10.2136/vzj2012.0097.

[7] 王建榮,江雙武,董得寶.自動觀測土壤體積含水量實時資料自動質(zhì)量控制方法[J].計算技術(shù)與自動化,2013,32(4): 134-137.

Wang J R,Jiang S W,Dong D B.The method of automatic quality control for real-time data from automatic soil- moisture station[J].Computing Technology and Automation, 2013,32(4):134-137.(in Chinese)

[8] 王良宇,何延波.自動土壤水分觀測數(shù)據(jù)異常值閾值研究[J].氣象,2015,41(8):1017-1022.

Wang L Y,He Y B.Research on outlier threshold of automatic soil moisture observation data[J].Meteorological Monthly,2015,41(8):1017-1022.(in Chinese)

[9] 張蕾,呂厚荃,王良宇.土壤水分歷史觀測數(shù)據(jù)集奇異值分析與校正[J].氣象,2017,43(2):189-196.

Zhang L, Lv H Q,Wang L Y.Analysis and calibration of singular historical observed data of manual soil water[J]. Meteorological Monthly,2017,43(2):189-196.(in Chinese)

[10] 王佳強,趙煜飛,任芝花,等.中國自動土壤水分觀測資料質(zhì)量控制方法設(shè)計與效果檢驗[J].氣象,2018,44(2):244-257.

Wang J Q,Zhao Y F,Ren Z H,et al.Design and verification of quality control methods for automatic soil moisture observation data in China[J].Meteorological Monthly,2018, 44(2):244-257.(in Chinese)

[11] 劉小寧,鞠曉慧,范邵華.空間回歸檢驗方法在氣象資料質(zhì)量檢驗中的應(yīng)用[J].應(yīng)用氣象學(xué)報,2006,17(1): 37-43.

Liu X N,Ju X H,Fan S H.A research on the applicability of spatial regression test in meteorological datasets[J].J Appl Meteor Sci,2006,17(1):37-43.(in Chinese)

[12] 張強,涂滿紅,馬舒慶,等.自動雨量站降雨資料質(zhì)量評估方法研究[J].應(yīng)用氣象學(xué)報,2007,18(3):365-372.

Zhang Q,Tu M H,Ma S Q,et al.Quality assessment of the observational data of automatic precipitation stations in China[J].J Appl Meteor Sci,2007,18(3):365-372.(in Chinese)

[13] 王海軍,劉瑩.綜合一致性質(zhì)量控制方法及其在氣溫中的應(yīng)用[J].應(yīng)用氣象學(xué)報,2012,23(1):69-76.

Wang H J,Liu Y.Comprehensive consistency method of data quality controlling with its application to daily temperature[J]. J Appl Meteor Sci,2012,23(1):69-76.(in Chinese)

[14] 周笑天,褚希,姚志平.一種基于k-means聚類的實時氣溫動態(tài)質(zhì)量控制方法[J].氣象,2012,38(10):1295-1300.

Zhou X T,Chu X,Yao Z P.A dynamic method of quality control for real-time temperature measurements based on k-means cluster algorithm[J].Meteorological Monthly,2012, 38(10):1295-1300.(in Chinese)

[15] 任芝花,張志富,孫超,等.全國自動氣象站實時觀測資料三級質(zhì)量控制系統(tǒng)研制[J].氣象,2015,41(10):1268-1277.

Ren Z H,Zhang Z F,Sun C,et al.Development of three-step quality control system of real-time observation data from AWS in China[J].Meteorological Monthly,2015,41(10): 1268-1277.(in Chinese)

[16] 封秀燕,何志軍,王荷平,等.自動氣象站實時資料質(zhì)量控制開放式平臺設(shè)計[J].應(yīng)用氣象學(xué)報,2010,21(4):506-512.

Feng X Y,He Z J,Wang H P,et al.The design of an open platform for automatic weather stations on real time data quality control[J].J Appl Meteor Sci,2010,21(4):506-512.(in Chinese)

[17] 陳禎.土壤容重變化與土壤水分狀況和土壤水分檢測的關(guān)系研究[J].節(jié)水灌溉,2010(12):47-50.

Chen Z.Research on relationships between soil bulk density change and soil water regime as well as soil water monitoring[J].Water Saving Irrigation,2010(12):47-50.(in Chinese)

[18] Huang N E,Shen Z,Long S R,et at.The empirical mode decomposition and the hilbert spectrum for nonlinear and non-stationary times series analysis[J].Proceedings of the Royal Society of London,1998,454:903-995.

[19] 徐曉剛,徐冠雷,王孝通,等.經(jīng)驗?zāi)Ｊ椒纸?EMD)及其應(yīng)用[J].電子學(xué)報,2009,37(3):581-585.

Xu X G,Xu G L,Wang X T,et al.Empirical mode decomposition and its application[J].Acta Electronica Sinica,2009,37(3):581-585.(in Chinese)

[20] 王婷.EMD算法研究及其在信號去噪中的應(yīng)用[D].哈爾濱:哈爾濱工程大學(xué),2010:89-114.

Wang T.Research on EMD algorithm and its application in signal denoising[D].Harbin:Harbin Engineering University, 2010:89-114.(in Chinese)

[21] Tormene T,Giorgino S,Quaglini M.Stefanelli matching incomplete time series with dynamic time warping: an algorithm and an application to post-stroke rehabilitation[J]. Artificial Intelligence in Medicine,2008,45(1),11-34.DOI: 10.1016/j.artmed.2008.11.007.

[22] 周炳良.非特定人孤立詞語音識別算法研究[D].南京:南京郵電大學(xué),2018:32-54.

Zhou B L.Research on speech recognition algorithm of speaker-independent isolated words[D].Nanjing:Nanjing University of Posts and Telecommunications,2018:32- 54.(in Chinese)

[23] 吳曉平,崔光照,路康.基于DTW算法的語音識別系統(tǒng)實現(xiàn)[J].電子工程師,2004,30(7):17-19.

Wu X P,Cui G Z,Lu K.The realization of speech recognition system based on DTW algorithm[J].Electronic Engineer, 2004,30(7):17-19.(in Chinese)

[24] 李正欣,張鳳鳴,李克武,等.一種支持DTW距離的多元時間序列索引結(jié)構(gòu)[J].軟件學(xué)報,2014,25(3):560-575.

Li Z X,Zhang F M, Li K W,et al.Index structure for multivariate time series under DTW distance metric[J]. Journal of Software,2014,25(3):560-575.(in Chinese)

An Outliers Detection Method for Automatic Soil Moisture Observation Data Based on Characteristic Curve

ZHOU Xiao-tian, CHEN Yi-ling, LI Yun, LI Chang-jun, ZHANG Ping, ZHANG Qian-ru

(Key Laboratory for Meteorological Disaster Prevention and Mitigation of Shandong/Shandong Meteorological Information Centre, Jinan 250031, China)

A new outliers detection method for automatic soil moisture observation data based on characteristic curve is proposed. The main and basic idea of this method was feature extraction and the morphological matching between two soil moisture time series, and the detailed operation processes were as follows: firstly, the method took X as the expected checking time series and took Y as the corrected template time series, and also gave the range and elements of these two series. Secondly, the method decomposed series X and Y by empirical mode decomposition (EMD) method to obtain the recomposition series C and Q respectively. In this process, series C was the total accumulation of IMFs of series X and series Q was the total accumulation of IMFs of series Y. Thirdly, the method obtained series Cand Qby using dynamic time warping (DTW) algorithm which was designed to align series C and Q. Fourthly, the method obtained the variation series Dwhose elements were calculated by the variation coefficient between series Cand Q, and then, the method also traversed each element of series Dand marked the elements whose value was greater than threshold as overruns. The threshold was obtained by comprehensive calculating the standard deviation of series X and Y. Finally, the outliers in the checking series X could be found through the mapping relationships between series X and series D. The example showed that: (1) the method did not need to introduce external factors such as soil physical constants and meteorological conditions, and avoided adding relevant parameters such as high and low boundary and slope in the calculation process. (2) The method used the continuous soil moisture data of the same depth from the same station instead of multi-station data comparison, and had no strict length consistency requirements for series X and series Y, so the calculation was more flexible and applicable. (3) The routine of the method was clear, and all of the input processes and output processes in this method were specific. The method was suitable for computer programming and business operation. The technical route of this method might be provided for other agrometeorological data quality control research.

Characteristic curve; Soil moisture; EMD; DTW; Outliers

周笑天,陳益玲,李蕓,等.一種基于特征曲線的自動土壤水分觀測數(shù)據(jù)異常值檢測方法[J].中國農(nóng)業(yè)氣象,2022,43(3):229-239

10.3969/j.issn.1000-6362.2022.03.006

2021?05?24

山東省發(fā)展和改革委員會“山東現(xiàn)代農(nóng)業(yè)氣象服務(wù)保障工程”［魯發(fā)改農(nóng)經(jīng)（2017）97號］

陳益玲，高級工程師，研究方向為氣象數(shù)據(jù)質(zhì)量控制與氣象檔案管理，E-mail：lotushumor@126.com

周笑天，E-mail：xtzhou1981@163.com