基于布谷鳥優(yōu)化輕量梯度提升機的泥石流預(yù)測

李麗敏， 張 俊， 溫宗周， 張明岳， 魏雄偉

(西安工程大學(xué)電子信息學(xué)院， 西安 710600)

泥石流災(zāi)害的發(fā)生，常常導(dǎo)致大量人員傷亡和經(jīng)濟損失，對防災(zāi)減災(zāi)工作提出了嚴(yán)峻考驗。國家相關(guān)部門和相關(guān)單位高度重視這種突發(fā)性災(zāi)害的預(yù)防工作，并分別在空間上對泥石流危險區(qū)域進(jìn)行預(yù)測，在時間上對泥石流歷時進(jìn)行預(yù)警，以保障人民生命財產(chǎn)安全。

針對泥石流危險區(qū)域進(jìn)行預(yù)測是預(yù)測預(yù)警工作中重要的基礎(chǔ)環(huán)節(jié)。相關(guān)學(xué)者各有不同的方法和觀點，并且隨著研究的進(jìn)行，不斷有新的方法和理論，給研究帶來活力和新思路。田述軍等[1]對研究區(qū)降雨狀況進(jìn)行組合，采用Logistic回歸分析出不同降雨量對應(yīng)泥石流的發(fā)生情況和等級，但此種研究方法影響因子相對單一，只適用于降雨型泥石流災(zāi)害預(yù)測。余斌等[2]針對溝床啟動型泥石流，有序地分析出地形、地質(zhì)和降雨條件下的影響因子，建立泥石流預(yù)報模型，但對各個影響因子間存在的相關(guān)性并沒有進(jìn)行進(jìn)一步分析，可能導(dǎo)致因子信息相互疊加影響預(yù)報精度。周偉等[3]根據(jù)當(dāng)?shù)丨h(huán)境因素，采用Boruta算法篩選出數(shù)據(jù)中最有價值的兩個影響因子作為預(yù)測因子，根據(jù)Fisher判別法最大化類間差異最小化類內(nèi)差異從而取得不錯的分類效果，然而Fisher判別分析在預(yù)測過程中極易陷入局部極值，影響預(yù)測準(zhǔn)確度。丁桂伶等[4]運用多種自動化監(jiān)測設(shè)備組建自動監(jiān)測網(wǎng)絡(luò)，對研究區(qū)環(huán)境進(jìn)行實時監(jiān)測，并總結(jié)出多參數(shù)聯(lián)動的思想對泥石流災(zāi)害進(jìn)行綜合預(yù)測。劉永垚等[5]針對汶川地震重災(zāi)區(qū)建立隨機森林模型，分析出泥石流關(guān)鍵影響因子的貢獻(xiàn)率，并得出泥石流空間分布特征，研究結(jié)果表明了機器學(xué)習(xí)算法在地質(zhì)災(zāi)害領(lǐng)域的有效性和可行性。

同時，LightGBM作為一種高效、分布式?jīng)Q策樹算法框架，在預(yù)測方面不僅快速且具有較強的解釋性。徐磊等[6]針對韓城高速公路交通流量，提出經(jīng)奇異譜分解優(yōu)化的LightGBM交通流量數(shù)據(jù)預(yù)測模型，并獲得較為接近真實值的預(yù)測效果。高治鑫等[7]通過貝葉斯優(yōu)化算法對LightGBM參數(shù)進(jìn)行調(diào)優(yōu)，并將調(diào)優(yōu)后的模型應(yīng)用于大壩變形預(yù)測，取得較好的預(yù)測精度和泛化效果。張愛楓等[8]根據(jù)數(shù)據(jù)間的差異，通過卷積神經(jīng)網(wǎng)絡(luò)調(diào)整相應(yīng)參數(shù)，并采用LightGBM對數(shù)據(jù)進(jìn)行分類，從而獲得較好的預(yù)測精度和相率。

為進(jìn)一步提升泥石流預(yù)測精度，現(xiàn)根據(jù)研究區(qū)實際狀況，提取出降雨量、土壤含水率、巖性、崩滑比、植被覆蓋率以及沿溝松散物6種影響因子作為預(yù)測因子，避免因影響因子單一導(dǎo)致的預(yù)測準(zhǔn)確度低問題；采用核線性判別分析(kernel linear discriminant analysis,KLDA)降維算法，對影響因子進(jìn)行高維變換與分析，解決影響因子之間可能存在的相關(guān)性問題；之后，將經(jīng)布谷鳥算法(cuckoo search,CS)優(yōu)化算法優(yōu)化的輕量梯度提升機(light gradient boosting machine,LightGBM)運用于泥石流預(yù)測預(yù)報中。通過CS算法確定LightGBM模型中存在的超參數(shù)，權(quán)衡評估點分布，解決梯度提升樹算法易陷入局部最優(yōu)的問題，提高模型預(yù)測準(zhǔn)確性。最后通過與其他預(yù)測算法進(jìn)行驗證對比，體現(xiàn)出模型在泥石流預(yù)測中良好的預(yù)測能力。以期為泥石流災(zāi)害預(yù)測方面的研究提供新的思路。

1 KLDA降維方法

線性判別分析(linear discriminant analysis,LDA)作為一種經(jīng)典線性降維方法，通過非線性映射轉(zhuǎn)換，將低維空間的線性不可分?jǐn)?shù)據(jù)映射到高維空間，使原始數(shù)據(jù)在高維空間變成線性可分。但是在高維空間的樣本數(shù)據(jù)在進(jìn)行LDA降維時，雖然原始樣本已知，但是從低維空間到高維空間的映射未知，所以無法計算兩個樣本在高維空間的內(nèi)積。基于以上原因，相關(guān)學(xué)者引入核函數(shù)的思想將高維空間中樣本的內(nèi)積計算對應(yīng)成為低維空間樣本中的核函數(shù)計算。所以只需找到適合的核函數(shù)就能替代高維空間樣本向量內(nèi)積的計算[9]。而這種將核函數(shù)用于線性判別分析的方式即為KLDA。

(1)

(2)

(3)

為選擇合適的投影方向，使得投影后類間差異最小化，類內(nèi)差異最大化。即可得優(yōu)化目標(biāo)為

(4)

(5)

同理可得

(6)

因此J(W)求可變換為

(7)

之后，對J(a)求導(dǎo)，并使其導(dǎo)數(shù)為零。即

(aTUa)Va=(aTVa)Ua

(8)

因而，a=V-1(U2-U1)。

新的投影公式為

(9)

式(9)中：ai為a矩陣中的單個樣本。降維后的樣本及樣本集為

di=WTφ(xi)

(10)

D={(di,yi),i=1,2,…,N}

(11)

式中：xi為原始樣本集單個樣本；di為經(jīng)過降維后樣本集的單個樣本；D為降維后所有樣本集。

2 LightGBM模型

LightGBM 是一種基于GBDT算法的實現(xiàn)框架，通過構(gòu)造分布直方圖遍歷數(shù)據(jù)，從而不斷擬合模型殘差，把弱學(xué)習(xí)器訓(xùn)練成強學(xué)習(xí)器。同時，LightGBM根據(jù)具有深度限制的葉子生長策略進(jìn)行迭代，在保證預(yù)測高精度的同時，大大提高了模型預(yù)測效率。

假設(shè)經(jīng)處理后得到具有Q維特征的數(shù)據(jù)集為

D={(di,yi),i=1,2,…,N}

(12)

式(12)中：di為輸入特征向量{di1,di2,…,din}。

首先對模型進(jìn)行初始化。根據(jù)模型損失函數(shù)和正則化項得出模型目標(biāo)函數(shù)為

(13)

ft(di)]+Ω(ft)

(14)

式(14)中：ft(di)為模型迭代時形成的新樹。

根據(jù)泰勒公式對目標(biāo)函數(shù)的誤差項進(jìn)行泰勒二階展開：

(15)

(16)

(17)

根據(jù)不同排列結(jié)構(gòu)，選擇出目標(biāo)函數(shù)最小，即最優(yōu)的樹。之后，根據(jù)分裂增益公式求解。

(18)

根據(jù)計算出的信息增益Gain決定出最佳分裂點和最佳分裂特征。其中，GL、HL和GR、HR為左右節(jié)點的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)。最后，若增益為正，則分裂后可提高模型性能，若增益為負(fù)，則停止分裂。

經(jīng)過不斷地重復(fù)迭代，最終得到?jīng)Q策樹模型組合的LightGBM強學(xué)習(xí)器算法模型：

(19)

LightGBM訓(xùn)練框架具體如圖1所示。

圖1 LightGBM模型訓(xùn)練框架Fig.1 Training framework of LightGBM model

3 布谷鳥優(yōu)化算法

在應(yīng)用LightGBM模型解決泥石流預(yù)測問題時，需要確定最優(yōu)超參數(shù)[10]；因此，選擇布谷鳥算法解決算法建模過程中遇到的局部最優(yōu)問題，對參數(shù)進(jìn)行優(yōu)化，提高預(yù)測精度。布谷鳥算法作為一種仿生智能優(yōu)化算法，參數(shù)少、操作簡單并且易實現(xiàn)。其基本思想在于模仿自然界布谷鳥尋窩的習(xí)性，通過孵卵寄生的方式實現(xiàn)基因的延續(xù)，與傳統(tǒng)的遺傳算法相比,收斂速度更快,計算效率更高。

首先，將LightGBM中待優(yōu)化參數(shù)作為目標(biāo)函數(shù)f(x)。假設(shè)參數(shù)初始化群體為

Xi={x1,x2,…,xd}T,i=1,2,…,n

(20)

式(20)中：n為種群規(guī)模；d為維度。

布谷鳥尋優(yōu)搜索的位置和路徑公式：

(21)

L(s,λ)～s-λ, 1<λ≤3

(22)

式(22)中：s為由萊維飛行得到的隨機步長。

按照式(20)和式(21)的方式更新新一代鳥窩的位置：

(23)

將新一代鳥窩和上一代進(jìn)行對比，并保留適應(yīng)度較好的鳥窩作為當(dāng)代鳥窩：

(24)

采用隨機產(chǎn)生的服從[0,1]分布的數(shù)值R與外來蛋被發(fā)現(xiàn)的概率Pa進(jìn)行比較。若R>Pa，則改變gt的鳥窩位置，并得到新一組鳥窩位置。

4 仿真驗證與結(jié)果分析

4.1 研究區(qū)概況

鵝項溝坐落于陜西藍(lán)田東南，處于秦嶺北部邊緣地區(qū)，溝地全長約3.7 km，溝頂高達(dá)2 100 m，溝口高約1 240 m，地域呈漏斗形，四面環(huán)山。由于秦嶺北接渭河，連年受到洪流切割，同時在多次構(gòu)造運動之后，溝谷兩側(cè)山體坡度變得極陡峭，山體破碎區(qū)較多，大量危險掩體。伴隨而來的崩塌和滑坡時有發(fā)生，造成溝道中堆積大量山體破碎體，逐步發(fā)展成泥石流發(fā)生的物源之一。同時，鵝項溝四季冷暖分明，冷氣流遇山體阻隔形成暴雨，造成年平均降雨達(dá)720 mm，并且主要集中于7—9月天氣由暖轉(zhuǎn)冷時節(jié)，為泥石流災(zāi)害發(fā)生提供大量的水資源。在豐富的物源和降雨條件之下，泥石流災(zāi)害成為該地區(qū)的一大安全隱患[11]。

4.2 泥石流預(yù)測總體框架

選取降雨量、土壤含水率、巖性、崩滑比、植被覆蓋率、沿溝松散物6個泥石流誘發(fā)條件作為泥石流預(yù)測原始影響因子。通過對原始數(shù)據(jù)進(jìn)行“清洗”和降維處理，從而提高原始數(shù)據(jù)的預(yù)測質(zhì)量，使數(shù)據(jù)更加適用于此次預(yù)測[12]。最后將處理后的數(shù)據(jù)作為輸入，訓(xùn)練出經(jīng)CS優(yōu)化后的LightGBM模型，經(jīng)過測試得出模型評價結(jié)果。具體研究路線如圖2所示。

圖2 預(yù)測路線圖Fig.2 Roadmap of prediction

4.3 數(shù)據(jù)清洗

基于陜西省藍(lán)田縣國家重點地質(zhì)災(zāi)害監(jiān)測項目監(jiān)測站的歷史數(shù)據(jù)，結(jié)合專家經(jīng)驗以及當(dāng)?shù)丨h(huán)境因素，選取450組泥石流數(shù)據(jù)作為研究樣本。由傳感器直接檢測到的數(shù)據(jù)，因自然環(huán)境的不可控因素干擾，難以避免地會存在數(shù)據(jù)的缺失、不統(tǒng)一等現(xiàn)象，非常不利于預(yù)測模型的訓(xùn)練[13]。因此，首先對原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到標(biāo)準(zhǔn)且連續(xù)的干凈數(shù)據(jù)。通過缺失值填補、異常值剔除以及規(guī)范化等方式，對原始“臟數(shù)據(jù)”進(jìn)行處理，得到標(biāo)準(zhǔn)且規(guī)范的“干凈”數(shù)據(jù)。

(1)缺失值填補。若數(shù)據(jù)集中變量的缺失值超過80%，且特征重要性較低，則直接刪除整列；此外，若缺失值在35%～80%范圍內(nèi)，則根據(jù)數(shù)據(jù)分布特點為均勻分布或是傾斜分布，選擇均值或中數(shù)進(jìn)行填充；而對于缺失值較少的變量，則一律用眾數(shù)進(jìn)行填充[14]。

(2)異常值剔除。根據(jù)樣本集中不同標(biāo)簽下各列數(shù)據(jù)觀測值與其平均值的距離大小，判斷出遠(yuǎn)離其他對象的異常點。根據(jù)異常點的數(shù)量和影響程度，考慮是否采用中位數(shù)或平均數(shù)對其進(jìn)行替換。

(3)規(guī)范化。由于樣本集中特征之間存在數(shù)值差距較大的情況，在進(jìn)行數(shù)據(jù)分析時會影響分析結(jié)果。因此需要對數(shù)據(jù)進(jìn)行縮放操作，使其值落在一定范圍內(nèi)，便于分析處理。(本文模型屬于決策樹模型，因此可不用進(jìn)行規(guī)范化處理，規(guī)范化主要針對對比實驗?zāi)Ｐ汀?/p>

(4)針對“清洗”前后的數(shù)據(jù)，使用CS-LightGBM模型對其進(jìn)行仿真訓(xùn)練，即可得數(shù)據(jù)清洗前后結(jié)果對比如表1和圖3所示。

從表1和圖3可以看出，對于“清洗”前的數(shù)據(jù)，模型增量周期數(shù)達(dá)到1 400時，模型預(yù)測精度才趨于穩(wěn)定，并最終維持在79.89%。而對于“清洗”后數(shù)據(jù)，模型增量周期數(shù)達(dá)到500時，模型預(yù)測精度便穩(wěn)定維持在93.97%，相較于“清洗”前數(shù)據(jù)，預(yù)測精度能更快達(dá)到穩(wěn)定，使模型擁有更好的預(yù)測準(zhǔn)確率。

表1 數(shù)據(jù)清洗前后對比Table 1 Comparison before and after data cleaning

圖3 數(shù)據(jù)清洗前后結(jié)果對比Fig.3 Comparison of results before and after data cleaning

4.4 KLDA降維

由于樣本特征之間并非完全相互獨立，而是存在一定相關(guān)性，易影響模型預(yù)測精度。因此提出KLDA算法對數(shù)據(jù)進(jìn)行降維，避免直接分析導(dǎo)致實驗結(jié)果偏離預(yù)期。KLDA作為一種有監(jiān)督降維方法，在對特征空間進(jìn)行降維的過程中，會將清洗后的6維特征樣本集作為輸入，對應(yīng)樣本所產(chǎn)生的泥石流災(zāi)害結(jié)果作為輸入標(biāo)簽，通過訓(xùn)練得出樣本特征變量的個體辨識力，如圖4所示。

圖4 KLDA特征降維Fig.4 Dimension reduction of features by KLDA

圖4中，數(shù)據(jù)集由原來的6維經(jīng)KLDA處理后降成(y-1)維(y為樣本類別)。因?qū)嶒灅颖绢悇e為兩類，所以數(shù)據(jù)降維將樣本投影至一維空間，大大降低樣本復(fù)雜度。且降維后特征累計辨識力滿足選取精度標(biāo)準(zhǔn)，在避免特征值相互疊加的同時映射出各個特征信息，為模型建立提供合適的數(shù)據(jù)基礎(chǔ)。

4.5 參數(shù)選擇

LightGBM算法在泥石流預(yù)測時需要調(diào)優(yōu)的參數(shù)主要包括：學(xué)習(xí)率(learning rate)、葉子深度(max_depth)、葉子數(shù)量(num_leaves)、最小數(shù)據(jù)數(shù)(min_data_in_leaf)4個參數(shù)。選擇CS優(yōu)化算法對以上參數(shù)進(jìn)行優(yōu)化，并對比遺傳算法(genetic algorithm,GA)和人工蜂群算法(artificial bee colony,ABC)，在相同條件下對LightGBM模型參數(shù)進(jìn)行尋優(yōu)。3種優(yōu)化算法對比結(jié)果如表2所示。

表2 模型參數(shù)優(yōu)化對比圖Table 2 Model parameters are optimized for comparison

為便于觀察比較，針對三種尋優(yōu)算法建立尋優(yōu)仿真模型，得出3種尋優(yōu)算法適應(yīng)度值曲線隨迭代次數(shù)變化過程，如圖5所示。

圖5 尋優(yōu)算法適應(yīng)度曲線對比圖Fig.5 A comparison chart of the adaptability curve of the optimization algorithm

設(shè)置3種算法迭代次數(shù)均為50次，從圖5可知，CS算法相比較于GA算法和ABC算法，能夠取得更小的適應(yīng)度值。CS算法在優(yōu)化過程中，尋優(yōu)效率最高，是以上3種算法當(dāng)中的最佳選擇。

4.6 CS-LightGBM模型預(yù)測

將經(jīng)過數(shù)據(jù)“清洗”、并通過KLDA重構(gòu)后的數(shù)據(jù)按照7∶3的比例分為訓(xùn)練集和測試集，同時保證泥石流發(fā)生樣本和未發(fā)生樣本均勻分布排列[15]。實驗采用LightGBM作為泥石流災(zāi)害預(yù)測模型，并用CS優(yōu)化算法對模型中參數(shù)最優(yōu)值尋優(yōu)。同時，通過在相同條件下與隨機森林(random forest,RF)、支持向量機(support vector classifier,SVC)、以及LightGBM模型預(yù)測效果進(jìn)行對比。最后，通過驗證集驗證得出各個模型預(yù)測結(jié)果混淆矩陣如圖6所示。其各個色塊代表含義如表3所示，其中(1,1)為真陽性(true positive,TP)，(0,1)為假陰性(false negative,FN)，(1,0)為假陽性(false positive,FP)，(0,0)為真陰性(true negative,TN)。

1為標(biāo)簽為不發(fā)生泥石流樣本；0為標(biāo)簽為發(fā)生泥石流樣本圖6 不同模型結(jié)果的混淆矩陣對比圖Fig.6 Comparison of confusion matrix of the prediction results by different methods

表3 列聯(lián)表Table 3 Contingency table

此外，通過圖6和表3中計算公式即可得出各模型ROC(receiver operating characteristic curve)曲線對比，如圖7所示。實驗?zāi)Ｐ偷膬?yōu)劣取決于ROC曲線下方面積(area under curve，AUC)值的大小，曲線下方面積AUC值越大，說明模型預(yù)測效果越好。各模型具體AUC值如表4所示。

圖7 不同模型ROC曲線對比Fig.7 Comparison of ROC curves of different models

表4 4種模型AUC均值對比Table 4 Comparison of AUC mean for 4 models

從表4可以看出，本文提出的CS-LightGBM模型AUC均值為95.4%，相比較于SVC高出8.2%，比RF高出3.8%以及比LightGBM模型高出1.3%。實驗對比結(jié)果說明，本文CS-LightGBM預(yù)測方法相比較于SVM、RF以及LightGBM,具有更優(yōu)的預(yù)測精度和效果，結(jié)合LightGBM算法本身高效的預(yù)測效率，在泥石流預(yù)測中能夠取得更好的效果。

5 結(jié)論

采用KLDA算法和經(jīng)過CS算法參數(shù)優(yōu)化的LightGBM建立泥石流災(zāi)害預(yù)測模型。針對鵝項溝泥石流研究區(qū)，分析了泥石流成災(zāi)影響因子與災(zāi)害發(fā)生之間的關(guān)系。同時，根據(jù)與相同條件下的SVC模型、RF模型以及未經(jīng)CS參數(shù)優(yōu)化的LightGBM模型進(jìn)行比較。通過對比驗證，證明出選用的CS-LightGBM在泥石流預(yù)測方面的準(zhǔn)確性和穩(wěn)定性。具體研究過程如下。

(1)從泥石流形成所需條件出發(fā)，根據(jù)物源、水源以及地形的特點，監(jiān)測出不同成災(zāi)因子作為模型數(shù)據(jù)預(yù)測因子。在對監(jiān)測到的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗的基礎(chǔ)上，采用核線性判別分析對數(shù)據(jù)進(jìn)行降維處理，將原始6維數(shù)據(jù)降到1維，減小影響因子之間的相關(guān)性，降低模型復(fù)雜度，提高模型預(yù)測效率。

(2)將梯度提升樹在預(yù)測方面的高效精準(zhǔn)應(yīng)用于泥石流預(yù)測中。相較于傳統(tǒng)算法，LightGBM算法具有更高的預(yù)測準(zhǔn)確性以及泛化能力，在與另外兩種算法的比較中，展現(xiàn)出更好的效果。同時選用CS優(yōu)化算法對LightGBM中的參數(shù)尋優(yōu)，避免模型陷入局部極值，從而進(jìn)一步提高模型預(yù)測準(zhǔn)確性。

(3)最后將驗證樣本集輸入預(yù)測模型中，得出的ROC曲線和對應(yīng)點額AUC均值體現(xiàn)出高的準(zhǔn)確性和可行性。實驗證明該模型的泥石流預(yù)測工作是可行有效的，為相關(guān)部門在地質(zhì)災(zāi)害預(yù)防方面提供了新的思路和方法。

(4)主要針對泥石流在空間分布方面進(jìn)行預(yù)測，而對于災(zāi)害發(fā)生時間的預(yù)測還需進(jìn)一步開展。同時泥石流災(zāi)害形成過程復(fù)雜多樣，且受地形因素影響巨大，本文提出的模型在實際問題中還需進(jìn)一步改進(jìn)與完善，以便更好地應(yīng)用于泥石流預(yù)防工程中。