基于粒子群優化和隨機森林的最優含水率與最大干密度的預測模型

王 健

（四川高速公路建設開發集團有限公司，成都610041）

土體壓實是用人力或機械力迫使土顆粒互相壓密擠緊，增大土體密實度的過程。通過土體壓實，可將部分空氣從土體中排出，增大土體的密實度、抗剪強度，減少土體的壓縮性，提高其抗滲性并增加土工建筑物的均勻性[1－2]。因此，了解和預測不同類型土體的壓實參數對于土工結構的建造和維護至關重要[3]，本文重點研究土體壓實中的最優含水率與最大干密度參數。

傳統上，土體壓實中的最佳含水量和最大干密度是通過實驗室測試和分析方法來確定的[4－5]。但土體壓實試驗需通過多次人工測量，費時費力。為了更有效地確定土體壓實參數，研究者提出了幾種基于機器學習的模型。Ahangar－Asr等[6]提出了進化多項式回歸的方法，預測了55個土體樣品在標準壓實條件下的壓實參數。Ardakani和Kordnaeij[7]使用GMDH神經網絡的方法建立了一個更復雜的模型來預測212個樣品的壓實參數。

在已有的研究中，科研人員所測試的土體類型較少，且在預測模型中考慮到的影響壓實參數的特征變量不夠全面。因此，本文采用基于粒子群優化的隨機森林模型[8]對最優含水率wopt和最大干密度ρdmax進行了預測。首先，利用灰色關聯度算法計算最優含水率wopt和最大干密度ρdmax與特征變量之間的相關性，進行特征選擇，得到四組不同的隨機森林預測模型。然后，利用粒子群優化算法確定隨機森林模型的最優超參數，并得到模型的適應值。最后，對模型進行10折交叉驗證訓練，并在測試集上測試模型結果。結果表明，基于所有特征的預測模型優于基于正相關特征的預測模型，且最大干密度的預測效果略優于最優含水率的預測效果。

1 研究方法

1.1 隨機森林

隨機森林是一種由樹結構分類器的集合組成的集成算法[9]。該算法可用于分類與回歸問題，因此可以針對土體壓實中的最優含水率與最大干密度進行回歸預測。隨機森林算法的特點是使用裝袋算法和隨機特征選擇。在原始訓練集N中，經過可重復的再抽取法（Bootstrap）可以得到新的訓練集Nk。然后，基于每個新訓練集Nk構建決策樹作為一個子預測器。對于原始訓練集N中的每個x，y，僅匯總不包含x，y的訓練集Nk的子預測器的票數。因此，這些子預測器稱為袋外（OOB）預測器，不包含Nk的數據集稱為袋外（OOB）數據集，其約占原始訓練數據集的三分之一。OOB數據集主要用于評估在新抽取訓練集Nk上得到的子預測器性能。該算法中的超參數是樹的個數和每個節點上的隨機特征（表1）。此外，隨著樹的個數增加，隨機森林算法并不存在過擬合現象。該算法具有較強的抗噪聲能力，并能根據基尼系數的值評估輸入變量的重要性。圖1展示了構建隨機森林的過程。

（1）從原始訓練集中抽取n個自舉訓練集，并在每個自舉訓練集中隨機選取特征。其中，每個自舉訓練集約占原始訓練集的三分之二。

（2）根據每個自舉訓練集生成決策樹，并用OOB數據集來評估決策樹的性能。最終在訓練集中選擇最優特征。將所有決策樹的集合稱為一個隨機森林。

（3）將所有決策樹的平均結果作為新數據集的預測值，即回歸平均值。

隨機森林的最終輸出如下：

其中，yi(x)為每個決策樹對輸入x的預測結果；n為決策樹的個數。

表1 隨機森林超參數Table 1 The parameters of random forest

1.2 粒子群優化

粒子群優化（PSO）是一種迭代改善候選方案（在此稱為粒子）的優化算法[10]。 每個粒子都具有位置矢量、速度矢量和適應值，其中k是當前迭代次數，i表示第i個粒子。在搜索空間中，基于局部最優位置和速度，這些粒子向全局最優位置移動。另外，適應值越低，粒子位置越接近全局最優。當適應值達到最小值并保持恒定時，可以確定全局最優位置，即隨機森林的最優超參數。因此，在本文中，對最優含水率與最大干密度的預測得到的結果中，適應值越低，結果越好。更新每個粒子的速度和位置如下：

其中，c1和c2為加速系數；ω為慣性權重，通常將其設置為1；r1和r2為[0，1]間的隨機數；Pi為第i個粒子的當前最優位置；Pg為所有粒子中的全局最優位置。在本文中，c1和c2均取粒子群優化的經典值1.49。的上限和下限分別為1和－1。此外，粒子群優化需要設置ω，c1和c2三個參數。這些值主要影響算法的收斂速度，如果迭代次數較多，則也會略微影響最終的優化結果。因此，在保證能夠找到最優解的范圍內，設置最大迭代次數為100。

1.3 評價指標

本文使用均方根誤差（RMSE），平均絕對誤差（MAE）和平均絕對百分比誤差（MAPE）這三個常用指標來評估隨機森林算法的性能。RMSE和MAE可以直接反映預測誤差，但它們需要與輸入數據的規模相關。對于輸出值較小的模型，較低的RMSE和MAE值不能保證模型的出色性能。同時，對于輸出值較大的模型，較大的RMSE和MAE值也不能代表模型性能較差。RMSE具有與數據相同的標度，但其對異常值的敏感性高于MAE。而MAPE是與標度無關的指標，因此不受數據規模的影響。但是，當數據值接近零時，MAPE值是無窮大或不確定的。Hyndman和Koehler[11]給出了有關這些指標的全面比較。由于RMSE，MAE和MAPE的組合可以有效評估模型性能，因此本文采用這三個指標。

其中，r為測量的輸出值；p為預測的輸出值；n為數據集總數。這三個指標的值較低表示模型性能較好。

1.4 K折交叉驗證

機器學習模型的建立分為三個階段：模型訓練，模型驗證和模型測試。為了提高機器學習模型的魯棒性并避免過擬合，K折疊交叉驗證（交叉驗證）方法已被廣泛用于驗證模型[12]。在該方法中，原始訓練集被隨機分為k個子數據集。其中，k－1個子數據集用于訓練模型，而剩余的數據集用于對其進行驗證。因此，每個樣本都能被用于訓練和測試模型。通常采用k為10的交叉驗證。

在每次迭代中，隨機選擇9個子數據集對具有固定超參數的隨機森林模型進行10次訓練，剩余子數據集用于模型驗證。通過10個驗證集的平均預測誤差（粒子群優化的適應函數）來評估該模型。

其中，MAEi為第i個驗證集的預測誤差。

此外，使用10折交叉驗證還可以減少由數據集尺寸造成的對模型性能的影響。

1.5 灰色關聯度

灰色關聯度算法（GRG）已被廣泛用于評估變量之間的不確定關聯[13]。該方法考慮兩個時間序列變量的幾何相似性。 給定一個參考序列xr＝xr（xr（1），xr（2），...，xr（n））和一個比較序列xi＝xi（xi（1），xi（2），...，xi（n）），將第j個（j＝1，2，…，n）準則下兩個序列之間的灰色關聯系數定義為

其中，δ為[0，1]間的分辨系數，一般取0.5。序列xr和xi之間的灰色關聯度：

當灰色關聯度值較大時，表明序列xr和xi之間存在較強的相關性。

2 預測模型

2.1 模型框架

本文采用的預測模型分為三個階段：數據預處理，模型訓練和模型測試（圖2）。在數據預處理階段中，確定并收集最優含水率wopt和最大干密度ρdmax的主要影響因素，建立輸入和輸出參數的數據庫，并從中隨機選擇80%的數據作為訓練數據集，其余作測試數據集。

2.2 數據源

為了建立高精度的土體壓實參數預測模型，從文獻中收集了178個土體壓實試驗數據[14－20]。數據中，列出了包括含礫量（CG），砂含量（CS），細粉含量（CF），液限（LL），塑限（PL），壓實能量（E），最優含水率（wopt）和最大干密度（ρdmax）在內的土體特性。其中，礫石，沙土和細粒土的區別在于粒徑尺寸范圍分別為75 mm至4.75 mm，4.75 mm至0.075 mm和小于0.075 mm[21]。根據ASTM（2017）[21]的土體分類，數據中的土體主要包括低塑性黏土（CL），可塑性黏土（CH），粘質砂土（SC）。

2.3 數據集

圖2 模型框架Fig.2 Frame of the model

根據Wang和Yin[22]，本文選取的特征為含礫量（CG），砂含量（CS），細粉含量（CF），液限（LL），塑限（PL），壓實能量（E），和土體類型（Type）。并用這些特征分別對最優含水率（wopt）和最大干密度（ρdmax）進行預測。因此，可以將上一節得到的數據源分為兩個數據集分別預測最優含水率（wopt）和最大干密度（ρdmax）。此外，特征的選擇對于模型的性能至關重要。因此，可以使用灰色關聯度方法計算選定參數與最優含水率（wopt）和最大干密度（ρdmax）的相關性，并由此進行特征選擇（圖3）。

由圖3可得，最優含水率僅與細粉含量（CF），液限（LL），塑限（PL）呈正相關，與其余特征均為負相關；而最大干密度僅與含礫量（CG），砂含量（CS），土體類別Type呈正相關，與其余特征為負相關。因此，本文選擇與最優含水率（wopt）和最大干密度（ρdmax）正相關的特征進行模型訓練，并將其結果與不進行特征選擇的模型進行比較。最終，可以得到四組訓練模型，其中兩組基于與預測變量正相關的特征，另外兩組基于所有特征，來分別對最優含水率（wopt）和最大干密度（ρdmax）進行預測。

3 模型結果

3.1 粒子群優化超參數

圖3 灰色關聯度計算結果Fig.3 The calculation results of grey relational analysis

采用粒子群優化算法調整隨機森林模型中的兩個超參數。本文計算了4個預測模型中迭代次數100以內的適應值。驗證集的適應值有所差異，4個預測模型的最終收斂值也并不相同。基于三個正相關特征的最大干密度預測模型的最終適應值為0.1051；基于三個正相關特征的最優含水率預測模型的最終適應值為2.2542；基于所有特征的最大干密度預測模型的最終適應值為0.0628；基于所有特征的最優含水率預測模型的最終適應值為1.8150。對于最大干密度和最優含水率的預測，基于所有特征的預測模型適應值均更低。

這表明隨著輸入變量數量的增加，最優含水率和最大干密度的預測模型的性能越來越穩定。總體而言，基于三個正相關特征的預測模型的適應值更大，模型性能相對較差。

3.2 測試集的wopt與ρdmax預測

根據確定的超參數，可以建立4個隨機森林模型。利用這4個模型對訓練和測試集分別進行最優含水率（wopt）和最大干密度（ρdmax）的預測，結果如圖4所示。圖4（a）展示了基于所有特征的隨機森林模型的預測結果。除幾個點外，其訓練集的預測結果與實際測量結果完全一致。此外，在測試集上的預測效果較為理想，其預測值集中在P＝M線附近，即預測值與實際測量值較為接近。圖4（b）展示了基于三個與最大干密度正相關特征的模型預測結果。與圖4（a）相比，該模型在訓練集上的預測結果有明顯的誤差，與P＝M線相差較遠。而在測試集上的預測效果同樣較差，其預測值較為分散，預測值與實際測量值誤差較大。圖4（c）展示了基于所有特征的最優含水率的預測結果。在訓練集上的預測結果密集地排布在P＝M線兩側。此外，在測試集上的預測結果雖然不如在訓練集上的預測結果精確，但也較為集中地排列在P＝M線附近。圖4（d）展示了基于三個與最優含水率正相關的特征的模型預測結果。與圖4（c）相比，無論是在訓練集上還是在測試集上，其預測結果均更分散，預測結果較差。

4種隨機森林模型中計算得到的評價指標統計如表2所示。評價指標值與圖4中所示的模型性能基本一致，指標值越低，預測的最優含水率（wopt）和最大干密度（ρdmax）分布越接近P＝M線。由表2可知，除了最優含水率（wopt）訓練集上的RMSE指標外，對于其他指標，基于所有特征的預測模型均低于基于正相關特征的預測模型，與圖4得到的結果相一致。此外，對最大干密度的預測模型，其所有評價指標均低于最優含水率的預測模型。

4 結論

本文使用粒子群優化的隨機森林模型對最優含水率（wopt）和最大干密度（ρdmax）進行了預測。得到結果如下：

（1）由灰色關聯度算法可得，最優含水率僅與細粉含量（CF），液限（LL），塑限（PL）呈正相關，相關系數分別為0.56，0.39，和0.67，與其余特征均為負相關；而最大干密度僅與含礫量（CG），砂含量（CS），土體類別（Type）呈正相關，相關系數分別為0.34，0.48，0.06，與其余特征為負相關。

圖4 最優含水率與最大干密度預測模型Fig.4 The prediction models of optimal water content and maximum dry density

表2 4種隨機森林模型的評價指標值統計Table 2 The evaluation indexes of 4 random forest models

（2）基于粒子群參數優化的隨機森林算法得到的最優含水率與最大干密度預測結果較為準確。其中，基于所有特征的預測模型適應值均高于僅基于正相關特征的預測模型，隨著輸入變量數量的增加，最優含水率和最大干密度的預測模型的性能越來越穩定。

（3）在測試集上，基于所有特征的預測模型的評價指標RMSE、MAE、MAPE均低于基于三個正相關特征的預測模型，因此模型預測效果更好。此外，最大干密度的預測模型評價指標值低于最優含水率的預測模型，表明最大干密度的預測效果更好。