結合深度學習和NCFS算法的堆石料粒度分布智能檢測方法

王仁超，連嘉欣，邸 闊，2

（1.天津大學水利工程仿真與安全國家重點試驗室，天津 300350；2.天津大學前沿技術研究院，天津 301700）

1 研究背景

堆石壩填筑料物通常指山體爆破所得巖塊經過二次破碎得到的巖石碎塊集合體［1］，其粒度（顆粒的大小）不僅影響鏟裝效率［2］，還影響著壩體的壓實質量［3］。受到巖體自身結構、裂隙發育程度、炸藥參數信息等因素影響［4］，料物爆破后的粒度大小難以精確控制，需要進行篩分試驗驗證。現階段施工過程中，往往根據典型料場的代表性部位以及填筑部位要求，進行一定量的現場篩分試驗。堆石壩料物篩分試驗大多采用人工或機械篩分，這種傳統的篩分方法需要投入一定的人力、物力、場地等，同時需要花費較長的時間，難以適應工程全過程、精細化控制需求。因此，尋求一種快捷、高效的堆石料粒度檢測方法是堆石壩壩料開采質量控制迫切需要解決的問題之一。

以往學者針對堆石料粒度檢測的研究大多以分析料堆圖像的方式展開，實現步驟包括：（1）對料堆圖像中塊石的形態進行分割；（2）根據提取出的塊石形狀計算粒度大小；（3）繪制粒度分布曲線。文獻［5］提出了一種改進的分水嶺變換方法對礦石料堆圖像進行分割，并采用MATLAB軟件計算粒度分布情況，繪制粒度分布曲線。然而，作者在結論中指出，受制于分水嶺算法的噪聲敏感性，研究內容僅能簡單進行塊石顆粒的實時處理，缺乏實用性。文獻［6］通過雙重形態重建的方法對鐵礦料堆顆粒圖像進行分割，并采用圓掃描方法對多個數量重疊的顆粒進行進一步的分割提取，該方法對于圖像分割的準確度可以達到94.3%。然而論文所使用的數據集樣本為人工挑選的40張圖像（20張塊石稀疏的圖像、20塊石密集的圖像），而非自然狀態下的料物分布圖像，繪制出的粒度分布曲線結果存在一定主觀干預。Sereshki等［7］等提出了自動確定巖石顆粒邊界的算法，與手動劃定巖石邊界的傳統軟件包算法相比省去了手動調參的繁瑣環節，得到的粒度分布曲線也更加精確。Gao［8］等基于改進的歸一化算法對礦石料堆圖像進行形態分割，提高了原方法的準確度，但是卻沒有解決算法自身復雜度高，歸一化最小值求解困難的問題。

目前堆石料粒度檢測研究領域中，大多采用上述傳統形態學算法模型進行圖像分割，雖然這些算法在一定程度下能取得較好的結果，但由于圖像信息的復雜性，使得這些算法仍表現出計算復雜、噪聲敏感、模型泛化程度低等缺陷［9-11］。近年來，深度學習在計算機視覺領域的發展十分迅速，卷積神經網絡（Convolutional Neural Network，CNN）在圖像識別［12］、圖像分類［13］領域均取得了不錯的成績，Long 等［14］提出了全卷積網絡（Fully Convolutional Networks，FCN）更是實現了圖像的像素級分割。Chen等［15-17］所提出的deeplab系列網絡延續全卷積網絡的架構，并加入空洞卷積結構擴大濾波器感受野。其中Deeplabv3+是該系列網絡模型的最新版本，它在編碼器結構的基礎上上加入解碼模塊，并采用空洞空間金字塔模塊（Atrous Spatial Pyramid Pooling，ASPP）來解決圖像尺度不同的問題。在沒有經過任何后續處理的情況下，Deeplabv3+模型在PASCAL VOC 2012數據集和Cityscapes數據集上的平均交并比（MIoU）分別達到89%和82.1%。

但是，考慮到堆石料圖像僅能反應塊石的平面特征參數，對于評價塊石的三維粒度存在一定誤差，一些學者嘗試建立塊石的平面特征與三維體量特征之間的聯系。Fernlund等［18］從圖像中分析重建料堆塊石的質量和體積，以研究其對粒度分布曲線的影響。A1-thyabat等［19-20］通過對等面積圓直徑和平均Feret直徑兩個參數的測量，來估計顆粒的篩級粒度分布。這種方法對顆粒平面幾何特征轉化為三維特征提供了一定的思路，但沒有說明其它特征參數對粒度的關聯程度。Zhang等［21］通過對9組平面參數進行研究后得出結論，選擇等效橢圓短軸與最佳擬合矩陣寬度可以最大程度表征樣本的三維粒度，精確度分別達到86.43%和85.39%。文獻［22-23］采用三維激光掃描系統對礦石堆石料進行形狀特征提取，進而采用自動分析軟件計算粒度分布曲線，但研究中發現尺寸估計時設備易受環境因素干擾，掃描分辨率影響較大。

針對傳統圖像分割方法諸如邊緣檢測［24］、分水嶺算法［25］等易產生過分割、欠分割問題，本文首先通過拍攝獲取料堆圖像，制作出堆石料圖像數據集，并構建基于遷移學習的Deeplabv3+模型和DenseCRF 算法結合的方法，實現堆石料特征的自主學習，提高圖像分割的精度。然后基于NCFS算法［26］對30組塊石二維形態特征參數進行關聯性計算，找出與塊石三維粒度相關性最高的二維特征參數，并表征出塊石的三維粒度公式，從而解決以往相關領域研究中缺乏建立二維特征參數與三維粒度之間關聯性的問題［25］。最后采用MATLAB 軟件計算各圖像塊石的三維粒度，繪制粒度分布曲線，并通過工程實例驗證了本方法的準確性和實用性。

2 研究方法

2.1 方法概述堆石壩爆破料堆在圖像中的形態大體為單獨的塊狀物體，巖石個體之間形狀、體積等物理特征差異性較大，邊界處大多呈現完整輪廓狀，并形成縫隙，表現出一定的二維分布特征。基于圖像的粒度分布兩個關鍵問題分別為：（1）圖像二維特征的獲取；（2）二維特征參數表征塊石三維粒度。本文方法可分為4 個階段：（1）數據集制作階段：針對施工現場不同場次料堆進行數據采集，獲取數據集圖像。對圖像進行標注、裁剪及增廣等預處理，獲得圖像與標簽樣本，并將其分成訓練集、驗證集和測試集；（2）特征提取階段：將訓練集原圖與標簽輸入基于遷移學習的Deeplabv3+模型訓練，獲得訓練權重；（3）特征優化階段：將Deeplabv3+模型分割出的特征圖作為初步提取結果，與DenseCRF算法結合進行進一步優化，得到最終的特征圖；（4）粒度檢測階段：基于NCFS算法進行塊石特征計算，形成平面特征參數對塊石三維粒度轉換，從而構造出塊石三維粒度分布公式，并基于MATLAB語言設計開發數字圖像粒度檢測系統。整體流程如圖1所示。

圖1 研究方法整體流程

2.2 基于遷移學習的Deeplabv3+模型傳統的機器學習方法中，為了確保訓練得到的權重具有較高的準確率和可靠性，通常具有2個最基本的特點：（1）模型所使用的訓練集、驗證集和測試集需滿足基于同分布的假設。（2）數據集的數量足夠多，可以保證訓練過程模型對數據特點的充分學習［27］。實際上，受制于數據集采集與制作過程中的困難，訓練可用的真實數據集數量往往較為有限，并且樣本之間也不一定會完全滿足獨立同分布的要求［28］。所以，僅僅依靠已有的數據集進行訓練，可能無法確保模型的泛化能力達到較高的水準。

遷移學習作為深度學習的一種方法，可以把源任務模型的訓練結果作為初始權重，重新應用于新任務模型的開發過程中［29］。即把源領域的知識遷移到新領域中，提高模型在新領域中的學習效果，如圖2所示。經過源模型遷移學習，目標模型損失函數的收斂速度變得更快，其魯棒性和擬合能力得到提升。

圖2 遷移學習過程

堆石壩料堆中塊石形態不規則，排布復雜密集，傳統分水嶺算法、邊緣檢測算法等極易受到噪聲干擾產生過分割現象，影響分割精度［30-31］。近年來，深度學習神經網絡的興起使得圖像分割領域有了顯著的發展。Deeplabv3+作為一種像素級圖像分割模型，可以有效針對料堆中塊石進行精準識別，結構如圖3所示。編碼器部分首先由一系列卷積層對輸入圖像信號進行標準卷積，然后將特征圖流入ASPP 模塊。此模塊以并聯的形式分別對特征圖采用標準1×1 卷積，空洞率大小為6、12、18的空洞卷積，經過平均池化操作，將提取到的新特征圖進行級聯，最后對級聯特征圖進行1×1的標準卷積后輸入解碼器結構。解碼器結構將級聯特征圖上采樣4倍，然后與標準卷積的特征圖進行再次進行級聯后，上采樣4倍恢復成輸入圖像尺寸后輸出特征圖。

圖3 Deeplabv3+網絡結構圖

2.3 DenseCRF 算法條件隨機場（conditional random field，CRF）作為概率無向圖的一種特定類型，通過將使用者定義的能量函數最小化來實現模型檢測結果的后驗分布估計［32］。傳統的CRF算法由定義在獨立像素上的一元勢函數和定義在其相鄰像素點的成對勢函數組成，而DenseCRF算法中的二元勢函數則是將圖像中每一個像素點與整幅圖像的其他像素點均聯系在了一起，使用該算法在圖像中針對像素的全局關系建立點對勢，可以極大地實現優化處理。

本文將Deeplabv3+模型對堆石料圖像提取出的特征圖作為初始圖像特征提取結果，以此構建算法的一元勢函數。鑒于Deeplabv3+模型在特征圖提取過程中不能充分考慮全局上下文之間的信息，易造成對空間正則化（spatial regularization，SR）的步驟的忽視，缺乏空間一致性［32］，故將圖像中的獨立像素點與其他所有像素點構成全連接模型，可進一步提升堆石料特征提取效果。DenseCRF算法的Gibbs分布定義如下［33-34］：

式中：X為獨立像素點的標簽，對應的標簽值X∈L，L為標簽類別l1 和l2 的集合，以L={l1，l2}表示，l1 為背景類別，l2 為檢測類別；Z（I）為歸一化函數；E( )

x|I為能量函數。為實現后驗估計分布，將能量函數進行重新定義，如下：

2.4 NCFS算法NCFS算法屬于最近鄰學習算法的嵌入式特征選擇方法之一，通過評估使用者定義的特征子集找出關聯性最高的特征參數，從而完成對數據集的選擇。算法原理請參考文獻［26］。本文選取了20組不同的正則化參數λ進行迭代計算，發現當λ=0.1771時損失函數取得最小值。以此為最優初始參數，得到30 組巖石圖像形態特征指標權重。結果顯示等效圓直徑EACD、等效橢圓短軸EMI、最小Feret 徑MIF和最大內接圓半徑MIDR為影響最多的4個重要特征（見圖4）。通過求解多元線性回歸方程的方式，得出4個特征指標與塊石粒度ys的關系為：

圖4 NCFS算法結果及平面參數特征展示

為驗證式（5）的準確性，本文采用7 個篩級的篩網于實驗室開展篩分試驗以獲取塊石的真實粒度，如圖5（a）所示，篩網尺寸分別為10、16、20、25、31.5、40 與50 mm，從每個篩級的篩分結果中選擇50組塊石，共計350組作為試驗樣本。圖5（b）與表1結果顯示，平均準確率達到88%，由此可見：本文方法得到的塊石粒度表征公式相比文獻［21］具有更好的適用性。

表1 塊石粒度計算公式準確率驗證

圖5 樣本及結果展示

3 試驗數據集采集與制作

3.1 數據集來源本次研究所使用的圖像數據集拍攝于江蘇省句容市抽水蓄能電站建設工程，該工程水電站為一等大（I）型工程，其主要建筑物按1 級建筑物設計。主、副壩均采用混凝土面板堆石壩，最高月填筑強度和月開挖強度分別達到78.16萬m3（壓實方）、72.42萬m3（自然方）。料場位于上水庫庫岸，基巖類型以白云巖為主，包括燧石巖、灰質巖、細晶巖、硅質條帶巖等，形態種類豐富，具有一定代表性。

3.2 數據集制作本次研究對上水庫庫岸A、B、C三個開挖區爆破試驗場次進行跟進，共計對9場爆破場次的料堆進行拍攝和現場篩分。排除大雨天氣致使土料泥化，以及運料車輛誤對料物進行加水處理等意外情況，選取其中5場典型工況作為試驗場次進行研究。拍攝過程中，為盡量反映出塊石的真實形態，對爆破料堆劃定區域，在區域內采取“拍攝料堆-篩分-再次拍攝料堆-再篩分”的方式對料堆進行逐層式的深度挖掘，每一場次篩分試驗的篩分工作量為4 t左右。此外為反映出料物的真實粒度分布，對料堆多個位置進行采樣拍攝，減小采樣誤差。本次研究所拍攝的數據集分辨率較高，特征較為明顯。使用麻省理工學院開發的圖像標注工具Labelme對樣本集進行標簽制作，由于現場拍攝過程中得到的圖像數量有限，為防止訓練過程出現欠擬合情況，對數據集進行水平鏡像、90°翻轉和不同幅度的尺度變換等操作進行增廣處理，最終獲得訓練集875 張，測試集105 張，驗證集125張。原始數據集像素大小為4928pix×3264pix，為防止訓練時間過長，間接給計算機設備GPU等硬件造成負擔，基于雙線性插值原理將其裁剪為512pix×512pix 像素的圖像。樣本集圖像和標簽一一對應，如圖6所示。

圖6 數據集原圖-標簽對應圖

4 試驗及結果分析

4.1 平臺及參數設置本文遷移學習城市景觀（Xception65_cityscapes）數據集作為本次堆石料圖像分割任務的初始化權重，采用“ploy”策略進行訓練，參數設置見表2。試驗基于Ubuntu16.04LTS操作系統，計算機配置為Intel i7 CPU，16GB運行內存并配置NVIDIA GTX 1060Ti的顯卡。算法平臺為Ana?conda3的python3.6版本的編程語言和tensorflow1.15版本的深度學習框架。訓練過程中總損失函數、激勵層對數損失函數、正則化損失函數分別如圖7—9所示，其橫軸為訓練的迭代次數，縱軸為損失函數值。可以看出，總損失函數經過10萬次迭代后損失值出現反彈波動，波動幅度和頻率再次下降至0.382并趨于平穩。對數損失函數值在8 萬次迭代后已出現收斂趨勢，最低值約為0.153。正則化函數經過15萬次迭代后出現收斂趨勢已接近平穩，損失函數值約為0.25。

表2 Deeplabv3+網絡訓練輸入參數

圖7 總損失函數圖

圖8 對數損失函數圖

圖9 正則化損失函數圖

4.2 試驗結果分析

4.2.1 圖像特征提取結果分析 為驗證本文方法的優勢，需要測試圖像分割結果的精度。對測試集樣本定量選取6張切片圖像進行分割結果展示并在使用相同數據集的基礎上將本文方法的試驗結果分別與FCN-8S網絡模型、U-net 網絡模型以及Deeplabv3+網絡模型三種方法結果進行對比分析，圖像分割結果如圖10所示。評價指標方面，本文參考文獻［35］，采用深度學習中較為常見的平均交并比（MIoU），平均精度（precision），召回率（recall）和F值（F-measure）作為評價指標。其中，MIoU值可以作為評價圖像分割精度的重要評價指標，F值是召回率和平均精度的加權調和平均，能進行綜合評價。

圖10中切片1和切片2選取的是第一場試驗的測試集圖像，試驗當天為晴天，光線較強，圖像中部分巖石呈現反光效果。切片3和切片6選取的是第二場試驗的測試圖像，試驗當天為陰天，光線較弱，巖石顆粒受光線影響較小。切片4選取的是第三場試驗測試集圖像，篩分料物為上水庫開挖B區315-300平臺非典型工況。由于B區非典型工況玢巖料占比較大，爆破后料堆分布情況較為復雜，細小顆粒較多。切片5選取的是第四場試驗的測試圖像，試驗前施工現場有降雨情況，部分巖石表面呈現潮濕的狀態。從圖像特征提取結果可以看出，本文提出的方法相比U-net和FCN-8S兩種網絡模型可更加有效的提取出了巖石完整形態，且由于結合了DenseCRF方法，解決了Deeplabv3+模型上采樣過程中特征圖信息丟失問題，并有效恢復了圖中標尺的輪廓。

圖10 圖像分割效果對比

表3 為6 張測試集圖像的分割結果精度評價表。可以看出，FCN-8S 模型、U-net 模型和Deep?labv3+模型在平均精度、召回率、F值和平均交并比四種精度的平均表現相比本文方法均有較大差距。此外，與僅采用Deeplabv3+模型的分割結果相比，將基于遷移學習的Deeplabv3+網絡模型與DenseCRF模型結合，6張圖像在總體精度、召回率、F值和平均交并比幾項指標上的平均表現分別提高了4.22%、4.72%、0.05、0.17%。計算結果表明，本文方法在4項精度指標上表現最佳，平均精度達到82.22%，平均召回率達到89%，平均F值達到0.86，平均交并比的平均值達到75.82%。

表3 測試結果精度評價

本文對所使用的5 場篩分試驗數據集，共計105 張測試圖像進行整體精度評價，結果如表4所示。結果顯示，本文方法的MIoU 值達到77.98%，對比其它三種方法分別提高了4.67%、3.1%、3.41%，證明本方法的性能要優于FCN-8S、Unet、Deeplabv3+三種方法，可以更加有效的提取巖石的圖像粒度特征信息。

表4 測試集整體精度對比

4.2.2 粒度檢測結果分析 基于NCFS 算法得出堆石料圖像平面特征參數與三維粒度之間的轉換關系，利用MATLAB R2019a軟件集成的圖像處理工具箱、信號處理工具箱、統計學習工具箱以及GUI設計功能等模塊，開發了堆石料粒度分布檢測系統，系統運行主界面如圖11所示。針對5 場試驗，為檢驗本文方法的工程適用性，將本文方法得到的粒度檢測值與實際篩分得到的實測值數據對比，如表5所示，根據表5 數據繪制出粒度級配曲線如圖12所示。表6 展示了篩級和各粒度區間的誤差值，以便進行直觀分析。

圖11 粒度檢測系統主界面

圖12 5場篩分試驗粒度級配曲線圖

根據表5、表6 中的誤差分析數據得出，5 場試驗中粒度區間的最大誤差值分別為：5.96%、5.33%、4.80%、1.48%、5.24%，平均誤差值分別為1.99%、1.82%、2.31%、0.85%和2.11%。查閱文獻［36-38］并參考句容抽水蓄能電站場內設計施工方案，本文方法得到的各粒度區間最大誤差百分比均小于10%，符合工程需求，具有一定的實用性。

表5 5場篩分試驗實測-檢測結果對比

根據表5、表6中的誤差分析數據得出，5場試驗中各篩級的最大誤差值分別為：4.95%（100 mm篩級）、3.27%（200 mm篩級）、5.93%（40 mm篩級）、3.66%（400 mm篩級）、3.36%（500 mm篩級），平均誤差值分別為1.78%、1.05%、1.99%、1.62%和1.69%，查閱文獻［36-38］并參考句容抽水蓄能電站場內設計施工方案，本文方法得到的級配曲線篩級誤差百分比不超過15%，滿足工程的要求。

表6 粒度檢測誤差評價指標

此外，通過5場篩分試驗實測粒度級配曲線與本文方法檢測粒度級配曲線得到各場次中值塊度實測值與檢測值（見圖13）及實測塊度與檢測塊度相對誤差（見圖14）。根據圖14可知，各場次相對誤差分別為：2.55%、3.71%、4.96%、5.50%、0，其中最大相對誤差5.50%，最小相對誤差0，平均誤差3.34%。對比文獻［3］、文獻［39］，本文得到的中值塊度更加貼近真實結果，且最大相對誤差不超過15%［39］，符合工程實際要求。

圖13 實測塊度與檢測塊度中值粒度對比圖

圖14 實測塊度與檢測塊度相對誤差圖

綜上所述，本文算法模型精度高于其它檢測模型，得出的粒度分布曲線具有較高的參考價值。

5 結論與展望

針對現有爆破堆石料粒度檢測方法存在耗費時間及人力、模型檢測精度較低等不足，本研究提出了基于深度學習和NCFS算法相結合的堆石壩爆破料物粒度檢測模型，實現了快捷、高效的堆石料粒度檢測，得出以下結論：（1）在基于遷移學習的Deeplabv3+模型基礎上，采用DenseCRF 算法對堆石料圖像進行平面特征優化，結果顯示測試集整體MIoU值達到77.98%，對比FCN-8S、U-net、Dee?plabv3+三種方法分別提高4.67%、3.1%和3.41%，體現本文方法的準確性。（2）在堆石料粒度檢測階段，將本文方法的檢測結果與實際工程中的料物篩分試驗結果對比，結果顯示5場篩分試驗的粒度區間最大誤差值分別為5.96%、5.33%、4.80%、1.48%和5.24%，篩級最大誤差值分別為4.95%、3.27%、5.93%、3.66%和3.36%，均符合工程實際需求。此外，5場篩分試驗中中值塊度檢測結果顯示最大相對誤差為5.5%，相比其它文獻的方法更加貼近真實結果。（3）基于MATLAB 語言編制了粒度檢測系統，為本文方法投入工程實際應用提供了可能。

根據本文試驗和國內外研究，對20 mm以下較細顆粒檢測，目前圖像分析方法還不能給出較為滿意的結果，今后有必要在充分考慮料堆細顆粒分布特點基礎上，探索結合光電、超聲等手段的料堆細顆粒檢測方法。另外，結合目前智能化施工要求，研究爆破設計參數、施工爆破巖體結構屬性等對爆破塊度的影響，構建更為智能化的堆石壩爆破料物粒度預測-檢測和控制一體化系統，也是值得進一步深入研究的問題。