基于深度閾值卷積模型的土石料級配智能檢測方法研究

雷雨萌，陳祖煜，，于 沭，溫彥鋒，王玉杰，李炎隆

（1.西安理工大學省部共建西北旱區生態水利國家重點實驗室，陜西西安 710048；2.中國水利水電科學研究院巖土工程研究所，北京 100048）

1 研究背景

土石料的級配性狀直接影響到土石壩的力學特性與抗滲性能［1］。在壩體施工質量控制過程中，級配檢測具有重要意義［2］。傳統級配檢測主要采用篩分法［3］，通過人工采樣與篩分機篩分，計算得到級配數據，該過程較為耗時，難以滿足機械化施工過程中快速、高效的需求。隨著計算機科學的發展，圖像識別作為一種新的檢測手段，逐漸在眾多領域中廣泛應用，為土石料的級配檢測方法研究提供了新的方向。

通過圖像識別技術實現土石料級配檢測，關鍵在于獲取圖像中顆粒的形狀信息，并轉換為級配數據。在目標物體形狀提取與級配分析方面，國內外學者進行了大量研究。覃茜等［4］、王宇等［5］通過斷層掃描技術，在CT圖像的基礎上實現了混凝土內部孔隙大小、形狀的檢測。涂新斌等［6］通過圖像提取了土體顆粒的輪廓，并對不規則的顆粒形狀進行了參數化描述。徐文杰等［7］基于數字圖像技術分離了土石混合體中的塊體，并通過塊體輪廓建立了細觀結構模型。Ding 等［8］通過二維切片圖像重建了瀝青混凝土的三維模型，論證了骨料在二維截面中的級配分布與三維狀態下的真實級配分布之間的相似關系。Leonardo 等［9］基于閾值化與分水嶺算法，實現了基于圖像的瀝青混凝土級配檢測。Shilin 等［10］通過圖像識別分析了筑壩材料的級配分布，并結合遺傳算法與BP（Back Propagation）神經網絡，建立了識別結果與真實級配分布之間的隱式關系，評估了圖像識別的準確性。呂超等［11］通過掃描電鏡獲取砂土顆粒圖像，在閾值化算法的基礎上實現了毫米級以下的級配識別。于沭等［12］基于閾值化與邊緣檢測算法，建立了土石料級配快速檢測系統，實現了工業級的級配快速檢測。前述學者在圖像識別方法上，均采用了基于閾值化的傳統方法，該方法識別速度快但精度不足。隨著人工智能的發展，圖像識別技術取得了新的進展。Jonathan 等［13］提出全卷積神經網絡（Fully Convolu?tional Networks，FCN），通過反卷積的方式使神經網絡的數據分類能力從一維提升到二維，為深度學習在圖像識別方向上的應用提供了思路。何凱明等［14］通過殘差學習設計了深度殘差網絡（Deep Resid?ual Network，ResNet），極大提高了神經網絡深度，并在此基礎上提出Mask-RCNN（Mask Region Con?volutional Neural Network）圖像識別模型［15］，為不同種類物體的識別與形狀分析提供了基礎。在級配檢測及相關領域，基于深度學習的圖像識別方法尚未有成熟應用，但同樣為級配檢測提供了新的理論依據與技術支持。

5 mm以下的顆粒含量對于土石料級配合理性具有重要意義，我國規范對土石壩中5mm以下顆粒含量作出了20%～50%之間的不同規定［16-18］。5 mm以下的顆粒反映在土石料圖像中呈現出細小、黏連、形狀不規則、堆疊現象嚴重的特征。對于此類圖像，傳統圖像識別主要采用閾值化［19］、邊緣檢測［20］和分水嶺［21］等方法，深度學習圖像識別主要采用全卷積神經網絡［13］、視覺幾何群網絡［22］、深度殘差網絡［14］、生成對抗網絡［23］等語義分割方法。在采用不同方法試驗后發現：針對土石料圖像，傳統識別方法精度較差，尤其是對5 mm以下顆粒識別困難。深度學習方法的識別精度主要依靠模型設計與標記的樣本數量，土石料圖像中存在大量的土石料顆粒，樣本標記過程費時費力，且模型結構復雜運行耗時，對計算機硬件要求高，方法限制較多。

針對傳統圖像識別方法精度差，深度學習方法效率低的缺陷，本文結合在傳統圖像識別方法中廣泛使用的基于最大類間方差閾值化的邊緣檢測算法［19］與基于深度學習的卷積神經網絡模型，建立了一種土石料圖像快速識別與級配智能分析模型，深度閾值卷積模型（Deep Otsu Convolutional Neural Network，DO-CNN）。經試驗驗證，模型能夠顯著提高級配檢測的精度，且計算效率較高。

2 深度閾值卷積模型基本原理

2.1 邊緣檢測與最大類間方差法深度閾值卷積模型基于最大類間方差法（Otsu法）進行土石料圖像的顆粒邊緣檢測。圖像中的邊緣是指圖像局部灰度劇烈變化的區域，在處理過程中，可將圖像抽象為二維函數f（x，y），其中x與y代表各點在圖像中所處位置，幅值f即為各對應點的像素值，也稱灰度值，取值范圍為0～255，對彩色圖像，處理時需首先轉化為灰度圖像。如圖1所示，灰度變化主要表現為階躍型、屋頂型兩種不同的類型，尋找圖像中具有階躍型與屋頂型變化的點集即為圖像的邊緣檢測［24］。

圖1 不同類型的灰度漸變圖與灰度變化過程

由圖1 可知，圖像灰度變化的劇烈程度可通過各方向上的梯度體現，對圖像f（x，y）則其梯度?f可以表示為：

式中gx、gy分別代表x與y方向上的梯度。此時圖像梯度的大小M（x，y）及方向a（x，y）可以表示為：

分析各點梯度的大小及方向，提取梯度值突變的各點，即可得到圖像中的邊緣特征信息。在圖像進行邊緣檢測的過程中，常需對灰度圖像進行閾值化處理，以加強區域的邊緣特征，減小噪聲信息的影響，以牛頓的畫像為例，其基本過程如圖2所示（圖2（a）來源：https：//baike.baidu.com/item/%E8%89%B E%E8%90%A8%E5%85%8B%C2%B7%E7%89%9B%E9%A1%BF）。

圖2 圖像邊緣檢測基本過程

本文采用最大類間方差閾值化算法作為圖像邊緣檢測的基礎。最大類間方差法是一種以目標類與背景類之間灰度值方差最大化為標準的閾值化分割算法［25］。對土石料圖像，目標類即為土石料顆粒所處區域，背景類即為顆粒邊緣及陰影部位所處區域。假定圖像f（x，y）的最大灰度值為L，其中灰度值為i的像素點個數為n，總像素點個數為N，則像素點灰度值為i的概率pi為：

取某一閾值k，將土石料圖像分為兩類，其中像素灰度值大于k的稱為前景目標區域，小于k的稱為背景邊緣區域。此時兩類區域出現的概率可以表示為：

式中：w1為背景區域出現的概率；w2為目標區域出現的概率。此時背景區域與目標區域內的平均灰度為：

式中：u1為背景區域平均灰度；u2為目標區域平均灰度；uT為土石料圖像整體平均灰度。兩類區域的類間方差可以表示為：

以遍歷的方式對閾值k進行迭代，以類間方差σ2取得最大值時對應k值為最佳閾值，將背景區域灰度值以0（黑色）取代，將目標區域灰度值以255（白色）取代，即完成了土石料顆粒的基本分割過程，結合最大類間方差法與邊緣檢測算法，即可實現土石料顆粒的輪廓特征提取。

2.2 卷積神經網絡由于土石料顆粒尺寸較小，在搬運過程中會產生翻滾、掩蓋等現象，故經圖像識別獲取的級配有一定誤差。但對同一開采條件下同一級配土石料，不同顆粒分布狀態下的圖像通過識別所得級配理論上應保持一致，故可以通過人工智能算法總結圖像識別結果的誤差分布規律，實現誤差修正。級配數據的誤差分布規律與其所處的粒徑范圍有一定關系，故深度閾值卷積模型采用可提取數據局部特征的卷積神經網絡（CNN）作為誤差修正的模型。

圖3 卷積過程示意

卷積神經網絡是一種具有卷積結構的深度神經網絡，基本結構包括輸入層、卷積層（convolution?al layer）、池化層（pooling layer）、全連接層（fully connected layer）及輸出層［26-27］。如圖3所示，在卷積層中，卷積核在上一層輸出的特征圖上滑動，與卷積核對應區域內各元素乘積求和，經偏置糾正與激活函數激活，即得到一次輸出，通過對卷積核大小的調整，即可獲得數據的局部特征信息［28-29］，其計算過程如下式所示：

池化層通過降低特征面的分辨率來獲得區域內數據的不變特性［30］。本文中采用最大池化（Max?pool），即在池化層中保留池化核范圍內最大值的方式進行池化。卷積層與池化層交替設置構成神經網絡的多層中間隱含層，實現對區域數據特征的高維概括，而后在全連接層中，利用與上層輸出的特征圖同等大小的卷積核與上層所有輸出進行卷積，從而實現對整個特征圖的概括，以作為輸出。

3 深度閾值卷積模型構建

3.1 模型框架深度閾值卷積模型通過閾值化算法對土石料圖像進行快速分割，基于邊緣檢測算法提取圖像中顆粒的輪廓信息，統計分析顆粒輪廓信息，即得到初始級配數據。以初始級配作為卷積神經網絡的輸入并進行模型訓練，對初始級配誤差進行修正，得到準確的級配數據，即實現了基于圖像的土石料級配快速檢測。模型的運行邏輯框架如圖4所示。

圖4 深度閾值卷積模型邏輯框架

3.2 圖像數據采集與識別不同巖性的土石料之間有明顯的色澤、形狀差異，其圖像識別的結果也具有差別。本文采用工程中廣泛使用，色彩較為灰暗，對圖像識別難度較高的灰巖石料作為土石料典型樣本，以驗證模型的識別效果。

結合實際工程環境與模型建立的需求，對土石料試樣進行一定比例縮小［31-32］，以60 mm作為最大控制粒徑，1 mm作為最小控制粒徑，為簡化數據處理過程，取1 mm以下顆粒含量占總體的0%，60 mm以下顆粒含量占總體的100%。采用篩分機進行標準篩分試驗，獲得土石料圖像及其對應的真實級配，考慮施工現場環境，采用ACA1920-50GC 型工業相機作為圖像采集工具，同時為減小光照條件影響，設置輔助照明系統以確保圖像亮度與清晰度［12］。

DO-CNN模型基于開源圖像處理函數庫OpenCV，采用閾值化與邊緣檢測算法對土石料圖像進行識別，過程如圖5所示，主要包括：（1）采用最大類間方差法確定最佳閾值，劃分顆粒區域；（2）確定腐蝕與膨脹結構單元，對閾值化圖像進行腐蝕與膨脹的形態學處理，確定土石料邊緣；（3）對土石料圖像進行Canny邊緣檢測；（4）提取并分析土石料顆粒輪廓信息。

在圖像處理過程中，為保證模型識別的準確性，首先對圖像進行預處理，使得圖像具有統一規格，減小圖像因光照、角度等噪聲信息影響。然后采用最大類間方差法進行閾值化處理，如圖5（b）所示，此時土石料顆粒間存在大量的黏連現象，代表目標顆粒的白色區域之間相互貫通，無法對顆粒范圍進行準確劃分。為解決顆粒之間的黏連，采用圖像腐蝕，即縮小土石料所處區域，再通過圖像膨脹，即擴張各區域邊緣，以恢復顆粒形狀的方式，實現顆粒區域劃分。最后采用Canny邊緣檢測算法進行輪廓檢測，即可獲得顆粒的形狀信息。對不規則的多邊形土石料輪廓，常采用橢圓擬合，以其短軸長度作為顆粒可通過篩分孔徑的最小直徑［33-35］，以此劃分各顆粒所屬粒徑范圍。針對同一料場獲取的土石料，其母巖巖性能夠基本保持相似，故假設樣本密度均勻且一致，分析不同粒徑范圍內顆粒的多邊形面積信息及其占比，即可得到初始級配數據。

圖5 DO-CNN模型中的圖像識別過程

圖6 同一級配下翻整后形成的土石料圖像及級配識別結果

由圖5可知，由于圖像識別算法的限制，在圖像形態學處理過程中，代表邊緣及陰影區域的黑色部分增加，部分顆粒信息丟失，識別結果與原始圖像存在一定的差異。故初始級配雖能體現級配分布的基本規律，但仍存在部分誤差。為降低信息丟失對識別結果的影響，模型設置多次不同強度的腐蝕與膨脹，對各強度下的顆粒輪廓進行求交分析，保留交集為空的顆粒輪廓，從而在消除黏連現象的同時補充因形態學處理丟失的信息，減小圖像處理導致的誤差。同時，土石料在運輸過程中不可避免的產生翻滾、遮蓋現象，導致同一級配的土石料顆粒分布狀態有所差異，相應圖像經識別所得級配結果也不相同。如圖6（a）與圖6（b）為同一級配條件下，經翻整處理形成的土石料圖像，對應圖像識別所得級配如圖6（c）所示，顯然顆粒分布狀態的差異也將導致級配檢測的誤差。為解決圖像識別算法及顆粒分布狀態導致的誤差，采用卷積神經網絡對識別所得級配進行訓練修正。

3.3 卷積神經網絡訓練經試驗驗證，20次翻整處理后的土石料能夠基本代表同一級配條件下，土石料的不同分布狀態［12］，故對同一組土石料，本文采用經20 次翻整形成的圖像作為一組識別樣本。在試驗中，對土石料取1、5、10、20、30、40、45、50、55和60 mm，共10種控制粒徑，對應10種粒徑范圍的級配數據。通過基于閾值化的邊緣檢測算法獲得各圖像對應初始級配，排列同組樣本的初始級配，形成規模為20×10 的數據矩陣，作為模型訓練樣本。以篩分試驗獲取的真實級配形成1×10的數據矩陣，作為訓練樣本的學習目標。通過卷積神經網絡，對各組訓練樣本與學習目標進行對比分析，實現對初始級配的修正。需要說明的是，在測試與實際使用階段，已訓練完成的模型可直接對一張未經翻整的土石料圖像進行檢測，并對檢測結果進行修正，得到準確的級配數據。

在訓練過程中，因樣本數據規格較小，經多層卷積后形成的特征矩陣會快速縮小，導致邊緣數據特征丟失。故DO-CNN 模型在卷積過程中，對各中間隱含層特征矩陣邊緣以0 進行填充（Pad?ding），防止特征矩陣縮小過快。對卷積神經網絡的輸出結果采用均方差損失函數（Mean Square Error Loss，MSELoss）進行誤差分析，其計算如下式（12）所示：

式中：E為均方差損失；e為全連接層輸出的預測結果；y為真實值；n為所有輸出結果的總數量。

通過誤差反向傳播與權重調整，即獲得訓練完成的DO-CNN 模型。深度閾值卷積模型中的卷積神經網絡結構如圖7所示。

圖7 DO-CNN模型中的卷積神經網絡結構

3.4 模型評價采用平均絕對百分比誤差（Mean Absolute Percentage Error，MAPE）及決定系數（Rsquared，R2）作為深度閾值卷積模型的評價指標，其計算如式（13）、式（14）所示。平均絕對百分比誤差代表了誤差相對于真實值的大小，值越小誤差越小。決定系數R2取值范圍0～1，代表了結果的可靠程度，值越大結果越可靠。模型評價指標計算時，因程序對于1 mm及60 mm以下顆粒含量采用了預設定的方式，故不參與模型評價計算。

式中：n為樣本數量；yi為第i個樣本真實值；為第i個預測值；為樣本的平均值。

4 深度閾值卷積模型檢驗與分析

4.1 試驗設計為驗證深度閾值卷積模型的準確性，采用篩分試驗獲取土石料真實級配并采集圖像。本文共進行18組不同級配條件下的標準篩分試驗，每組土石料翻整20次，獲得18×20張不同的土石料圖像。以其中16組圖像作為模型訓練樣本，其余2組用于模型驗證。經篩分試驗獲得的18組篩分級配如圖8所示。

圖8 18組標準篩分法所得級配曲線

4.2 模型參數選擇DO-CNN模型在訓練過程中的主要參數包括：epoch，代表模型訓練過程中樣本數據遍歷次數，其取值大小與樣本的多樣性有關；iteration，代表一次遍歷過程中的迭代次數，主要影響到模型訓練效率；batch-size，代表每次遍歷過程中投入的樣本個數，主要影響到模型對樣本的概化能力與模型的優化程度，其取值一般為2n；file-number，代表參與訓練的樣本總組數，即樣本數量的大小；learning-rate，代表神經網絡學習率，主要影響到模型的精度與訓練效率，對訓練完成的模型，learning-rate 不再產生影響，在訓練過程中取值為0.0005。神經網絡參數依靠模型預測結果的準確率進行選擇，其最優參數并非為某一固定組合，對DO-CNN模型，主要為對參數epoch與batchsize 的選擇，故對epoch 設置了小、一般、大、極大4 種不同的級別，即5、10、20、40 作為備選參數，batch-size取4、8、16作為備選參數。為驗證神經網絡中各參數對模型影響的一般規律，采用控制變量原則設置對照方案9組，并對比各方案對同一樣本的檢測結果，具體參數設置及級配檢測結果評價如表1所示。

表1 9種方案下的試驗參數設置及級配檢測結果評價

對比9種方案下的模型檢測結果可知：當訓練樣本數量較少時，即file-number取值為8時，方案7誤差明顯偏大；當epoch 與batch-size 取值較適合時，參數iteration對模型結果影響較小，兩者同時偏大時，模型對于樣本數據分布特征的提取能力下降，方案8誤差增大；方案9在方案8的基礎上繼續增大epoch，雖然結果誤差較小，但訓練所需時間成倍增長；其他各組誤差均處在較小的范圍內，符合神經網絡參數選擇的一般規律。方案4檢測結果誤差最小，考慮到計算效率與準確度，以方案4對應模型參數進行深度閾值卷積模型訓練與檢測。

4.3 模型檢測結果通過對16組共320張圖像的識別與訓練，DO-CNN模型能夠總結圖像識別結果的誤差特征及同一級配條件下，不同顆粒分布狀態的土石料級配分布規律。為驗證模型的檢測效果，以標準篩分試驗所得級配真實值為評判依據，采用訓練過的DO-CNN 模型對2組未參與訓練的土石料圖像進行級配檢測。同時，因目前尚未有較成熟的方法可實現土石料圖像的準確識別，故僅以基于最大類間方差法的邊緣檢測模型對同一驗證樣本進行檢測，以作為DO-CNN模型的對照，其結果如表2所示。DO-CNN模型圖像識別結果如圖9所示。

表2 DO-CNN模型與閾值化模型級配檢測結果

圖9 DO-CNN模型圖像識別結果

4.4 結果對比與分析由4.3節可知，分別采用深度閾值卷積模型與基于閾值化的邊緣檢測模型對2組土石料圖像進行檢測，所得級配曲線如圖10所示。兩種模型級配檢測結果的平均絕對百分比誤差（MAPE）與決定系數（R2）如表3所示。

分析邊緣檢測模型與DO-CNN 模型級配檢測結果，與標準篩分法所得真實級配相比，邊緣檢測模型誤差明顯偏大，其結果的平均絕對百分比誤差最大值為19.46%，且邊緣檢測模型對10 mm 及5mm以下顆粒含量的檢測結果較為接近，無法作為5 mm以下顆粒含量的判斷依據。深度閾值卷積模型在圖像識別過程中產生了部分顆粒信息丟失的現象，其識別結果較原始圖像產生了一定的誤差，但通過神經網絡的訓練修正，級配檢測結果的誤差明顯減小，與真實值較為接近，平均絕對百分比誤差最大值為2.45%。對5 mm以下顆粒含量，模型最大識別誤差為1.1%，同樣具有較高的準確率。

表3 DO-CNN模型與閾值化模型檢測結果評價

圖10 DO-CNN模型與閾值化模型級配檢測結果

5 結論與討論

本文結合基于最大類間方差的邊緣檢測算法與卷積神經網絡，建立了土石料級配智能檢測的深度閾值卷積模型（DO-CNN），并通過標準篩分試驗獲取土石料圖像及級配數據用于模型訓練與驗證，以平均絕對百分比誤差（MAPE）及決定系數（R2）評價了模型檢測效果。研究證明，DO-CNN模型基于最大類間方差法進行圖像快速分割與邊緣檢測，結合卷積神經網絡保證級配檢測的準確性與穩定性，實現了基于圖像的土石料級配快速檢測。成果表明，采用圖像識別技術可近似確定筑壩砂、礫和堆石料的級配，能滿足施工現場質量控制過程中快速、高效的需求。作為圖像識別方法在確定筑壩材料顆粒級配中應用的基礎性研究，本文取得了與級配真實值相近的研究成果，但仍屬于初步研究階段，后續還需進一步完善技術細節以投入生產實踐。對模型總結及后續研究方向討論如下：（1）深度閾值卷積模型（DO-CNN）能夠實現基于土石料圖像的級配快速檢測，且檢測結果準確率較高，對于5 mm 以下土石料顆粒，模型檢測效果同樣較好；（2）DO-CNN 模型基于深度學習模型建立，其準確率受樣本數量與質量的影響，在工程應用過程中需對現場進行一定量的土石料圖像采樣，以進行模型初期訓練，而后隨著檢測的進行，樣本數量不斷增加，模型檢測精度也將不斷提高；（3）本文在研究過程中采用1～60 mm粒徑范圍內大小較為均勻的土石料顆粒，未考慮在實際工程可能出現的極小顆粒與極大顆粒混合的粒徑不均勻情況，有待結合工程現場情況進行研究與改進；（4）含水量對土石料形態有重要影響，不同含水狀態下土石料呈現的圖像各不相同，同時拍攝角度與光照等因素也會導致圖像差異，不同的土石料圖像對圖像識別算法提出了更高要求。未來將從含水量、圖像采集環境、改進圖像識別算法等方向進一步研究，以增強模型的實用性與適用性。