基于深度邊緣特征的軌道扣件狀態檢測方法

鄭丹陽 李立明 孫睿 柴曉冬 鄭樹彬 羅文成

（1.上海工程技術大學城市軌道交通學院，上海 201620；2.常州路航軌道交通科技有限公司，江蘇常州 213100）

線路上的扣件狀態檢測主要通過人工巡檢來完成。人工巡檢的方式具有簡單、低成本等優勢，但存在檢測效率低、漏檢率高等缺陷。近年來，隨著自動化巡檢需求的不斷提升，國內外許多學者對利用機器視覺技術實現軌道扣件狀態檢測的方法進行了研究。目前主要的扣件狀態檢測方法都是利用傳統的圖像處理方法對扣件螺栓或彈條的特征進行識別檢測。李永波等［1]通過設置扣件圖像的感興趣區域（Region of Interest，ROI），提取ROI 區域的方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征進行狀態檢測。WANG等［2]通過使用二維主成分分析法提取扣件螺栓的特征進行分類。陳小艷等［3]提出利用改進的局部二值模式（Local Binary Pattern，LBP）編碼算法突出扣件圖像的邊緣特征，再使用隱含狄利克雷分配（Latent Dirichlet Allocation，LDA）詞包來描述扣件的主題進行狀態檢測。代先星等［4]提出通過可以減少自然光影響的激光測量法采集扣件圖像的三維數據，再利用扣件圖像的深度梯度特征（Height Gradient Orientation Histograms，HGOH）對扣件狀態進行檢測分類。也有學者對基于深度學習的扣件狀態檢測方法進行了研究，龍炎等［5]使用卷積神經網絡（Convolutional Neural Network，CNN）提取扣件的淺層和深層特征，再根據扣件特征使用Faster-RCNN（Region Convolutional Neural Network）網絡進行狀態分類。Xavier 等［6]利用定制化的全卷積網絡對扣件的高度抽象特征進行提取和扣件類型識別，針對不同類型扣件使用定制化的支持向量機進行狀態分類。與傳統的方法相比，采用深度學習技術的算法檢測準確率較高，但通常需要使用定制化的扣件數據集對網絡進行訓練，對于不同類型的扣件網絡通用性較差。

作為新一代軌道扣件產品，快速彈條扣件已經在國內外被廣泛應用。與傳統的軌道扣件不同，快速彈條扣件是一種開關型扣件，它的狀態可以根據彈條形狀和彈條所處的位置檢測，而傳統的軌道扣件檢測方法對這一類扣件的狀態檢測效果并不理想。針對這一問題，本文提出了一種融合扣件圖像深度邊緣特征和HOG特征的狀態檢測方法，具體流程如圖1所示。

圖1 基于深度邊緣特征的軌道扣件狀態檢測方法流程

1 深度邊緣特征提取

1.1 傳統扣件邊緣檢測方法

目前，軌道扣件的邊緣特征主要利用Sobel，Canny等方法進行檢測［7-8]。傳統的檢測方法使用簡單、在某些場景下檢測效果良好，但這類方法只考慮了圖像梯度、紋理等低層特征，存在噪聲敏感、閾值參數設置要求高等問題。近幾年，采用卷積神經網絡的邊緣檢測方法開始出現，卷積神經網絡可以提取圖像中高層的語義特征，在檢測精度、抗噪能力等方面要明顯好于傳統的檢測方法。因此，本文采用卷積神經網絡模型來提取軌道扣件的邊緣特征。

1.2 HED網絡

整體嵌套邊緣檢測（Holistically-Nested Edge Detection，HED）網絡［9]是一種檢測物體邊緣特征的方法，由16 層的視覺幾何組（Visual Geometry Group,VGG）網絡改進而來，其網絡結構如圖2所示。

圖2 HED網絡結構

相較于VGG16 網絡，HED 網絡做了以下改進［10-12]：①去除了VGG16 網絡conv5 的最后一個池化層以及之后的三個全連接層和Softmax 層。去除了這些結構可以使HED 網絡輸入圖像的大小不必像VGG網絡一樣限制在224×224，而是實現了對任何大小圖像的輸入。②對conv1—conv5 的最后一個卷積層分別連接一個側邊輸出層，這些輸出層的感受野大小見表1?？芍?，HED 網絡的輸出是多尺度和多層級的，隨著感受野尺寸的不斷變大，側邊輸出的圖像尺寸不斷減小，同時側面輸出圖像的邊緣特征信息不斷豐富。然后將側邊輸出圖像進行反卷積，使各側面輸出層輸出的圖像尺寸一致，最后利用特征融合層將多尺度的邊緣特征信息圖像進行融合來預測圖像的邊緣。

表1 側邊輸出層的感受野大小

HED 網絡通過對各個側面輸出層同時訓練將輸出結果進行融合的方式，對網絡訓練的過程進行了簡化，提升了訓練速度。對于軌道扣件圖像，只有10%的像素屬于邊緣區域，邊緣區域和非邊緣區域的像素占比差異巨大，會造成HED 網絡使用常規的損失函數進行訓練時出現模型不穩定的現象。為解決這個問題HED 網絡對損失函數進行了修改。HED 網絡共有5 個側面輸出層，每個側面輸出層均與一個分類器相連接，其中分類器的響應權重為w={w(1)，...，w(5)}。網絡最終的目標函數Lside(W，w)為

式中：W為所有網絡參數的集合；lside為各個側面輸出層的損失函數；ak為各個側面輸出層的損失函數在全部損失函數中的占比。

網絡引入平衡因子β來解決上文提到圖像邊緣區域和非邊緣區域的像素數量差異巨大的問題，得到各側面輸出層的損失函數l(k)side(W，w(k))，即

式中：β為標簽標注的非邊緣像素|Z-|和總像素|Z|的比值，β= |Z-|/|Z|；1-β為邊緣像素|Z+|和總像素|Z|的比值，1-β= |Z+|/|Z|；Pr(yj= 1|X；W，w(k))通過側邊輸出的激活函數計算得到；X為原始輸入圖像的所有像素；yj為像素點j處對應的真值邊緣映射，yj∈{0，1}。

為了使用側面輸出層對邊緣進行預測，網絡添加了一個特征融合層將各個側面輸出層的輸出結果進行融合訓練，特征融合層的損失函數Lfuse(W，w，h)為

式中：h為融合權重，h={h1，...，h5}；D(Z，Z^fuse)為融合后標簽的標注結果和預測結果之間的距離，Z^fuse=是側面輸出層的輸出。

將側面輸出層的損失函數與權重融合層的損失函數利用梯度下降方法進行優化得到總體的損失函數L(W，w，h)，即

1.3 深度邊緣特征提取結果

為了檢驗網絡邊緣特征提取的性能，本文采用與傳統的Canny 算子進行比較，邊緣特征提取結果見圖3。圖3（a）為4 種不同場景不同類型的軌道扣件圖像，圖3（b）為經過HED網絡處理得到的深度邊緣特征圖像，圖3（c）為經過圖像平滑處理，再使用Canny算子提取到的邊緣特征圖像。

圖3 不同場景不同類型的軌道扣件邊緣特征提取結果

由圖3 可知：①Canny 算子利用高斯濾波器進行圖像平滑處理，再利用雙閾值算法來檢測圖像邊緣，對于對比度強的扣件圖像可以完整地檢測出扣件邊緣。但是對于對比度低的現場扣件圖像，Canny 算子難以實現完整檢測，同時Canny 算子存在容易將噪聲點誤判為圖像邊緣信息的缺點，造成圖像中出現許多虛假邊緣。②HED 網絡采用多尺度、多層級的方式進行學習，去噪聲能力明顯強于Canny算子，不但可以完整地檢測出強邊緣，而且可以完整地檢測出許多弱邊緣，對不同場景不同類型扣件圖像的邊緣信息均可以比較完整地檢測出來，同時在低對比度的現場扣件圖像中能較好地抑制背景噪聲。

2 HOG特征提取

本文提出的基于深度邊緣特征的扣件狀態檢測方法，首先將同步控制線陣相機采集到的軌道扣件圖像利用HED 網絡得到深度邊緣特征圖，然后對得到的深度邊緣特征圖進行HOG特征提取，最后把兩者的融合特征作為特征描述算子輸入到分類器中，對不同狀態的扣件進行識別分類。

HOG 特征是一種描述圖像中目標對象特征的方法［12-13]。它將圖像劃分成若干個細胞單元，通過計算每個細胞單元內的梯度方向信息并統計成直方圖來構成特征。由于HOG 特征是將圖像劃分成更小的細胞單元進行操作，因此可以有效減少光源位置和拍攝角度的影響，從而提高扣件識別的準確率。

提取圖像HOG特征的具體步驟為：

1）圖像預處理。首先將扣件深度邊緣特征圖轉化為灰度圖，再利用Gamma校正法對灰度圖進行標準化處理。這種預處理方式可以有效減少圖像局部陰影和光照的影響。

2）計算圖像梯度。在像素點(x，y)處利用(-1，0，1)，(1，0，- 1)T算子計算出該點處x軸方向的梯度和y軸方向的梯度，進而計算出該點處梯度幅值G（x，y）和梯度方向α(x，y)，分別為

式中：Gx(x，y)，Gy(x，y)分別為輸入圖像中像素點(x，y)處的水平方向梯度和垂直方向梯度。

3）構建細胞單元的梯度直方圖。先將圖像均勻劃分成若干個互不相交、大小為16×16個像素的細胞單元，然后根據步驟2）計算每個細胞單元的梯度幅值和梯度方向。再將細胞單元的梯度方向均勻劃分成12 個區間，每個區間占30°。然后將細胞單元內的每個像素加權投影到所屬的區間中，權重大小用梯度幅值來表示。最后用直方圖來統計每個細胞單元內各個區間的梯度信息。

4）形成HOG特征。將細胞單元組成塊，每個塊內包含8×8個細胞單元。由于不同細胞單元之間梯度差異可能較大，所以在塊內采用L1范數對方向梯度直方圖進行歸一化。最后利用窗口將所有塊的HOG 特征進行整合作為該扣件圖像的HOG特征。

將扣件深度邊緣特征和HOG特征進行融合，不同狀態扣件融合特征見圖4。

圖4 不同狀態扣件及融合特征

3 扣件狀態檢測算法

采用的扣件狀態檢測算法是把扣件圖像經過深度邊緣特征提取和HOG 特征提取后的結果輸入給支持向量機（Support Vector Machine，SVM）訓練，將得到的模型作為分類器實現對軌道扣件狀態的檢測。

3.1 扣件狀態判斷標準

采用SFC 快速彈條扣件作為試驗樣本。與傳統的螺栓型扣件不同，快速彈條扣件的狀態可以根據彈條所處的位置進行判斷。圖5給出了SFC 快速彈條的常見狀態，本文只針對扣件扣緊和扣件彈出這兩種狀態進行研究。根據現場人工巡檢的經驗值，將扣件區域劃分成圖6所示的兩部分作為狀態判斷標準。當彈條完全處于區域A 時，認為扣件處于扣緊狀態；當彈條出現在區域B時，認為扣件處于彈出狀態。

圖5 SFC快速彈條扣件常見狀態

圖6 扣件狀態判定區域劃分

3.2 SVM

SVM 是一類按監督學習方式對數據進行二元分類的線性分類器，在解決分類和識別等問題中有著廣泛的應用。由于HOG 特征的維度較高，而SVM 可以避開高維空間的復雜性，利用核函數簡化高維特征，同時在解決小樣本問題上有較強的泛化能力，因此本文選用SVM作為分類器。

在構建SVM 模型對特征進行分類時，須要選擇核函數和懲罰因子C。多數情況下，訓練樣本不是線性可分的，使用線性分類會造成大量樣本分類錯誤，因此，須要利用核函數將原始的特征映射到更高維的特征空間中，使得樣本可以被超平面分類。懲罰因子C為分類器對誤差的容忍度，C值越大，對減少誤差要求越高。C值的過大或過小都會降低分類的準確率，根據經驗判斷和大量試驗對比，本文選用線性核作為核函數，懲罰因子C設置為1.2。

4 試驗與分析

4.1 試驗數據集

選用2500 張在石太（石家莊—太原）客運專線用線陣相機采集的軌道扣件圖片作為數據集，包括2004張扣件扣緊圖片和496張扣件彈出圖片。將數據集劃分成訓練集和測試集。其中1000 張扣件圖片作為訓練集，其余1500張扣件圖片作為測試集。

4.2 試驗平臺

本文試驗在Win 10 環境下運行，硬件環境包括：NIVIDIA RTX 2080Ti 11GB 顯 卡，Intel Xeon Silver 42142.2GHz 雙CPU，64G 內存。基于深度學習的深度邊緣特征提取網絡在pytorch框架下完成。

4.3 試驗評價指標

試驗選用準確率（Accuracy）、精確率（Precision）和召回率（Recall）作為扣件狀態檢測算法的評價指標［14]。準確率A為被正確識別扣件占所有扣件的比例，精確率P為識別為扣緊狀態的扣件中正確的個數占所有識別為扣緊狀態扣件的比例，召回率R為識別為扣緊狀態的扣件中正確的個數占所有扣緊狀態扣件的比例。具體計算公式為

式中：TP為人工標注為扣緊狀態的扣件被分類器正確識別的個數；TN為人工標注為彈出狀態的扣件被分類器正確識別的個數；FP為人工標注為彈出狀態的扣件被分類器錯誤識別的個數；FN為人工標注為扣緊狀態的扣件被分類器錯誤識別的個數。

4.4 試驗結果與分析

在相同的試驗環境下，將本文方法與HOG+SVM、采用Canny 算子提取扣件邊緣特征+HOG+SVM 的算法進行對比，結果見表2。

表2 不同算法試驗結果

由表2 可知：使用Canny+HOG+SVM 的識別方法與傳統HOG+SVM 識別方法相比在精確率、召回率和準確率上提高并不明顯，而本文方法在這三項指標上均取得明顯提高。這是因為使用HED 網絡提取扣件的深度邊緣特征可以有效減少背景噪聲和無用特征對檢測結果的影響。因此，本文方法有更高的識別準確性和更強的魯棒性。

5 結語

本文提出了一種基于深度邊緣特征的軌道扣件狀態檢測方法：利用深度學習網絡提取扣件圖像的深度邊緣特征，再利用方向梯度直方圖來描述深度邊緣特征，將形成的融合特征輸入給SVM 進行訓練，最后利用訓練好的SVM作為分類器對扣件狀態進行檢測。

本文方法的準確率、召回率、精確率分別達到95.1%，97.3%，96.6%，均高于其他檢測方法，同時本文方法具有較強的魯棒性，滿足軌道扣件狀態檢測的要求。