基于卷積神經網絡的動車組行車安全圖像缺陷檢測與分割

周 雯,史天運,李 平,馬小寧,楊 凱

(1.中國鐵道科學研究院，北京 100081； 2.中國鐵道科學研究院 電子計算技術研究所，北京 100081)

我國鐵路運輸高速發展，旅客周轉量、運輸密度、運輸里程等均居世界第一。歷經多次大提速后運行速度顯著提高，周轉時間縮短，列檢保證區段延長，動車組運行的安全性受到越來越多的關注。動車組結構復雜，由大量的零部件構成，即使是細小的零部件損壞，也可能造成災難性事故，及時發現缺陷并修復關鍵零部件，如齒輪箱、轉向架及異物懸掛，可以提升動車組的運輸效率和安全保障。過去幾年中，可用于多種自動操作、計算機視覺和數字圖像處理的應用逐漸得到普及[1]。動車組運行故障動態圖像檢測系統TEDS是一種實時圖像采集識別系統，是計算機和圖像處理技術應用于鐵路工程的典型案例。圖1為該系統的組成和工作原理。TEDS圖像采集模塊由4個側部相機和5個底部相機組成，能夠對動車組底部及側部可視部件進行線陣圖像采集，采集范圍主要包括：底部可視部件(車體底部及轉向架制動裝置、傳動裝置、牽引裝置、輪軸、車鉤裝置、電務車載設備車底部件)、側部可視部件(側部裙板、轉向架及軸箱、車端連接部等可視部位)。在數據處理中心簡單操作后，圖像被傳送到監視室以供室內檢查員查看分析。由于檢測精度低，缺陷檢測在TEDS中尚未完全實現自動，需要室內檢查員進行二次識別，效率低且質量不可控。因此，進行自動的TEDS缺陷檢測研究具有重要的意義。

圖1 動車組運行故障動態圖像檢測系統概覽

動車組車底、轉向架等關鍵部件結構復雜，運行過程中，易受運行環境的影響而懸掛異物，如樹枝、紙片、塑料袋、瓶子等，若不及時發現并清理異物，將會影響動車組關鍵部件的正常工作，導致動車組的運行安全受到威脅。此外，齒輪箱、抗蛇行減震器等關鍵部件的漏油，車底防松鐵絲的斷裂也會影響動車組的安全性，見圖2。本文以TEDS缺陷自動檢測及分割為主要研究任務，該任務有3個主要特點，一是懸掛異物的尺度多樣化，例如，輸入圖像為512×512像素，最小異物的尺度為25×25像素，占整幅圖像的0.24%，最大異物的尺度為461×431像素，占整幅圖像的76%，而多尺度目標檢測為視覺任務中的一個挑戰；二是缺陷數量遠小于背景數量，例如，動車組轉向架制動、牽引裝置等復雜的零部件結構作為背景，其零部件多達30種以上，而每幅圖像缺陷類別可能僅有1個，見圖2(a)；三是漏油缺陷尺寸多樣且與背景結構差異小，導致邊界不清晰，見圖2(c)。針對TEDS缺陷檢測任務的特點與難點，提出基于卷積神經網絡的TEDS缺陷檢測模型。該模型通過特征金字塔網絡提取多尺度融合特征，利用區域提議網絡生成候選的未知缺陷類別區域ROI(Region of Interest)，通過預測網絡合成ROI和多尺度融合特征圖的映射信息并對ROI進行識別和位置回歸，并通過分割網絡生成預測區域的掩碼。兩個優化方法OHEM和DCN針對正負樣本不平衡和缺陷尺寸多變的情況，提升缺陷檢測模型的性能，特別是小尺寸缺陷的檢測精度。

圖2 復雜背景下的TEDS缺陷

1 相關工作

1.1 鐵路圖像缺陷檢測研究現狀

近年來，一些學者開始探索鐵路業務領域的目標自動檢測系統，如貨車故障動態圖像檢測系統TFDS，該研究過程可分為3個階段。

第一個階段是基于圖像處理算法的應用，該階段中目標檢測的方法僅依靠圖像處理，例如圖像分割和特征匹配，這些方法需要大量的先驗知識。文獻[2]提出一種基于霍夫變換和模板匹配的鐵路貨車承載故障檢測系統；文獻[3]采用局部歸一化的圖像處理算法，實現基于投影輪廓的鐵軌缺陷檢測。然而，這些方法的主要缺點是檢測精度較低，特別是在圖像背景復雜的情況下。

第二個階段是基于機器學習算法的應用，旨在提高目標檢測的效率和精度。文獻[4]采用基于支持向量機的分類器檢測貨車的閘瓦插銷是否丟失；文獻[5]研究了貨車轉向架自動視覺檢測系統，利用梯度編碼共生矩陣特征和支持向量機識別零部件缺失的故障；文獻[6]使用線性SVM模型檢查貨車緊固螺栓，該模型使用定向梯度直方圖HOG特征訓練，超越了95%的識別率；文獻[7]采用基于灰度投影的方法確定螺栓區域，然后用基于定向梯度的稀疏直方圖和支持向量機的檢測器確定是否為螺栓區域。上述方法都是基于手工設計特征或圖像的統計特征，雖然優于基于圖像處理的方法，但是不同的目標需要設計不同的特征和大量的專家知識，算法的穩健性較低。

第三個階段是基于深度卷積神經網絡算法的應用，與前兩個階段的技術相比，深度卷積神經網絡可以獲得更豐富、更抽象的通用特征，并在定位精度、識別準確率和速度方面取得更好的結果。文獻[8]提出了基于卷積神經網絡的TFDS(Trouble of Moving Freight Car Detection System)故障自動識別，相比較傳統方法識別精度得到提升。然而，用于區域定位和故障分類的兩個模型增加了系統的復雜性，并且未考慮小目標的檢測，且采用選擇性搜索生成候選區域十分耗時。

文獻[9]針對CRH3型動車組牽引逆變器絕緣柵雙極型晶體開路問題，利用鍵合圖對非線性的牽引逆變器進行建模，利用最小二乘法對系統當前行為進行辨識，通過比較系統的實際行為以及預期行為，產生故障識別向量，從而對開路IGBT進行識別和定位。文獻[10]提出一種基于機器視覺的列車外齒輪磨損狀態定量檢測方法，結合分塊分割、區域聚合及邊緣修正，實現齒面圖像嚙合區分割。TEDS在TFDS等5T系統在全路的成功推廣下應用而生，將貨車運行狀態的監測擴展至動車組領域，上述研究為TEDS和基于卷積神經網絡目標檢測方法的結合提供了基礎。然而，動車組的結構相對而言更為復雜，零部件種類多樣，因此，基于卷積神經網絡的TEDS缺陷自動檢測的研究非常必要。

1.2 基于卷積神經網絡的目標檢測算法分析

近年來，深度卷積神經網絡CNN已經成為直接從圖像數據中自動學習復雜、精細、抽象的通用特征表達的有力方法，并且推動目標檢測領域取得了重大突破。目標檢測旨在圖像中識別預定義類別的實例，并返回其空間位置，而實例分割是在目標檢測的基礎上返回實例的像素范圍并區分相同類別的不同實例，因此，目標檢測邊框可能包含對分析有用的背景區域，而實例分割只包含目標區域。

基于CNN的目標檢測算法大致可以分為一階段方法和兩階段方法。一階段方法是直接從整幅圖像中識別預定義類別實例和回歸其位置，如YOLO、SSD[11-12]，該方法速度快，可實現實時檢測。然而，它的檢測精度低，特別是對小目標物體的檢測。兩階段方法首先從圖像中生成與類別無關的候選區域，然后利用RCNN確定區域的位置和類別。Faster RCNN[13]提出基于CNN的候選區域提議網絡RPN，首次利用單一的網絡完成候選區域生成和區域分類，該算法同時具備精度高、速度快的優點。Mask RCNN[14]通過添加候選區域二進制掩碼輸出的分支擴展Faster RCNN實現實例分割，該算法精度高，結構簡單靈活。就多尺度檢測而言，FPN[15]利用特征金字塔不同尺度的特征圖實現多尺度目標檢測。另外，基準數據集(PASCAL VOC，MS COCO等)的最新領先結果都是基于Faster RCNN的，如ORN、MegDet[16-17]。

本文提出的模型采用兩階段的方法，實現TEDS缺陷的自動檢測，同時克服了復雜背景下正負樣本不平衡和缺陷形態尺寸變化多樣的困難，提高了檢測精度。

2 動車組缺陷檢測與分割模型

基于卷積神經網絡的TEDS缺陷自動檢測與分割模型的網絡結構如圖3所示，該模型由4個連接的子網絡組成：特征金字塔網絡、區域提議網絡、預測網絡和分割網絡。為了解決復雜背景下正負樣本的不平衡問題，增加了只讀的在線困難樣本挖掘網絡，篩選困難樣本，同時，加入可變形卷積以提高多形態缺陷的定位和分割精度。

圖3 缺陷檢測與分割模型網絡結構

2.1 特征金字塔網絡

特征金字塔網絡用來生成多尺度的具有豐富語義信息融合的特征圖，該子網絡包括自底向上的下采樣過程，自頂向下的上采樣過程，低分辨率、高語義信息的高層特征和高分辨率、低語義信息的低層特征自上而下的融合，見圖3中藍色部分。其中，自底向上的部分是ResNet-101基礎網絡的前向過程。任意尺寸的TEDS圖像輸入網絡后，重新定義為512×512像素，以步長為2的下采樣計算多尺度特征圖，每個階段最后一個殘差結構的輸出為特征圖，表示為{C2,C3,C4,C5}；自頂向下的上采樣過程采用步長為2的最近鄰插值方法，使得上采樣后的特征圖具有和下一層特征圖相同的大小；側邊橫向連接將上采樣的結果和自底向上生成的特征圖進行融合，即將特征圖{C2,C3,C4,C5}進行1×1的卷積操作，產生和后一層維度相同的特征圖，然后融合不同層的特征圖，得到一個新的具有更豐富信息融合的特征圖。在特征融合之后，采用3×3的卷積層對每個融合結果進行卷積，目的是消除上采樣的混疊效應，最后得到的特征圖表示為{P2,P3,P4,P5} ，尺寸分別為128×128、64×64、32×32、16×16。

2.2 區域提議網絡

區域提議網絡用于在密集的錨框中初步選擇正樣本生成ROIs，見圖3中綠色部分。將特征圖{P2,P3,P4,P5,P6}作為輸入，P6是由P5經過步長為2的下采樣得到的大小為8×8像素的特征圖；在特征圖中每個像素點位置利用3×3的卷積層和k個錨框生成k個ROI，每個ROI都具有初步位置回歸信息和正負樣本標記(缺陷或背景)；利用非極大值抑制消除重復的ROI。這是粗略檢測的過程，為預測網絡提供先驗信息，進一步生成缺陷分類和更準確的位置，并且減少了預測網絡的搜索空間。

2.3 預測與分割網絡

預測網絡用于將區域提議網絡選擇的ROIs進行正確分類和位置回歸，見圖3中紫色部分。首先，RoI Align層合成ROIs和特征圖的映射信息，來提取7×7的ROIs特征圖，對于任一個大小為w×h的ROI和特征圖{P2,P3,P4,P5,P6}的映射規則為

k=k0+log2(wh224)

(1)

其中：k0=4。假設原圖中有一個大小為335×335的ROI，映射到層后特征圖的大小為10.47×10.47(335/32=10.47，其中32為下采樣步長)，特征圖輸入Pooling層后固定為7×7大小，即將10.47×10.47的ROI劃分為49個同等大小的小區域，每個區域大小為1.49×1.49(10.47/7=1.49)，再采用雙線性插值法計算每個小區域的像素值，組成7×7大小的特征圖； 然后通過兩個1 024的全連接層執行分類和回歸以獲得準確的邊界框。

分割網絡用于缺陷的實例分割，見圖3中粉色部分。同預測網絡一樣，利用RoI Align層提取7×7的ROIs特征圖，通過4個3×3的卷積層，1個2×2的反卷積層和1個1×1的卷積層生成缺陷實例的掩碼。

整個模型采用了多任務損失函數，包含分類損失值、位置回歸損失值和掩碼損失值，多任務損失函數為

(2)

式中：i為錨框的索引；li為標注的類標簽；gi為標注的位置信息；pi和ci分別為錨框i在區域提議網絡中為前景的概率和位置初步偏移值，ti和di分別為在預測網絡中錨框i的類別概率和位置信息；mij為分割網絡中錨框i掩碼的第j個像素點的二進制掩碼；Nc、Nd和Nm分別為區域提議網絡、預測網絡和分割網絡的正樣本錨框數量；M為錨框i掩碼的像素點數量；Lc為區域提議網絡中兩個類別(前景或背景)的交叉熵損失；Ld為預測網絡中多個類別置信值的softmax損失；Lr為位置回歸的smoothL1損失；Lm為分割網絡中掩碼像素點的二值交叉熵損失；I(·)為指示函數，li≥1表示錨框i是正樣本，li=k表示錨框i為類別k。

2.4 在線困難樣本挖掘

TEDS缺陷檢測任務中缺陷的數量遠小于背景的數量，導致模型訓練過程中出現大量的假陽性結果，為了防止損失函數受到大量假陽性樣本的支配，常規方法是設置預測網絡的一些關鍵參數，如缺陷ROI區域和標注區域的IoU閾值(≥0.5)、背景ROI區域和標注區域的IoU閾值間隔([0.1,0.5))、及缺陷ROI和背景ROI的比例(1∶3)，其中25%的缺陷ROIs是隨機選取的，而不考慮簡單或困難樣本。困難樣本是指在訓練過程中出現的損失值較高的ROIs。

由OHEM理論可知[18]，OHEM是將篩選出來的困難樣本重新輸入預測網絡進行訓練，以平衡正負樣本比例，提升模型的識別準確率。OHEM增加一個只讀的候選區域生成網絡，只進行前向傳播，根據損失值對ROIs進行降序排序，圖3中紅色部分為OHEM的處理過程。該網絡和預測網絡共享特征參數，將區域提議網絡產生的ROIs作為輸入，并將前128個損失值較大的ROIs樣本作為困難樣本輸出，用于網絡訓練和參數更新。 OHEM有助于減少參數設置的大量實驗，并降低訓練過程中的損失函數。

2.5 可變形卷積

TEDS圖像缺陷的尺寸和形態多樣，通常情況下，CNN利用數據增強的方式增加樣本的復雜性來適應這種多樣化，如圖像的翻轉、裁剪、仿射變換等。然而，這種方式很難學習到缺陷幾何變形的內在機制。為了解決該問題，在預測網絡和分割網絡的ROI Align層中引入可變形卷積DCN[19]。可變形卷積核的每一個元素有一個偏移值，感受的范圍隨著物體形狀不同而發生變化，而常規卷積核的感受野固定不變。常規卷積核和可變形卷積核分別為

(3)

(4)

式中：w為卷積核的值；Δk和Δl為k和l的偏移值。

核參數(k,l)和偏移值(Δk,Δl)在網絡訓練過程中通過兩個3×3卷積層[19]分別學習得到。可變形卷積可以隨著缺陷形態的變化改變采樣點的位置，增強缺陷的定位和分割能力，另外，還可以改變感受野的范圍，這點對不同尺度的缺陷至關重要，特別是小尺度缺陷。如圖4中紅色的曲線表示經過可變形卷積后的定位和分割結果，相比綠色曲線(常規卷積后的結果)，紅色曲線可以更好地定位和分割不同尺度和形態的缺陷。

圖4 可變形卷積和常規卷積定位和分割結果對比

3 試驗結果與分析

本節首先描述如何將TEDS圖像轉換為試驗數據集；然后提供了驗證缺陷檢測方法有效性的指標；最后對試驗結果進行分析。為了定量評估OHEM和DCN對模型性能的影響，進行剝離實驗，將未增加OHEM和DCN的模型稱為基礎模型BM(Base Model)。

3.1 數據集

從TEDS圖像采集模塊中的9個高速線陣掃描相機中采集6 518張缺陷圖片，其中80%作為train數據集，10%作為val數據集，10%作為test數據集。用VIA(VGG Image Annotator)標注工具對train數據集進行缺陷的多邊形標注來生成缺陷的掩碼，將整個數據集標記為3個類別：異物、漏油、防松鐵絲斷裂。為進一步驗證模型的泛化性能，將2 559張尺寸形態各異的異物懸掛圖片標記為5個類別：塑料袋、紙片、樹枝、瓶子、羽毛，分析模型對不同尺寸缺陷的檢測性能。在訓練過程中，選擇能覆蓋所有掩碼像素的最小長方形作為缺陷的檢測邊框。缺陷標記示例見圖5。

圖5 原圖和缺陷掩碼圖

3.2 檢測與評估

由TP、FP、TN、FN可以計算得到缺陷檢測算法評估指標：召回率、準確率和F-score，其計算公式為

(5)

(6)

(7)

平均準確率AP由召回率和準確率組成的曲線面積表示，評估算法對每個類別的有效性；mAP評估算法在所有類別上的性能為

(8)

3.3 結果分析

試驗過程中，使用MS COCO預訓練權重初始化特征提取網絡ResNet-101，考慮到缺陷的不同尺寸，錨框的比率設置為0.33、0.5、1、2，錨框的大小設置為8×8、16×16、32×32、64×64、128×128、256×256。初始學習率為0.001，隨機梯度下降的動量為0.9，權重衰減為0.000 5，所有試驗中整個訓練過程最大迭代120次，批尺寸batch_size設置為128，區域提議網絡中ROIs的數量設定為300。

3.3.1 缺陷檢測模型性能評估

為了綜合評估缺陷檢測模型的性能，將BM+OHEM+DCN與傳統滑動窗口HOG[20]+SVM[21]方法及BM進行對比。SVM是二值分類器，針對異物、漏油和防松鐵絲斷裂3種缺陷分別訓練了兩個線性SVM分類器。在訓練階段從標注的數據集中截取每類缺陷的512×512的正樣本，并隨機從非目標區域截取512×512的負樣本，然后從正負樣本中提取HOG特征用于訓練SVM分類器。在檢測階段使用大小為224×224的滑動窗口進行檢測。三種模型缺陷檢測性能實驗結果如表1所示。實驗結果表明，本文所提檢測模型的準確率高于傳統方法HOG+SVM，這是因為基于卷積神經網絡的深度學習方法可以從訓練數據中提取比HOG更加復雜、精細、抽象的通用特征；同時，BM+OHEM+DCN的準確率高于BM，這是因為通過OHEM和DCN克服了TEDS缺陷檢測中的難點。對于召回率而言，基于卷積神經網絡的深度學習方法要遠遠優于傳統的方法，而召回率過低表明漏檢率高。此外，檢測速度表示測試集中每張圖像的平均檢測時間。由實驗結果可知，在GPU模式下檢測速度高于傳統方法。

表1 三種模型缺陷檢測結果對比

為了進一步驗證所提模型對三種缺陷的檢測性能，使用相同的異物、漏油、防松鐵絲斷裂缺陷測試集對兩種模型進行對比試驗，結果如表2所示，試驗結果表明，OHEM和DCN方法可以提升三種缺陷的檢測精度，其中，異物缺陷的AP提升0.023 7，漏油缺陷的AP提升0.014 9，防松鐵絲斷裂缺陷的AP提升0.033 5，平均檢測精度提升0.025 2。

表2 三種缺陷檢測精度對比

3.3.2 遷移學習試驗結果分析

為了驗證提出模型的泛化能力，將異物數據集細分為塑料袋、紙片、樹枝、瓶子、羽毛五個類別對模型參數進行調優，IoU設置為0.7，試驗結果如表3所示。從試驗結果可以看出，塑料袋的AP提升0.023 1，紙片的AP提升0.030 5，樹枝的AP提升0.049 6，羽毛的AP提升0.021 6，平均檢測精度提升0.039 3。

表3 異物檢測結果對比

由表3可以看出，樹枝類別的AP值提升顯著。因為，初始數據集中樹枝樣本數量最少，在模型優化的同時，用數據增強方式擴充樹枝樣本的數量，數據增強不改變像素值，只改變像素所在的位置，數據增強方法如表4所示，由于原始數據集中，樹枝的尺度相對較大，因此，縮放變換時，用不同比例對樣本圖像進行縮小，增加樹枝樣本的尺度多樣化。試驗結果表明，數據量的擴充對模型檢測精度的提升也至關重要。

3.3.3 多尺度檢測與分割試驗結果分析

為了驗證所提模型對不同尺度缺陷的檢測精度，將塑料袋異物缺陷分為小、中、大三類，其中小于90×90像素的塑料袋定義為小尺度缺陷，大于200×200

表4 數據增強方式

像素的塑料袋定義為大尺度缺陷，中間值為中等尺度缺陷，試驗結果如表5所示，由結果可知，大尺度缺陷的AP提升了0.002 5，而小尺度缺陷的AP提升了0.063 2。顯然，小尺度缺陷的精度提升高于大尺度缺陷，由于小尺度缺陷的特征信息少于大尺度缺陷，導致這些小尺度缺陷的損失值較大，OHEM的只讀分支會將這些樣本挖掘為困難樣本，而DCN的優點在于它的感受野會根據缺陷的尺寸變化而變化，這點對于小尺度缺陷的檢測至關重要。

表5 多尺度缺陷檢測結果對比

缺陷檢測與分割試驗結果見圖6，結果表明，所提出的模型可以對尺寸形態多樣的缺陷進行檢測，并同時實現實例分割，其中虛線框表示缺陷檢測的定位框，藍色和紅色區域分別表示物體實例分割結果。圖6(e)中的藍色區域和紅色區域分別表示塑料袋異物缺陷的兩個實例，圖6(f)中的紅色區域表明所提模型對缺陷的精準分割，背景區域沒有包含于實例分割區域。

圖6 缺陷檢測與分割試驗結果

4 結束語

本文通過將TEDS和基于卷積神經網絡的深度學習算法相結合，實現TEDS缺陷的自動檢測與分割。OHEM和DCN方法可以選擇更加有效的樣本和得到更具有代表性的特征圖。通過對幾個動車段TEDS數據試驗，驗證了所提模型的有效性和準確性，并且可以實現缺陷實例的精準分割。本文的研究為動車組行車安全圖像缺陷檢測與分割提供了新的思路和解決方案。