基于空間尺度標準化的動車組底部異常檢測

耿慶華，劉偉銘，劉瑞康

(華南理工大學 土木與交通學院， 廣東 廣州 510641)

在現代工業檢測領域，基于視覺的異常無損檢測技術已經成功應用于紡織品質量監測[1-2]、機械工件表面缺陷檢測、陶瓷產品表面瑕疵檢測、電子產品質量監測、鐵軌表面缺陷檢測[3-4]，以及鐵路維護中緊固件故障檢測[5-6]中，均取得了令人滿意的檢測效果，但它們只能檢測某種特定目標。近年來，基于深度學習的目標檢測研究成為熱點，其中，最著名的就是Faster-RCNN、YOLO、SSD[7]算法。文獻[7]提出的SSD算法將每一個特征圖位置邊界框的輸出空間離散化為具有不同縱橫比的一組默認框，在預測時，網絡會為每個默認框中的每個類別的對象生成得分數，并對該框進行調整以更好地匹配對象形狀。此外，該網絡還將來自具有不同分辨率的多個特征圖的預測進行組合，更自然地處理各種大小的對象。文獻[8]采用特征金字塔網絡提取異常的多尺度融合特征，采用可改變感受野的可變形卷積DCN 適應缺陷形態的多樣性，取得了不錯的檢測效果。但是，基于深度學習方法在檢測動車組底部異常時效果并不十分令人滿意，因為這些異常有時會被分割成兩個序列圖像，且很多屬于小目標。因此，圖像對齊是實現動車組底部異常自動檢測的關鍵步驟。文獻[9]總結了經典的圖像對齊方法，以及它們各自的優缺點，其中Scale-invariant feature transform(SIFT)[10]、SAR-SIFT[11]、PSO-SIFT[12]等獲得了廣泛的應用，但對于分辨率較高的圖像，SIFT的計算效率很低。文獻[13]提出了一種基于圖像對準的特征匹配算法，該算法被用于輪廓不規則工件的缺陷檢測和定位。文獻[14]提出了一種針對多目標的自動故障檢測系統，該系統利用圖像對齊和背景差分法來實現多目標的定位。以上方法都獲得了不錯的檢測效果，但仍有許多可改進之處。

圖2 圖像處理流程

動車組運行故障圖像檢測系統(Trouble of moving EMU Detection System，TEDS)通過在軌邊安裝CCD線掃描相機，采集運行中動車組車體兩側裙板、底部、底架懸吊件、鉤緩連接、轉向架、走行部等部位的圖像，利用圖像識別技術對圖像進行自動異常分析和分級預警，實現對動車組兩側裙板、底部部件狀態(故障或無故障)的實時監測。TEDS的圖像捕獲裝置主要由高速線掃描相機組成[14]；同時使用大功率激光器作為輔助光源安裝在線掃描相機附近，以減少室外照明變化的影響；所捕獲的序列圖像傳輸到終端服務器后，由經驗豐富的檢查人員進行核查。這種人工檢測方式需要花費大量的人力，且效率低下、易誤檢漏檢，滿足不了動車組日常維護工作的需要；而且動車組通過圖像捕獲裝置時速度偶爾會波動，這將導致異常部位在序列圖像中發生偏移，因此，TEDS的圖像捕獲裝置獲取的動車組序列圖像不可避免的會出現失真。由TEDS的圖像捕獲裝置拍攝的動車組底部序列圖像失真現象見圖1。其中，圖1(a)為較早時間拍攝的圖像，這里作為標準圖像；圖1(b)為晚些時候拍攝的包含同一區域的序列圖像，這里作為目標圖像。由圖1可以看出，標準圖像與目標圖像具有相同的區域，但目標圖像被分成了兩個序列圖像，如紅色框所示，異常區域在圖像的水平方向上發生了偏移。為實現動車組異常區域的自動檢測，必須校正這種由動車組速度偶爾波動引起的圖像失真。

圖1 動車組底部序列圖像失真現象

本文研究的重點是自動定位和識別動車組的異常區域并提供警報。基于TEDS，本文提出一種自動視覺檢測方法。該方法首先將目標圖像與對應的標準圖像配準對齊；然后使用背景差分法[14]確定二者之間的差異，從而快速定位目標圖像中潛在的異常位置；最后根據先驗知識，采用主成分分析(PCA)來識別動車組的異常區域。自動視覺檢測方法的系統組成包括圖像捕獲裝置、圖像處理軟件和自動檢測中心。當動車組通過圖像捕獲裝置時將產生分辨率為1 400×2 048的序列圖像，本系統的核心思想是校正由動車組速度波動而產生的圖像失真，并定位和識別動車組底部的異常區域。

1 圖像的配準與對齊

獲取動車組序列圖像之后，經圖像處理軟件處理以定位底部異常區域的位置。圖像處理軟件中的模型包括圖像對齊模型和異常區域定位與識別模型。圖像處理流程見圖2。首先，將目標圖像與圖像處理軟件庫中的標準圖像對齊。其次，將對齊后的目標圖像與標準圖像相減以生成差異圖像。在差異圖像中，像素值差異越大的區域發生異常的概率就越大。一旦定位出異常的位置，便采用PCA技術來識別動車組底部的狀態(異常或無異常)。最后，將檢測結果傳輸至自動檢查中心為決策者提供分級報警。

1.1 特征點提取

由于動車組的序列圖像具有1 400×2 048的分辨率，而且異常區域的位置在不同的序列圖像中可能發生偏移，因此，迅速提取有效的特征點成為關鍵一步。SIFT特征描述子在提取圖像特征點時具有抗光照、不易受圖像失真影響的優點，具有更好的穩定性。綜上分析，本文提出一種新的SIFT方法，用于快速提取有效的特征點，并采用增強的曼哈頓距離來濾除誤匹配的特征點。

(1)

梯度幅值和梯度方向重新定義為

(2)

(3)

式中：Δβ、Δβ′分別為梯度主方向偏移直方圖的兩種模式的位置[12]。

1.2 曼哈頓距離約束下的特征點匹配

最近距離的計算通常采用歐氏距離，但歐氏距離的計算需要復雜的平方、開方運算，這將導致對應的特征點對的搜索時間過長。曼哈頓距離的計算相對簡單，提高了特征點匹配的計算效率。假如標準圖像和目標圖像中的136維的特征向量分別為fj=(fj1,fj2,…,fj136)和f′j=(f′j1,f′j2,…,f′j136)，則對應的特征點對之間的曼哈頓距離定義為

(4)

(5)

式中：r*為縮放比例；Δβ*為梯度的主方向差。

增強型曼哈頓距離EMD(j)定義為

EMD(j)=[1+es(j)][1+eR(j)]d(j)

(6)

距離比R定義為

(7)

以EMD作為測量距離，將初始匹配的特征點作為重新匹配的特征點。為了獲得盡可能多的重新匹配的特征點對，在重新匹配過程中將比率的閾值設置為0.9[12]。當EMD獲得最小值時，完成初始匹配的特征點對被正確地重新匹配。由于重新匹配的特征點對中可能存在一些誤匹配，因此，使用MS-SIFT[12]中的方法來濾除大多數異常值。令對應的特征點對(Pj,P′j)的坐標分別為(xj,yj)和(x′j,y′j) ，特征點對(Pj,P′j)的水平偏移量Δxj和垂直偏移量Δyj分別定義為

(8)

由于列車的運動方向僅存在于水平方向，Δβ*= 0，因此，動車組序列圖像的失真僅存在于水平方向，而在列車運動方向的垂直方向上不存在失真，故大多數異常值可采用式(9)中的濾波器[12]濾除。

(9)

式中：Δxth、Δyth分別為水平、垂直偏移的閾值；Δx*、Δy*分別為水平、垂直方向上模式位置的值[12]。其中，水平方向與垂直方向直方圖的bin寬度分別決定了相應閾值的大小。水平偏移和垂直偏移的直方圖分別由Δx和Δy表示。最后，FSC[12]中的方法被用于濾除誤匹配的對應的特征點對。

1.3 基于空間尺度的標準化

將目標圖像與對應的標準圖像對齊是定位動車組底部異常的關鍵步驟，而動車組的速度波動是引起圖像像素在水平方向發生拉伸或壓縮的主要原因。當線掃描相機的掃描頻率恒定時，一幀圖像的空間尺度大小決定了像素拉伸或壓縮的程度，而列車速度的大小又決定了一幀圖像的空間尺度大小。如果每一幀目標圖像都可以根據對應的標準圖像的空間尺度進行標準化，則目標圖像和對應的標準圖像就可以精確對齊。目標圖像與對應的標準圖像之間的水平偏移是通過精確匹配的特征點之間的平均水平偏移量得到的。精確匹配的特征點之間的水平偏移量表示在列車運動方向上目標圖像與相應標準圖像之間的相對偏移，且相鄰特征點之間的差表示在列車運動方向上的拉伸或壓縮。在目標圖像與相應標準圖像對齊過程中，水平偏移量起到了決定性作用，如果確定了目標圖像與相應標準圖像之間的水平偏移量Δx，就可以認為確定了目標圖像與相應標準圖像之間的相對關系。

首先，采用本文提出的SIFT算法將第j個目標圖像與對應的第j個標準圖像進行配準與對齊，以確定二者之間的水平偏移量Δxj。如果Δxj>0，則將第j-1個目標圖像在水平方向上分割成像素區間為{0,1 400-Δxj}和{1 400-Δxj,1 400}的兩部分，并分別重新編號為(j-1)1和(j-1)2；同時將第j個目標圖像在水平方向上也分割成像素區間為{0,1 400-Δxj}和{1 400-Δxj,1 400}的兩部分，并分別重新編號為j1和j2；然后將編號為(j-1)2和j1的2個圖像塊在水平方向上拼接在一起，形成一個像素區間為{0,1 400}的新目標圖像，并重新標號為jj。如果Δxj<0，則將第j個目標圖像在水平方向上分割成像素區間為{0,Δxj}和{Δxj,1 400}的兩部分，并分別重新編號為j1和j2；同時將第j+1個目標圖像在水平方向上也分割成像素區間為{0,Δxj}和{Δxj,1 400}的兩部分，并分別重新編號為(j+1)1和(j+1)2；然后將編號為j2和(j+1)1的2個圖像塊在水平方向上拼接在一起，形成一個像素區間為{0,1 400}的新目標圖像，并重新標號為jj。最后，將重新拼接后的編號為jj的目標圖像作為第j個目標圖像。通過這種方式達到標準化目標圖像的目的，標準化后的目標圖像可以與對應的標準圖像精確對齊。目標圖像與對應的標準圖像對齊效果見圖3。

圖3 目標圖像與對應的標準圖像對齊效果

2 行駛中動車組機械部件狀態的自動檢測

式中：ω為常數參數，用于增強像素值差異較大的區域；λ也為常數參數，用于減小像素值差異微小的區域；ω、λ分別設置為15、50。如果獲得了目標圖像與對應的標準圖像之間的差異，就將這些差異視為潛在的異常區域，然后再根據標準圖像中的先驗知識來確定動車組底部的狀態。最后，采用PCA技術來分析和識別動車組的序列圖像，并根據先驗知識來確定潛在的異常區域是否真正存在異常。由線掃描CCD攝像機捕獲的列車底部典型序列圖像見圖4。

圖4 由線掃描CCD攝像機捕獲的列車底部典型序列圖像

3 圖像對齊的評估標準與實驗結果

為了評估本文新定義的SIFT算法的性能，將其與其他經典的圖像對齊算法進行對比，包括SIFT[10]、SAR-SIFT[11]、PSO-SIFT[12]。本文采用2組動車組底部的目標圖像與對應的標準圖像作為測試圖像對，見圖5，其中，圖5(a)和圖5(b)為測試圖像對1，圖5(c)和圖5(d)為測試圖像對2。

此外，所有的圖像對齊算法均在MATLAB2019b下運算執行，臺式電腦硬件參數為Intel(R)Core(TM)i7-4771CPU@3.5GHz處理器和8GB內存。

圖5 動車組底部目標圖像與對應的標準圖像

3.1 圖像對齊的評價標準

(1)對齊精度

圖像對齊精度通常采用均方根誤差RMSE[12]這一準則來進行評估。從目標圖像與對應的標準圖像中精心選擇N個對應的特征點對{(xi,yi),(x′i,y′i)}，以盡可能減少殘差[12]。因此，模型參數的準確性可以采用這些精心挑選的特征點對進行測試。RMSE的計算式為

(11)

式中：N為對應的特征點對的數量；(xi-xi′，yi-yi′)為其中某一個匹配項的殘差。對于圖5的2組動車組圖像對各進行10次測試，10次測試的平均值作為最終的RMSE[12]。

(2)特征點的數量

正確匹配的特征點數量N決定了圖像匹配算法的穩定性，因此，本文采用正確匹配的特征點的數量來評估本文新定義的SIFT算法的穩定性。正確匹配的特征點是指被RANSAC[18]算法濾除誤匹配特征點后的精確匹配點。

圖像對齊精度不僅受正確匹配特征點數量的影響，而且還受正確匹配的特征點空間分布的影響。當不同的圖像匹配算法的RMSE互相接近時，正確匹配的特征點的數量被用來做進一步的比較。圖5中2組測試圖像對的對齊精度、正確匹配的特征點數量、圖像對齊的平均耗時等的比較見表1。從表1中可以看出，本文新定義的SIFT算法在圖像對齊過程中的平均耗時優于其他算法。

表1 各種算法的N、RMSE、圖像對齊的平均耗時比較

3.2 水平偏移量對圖像對齊的影響

當目標圖像與對應的標準圖像精確對齊時，水平偏移量Δx=0，此時峰值信噪比PSNR具有最大值；隨著Δx的增大，PSNR逐漸減小；因此，本文使用PSNR評估Δx對圖像對齊的影響。由于存在模型誤差，當Δx=0時目標圖像與對應的標準圖像精確對齊的情況幾乎不存在，因此，本文采用以下4組不同的參數來分析Δx對圖像對齊的影響：Δx≤5像素，Δx≤15像素，Δx≤35像素，Δx≤50像素。根據圖4典型序列圖像，Δx對圖像對齊的影響曲線見圖6。

圖6 水平位移量Δx對圖像對齊的影響曲線

圖7 圖像標準化對圖像對齊的影響

由圖6可以得出，當Δx≤5像素時，獲得了最大的PSNR曲線。因此，在對目標圖像進行空間尺度標準化過程中，Δx≤5像素被用作標準化目標圖像的誤差區間。

3.3 目標圖像標準化對圖像對齊的影響

對目標圖像與對應的標準圖像之間的水平偏移量的測量精度，決定著目標圖像標準化的效果，而目標圖像標準化的效果又決定著目標圖像與對應的標準圖像是否能夠對齊。圖像對齊是完成底部異常檢測的關鍵步驟。本文選擇4組列車底部的圖像對作為測試圖像對，展示標準化后的目標圖像對圖像對齊的影響，見圖7。由圖7可以看出，標準化后的目標圖像與對應的標準圖像之間的Δx幾乎為零，這表明本文新定義的圖像對齊模型對完成目標圖像與對應的標準圖像之間的精確對齊收到了很好的效果。

3.4 動車組底部異常自動檢測的實驗結果

在動車組底部異常檢測方面，將本文提出的方法與SSD算法作對比實驗，以證明本文所提方法在檢測動車組底部異常方面所具有的優勢。基于SSD的目標檢測算法需要大量的樣本數據才能完成SSD模型的訓練，但是動車組底部異常只是偶爾現象，很難搜集到足夠多的樣本以完成SSD模型的訓練。因此，本文選擇在搜集到的動車組圖像數據集的基礎上進行一系列的剪切、變形、旋轉、CutMix[19]操作,以使這些樣本數據集中丟失的螺栓、附著的紙屑、黏掛的布條的數量分別達到914、916、920。任選80%帶標注的樣本用于訓練SSD模型，其余20%帶標注的樣本作為測試、驗證樣本數據集。基于SSD的動車組底部異常檢測的平均精度見表2，顯示了采用訓練好的SSD模型檢測動車組底部狀態時，計算機進行批量檢測時的仿真結果。

表2 基于SSD的動車組底部異常檢測的平均精度 %

由表2可見，不同類型的異常具有不同的平均檢測精度。實際上，動車組的異常通常具有多樣性，而且SSD模型的訓練過程非常耗時，因此，難以用于實際應用中。

采用本文所提出方法在檢測動車組底部異常時的定位結果與檢測結果見圖8。

圖8 本文方法的定位結果與檢測結果

在動車組目標序列圖像中，圖像背景十分復雜，同一目標物有時甚至被分割到兩幀圖像，給圖像定位與識別帶來障礙。采用本文提出的圖像對齊模型將所有的目標序列圖像與對應的標準序列圖像對齊后，再在目標圖像與對應的標準圖像之間執行本文新定義的背景差分法生成差異圖像。在差異圖像中，對比度越鮮明的區域，出現異常的概率就越大。然后，根據先驗知識，采用主成分分析技術來識別動車組底部的狀態(異常或無異常)。在對目標序列圖像分類時，采用多類支持向量機(SVM)，以便給出目標序列圖像的序列號。訓練過程為：讀入動車組底部異常數據(訓練樣本)，PCA降維以抽取動車組底部異常的特征，數據規格化，訓練多類SVM。識別過程為：讀入一個測試樣本，經過PCA變換降維，采用多類SVM進行分類，給出目標序列圖像的序列號。為了評估本文提出的方法在檢測動車組底部異常時的效果，本文選擇了動車組底部的2組對應的序列圖像作為測試樣本，其中無異常一組序列圖像作為標準圖像，而另一組對應的序列圖像作為目標圖像。目標序列圖像包括728個丟失的螺栓、642個布條、841個紙屑。采用SSD模型和本文提出的模型在檢測目標序列圖像時的實際統計結果見表3。表3中，如果異常被檢測成“正常”或正常被檢測為“異常”，則視為錯誤檢測；否則，定義為正確檢測。召回率即含有異常的動車組列車底部序列圖像被準確檢測出來的比例。精度是信息檢索領域和模式識別中廣泛采用的標準[3]，用來評估本文所提模型的檢測精度。檢測精度、召回率分別定義為

(12)

式中：Tpi為正確檢測的異常數量；Fpi為錯誤檢測的異常數量；Fni為未被檢測出來的異常數量。

表3 SSD模型與本文提出的模型在檢測動車組底部異常時的實際統計結果

由表3可以得出，本文的方法在檢測動車組底部異常區域方面取得了較好的效果。另外，本文的方法也可以用于檢測動車組其他部件的異常。

4 結論

在鐵路的日常維護中，確定動車組底部的狀態(異常或無異常)是必須定期開展的工作，但是人工檢測存在成本高、效率低、易漏檢的缺點。本文提出一種新的基于空間尺度標準化的圖像對齊模型和一種新的背景差分法，用于檢測動車組底部是否存在異常。通過試驗驗證得出以下結論：

(1)本文提出的圖像對齊模型有效地提高了圖像對齊的計算效率。

(2)根據目標圖像與對應的標準圖像之間的水平偏移量Δx，通過塊分割和塊拼接的方式對目標圖像進行校正，可以完成目標圖像的標準化，實現目標圖像與對應標準圖像的精確對齊。

(3)利用本文提出的背景差分法定位并突出異常區域，同時對圖像背景進行弱化，然后根據標準圖像中的先驗知識，可以確定列車底部是否存在異常。若存在異常，則通知自動檢測中心的檢修人員進行核實，并提供分級報警。

(4)試驗結果表明，本文提出的動車組列車底部異常檢測模型在對動車組列車底部異常檢測時，對于螺栓缺失、布條、紙屑的檢測精度分別達到了99.31%、99.22%、98.93%，取得了較好的檢測效果。

未來，可借助于開源計算機視覺庫(OpenCV)對本文的方法進行工程化，并對模型進行優化，以提高模型對齊的精度，同時提高算法的計算效率，使本文的方法達到實際應用的目的。