基于卷積神經網絡的航拍視頻軌道異物檢測方法*

俞軍燕 黃皓冉 楊 毅 邢宗義

(1.廣州地鐵集團有限公司， 510335， 廣州； 2.南京理工大學自動化學院， 210094， 南京∥第一作者， 高級工程師)

隨著我國列車運營速度的不斷提高，對列車運行安全的要求也不斷提高。軌道異物檢測是保證軌道線路安全運營的一項重要措施，對其進行研究具有重要意義[1-2]。由于異物侵限事件的發生具有突發性、無規律可循及不可預測等特點，而人工巡檢等傳統方法成本高且可靠性低，因此國內外提出了眾多軌道異物侵限的檢測方法。根據原理的不同，軌道異物侵限檢測方法可分為接觸式和非接觸式兩種[3]。接觸式異物檢測方法主要使用雙電網傳感器技術和光纖光柵傳感器技術構成的防護網式檢測系統。非接觸式異物檢測方法主要采用激光、紅外、微波或機器視覺等方式。機器視覺技術因設備成本低、維護方便及可視化效果好等優點，在非接觸式異物侵限檢測系統中得到越來越多的應用。

相比于傳統的定點架設相機的軌道異物檢測系統，無人機巡檢具有成本低、易攜帶、檢測范圍廣及維護簡單等特點。現有的軌道異物檢測算法多對于定點架設相機拍攝的視頻圖像進行研究，僅能處理靜態背景的視頻圖像。文獻[4]利用霍夫變換檢測感興趣的軌道區域，并利用輪廓提取方法對軌道區域進行系統搜索；文獻[5]結合形態學處理和漸進概率霍夫變換方法進行軌道區域提取，并設計了1套結構元素來增強提取效果；文獻[6]使用自適應背景差分法提取入侵目標，通過K-means算法對光流矢量的聚類進行目標識別；文獻[7]采用改進的高斯混合模型，對軌道線路視頻進行背景建模，并對背景像素與前景像素的貝葉斯分類進行檢測；文獻[8]采用基于支持向量機與Kalman濾波的目標分類及跟蹤算法對異物目標進行識別。上述算法均無法完全消除光照條件變化、相機抖動等干擾因素對檢測結果的影響。

近年來，CNN(卷積神經網絡)在圖像分類、模式識別等領域取得了出色的成績。由于其特征提取能力強與魯棒性好，研究人員開始嘗試使用其解決軌道異物檢測問題。文獻[9]采用CNN模型對異物目標進行快速特征提取，能夠較好地提取不同光照條件下物體的特征信息，從而消除光照條件變化、相機抖動等干擾因素對檢測結果的影響，證實了CNN方法的可行性。但由于該方法采用手工劃定檢測范圍，仍無法處理無人機拍攝的動態背景視頻圖像。

針對現有軌道異物檢測算法的不足，本文提出了一種基于CNN的航拍視頻軌道異物檢測方法。該方法首先根據軌道特有直線特征，使用邊緣檢測、直線檢測等算法提取待檢測的軌道區域；然后使用改進的MobileNet CNN模型與視頻多幀關聯算法對提取的軌道區域進行檢測，實現對航拍視頻圖像的軌道異物檢測。本方法總體流程如圖1所示。

1 軌道區域提取

由于航拍視頻圖像視場較大、信息復雜且軌道安全界限在視頻圖像中的位置不固定，因此難以直接使用CNN模型對原始圖像進行異物檢測。本文針對這一問題，對原始圖像進行處理，自動劃定軌道安全界限，篩選出有用的完整軌道區域。包括Canny邊緣檢測、概率hough變換、設置軌道區域界限及透視變換。

1.1 Canny邊緣檢測

Canny邊緣檢測算法是一種多級檢測算法，不易受噪聲干擾，對于弱邊緣檢測效果較好，因此，本文采用該算法進行圖像邊緣檢測。該算法主要包括高斯平滑濾波、計算梯度幅值和方向、對梯度幅值進行非極大值抑制、雙閾值算法檢測與連接邊緣等4個步驟。本文雙閾值算法高閾值設為120，低閾值設為70。Canny邊緣檢測結果如圖2所示。

1.2 概率hough變換

Hough變換是一種使用表決原理的直線檢測算法，其基本原理是通過點線的對偶性，將源圖像上的點影射到用于累加的參數空間，把原始圖像中給定直線的檢測問題轉化為尋找參數空間中的峰值問題。其變換公式如下：

ρ=xcosθ+ysinθ

(1)

式中：

(x,y)——圖像坐標系中點的坐標；

ρ、θ——參數空間中的對應參數。

然而傳統Hough變換計算量較大，檢測速度較慢，因此，本文使用概率Hough變換進行直線檢測。概率Hough變換是在Hough變換的基礎上，對邊緣圖像上的前景點進行隨機采樣，在變換后形成的參數空間中進行投票，當累加值大于閾值時即認為存在直線。該算法不像Hough變換對全部邊緣點進行計算，而是僅抽取部分邊緣點進行計算，因此減少了計算量，提升了算法速率。本文設定累加閾值為100。概率Hough變換結果如圖3所示。其中，圖3 a)為圖像中只包含單條軌道的檢測結果，圖3 b)為圖像中包含多條軌道的檢測結果。從圖3可見，由于軌道曲率變化、周圍碎石及光線變化等的干擾，檢測結果中軌道被分為了多條線段，且檢測結果中包含了較多的干擾線段，因此還需作進一步處理。

1.3 設置軌道區域界限

為了提取完整的軌道區域，首先需將被分割的多條線段進行合并。本文方法中兩條線段是否需要被合并，主要取決于3個條件：兩條線段中最靠近的兩個端點間的橫向距離小于閾值dx，縱向距離小于閾值dy，以及兩條線段的斜率之差小于閾值kt。僅當兩條線段滿足上述3個條件時，兩條線段才會合并，合并后的線段為兩條線段中距離最遠的兩個端點間的連線。

根據軌道必為連續的長直線，對合并后的線段進行篩選，保留長度大于閾值L的線段。對所有保留的線段進行配對，從左向右依次將線段與其右側斜率之差小于kt的最鄰近線段進行匹配，提取兩條線段間距離在[t1,t2]內的線段，根據軌道特有直線特征判斷所提取線段關系，確定相應的軌道位置。

確定圖像中相應軌道位置后，根據圖像平面的軌道區域寬度，將各軌道位置的左、右邊界各向外擴展1個軌道寬度，即可得到待檢測的軌道區域界限。

1.4 透視變換

無人機飛行過程中易受到環境因素干擾，無法確保拍攝的軌道區域為矩形區域。如圖3 a)所示的軌道區域即為梯形區域，而CNN訓練與測試的輸入均為矩形圖像。因此，需使用透視變換將軌道區域變換為矩形區域。

經上述步驟，即可得到有用且完整的軌道區域圖像。軌道區域提取示例如圖4所示。

2 基于改進的MobileNet模型的軌道異物檢測

2.1 改進的MobileNet模型

CNN是當前圖像理解領域的研究熱點，近年來廣泛應用于模式識別、圖像分類等領域。該模型具有結構簡單、魯棒性強、圖像旋轉與平移時高度不變性等優點。常用的網絡模型有AlexNet、VGGNet[10]、GoogLeNet、ResNet、MobileNet[11]等。其中，MobileNet是一種以VGGNet為基礎，使用深度可分離卷積替換標準卷積的輕量化網絡模型。其計算量與參數數量大幅度減少，適用于移動和嵌入式設備。

由于MobileNet理論模型與在軌道線路場景實際應用之間具有一定差異，將該模型直接應用于軌道異物檢測存在較多問題，且檢測效果不佳。首先，由于模型激活函數大量使用ReLU(修正線性單元)函數，對于軌道異物檢測這類背景相似度較高的場景，在訓練過程中易使過多神經元死亡，影響模型檢測效果且收斂速度較慢。其次，異物的大小形態各異，由于模型僅使用3×3小尺寸卷積核，前幾層網絡的局部感受野也有限，模型難以提取較好的特征，影響模型檢測效果。此外，本文中軌道異物檢測只關注軌道區域內是否包含異物，屬于二分類問題，而MobileNet模型為1 000分類網絡模型，原分類網絡對這類相似度較高的二分類問題擬合效果不好，且自制數據集的圖片數量遠少于原分類網絡所需的圖片數量，難以較好地訓練原分類網絡。

本文以MobileNet網絡模型為基礎，設計了一種用于軌道異物檢測的改進MobileNet網絡模型，其結構如圖5所示。

具體改進方法如下：針對MobileNet模型中過多神經元死亡的問題，本文使用ELU(指數線性單元)函數替代ReLU函數，同時在步長為2的深度卷積層后加入dropout層穩定模型進行訓練，加速模型收斂。ELU函數如下所示：

(2)

式中：

a——梯度系數;

x——輸入變量。

相比于ReLU函數，ELU函數可以將激活單元的輸出均值向0逼近，減少偏移效應進而使梯度接近于自然梯度，從而修正數據分布，防止出現過多神經元死亡，提升模型的收斂速度與訓練效果。

針對MobileNet模型前幾層網絡的局部感受野有限的問題，本文使用擴張率為2、步長為1的空洞卷積替換第1層步長為2的標準卷積，并將第2層深度可分離卷積中的深度卷積的步長改為2，以適應后幾層深度可分離卷積層輸入圖像的分辨率。空洞卷積相比于標準卷積，能夠在不降低分辨率的情況下擴大感受野，以捕獲更多的多尺度上下文信息，且不會增加參數數量與計算量。加入空洞卷積后可有效提升前幾層網絡的感受野范圍，提升模型特征的提取效果，提高模型的檢測效果。

針對MobileNet模型分類網絡訓練效果差的問題，本文使用SVM分類器替換由全連接層組成的原分類網絡。SVM分類器是一種二分類模型，其學習策略為間隔最大化，可形式化為一個求解凸二次規劃的最優化算法。該分類器對于小樣本訓練集效果較好，且具有較好的魯棒性。因此，本文使用SVM分類器，以適應自制數據集圖片數量及類別數量，防止模型過擬合，提升模型訓練效果。

2.2 視頻多幀關聯

視頻多幀關聯是指根據視頻的連續性，剔除斷續出現的單幀檢測結果的虛假檢測目標，從而有效降低視頻檢測的虛警率。本文利用視頻幀間相關性對單幀圖像軌道異物檢測結果做進一步處理，具體為：任取連續的3幀圖像，若第k幀與第k+2幀圖像的檢測結果均為無異物，而第k+1幀圖像的檢測結果為有異物，則判定第k+1幀圖像的檢測結果有誤，需對k+1幀圖像的檢測結果進行修正。同時，根據異物在視頻中位置的連續性，通過連續N幀檢測結果判斷軌道區域是否存在異物。當連續N幀圖像均檢測到有異物時，判定軌道區域存在異物。

3 試驗結果與分析

3.1 數據集與模型訓練

本文使用無人機在某段軌道線路采集共10段包含人、樹枝、木板、紙盒等異物的航拍視頻，相機的分辨率為1 280像素×720像素，無人機飛行高度為4～6 m。對其中4段視頻進行單幀拆分，得到5 900張原始圖像。對原始圖像進行軌道區域提取并對提取后的圖像進行人工標注，之后使用翻轉、平移、改變亮度與對比度等操作進行擴充，最終建立訓練驗證集的圖片數量為11 000張：訓練集的圖片數量為8 800張，驗證集的圖片數量為2 200張。其余6段視頻用于測試。

試驗使用Tensorflow神經網絡學習框架，以Anaconda4.5.11的Spyder(Python3.7)作為仿真平臺，電腦配置的CPU(中央處理器)為I5-7600 3.5 GHz、16 GB內存、GPU(圖形處理器)為NVIDIA GTX1050，使用Numpy、Tensorflow1.13.1、Keras 2.2.4等軟件，搭建改進后的MobileNet網絡模型并使用自制樣本數據集對其進行訓練。訓練參數設置為：dropout層系數為0.2；ELU函數系數為0.1；使用隨機梯度下降法，初始學習率為0.01，學習衰減率為0.000 1，動量參數為0.99。改進后的MobileNet網絡模型訓練損失函數曲線如圖6所示。

3.2 軌道區域提取效果評估

本文軌道區域提取方法輸入圖像為1 280像素×720像素的彩色圖像。試驗參數設置為：橫向距離閾值dx=10像素，縱向距離閾值dy=25像素；兩條線段的斜率之差閾值kt=0.1，線段長度閾值L=100像素；單條軌道場景線段間距離范圍t1=100像素，t2=180像素；多條軌道場景線段間距離范圍t1=40像素，t2=120像素。軌道區域提取結果如圖7所示。

從圖7中可見，對于包含單條軌道與多條軌道的航拍圖像，該算法均能將圖像中的所有軌道區域完整地提取出來。因此，可將提取的軌道區域圖像直接送入CNN進行檢測。

3.3 軌道異物檢測效果評估

為驗證本方法的有效性，使用檢測率與虛警率作為精度評價標準，對視頻檢測結果進行定量評價。檢測率RD與虛警率RF的計算公式分別為：

(3)

(4)

式中：

Ncorrect——檢測正確的異物數目；

Nwrong——檢測錯誤的異物數目；

Nall,v——視頻中的異物總數；

Nall,c——檢測到的異物總數。

3.3.1 MobileNet模型各改進部分有效性分析

為了對本文提出的各改進部分的作用進行評價，本文以Mobile Net網絡模型為基礎對各改進部分性能進行有效性分析，檢測結果如表1所示。表1中，Mobile Net表示基礎網絡模型，E表示使用ELU函數替代ReLU函數，D表示使用空洞卷積，S表示使用SVM分類器替換全連接層。

表1 MobileNet模型各改進部分檢測結果對比

從表1中可見，各改進部分能夠有效地提升模型檢測效果，提高模型的檢測率，降低模型的虛警率。

3.3.2 軌道異物檢測結果

使用VGG16模型、Mobile Net模型及本文改進的模型分別對6段測試視頻進行檢測。其中，VGG16模型的分類網絡中全連接層的神經元數由4 096改為512，以適應數據集圖片數量。視頻多幀關聯參數N為6。軌道異物檢測結果如表2所示。表2中，VGG16S模型表示VGG16模型的分類網絡由全連接層替換為SVM分類器。本文方法檢測效果如圖8所示。其中，safe表示檢測結果為軌道區域無異物，danger表示檢測結果為軌道區域存在異物。

表2 軌道異物檢測結果

從表2中可見，本文模型的RD與RF均優于VGG16模型和MobileNet模型，且模型參數數量也均低于VGG16模型和MobileNet模型。從圖8中可見，本文方法能夠對形態、大小各異的多類型異物進行有效檢測。

3.3.3 軌道異物誤檢結果分析

本文方法誤檢結果如圖9所示。從圖9 a)中可見，當木板剛進入視場時，由于其成像面積較小，且其特征與軌道枕木相似，導致檢測結果出現漏檢。從圖9 b)和圖9 c)中可見，由于圖9 b)中左上角部分軌道的干擾，軌道區域提取算法僅提取了部分軌道區域，導致檢測結果出現誤檢。

4 結語

本文提出了一種基于CNN的航拍視頻軌道異物檢測方法。首先根據軌道特有直線特征，通過Canny邊緣檢測、概率Hough變換、線段合并與篩選、透視變換等操作提取待檢測的軌道區域；對MobileNet模型進行改進，在此基礎上對單幀圖像的軌道區域進行檢測分類；利用視頻多幀關聯對單幀圖像軌道區域的檢測結果進行優化，得到最終的視頻軌道異物檢測結果;并對自制航拍數據集進行訓練與測試。試驗結果表明，本文方法在該數據集上的RD為90.48%，RF為7.32%，能夠有效地對無人機拍攝的動態背景視頻圖像進行軌道異物檢測。在下一步工作中，將對軌道區域的提取方法做進一步優化；提高網絡模型對小目標軌道區域的檢測精度，并添加新的軌道場景類型，提高網絡模型的泛化性能。