基于FCN不確定性特征的鐵路入侵異物檢測算法

胡行濤 劉大明 虞發(fā)桐

(上海電力大學計算機科學與技術(shù)學院 上海 201300)

0 引 言

隨著高鐵建設的新發(fā)展,中國鐵路正逐步上升為國家的標志和形象。做好路軌安全管理是中國鐵路發(fā)展的基礎工作,為此鐵路安全研究也成為社會熱點。異物侵限是指落石、行人、牲畜等鐵路異物,因外力作用或誤入鐵路限界,對鐵路軌道或運行列車造成安全隱患的行為。傳統(tǒng)的鐵路入侵異物檢測算法[1-4]存在實時性差、檢測精確率低等缺點,因此基于卷積神經(jīng)網(wǎng)絡的鐵路軌道入侵異物檢測成為當下人工智能領(lǐng)域研究的重點問題,在國內(nèi)外很多學者不斷改進創(chuàng)新中已經(jīng)獲得了較好的研究成果[5-7],由于卷積神經(jīng)網(wǎng)絡的局限性,入侵異物的檢測精確率仍然很低。

針對此問題,本文提出一種基于FCN不確定性特征的鐵路軌道入侵異物檢測,由于不確定性是任何檢測系統(tǒng)的一個自然屬性,因此在網(wǎng)絡模型中引入FCN不確定性特征至關(guān)重要,合理的概論解釋可以為物體預測提供關(guān)系置信度,并使檢測系統(tǒng)更加穩(wěn)健[8]。因此FCN不確定性特征的引入提高了檢測系統(tǒng)的穩(wěn)定性和準確性。因此本文在具體的卷積層中引入一個修改后的Dropout(R-Dropout)來構(gòu)造不確定性卷積特征。而為了減少卷積過程中引起的圖像偽影現(xiàn)象,本文提出一種新的混合下采樣方法,可以有效解決偽影現(xiàn)象。本文的突出優(yōu)點有:

(1) 與現(xiàn)有的檢測方法不同,本文的網(wǎng)絡模型十分簡單。它由一個編碼器FCN、一個解碼器FCN、一個像素級的分類器組成。編碼器FCN從原始圖像中分層學習視覺特征,而解碼器FCN逐步將編碼特征通過上采樣映射到像素級分類的圖像大小。

(2) 網(wǎng)絡模型中引入了不確定性卷積特征來實現(xiàn)更準確的入侵異物檢測。主要是通過在特定的卷積層中引入一個修改后的Dropout(R-Dropout)來構(gòu)造不確定性卷積特征,不需要額外的參數(shù)就可以構(gòu)建不確定性卷積特征。

(3) 提出一種新的上采樣算法來減少卷積過程中產(chǎn)生的圖像偽影現(xiàn)象。新的上采樣方法有兩個明顯的優(yōu)勢:它可以從提取卷積特征中分離出上采樣操作從而生成更高分辨率的特征映射;它與常規(guī)反卷積兼容。

(4) 不確定卷積特征的構(gòu)建和入侵異物檢測在編碼器和解碼器網(wǎng)絡架構(gòu)中統(tǒng)一,所提出的網(wǎng)絡模型每個層的權(quán)重和偏差參數(shù)通過端到端的梯度學習來聯(lián)合訓練。

經(jīng)過實驗表明,本文提出的基于FCN不確定性特征的鐵路軌道入侵異物檢測能夠獲得更精確的物體檢測效果,提高了鐵路軌道入侵異物檢測的魯棒性。

1 基于FCN不確定性特征的網(wǎng)絡模型

1.1 網(wǎng)絡模型結(jié)構(gòu)

本文根據(jù)堆疊去噪自動編碼器的模型特征[9],把自動編碼的網(wǎng)絡模型結(jié)構(gòu)運用到本文算法的網(wǎng)絡模型中,生成了一種全卷積編碼器-解碼器網(wǎng)絡模型。形成了一種新的混合FCN模型,由用于提取高級特征的全卷積編碼器網(wǎng)絡、用于重構(gòu)低級信息的全卷積解碼器網(wǎng)絡,以及用于檢測物體的像素分類器構(gòu)成,整體網(wǎng)絡模型如圖1所示。可以看出,FCN編碼器網(wǎng)絡由多個批標準化(BN)的卷積層、修正線性單元(ReLU)和不重疊的池化層組成。同時在FCN解碼器網(wǎng)絡中為了實現(xiàn)從低分辨率到高分辨率的特性映射,引入優(yōu)化后有利于減少偽影的混合上采樣操作。在該網(wǎng)絡模型中引入Softmax分類器來實現(xiàn)像素級的物體檢測,同時使用R-Dropout來構(gòu)造不確定性特征。

圖1 網(wǎng)絡模型

1.2 構(gòu)造不確定性特征

Dropout[10]的引入是為了防止FCN過程擬合從而來提高網(wǎng)絡檢測效率,主要通過在網(wǎng)絡訓練過程中,按照一定的概率把神經(jīng)網(wǎng)絡單元暫時從網(wǎng)絡中丟棄。大部分研究都是在全連接層中引入Dropout,但是缺乏對其他層(如卷積層)使用Dropout的研究。本文在卷積層之后使用修改后的Dropout(R-Dropout)來構(gòu)造不確定性卷積特征。

假設3D張量X∈RW×H×C,f(X)是FCN的卷積算子,通過參數(shù)W和b將X投影到RW′×H′空間:

f(X)=WX+b

(1)

g(f)=g(WX+b)

(2)

(3)

g((M?W)X+M⊙b)=g(SX+M⊙b)

(4)

由于本文的網(wǎng)絡模型是由交替的卷積層和池化層組成,因此本文的模型中存在兩個典型的結(jié)構(gòu)。為了更簡單地描述結(jié)構(gòu),接下來的描述中暫時不討論批標準化(BN)。

(1) Conv+R-Dropout+Conv:如果在引入的R-Dropout后面添加一個卷積層,則輸入的正向傳播表示為:

(5)

(6)

gl+1=g(fl+1)

(7)

(2) Conv+R-Dropout+Pooling:如果在引入的R-Dropout后面添加一個池化層,則輸入的正向傳播表示為:

(8)

(9)

(10)

(11)

式中:P0表示所有在池化層的激活函數(shù)均被丟棄。

第二種結(jié)構(gòu)Conv+R-Dropout+Pooling通過在卷積層中引入R-Dropout來展現(xiàn)出構(gòu)建不確定性的有效性,因此本文采用第二種結(jié)構(gòu)來構(gòu)建網(wǎng)絡模型。

1.3 混合上采樣

本節(jié)首先通過反卷積算法[11]解釋了產(chǎn)生偽影的原因,并且提出一種新的上采樣算法,盡可能地減少網(wǎng)絡訓練和卷積過程中偽影現(xiàn)象。

假設一個n×n的輸入圖像塊,卷積核矩陣大小為k×k,采樣尺度矩陣為s×s,零填充矩陣大小為p×p。由于本文的目標主要是實現(xiàn)上采樣操作,因此采樣尺度s≥2,則卷積運算符C可以描述為:

O=C(I,F)=I*F

(12)

基于上述問題,本文提出兩種避免反卷積時產(chǎn)生偽影的解決方法。第一種是限制過濾器的大小k,需要確保濾波器大小k是采樣尺度s的倍數(shù),從而避免像素值重疊問題。即:

k=λsλ∈N+

(13)

而對于插入零元素后的圖像輸入問題,反卷積采用等價卷積來處理,從而得到平滑的輸出。然而這種方法只關(guān)注于改變輸出圖像像素的接受域,而不能改變插入零元素后輸入圖像的頻率分布,因此在多種極端情況下,此種上采樣解決方法還是會使卷積后的輸出圖像存在偽影現(xiàn)象。因此本文提出另一種解決方法,通過從等價卷積中分離出上采樣操作。首先,通過插值將輸入圖像調(diào)整為所需的大小,然后執(zhí)行一些等價卷積操作。雖然這種方法可能會影響FCN的網(wǎng)絡特征,但是經(jīng)過實驗發(fā)現(xiàn)通過迭代堆疊上采樣產(chǎn)生的高分辨率圖像可以有效地減少偽影現(xiàn)象。為了充分利用這兩種上采樣方法的優(yōu)勢,本文結(jié)合這兩種上采樣方法,引入混合上采樣方法來有效地減少卷積后存在的偽影現(xiàn)象。圖2中說明了這種混合上采樣方法。在這種混合上采樣方法中,使用雙線性(或最近鄰域)插值算法,由于這種插值方法是線性運算,可以作為有效的矩陣,通過乘法嵌入到FCN模型中去。

圖2 混合上采樣

1.4 網(wǎng)絡訓練

由于缺乏足夠的目標檢測數(shù)據(jù)來從頭開始訓練網(wǎng)絡模型,因此本文利用VGG-16模型[12]的前端作為編碼器FCN模型(13個卷積層和5個池化層預先在ILSVRC 2014進行訓練用于圖像分類)。解碼FCN網(wǎng)絡與編碼器網(wǎng)絡相關(guān)聯(lián),包含卷積層、上采樣操作和分類器。批標準化(BN)被包含到每個卷積層的輸出中去,同時在特定的卷積層之后添加(p=0.5)R-Dropout。對于物體檢測,本文隨機地初始化解碼器FCN的權(quán)重并且微調(diào)MSRA10K數(shù)據(jù)集上的整個網(wǎng)絡,該數(shù)據(jù)集在物體檢測上被廣泛使用。將數(shù)據(jù)集中每幅圖像的ground-truth圖轉(zhuǎn)換成0-1的二值圖。根據(jù)下面的Softmax的交叉熵損失函數(shù)從背景(鐵路軌道)中分離出前景物體:

(14)

式中:lm(lm=0,1)是圖像中像素m的標簽;qm是像素m是前景物體(輸電線路缺陷)的概率,qm的值是從網(wǎng)絡的輸出中得到的。在將訓練的圖像輸入到網(wǎng)絡模型中之前,先將每幅圖像減去訓練數(shù)據(jù)集的平均值并重新縮放到相同的尺寸(448×448),對于數(shù)據(jù)集中0-1二值圖像調(diào)整至相同的大小。本文模型的訓練通過小批量隨機梯度下降(SGD)實現(xiàn)網(wǎng)絡訓練。

1.5 前景目標物體的提取

因為本文的網(wǎng)絡模型是完全卷積神經(jīng)網(wǎng)絡,所以在測試時可以將任意大小的圖像作為輸入。因此網(wǎng)絡的輸出是由區(qū)分出來的前景目標物體(入侵異物)和背景物體(鐵路軌道)組成,通過前景物體和背景物體之間的差異,并剪切負值來提取最終的前景目標物(入侵異物)。

Sal=max(Mfe-Mbe,0)

(15)

式中:Mfe為前景目標物體(入侵異物);Mbe為背景物體(鐵路軌道)還捕獲了上下文的對比度信息,提高了前景物體檢測的性能。

2 實驗結(jié)果與分析

本文使用改進的Caffe框架實現(xiàn)了基于MATLAB R2014b平臺的方法。在配備i7-4790 CPU(16 GB內(nèi)存)和一個NVIDIA Titan X GPU(12 GB內(nèi)存)的四核PC機上運行本文算法。本文的網(wǎng)絡模型訓練過程需要近23 h,并在最小批量SGD的20萬次迭代后收斂。

2.1 實驗結(jié)果

數(shù)據(jù)集來自鐵路軌道監(jiān)控視頻。總共截取了4 000多幅不同分辨率的圖像,其中:2 500幅圖像作為訓練集;1 500多幅圖像作為測試集。在訓練集中總共標注了3種不同的樣本,分為A、B、C類。A是已經(jīng)進入鐵路軌道區(qū)域的動物;B是已經(jīng)進入鐵路軌道區(qū)域的行人;C是已經(jīng)進入鐵路軌道區(qū)域的障礙物。

圖3為本文算法實現(xiàn)效果圖,可以將鐵路軌道中的入侵異物有效地檢測提取出來。

2.2 算法對比與分析

本文使用三種廣泛使用的指標來衡量所有算法的性能:PR曲線、F-measure和平均絕對誤差(MAE)。

RP(Precision-Recall)曲線主要是描述Recall(查全率)和Precision(查準率)之間關(guān)系的曲線。

(16)

式中:β為參數(shù),取值范圍為0到1。

準確率和召回率目前已經(jīng)被廣泛地使用在分類領(lǐng)域作為有效的度量值來評價結(jié)果的質(zhì)量。其中,準確率衡量的是檢索系統(tǒng)的查準率;召回率衡量的是檢索系統(tǒng)的查全率。

(17)

式中:W和H為框的寬和高;S(x,y)為(x,y)處的像素值。

為了評價檢測出來的物體與Ground truth之間的誤差,使用平均絕對誤差來衡量。

(18)

式中:G(x,y)為S(x,y)周圍背景的像素平均值。

為了衡量本文算法的性能,本文采用6個廣泛使用的數(shù)據(jù)集DUT-OMRON[13]、ECSSD[14]、HKU-IS[15]、PASCAL-S[16]、SED[17]、SOE(文獻[14])并與6種深度學習算法進行比較其中包含DCL[18]、DS[19]、LEGS[20]、MDF(文獻[15])、RFCN[21]等。

從表1和圖4中可以看出。(1) 本文算法在F-measure和MAE上優(yōu)于ECSSD和SED數(shù)據(jù)集上的其他算法。(2) 本文算法在大多數(shù)數(shù)據(jù)集上達到較低的MAE值。(3) 本文的RP曲線均優(yōu)于其他算法,檢測的準確率較高。驗證了本文算法在引入不確定性卷積特征的必要性。因此本文提出FCN不確定性特征模型在所有評估指標方面表現(xiàn)出很好的優(yōu)越性,從而有力地表現(xiàn)了本文算法的有效性。

圖4 RP曲線

表1 算法指標

3 結(jié) 語

本文提出一種新的用于鐵路軌道異物入侵檢測的全卷積網(wǎng)絡模型。通過引入不確定性卷積特征來產(chǎn)生更準確的物體檢測,同時提出新的上采樣方法來減少卷積運算過程中產(chǎn)生的偽影現(xiàn)象,并且能夠強制網(wǎng)絡為物體檢測學習到更準確的邊緣。經(jīng)過實驗表明,本文提出的基于FCN不確定性特征的鐵路軌道入侵異物檢測中的網(wǎng)絡模型能夠顯著地提高系統(tǒng)檢測的性能,提高基于FCN鐵路軌道入侵異物檢測的魯棒性。