基于深度學習的鐵路圖像場景分類優化研究①

趙 冰,李 平,代明睿,馬小寧

1(中國鐵道科學研究院 研究生部,北京 100081)

2(中國鐵道科學研究院 鐵路大數據研究與應用創新中心,北京 100081)

鐵路檢修及監控任務產生大量的圖像數據,圖像 后續分析一般與圖像拍攝場景相關聯,但目前圖像儲存后缺乏科學有效圖像場景分類方法,限制了圖像價值的分析與挖掘.由于鐵路領域缺乏專業大規模圖像數據集,與自然圖像相比,圖像包含大量前景語義,鐵路領域因素明顯,同時復雜光照條件、惡劣環境因素、設備素質局限均影響成像效果,增加了鐵路圖像場景分類任務的難度.快速準確的圖加了鐵路圖像場景分類任務的難度[1].快速準確的圖像場景自動分類方法有助于圖像分析研究工作,可為鐵路部件檢測、安保監控、周界防護等研究工作提供圖像分類預處理流程,具有切實研究應用價值.

目前圖像場景分類方法可分為兩類：基于手動特征提取方法與基于深度學習的方法.基于手動特征提取的分類方法在幾十年的發展中已趨于完善,Harris 角點檢測子[2]、DoG 算子[3](Difference of Gaussian )等興趣點檢測算法選擇局部明顯特征,在較小的計算開銷下能夠獲得一定的空間幾何不變性;方向梯度直方圖HOG[4](Histogram of Oriented Gradient)、尺度不變特征轉換SIFT[5](Scale Invariant Feature Transform)、局部二值模式LBP[6](Local Binary Pattern)等方法采取密集的特征提取方式,結合支持向量機SVM[7](Support Vector Machine)獲得了更優的特征提取效果.基于深度學習方法的CNN 網絡可對數據進行自動特征提取,克服了傳統提取特征方法需要手動設計特征提取算子的弊端,隨著2012年ImageNet 大規模視覺識別挑戰賽上AlexNet 超越傳統方法,在圖像分類任務上取得優異成績后,后續VGG、GoogLeNet、InceptionNet、ResNet 等CNN 網絡模型的提出,使得基于CNN 的深度學習技術成為圖像分類任務的主流方法[8].盡管表現出色,但CNN 模型的可解釋性問題一直為人詬病,在對CNN 進行可視化的解釋的方面,Zeiler 等人[9]提出建立反向卷積神經網絡,產生高分辨率和可理解的特征可視化圖像;類激活映射CAM (Class Activation Mapping)[10]通過改變CNN 的網絡結構并對數據集進行重新訓練,獲得類別定位激活圖,觀察CNN 的感興趣區域;梯度類激活映射Grad-CAM (Grad Class Activation Mapping)可對訓練好的分類網絡模型輸出計算梯度全局平均權重,減少了模型重構及訓練的時間.

本文提出了將DCNN 應用于鐵路圖像進行特征提取實現鐵路圖像場景分類,所建立的網絡結構級聯Grad-CAM 可視化層實現模型原理可解釋性.本文對比了不同的DCNN 網絡在鐵路場景圖像下遷移學習的能力,同時提出了通過可視化方法降低數據集內部偏差提升模型分類能力的優化流程,結果顯示本文提出方法可有效降低數據集偏差,提升模型分類能力.

1 研究方法

為實現在小樣本量下的鐵路圖像場景分類任務,本文基于遷移學習思想,將在ImageNet 數據集上預訓練好的網絡模型進行遷移調參訓練,比較了現有網絡及本文改進網絡在鐵路圖像場景分類任務下的性能;為實現CNN 分類模型可解釋性,本文基于Grad-CAM 思想,在經過下采樣后的最后一層特征映射圖上,對梯度權重添加ReLU 層,實現圖像不同區域對分類類別激活的熱力圖解釋.全文研究流程如圖1所示.

圖1 鐵路圖像場景分類及可視化分析流程

1.1 遷移學習

為避免CNN 模型在小型場景數據集訓練出現難以收斂的問題,本文將在ImageNet 數據集上預訓練好的網絡模型遷移至鐵路場景數據集進行訓練,表1展示ResNet50 和ResNet101 的模型結構,圖片進入模型后裁剪成固定分辨率,經過CNN 完成特征提取工作,結合本文特定問題,提出改進后ResNet50 網絡模型如下：

1)在conv1、conv2、conv3、conv4 層后分別連Dropout 層抑制過擬合,Dropout 率設定為0.2;2)全連接層修改為12 維,接softmax 層完成對各類別概率計算;3)固定前端所有層參數,僅對最后一層全連接層進行調參訓練.

以ResnetV1-50 模型為例,如圖2所示,圖片輸入尺寸為224×224 像素,在第一階段中,圖像經過卷積層1,卷積核為7×7 像素,步長為2 像素,維數為64,輸出尺寸為112×112 像素,進而連接批量歸一化層及非線性變換層以加快收斂,最后經過卷積核為3×3 像素,步長為2 像素的最大池化層;第二階段,圖像經過一個層數為3 的殘差塊,標準殘差塊的卷積核為1×1 或3×3 像素,輸出的圖像尺寸為56×56 像素;第三階段圖像經過一個層數為4 的殘差塊,輸出尺寸為28×28 像素;第四階段圖像經過一個層數為6 的殘差塊,輸出尺寸為14×14 像素;第五階段圖像經過一個層數為3 的殘差塊,輸出尺寸為7×7 像素;最終經過平均池化層、12 維的全連接層及歸一化指數層,求得圖像分類概率.

1.2 CNN 可視化模型

(1)梯度反向傳播(guided backpropagation)[11]：

對CNN 各層輸入和梯度均大于0 的所對應的梯度進行反向傳播,可在一定程度上展示該層提取到的全部特征,相鄰步梯度定義為：

其中,Ri為迭代過程中的梯度,根據反向傳播可由l+1 步的梯度求解出l步的梯度.

表1 ResNet 網絡結構

圖2 ResNet50 網絡遷移學習流程

(2)類激活映射(Class Activation Mapping)[12]：

通過多次卷積和池化后,CNN 最后一層卷積層包含了豐富的空間和語義信息,引入全局平均池化替換全連接層,保留下豐富的語音信息,對每一個特定類別c,類激活映射可顯示其類激活映射,如：

其中,MC指針對類別C的類別激活映射,fk(x,y)表最后一層卷積層上單元k的位置,指利用CA方法生成的激活值.

(3)漸變類激活映射(Grad Class Activation Mapping,Grad-CAM)[13]：

利用梯度全局平均來計算權重可在不改變原網絡結構的情況下實現對類別的加權熱力圖及激活分數,如：

2 鐵路場景分類數據集

ImageNet[14]、SUN[15]、Places[16]等大型數據集的提出推動了深度學習的發展,但這些數據集僅關注自然圖像,目前沒有專門用于鐵路目標或場景分類的鐵路圖像(如包含接觸網,涵洞,機車,線路等鐵路專有目標)數據集.為了彌補缺乏數據集對深層學習方法的制約,本文制作了一個名為Railway12 的鐵路場景圖像數據集,,Railway12 包含12 種典型場景 (隧道、候車大廳、購票大廳、火車站廣場、接觸網、維修車間、站臺、貨場、車廂、鐵路道口、鐵路橋梁、防護網),數據集總圖片量為1.2 萬幅圖像,每個類別包含1000張圖像.圖3顯示了Railway12 數據集的一些圖像樣本.

圖3 Railway12 數據集圖像樣例

3 實驗結果分析

3.1 場景分類結果

本節對深層CNN 的場景分類能力進行了評估.選擇三種典型的TF-Slim CNN 模型(ResNetV1,ResNetV2,Inception-ResNet-v2)進行訓練,這些模型已經在ILSVRC-2012-CLS 圖像分類數據集預先訓練過,以具有良好的并行處理能力.實驗在數據集按7：2：1 的比例劃分為訓練集、驗證集、測試集.出于后續工程化考慮,實驗在linux 環境下基于Tensorflow 深度學習框架搭建,計算機配置為：Inter Core i7,顯卡為1080Ti,參數設置如下：學習率(learning_rate)=0.0001,訓練批次尺寸(batch_size)=32,訓練周期(num_epochs)=75-85.除logits 層之外,所有網絡層均固定參數.我們在表1中提供了訓練集的top-3 的分類精度,以及測試集的top-1 和top-3 的分類精度.

實驗結果表明,將在ImageNet 預訓練的CNN 模型遷移到鐵路場景分類任務是可行的,模型分類精度優異,考慮到鐵路行業龐大的圖像數據量,模型具有實際的應用價值.實驗表明,網絡結構越深,提取特征模型的能力越強.模型的精度和損失歷史如圖4所示.

圖4 模型訓練準確率及損失歷史

3.2 模型可視化分析

3.2.1 模型激活區域分析

利用Grad-CAM 方法將CNN 最后一層卷積層的梯度信息生成類激活圖,熱力圖可以顯示模型對不同類別感興趣的區域,根據這種方法,我們可以對CNN 模型的訓練結果進行直觀解釋.

本文發現豐富的前景語義不是造成分類錯誤的主要原因 (如圖5(a)和(b),在圖像包含大量的前景語義情況下,模型仍根據背景信息實現了正確的分類.

表2 不同網絡結構的分類準確率

圖5 CNN 對不同圖像類型感興趣的區域：(a)和(b)為具有豐富前景語義的圖像,(c)和(d)為具有很大類內差異的圖像,(e)和(f)具有不同場景復雜度的圖像

當類別內部圖片差異性較大時,模型在訓練中會形成不同的關注模式,對于售票大廳類別,一部分圖片由售票窗口組成 (如圖5(c)),其他圖片由自動售票機(如圖5(d))組成.網絡仍然可以進行正確判斷.

當構成場景的對象較少時,場景比較直觀,此時神經網絡的判斷策略類似于目標分類,根據圖像中出現的典型目標判斷其歸屬類別,如圖5(e)所示;當圖像場景更加復雜時,構成場景的對象是隨機而大量的,它將場景理解為前景和背景語義的組合,作為如圖5(f)所示,座椅、行李、窗戶和乘客區域均對分類有貢獻.

一般情況下,我們只能從CNN 模型輸出中獲知top-n 預測類別和概率值.但如圖6所示,利用Grad-CAM 方法可以對同一張圖片的不同預測結果展示模型感興趣的區域.盡管模型對這張圖片做出了錯誤的判斷,但仍可以幫助我們分析模型做出錯誤分類的依據,為看似不合理的分類結果提供合理的解釋.

圖6 模型對同一輸入圖片的top5 預測結果及Grad-CAM 可視化展示

3.2.2 模型激活特征分析

在Grad-CAM 方法的基礎上,結合梯度信息可以揭示在CNN 的決策過程中激活了哪些特征,對CNN 的運行機制做出深入的解釋.

如圖7(a)所示,網絡在top1 預測中進行正確預測,網絡提取建筑尖頂作為顯著特征,而在top3 中的其他預測中,模型提取的特征為窗戶和行人,這些特征導致了錯誤的預測;但在圖7(b)中,模型在top1 預測中做出了錯誤的預測,但當模型做出讓人疑惑的決策時,Grad-CAM 和Guided Grad-CAM 可以解釋模型受到了怎樣的干擾.

3.3 降低數據集偏差優化模型分類性能

本部分我們分別計算測試集中12 類別圖片的錯誤率,結果見表3.選定ResNet V1 模型作為基準,分析數據集對于模型分類準確率的影響模式.我們發現維修車間,車廂,橋梁場景為分類準確率最高的三個場景,而隧道,候車大廳,車站為分類準確率最低的三個場景.

分類準確率較高的類別均體現類別內場景單一,可識別目標較明顯的特點;分類準確率較低的類別體現出類內場景豐富的特點,例如不同國家的火車站廣場建筑風格差異巨大,同時由于可能出現類別間相似性較大的問題,導致某些類別的分類準確率較低.

圖7 結合多種可視化方法展示對于預測對應激活特征

表3 測試集不同類別圖片的準確率

數據集偏差會對分類準確率造成嚴重的影響,當數據集出現各類別圖片數據量相差較大時,網絡模型對各類圖片的分類準確率會出現明顯波動,可以考慮使用數據增強技術進行彌補;應注意訓練集中同一場景類別內各種類型圖片的比例,如果某種類型數量占比過大,其他類型占比過小,在這樣有偏差的數據集訓練得到的模型其泛化能力較弱,容易產生有偏差和定勢的模型.

4 結束語

在本文中,我們建立了鐵路專用場景分析數據集Railway12,基于遷移學習的思想,將主流深度網絡模型遷移到場景分類任務中,獲得能夠勝任于鐵路場景分類任務的高準確率模型.利用Grad-CAM 等可視化方法,直觀的解釋網絡的工作原理,從網絡感興趣區域和分類激活特征兩個層面分析模型在場景分類任務中的典型判斷模式.最終,利用可視化方法分析數據集存在的偏差,通過改進數據集提高模型的場景分類準確率.未來我們計劃對數據集建立準確的類別字典,規范數據集類別內各子類圖片比例,完善數據集結構,提高數據集統計學分布意義,同時利用可視化手段指導網絡模型的修改,提出更加適用于鐵路場景分類的網絡模型.