基于Faster-RCNN的站臺端部人員入侵檢測研究

楊 棟，黃文政，張秋亮，李依諾，張亞偉

（1.中國鐵道科學研究院集團有限公司 電子計算技術研究所，北京 100081；2.中國鐵路南寧局集團有限公司 客運部，南寧 530029）

鐵路客運站的站臺端部為非封閉式環境，以方便作業人員可以通過站臺端部進入或離開站臺。但這也帶來了新的問題，比如：不法分子可以繞過安檢從站臺端部進入到車站，無票旅客可以通過站臺端部逃票出站，這些情況對鐵路的安全生產、提質增效帶來了隱患，把通過站臺端部非法進入和離開車站的行為稱為站臺端部人員入侵。目前，針對站臺端部人員入侵行為，鐵路部門主要有2種應對措施：安裝攝像頭監控和安裝超聲、紅外等探測裝置[1-2]。

基于超聲、紅外等探測裝置的入侵檢測，需在站臺端部新增硬件設備，且難以區分普通旅客和工作人員，需為工作人員配備關閉檢測設備的遙控器，以去除誤報。傳統的視頻監控主要依靠人工查閱來盯控，浪費大量人力，且難以做到多個站臺24 h全天盯控?；趫D像分析的智能視頻監控技術可減少人工作業強度[3]，提升站臺端部人員入侵檢測的準確率和效率，是鐵路客運安全保障的重要手段。

Krizhevsky A.等人提出了深度卷積神經網絡AlexNet模型[4]，該模型以顯著優勢在ILSVRC2012比賽中奪冠，并將top-5錯誤率降低至15.32%。Szegedy C.等人提出深度卷積神經網絡GoogLeNet模型[5]，Simonyan K.等人提出深度卷積神經網絡VGG 模型[6]。深度卷積神經網絡在圖像分類領域的優越性，使鐵路客運站站臺端部人員入侵檢測研究提供了新的思路。

本文針對站臺端部入侵場景，建立端部人員樣本集，基于Faster-RCNN算法，進行深度學習模型訓練，模型的平均精確率均值高；對模型參數進行調優測試，進一步提高了模型的檢測速度。

1 基于Faster-RCNN的目標檢測原理

深度卷積神經網絡AlexNet、GoogLeNet和VGGNet的出現，使圖像分類領域的準確率大幅提升，但這些網絡的輸入圖像均為固定尺寸，對于一幅輸入圖像，需提供固定尺寸的候選區，再輸入卷積神經網絡進行檢測和分類。為提升檢測分類的準確性，通常需要提供大量的候選區，這會浪費大量的計算資源。2015年，Ren S.等人提出Faster-RCNN算法[7]，Faster-RCNN算法是RCNN和Fast-RCNN算法的升級版本，該算法主要在候選區的建議上引入神經網絡學習，真正實現了候選區建議、圖像分類的全過程深度學習，大幅降低了計算量。Faster-RCNN算法邏輯，如圖 1所示，主要包擴特征提取、候選框推薦、檢測分類3部分。

1.1 特征提取

將圖片輸入卷積神經網絡，經過卷積運算和池化運算，提取圖片的特征圖譜信息。特征提取采用卷積神經網絡VGG16，深度卷積神經網絡VGG模型由Simonyan K.等人于2014年提出，作者在論文中提出了6種VGG模型， VGG16模型結構如圖 2所示，由13個卷積層、3個全連接以及5個池化層組成。為保證卷積操作后，輸入圖片尺寸不變，在每一次卷積操作前，需將輸入進行擴充補0操作。每個池化層（Maxpool）均為2×2像素的池化操作，將輸入圖片的長寬減少至1/2。特征提取過程選取13個卷積層、4個池化層后的結果為特征圖譜，故M·N·3像素的原始圖片，特征圖譜維度為（M/16）×（N/16）×512。

1.2 候選區推薦

特征圖譜信息經過區域生成網絡（RPN，Region Proposal Network）網絡產生候選區，推薦的候選區僅表示有目標，目標的分類在下一步完成，RPN結構，如圖 3所示。特征圖譜的每個點都可對應到原始圖片中的某個點，這個點稱為anchor。滑動遍歷特征圖譜，對于每個anchor，生成k個矩形框，稱為anchor box。對于每個矩形框，給予2個評分，分別表示有目標和沒有目標，共2k個評分，這個過程稱為邊框分類。對于每個矩形框，采用變換向量校正矩形框形狀，共4k個輸出，這個過程稱為邊框回歸。

RPN訓練損失函數包含邊框分類的損失和邊框回歸的損失，定義損失函數為L({pi},{ti})，則有：

式中，pi為anchor預測為目標的概率；pi*為anchor的標簽；0表示負樣本；1表示正樣本；

Lcls(pi,pi*)表示分類損失。

ti和ti*均為變換向量，ti={tx,ty,tw,th}，表示將anchor box變換到預測框的變換向量。

ti*={tx*,ty*,tw*,th*}，表示將anchor box變換到置信框的變換向量。

其中，x，y，w，h分別表示預測框的中心坐標和長寬；xa，ya，wa，ha分別表示anchor box的中心坐標和長寬；x*，y*，w*，h*分別表示置信框的中心坐標和長寬。

Lreg(ti,ti*)為回歸損失函數，表示ti到ti*的損失。

其中，R為smooth L1損失函數，定義如下：

1.3 分類檢測

對推薦的候選區，進行ROI（Region of Interest）池化，將不同長度的輸入特征，轉化為固定長度的輸出特征，對于神經網絡VGG，ROI池化層的輸出為512維特征向量。對固定長度的特征向量分類和回歸，得到最終分類結果。

2 站端入侵檢測模型訓練

目標檢測和分類領域，有大量的公開數據集，如：VOC2007數據集、VOC2012數據集、coco數據集等，公開數據集具有樣本數據量大、標注完備等優點，但也存在無法涵蓋鐵路行業特有樣本、樣本環境與鐵路現場環境差異較大等缺點。需針對鐵路現場需求定制數據集，訓練模型，以達到最優檢測效果。針對站臺端部禁止普通人員通行，但會有穿紅色馬甲的施工人員和穿黃色馬甲的防護人員通過的情況，設計模型檢測并分類普通人員、紅馬甲施工人員、黃馬甲防護人員，以實現只針對普通人員入侵的報警檢測。

2.1 數據集制作

選取站臺端部攝像頭連續24 h的視頻制作數據集，數據集格式為VOC2007格式。對視頻進行1 s的等間隔采樣，得到監控圖片，選取其中包含行人的共996幅圖片制作數據集，圖片分辨率為960×540。用label-image軟件進行數據集人工標注[8]，標注目標分為3類：staff_red（紅色馬甲施工人員）、staff_yellow（黃色馬甲防護人員）以及person（除施工人員和防護人員以外的其他人員）。staff_red和staff_yellow樣本如圖 4所示，person樣本如圖 5所示。數據集圖片包含了白天、黑夜等不同亮度的場景，涵蓋了目標的正面、側面、背面、遠處、近處、遮擋等復雜情況。

2.2 模型訓練

基于Faster-RCNN算法的模型訓練過程中，數據集會被分為訓練集（train）、驗證集（val）、訓練集和驗證集（trainval）、測試集（test）4部分。由于實驗樣本集數量不大，為保證訓練效果，優先保證訓練集和驗證集樣本數量，設置trainval占整個數據集的70%，test占整個數據集的30%，train占trainval的70%，val占trainval的30%。實驗訓練集和驗證集共697張圖片，測試集共299張圖片，模型訓練采用Faster-RCNN的end2end模式訓練。模型訓練的損失函數曲線，如圖 6所示，損失函數在訓練60000次后基本穩定，選取訓練70000次后的結果為最終訓練模型。

表1 RPN_PRE_NMS=6000，RPN_POST_NMS=300

3 實驗測試

3.1 評價指標

實驗采用基于Tensorflow軟件框架的Faster-RCNN算法，實驗圖形工作站CPU為I9-7960，GPU為NAVID 1080TI，操作系統為Ubuntu16.04。

模型評價指標采用精確率（P）、召回率（R）、平均精確率（AP）、平均精確率均值（mAP）等[9-10]。定義：TP表示將A類別樣本預測為A類；FP表示將非A類別樣本預測為A類；FN表示將A類別樣本預測為非A類，則有：

平均精確率由精確率和召回率決定，對于每一個召回率，均有一個最大的精確率，繪制召回率——最大精確率曲線，平均精確率即為該曲線下方的面積。平均精確率均值為所有類別的平均精確率的算術平均值。

3.2 實驗結果

測試集包括圖片299張，共包含person樣本175個，staff_red樣本104個，staff_yellow樣本79個，測試模型精確率和召回率。Faster-RCNN算法的RPN會將候選區按照評分值從高到低排列，得到候選區隊列。對候選區隊列進行NMS（非極大值抑制）運算，得到推薦候選區。候選區隊列長度（RPN_PRE_NMS）和推薦候選區數量（RPN_POST_NMS）的設定，會影響分類檢測準確率和單幀檢測時間。設置不同的候選區隊列長度和推薦候選區數量，進行實驗，結果如表1～表5所示。

表2 RPN_PRE_NMS=3000，RPN_POST_NMS=150

表3 RPN_PRE_NMS=1000，RPN_POST_NMS=50

表4 RPN_PRE_NMS=300，RPN_POST_NMS=15

表5 RPN_PRE_NMS=100，RPN_POST_NMS=5

3.3 分析及結論

（1）隨著RPN_PRE_NMS、RPN_POST_NMS參數的減小，模型的單幀檢測時間逐漸降低，mAP指標也逐漸降低，表明隨著檢測速度的提升，檢測精度有所損失。在RPN_PRE_NMS=300，RPN_POST_NMS=15時，單幀檢測時間為0.069 s，在此之后，隨著RPN_PRE_NMS、RPN_POST_NMS參數的減小，單幀檢測時間幾乎不再降低，但mAP繼續降低。故選取RPN_PRE_NMS=300，RPN_POST_NMS=15為本次實驗的最優參數。

（2）相比于一般的分類檢測，本次實驗的最優RPN_PRE_NMS參數和RPN_POST_NMS參數較小，主要原因是檢測場景僅有站端入侵一種，且為單一攝像頭采集的圖片，檢測場景較為確定。因此，RPN階段的候選框質量很高，僅需少量的高評分候選框便可保證后續檢測需求。

（3）模型可有效區分staff_red（紅色馬甲施工人員）、staff_yellow（黃色馬甲防護人員）以及person（除施工人員和防護人員以外的其他人員）3種不同類型樣本，3種樣本檢測的精確率分別為95%、99%、100%，召回率分別為97%、99%、100%，滿足車站需求。staff_red和staff_yellow樣本檢測結果如圖 7所示，person樣本檢測結果如圖 8所示。

（4）在5組測試中，staff_yellow樣本識別精確率和召回率均為1，分析原因如下：staff_yellow樣本人員身著黃色馬甲，樣本辨識度較高；staff_yellow測試樣本數量較少，僅有79個，缺少復雜環境下的測試樣本。

（5）person樣本和staff_red樣本均有少量誤判和漏檢，對樣本進行分析，誤判和漏檢主要來源于遮擋樣本和較小難以辨識樣本。person樣本漏檢結果，如圖 9所示，漏檢目標用黃色圓圈標記出，漏檢目標本身較小，且存在遮擋。staff_red樣本漏檢結果，如圖 10所示，漏檢目標用黃色圓圈標記出，漏檢目標存在遮擋，且與其他目標有重合，模型將2個目標誤判成1個目標。

4 結束語

本文基于Faster-RCNN算法，采集現場數據，進行深度學習模型訓練，實現了站臺端部人員的入侵檢測，模型單幀檢測時間為0.069 s，平均精確率均值為0.9819。綜合分析現場需求和實驗結果，今后將從以下方面進一步改進：（1）建立更大的樣本集，以區分更多類別的樣本，如列車員、上水作業人員等，使模型更貼近現場需求；（2）優化算法，減少資源開銷，提高檢測幀率；（3）優化攝像頭安裝位置、角度，限定視頻畫面中的檢測區域，保證檢測目標在畫面中的像素尺寸，提升準確率。