基于違禁品檢測和人臉表情識(shí)別的鐵路客運(yùn)站安檢風(fēng)險(xiǎn)評估技術(shù)研究

彭凱貝，呂曉軍，李 超，魏 昊

(中國鐵道科學(xué)研究院集團(tuán)有限公司 電子計(jì)算技術(shù)研究所，北京 100081)

0 引言

近年來，我國高速鐵路迅速發(fā)展，鐵路已經(jīng)成為旅客出行的主要交通方式，鐵路客流量日益增加，鐵路客運(yùn)站的管理越來越困難，車站安全風(fēng)險(xiǎn)發(fā)生的概率越來越大，因此需要通過科學(xué)的方法預(yù)估鐵路車站安全風(fēng)險(xiǎn)，確保旅客出行安全[1]。

目前已有大量學(xué)者對安全風(fēng)險(xiǎn)的評估以及模型的構(gòu)建進(jìn)行研究。李德龍等[2]構(gòu)建了基于白名單制度的防爆博弈模型，對推進(jìn)安檢系統(tǒng)白名單制度的實(shí)施具有一定的啟發(fā)；史天運(yùn)等[3]模擬了安檢的真實(shí)場景，優(yōu)化了風(fēng)險(xiǎn)閾值以及安檢通道配置數(shù)，有效提高了安檢效率；楊益興等[4]使用AnyLogic軟件建立了安檢系統(tǒng)仿真模型，并優(yōu)化了安檢尾部擁擠等問題；羅躍等[5]采用層次分析法分析風(fēng)險(xiǎn)權(quán)重，采用可拓理論安全風(fēng)險(xiǎn)評價(jià)方法，較為準(zhǔn)確地分析了車站安全等級。莊艷輝等[6]將模糊petri 網(wǎng)理論與動(dòng)態(tài)權(quán)重相結(jié)合，更加合理地評估了車站的安全風(fēng)險(xiǎn)。

以上方法多數(shù)以安檢設(shè)備狀態(tài)、配備質(zhì)量來評估鐵路安檢風(fēng)險(xiǎn)，缺少違禁品風(fēng)險(xiǎn)等級和旅客個(gè)人風(fēng)險(xiǎn)的分析。伴隨著新一代科技與鐵路業(yè)務(wù)結(jié)合，在智能鐵路客運(yùn)站發(fā)展目標(biāo)下，鐵路安檢系統(tǒng)智能化有待提高[7]，通過與人工智能結(jié)合來強(qiáng)化安檢違禁品智能識(shí)別、人員風(fēng)險(xiǎn)評估等功能，有助于提高安檢查處效率，是鐵路安檢發(fā)展的重要趨勢之一[8-9]。針對以上問題，構(gòu)建基于YOLOv5s 的安檢違禁品模型，實(shí)現(xiàn)6 種違禁品的自動(dòng)識(shí)別；在安檢儀出口采集旅客人臉表情，設(shè)計(jì)基于ResNet50 的旅客表情識(shí)別模型，提出違禁品檢測和人臉表情相結(jié)合的車站人員物品風(fēng)險(xiǎn)評估機(jī)制；仿真結(jié)果表明，所提出的車站人員物品風(fēng)險(xiǎn)評估機(jī)制可以準(zhǔn)確、綜合地協(xié)助車站工作人員發(fā)現(xiàn)安檢風(fēng)險(xiǎn)。

1 安檢過程危險(xiǎn)物品檢測

1.1 YOLOv5算法

目前，最主流的目標(biāo)檢測算法主要包括2 種，一種是基于檢測幀和分類器的兩階段算法，如RCNN[8]，F(xiàn)ast RCNN[9]和Faster RCNN with RPN[10]等，它們的主要問題是網(wǎng)絡(luò)結(jié)構(gòu)太復(fù)雜，檢測速度太慢。另一種是基于回歸的一步算法，如SSD[11]，YOLOv4[12]和YOLOv5[13]等。其中YOLOv5 模型憑借其定位準(zhǔn)確、模型結(jié)構(gòu)精簡及運(yùn)行速度快的特點(diǎn)，表現(xiàn)出明顯超出其他算法的性能優(yōu)勢和檢測效果。

所研究的目標(biāo)測試算法面向鐵路安全檢查環(huán)境下的X 光安檢圖像，并要求建模輕量、檢測速率快、并且能應(yīng)用于線上或嵌入式的系統(tǒng)開發(fā)。因此，選用YOLOv5系列中最輕量化、深度最小、特征圖寬度最小的YOLOv5s 來進(jìn)行危險(xiǎn)物品檢測。YOLOv5s 模型結(jié)構(gòu)如圖1 所示[14]，該結(jié)構(gòu)分為4 個(gè)部分：輸入、主干網(wǎng)絡(luò)(Backbone)、Neck網(wǎng)絡(luò)和輸出(Prediction)。

圖1 YOLOv5s模型結(jié)構(gòu)Fig.1 Structure of YOLOv5s model

1.2 安檢物品數(shù)據(jù)集

基于鐵路安檢背景，采用SIXray數(shù)據(jù)集，該數(shù)據(jù)集中共有1 059 231 張X 射線照片，這些X 射線照片采集于多個(gè)鐵路客運(yùn)站，并包含6 種類別的危險(xiǎn)物品：槍、刀、扳手、鉗子、剪刀和錘子[15]。這些危險(xiǎn)物品的分布與真實(shí)的鐵路安檢現(xiàn)場一致。根據(jù)該數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)，得到危險(xiǎn)物品類別統(tǒng)計(jì)如圖2 所示。將數(shù)據(jù)集中8 000 多張已標(biāo)注的危險(xiǎn)物品照片進(jìn)行訓(xùn)練測試，數(shù)據(jù)以7∶3 的比率隨機(jī)分為訓(xùn)練集和測試集。每張照片都通過安檢儀掃描獲得，安檢儀對不同材料的物品分配以不一樣的顏色。所有的照片均為JPG格式，平均每張照片大小為200 K像素。

圖2 危險(xiǎn)物品類別統(tǒng)計(jì)Fig.2 Classification of dangerous goods

1.3 危險(xiǎn)物品檢測仿真結(jié)果

危險(xiǎn)物品識(shí)別模型選用YOLOv5s 算法，模型采用隨機(jī)梯度下降法訓(xùn)練(SGD)，學(xué)習(xí)率為0.01，YOLOv5s模型參數(shù)如表1所示。

表1 YOLOv5s模型參數(shù)Tab.1 Parameters of YOLOv5s model

在目標(biāo)檢測任務(wù)的訓(xùn)練過程中常常選用目標(biāo)函數(shù)損失(Objectness Loss)和廣義交集損失(GIOU)作為評價(jià)指標(biāo)，通過損失函數(shù)整體地評價(jià)危險(xiǎn)物品檢測模型檢測結(jié)果與實(shí)際標(biāo)簽的差距。目標(biāo)函數(shù)損失為YOLOv5s 目標(biāo)檢測損失均值，其值越小則危險(xiǎn)物品識(shí)別越準(zhǔn)確。廣義交集損失可以度量預(yù)測框和真實(shí)框之間的重疊程度，是一種位置損失，其公式如下。

式中：LGLOU為廣義交集損失；A為預(yù)測的框；B為真實(shí)的框；IOU為A和B之間交并比之差；C為A，B兩框的最小外框。

YOLOv5s 模型在訓(xùn)練過程中的危險(xiǎn)物品檢測損失函數(shù)收斂曲線如圖3所示，從圖3中可以看出，當(dāng)?shù)_(dá)到150 次時(shí)，廣義交集損失趨于穩(wěn)定在0.025左右，目標(biāo)函數(shù)損失趨于0.014左右。從分析結(jié)果可以看出，網(wǎng)絡(luò)在訓(xùn)練階段表現(xiàn)良好。將訓(xùn)練好的YOLOv5s 模型與常用的目標(biāo)檢測算法：SSD算法和Fast RCNN 算法進(jìn)行對比實(shí)驗(yàn)，YOLOv5s的均值平均精度(mean Average Precision，map)可達(dá)93.45%，而SSD算法的map為69.79%，F(xiàn)ast RCNN算法的map 為74.78%。測試集部分圖片檢測結(jié)果如圖4 所示。從圖4 中可以看出，所采用的模型可以準(zhǔn)確地識(shí)別出X光照片中的危險(xiǎn)物品。仿真結(jié)果表明YOLOv5s模型整體定位準(zhǔn)確，識(shí)別效果理想，可用于風(fēng)險(xiǎn)評估系統(tǒng)中進(jìn)行危險(xiǎn)物品檢測。

圖3 危險(xiǎn)物品檢測損失函數(shù)收斂曲線Fig.3 Convergence curve of loss function for dangerous goods detection

圖4 測試集部分圖片檢測結(jié)果Fig.4 Test results of some pictures in the test set

2 鐵路系統(tǒng)人臉表情識(shí)別

2.1 ResNet50算法

隨著人工智能的不斷發(fā)展，深度學(xué)習(xí)算法結(jié)構(gòu)的深度不斷增加，但其性能反而沒有隨著層數(shù)的增加獲得很大的提升。何愷明于2015年提出ResNet[16]，通過殘差塊中的捷徑鏈接，彌補(bǔ)了網(wǎng)絡(luò)層數(shù)加深造成的危害，為深度神經(jīng)網(wǎng)絡(luò)層數(shù)的進(jìn)一步加深提供了可能。

研究使用ResNet50對表情進(jìn)行識(shí)別。ResNet50分別由輸入端、階段1 至階段5 的殘差層和輸出端組成，ResNet50 模型結(jié)構(gòu)如圖5 所示[17]。卷積層作用為歸一化并加速收斂；激活函數(shù)采用線性整流激活函數(shù)；池化層使信息傳輸?shù)酶鼮橥暾蝗B接層作用為降維，負(fù)責(zé)卷積層至全連接層之間的過渡。

圖5 ResNet50模型結(jié)構(gòu)Fig.5 Structure of ResNet50 model

2.2 人臉表情數(shù)據(jù)集

擴(kuò)展Cohn Kanade (CK+)數(shù)據(jù)集是人臉表情識(shí)別研究中最常用的數(shù)據(jù)集之一[18]。根據(jù)鐵路安檢時(shí)可能發(fā)生的從壞到好的各種情緒，從中選取了8 197張表情圖片，包括害怕、憤怒、悲傷、驚訝、平靜、高興6 種表情，并將數(shù)據(jù)以7∶3 的比率隨機(jī)分為訓(xùn)練集和測試集，其中數(shù)據(jù)庫中6 種表情示意圖如圖6所示。

圖6 6種表情示意圖Fig.6 Schematic of six expressions

2.3 表情識(shí)別仿真結(jié)果

表情識(shí)別部分使用ResNet50 模型對危險(xiǎn)表情進(jìn)行識(shí)別。ResNet50 模型訓(xùn)練采用Adam 優(yōu)化器，學(xué)習(xí)率為0.001，ResNet50模型參數(shù)如表2所示。

表2 ResNet50模型參數(shù)Tab.2 Parameters of the ResNet50 model

本實(shí)驗(yàn)選擇交叉熵?fù)p失函數(shù)作為模型訓(xùn)練過程的損失函數(shù)。交叉熵?fù)p失函數(shù)是表情分類中廣泛應(yīng)用的損失函數(shù)，常與softmax 函數(shù)結(jié)合，具體計(jì)算公式如下。

式中：LCE為交叉熵?fù)p失函數(shù)；yi為真實(shí)樣本標(biāo)簽；pi為預(yù)測輸出；i為輪次。

利用ResNet50 模型訓(xùn)練的表情識(shí)別損失函數(shù)收斂曲線如圖7 所示。可以看出，訓(xùn)練過程結(jié)束時(shí)交叉熵?fù)p失函數(shù)趨于穩(wěn)定，損失值趨于0.086左右，表明模型在訓(xùn)練過程表現(xiàn)較好。將所采用的方法與表情分類常用的GoogLeNet 算法和AlexNet 算法進(jìn)行對比：ResNet50模型準(zhǔn)確率為96.7%，GoogLeNet算法的準(zhǔn)確率為87.88%，AlexNet 算法的準(zhǔn)確率為87.31%，仿真結(jié)果表明ResNet50 模型準(zhǔn)確率高于其他2 種算法，分類效果較好，可以穩(wěn)定準(zhǔn)確地識(shí)別出人臉表情，這有助于準(zhǔn)確地預(yù)估鐵路系統(tǒng)未知的風(fēng)險(xiǎn)，可以將此訓(xùn)練好的ResNet50 模型用于風(fēng)險(xiǎn)評估系統(tǒng)中對危險(xiǎn)表情進(jìn)行識(shí)別。

圖7 表情識(shí)別損失函數(shù)收斂曲線Fig.7 Convergence curve of expression recognition loss function

3 車站人員物品風(fēng)險(xiǎn)評估機(jī)制

為了更加全面地評估鐵路安檢系統(tǒng)風(fēng)險(xiǎn)，車站人員物品風(fēng)險(xiǎn)評估系統(tǒng)結(jié)構(gòu)設(shè)計(jì)參照《鐵路安全管理?xiàng)l例》規(guī)定：“旅客應(yīng)當(dāng)接受并配合鐵路運(yùn)輸企業(yè)在車站、列車實(shí)施的安全檢查，不得違法攜帶、夾帶管制器具，不得攜帶、托運(yùn)煙花爆竹、槍支彈藥等危險(xiǎn)物品或者其他違禁物品”。利器、鈍器是確定性的指標(biāo)，然而威脅旅客安全卻是一個(gè)較為模糊的概念。為了更加科學(xué)地判斷鐵路安檢過程威脅旅客安全風(fēng)險(xiǎn)的程度，將危險(xiǎn)表情識(shí)別與危險(xiǎn)物品檢測相結(jié)合納入鐵路安檢風(fēng)險(xiǎn)評估考察范圍內(nèi)。風(fēng)險(xiǎn)評估機(jī)制系統(tǒng)流程如圖8 所示。在鐵路風(fēng)險(xiǎn)評估系統(tǒng)中，槍、刀和剪刀對旅客有著極大的危險(xiǎn)性，是絕不允許帶進(jìn)車站的，一旦檢測出立刻發(fā)出A級風(fēng)險(xiǎn)預(yù)警；若檢測出扳手、鉗子、錘子這些工具類的鈍器，同時(shí)在安檢機(jī)出口拿包處附近的攝像頭拍下人臉照片并識(shí)別出害怕、憤怒、悲傷、驚訝4 類危險(xiǎn)表情時(shí)，這些物品威脅旅客安全的概率大大提高，系統(tǒng)同樣發(fā)出A級風(fēng)險(xiǎn)預(yù)警，同時(shí)通過安檢儀放取包攝像頭記錄旅客放取包動(dòng)作，通過時(shí)間戳將旅客放取包圖像與X光圖像進(jìn)行關(guān)聯(lián)。當(dāng)未識(shí)別出危險(xiǎn)表情則發(fā)出B級風(fēng)險(xiǎn)預(yù)警；若未檢測出任何危險(xiǎn)物品，但安檢機(jī)出口人員的臉部表情識(shí)別出害怕、憤怒、悲傷、驚訝4 類危險(xiǎn)表情，則發(fā)出C 級風(fēng)險(xiǎn)預(yù)警；若未檢測出危險(xiǎn)物品以及危險(xiǎn)表情，則為無風(fēng)險(xiǎn)，按照正常流程進(jìn)行安檢。車站安保人員根據(jù)風(fēng)險(xiǎn)預(yù)警程度和車站的實(shí)際情況采取相應(yīng)的措施。此風(fēng)險(xiǎn)評估機(jī)制減少了人力的消耗，對車站工作人員預(yù)防未知的安檢風(fēng)險(xiǎn)起到一定的幫助作用。

4 結(jié)束語

針對安檢查處對人力依賴大的問題，采用YOLOv5s 模型對安檢X 光照片中違禁品自動(dòng)檢測，協(xié)助安檢作業(yè)人員發(fā)現(xiàn)行李中的違禁品，為了更加快捷地判斷鐵路安檢過程旅客威脅安全風(fēng)險(xiǎn)的程度，構(gòu)建了基于ResNet50 模型的旅客表情識(shí)別模型對車站安檢儀出口的人臉表情進(jìn)行識(shí)別，建立了基于YOLOv5s 模型的X 光違禁品物品檢測和人臉表情識(shí)別相結(jié)合的車站人員物品風(fēng)險(xiǎn)評估機(jī)制。仿真結(jié)果表明，所采用的方法可以較準(zhǔn)確地檢測和識(shí)別出違禁品和旅客面部表情。所提出的基于深度學(xué)習(xí)的旅客及物品安檢風(fēng)險(xiǎn)評估機(jī)制可以準(zhǔn)確識(shí)別出安檢查處過程中存在的風(fēng)險(xiǎn)，有效地幫助車站工作人員預(yù)防安檢風(fēng)險(xiǎn)，降低車站安全評估對人力的依賴，為車站安全保障提供支持。