基于CNN 的鐵路安檢危險(xiǎn)品圖像檢測(cè)方法

連福生，丁昭彥

（1.烏魯木齊鐵路公安局，烏魯木齊 830011；2.成都智勝三維應(yīng)用技術(shù)有限責(zé)任公司，成都 619000）

0 引言

安全檢查在維護(hù)公共交通安全，防范恐怖襲擊和安全威脅等方面起到重大作用。當(dāng)前，利用X 射線、熱紅外等非接觸式的安全檢查設(shè)備，是利用最為廣泛的安檢設(shè)備，被大量的應(yīng)用在物流和交通樞紐或者安全警戒級(jí)別較高的關(guān)鍵場(chǎng)所。射線源發(fā)射的X 光射線穿過(guò)安檢設(shè)備中通過(guò)的物體，部分射線會(huì)被不同的物體所吸收，X 射線安檢儀能夠根據(jù)物體對(duì)射線的吸收劑量，在顯示屏上呈現(xiàn)不同顏色的影響供安檢操作員識(shí)別和判斷。現(xiàn)下X 安檢設(shè)備的發(fā)展已經(jīng)很成熟，市場(chǎng)上主流的安檢設(shè)備不僅可以現(xiàn)實(shí)被檢測(cè)物品的透視圖像，還可以對(duì)各種有機(jī)物、無(wú)機(jī)物混合物等使用不同的顏色進(jìn)行標(biāo)記，進(jìn)一步使物品顯示的更為直觀；也有部分雙視角安檢機(jī)，可以得到物體俯視和側(cè)視的透視圖，更為細(xì)節(jié)化的展現(xiàn)被測(cè)物體，從而降低了人工識(shí)別的難度。但是相對(duì)于X 射線安檢設(shè)備，安檢工作過(guò)于依賴人工，主要依靠安檢操作員進(jìn)行人工的篩選標(biāo)定。據(jù)相關(guān)數(shù)據(jù)顯示，僅僅在上海市地鐵系統(tǒng)中，就有9000以上的安檢人員從事地鐵安檢工作，幾乎每臺(tái)安檢機(jī)都會(huì)配備至少一人安檢操作員。相對(duì)于在各行各業(yè)日益增加的安檢級(jí)別，我國(guó)安檢設(shè)備需求量也會(huì)相伴增長(zhǎng)，因此每年投入到安檢工作中人力物力也是非常的巨大的。X 射線掃描圖像不同于自然采集圖像等，安全檢查通常處理的行李或手提箱等對(duì)象是隨機(jī)堆放和嚴(yán)重重疊，并非是孤立存在的。因此，在掃描圖像中，目標(biāo)對(duì)象可能與任意擺放的無(wú)關(guān)對(duì)象混在一起，甚至可以被安檢人員忽略。

本文提出了一種基于CNN 深度神經(jīng)網(wǎng)絡(luò)X 射線圖像的檢測(cè)分類(lèi)方法，對(duì)鐵路安檢設(shè)備采集圖像進(jìn)行檢測(cè)分類(lèi)。我們通過(guò)使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)復(fù)雜的訓(xùn)練圖像進(jìn)行特征提取，將任務(wù)目標(biāo)轉(zhuǎn)化為一個(gè)優(yōu)化任務(wù)，比對(duì)預(yù)測(cè)結(jié)果和真實(shí)結(jié)果的歐氏距離，達(dá)到最終的對(duì)目標(biāo)對(duì)象的檢測(cè)和識(shí)別任務(wù)。由于真實(shí)場(chǎng)景中的X 射線掃描圖像較多是含有多物體的復(fù)雜重合圖像，所以我們的方法對(duì)目標(biāo)圖像進(jìn)行單位分割，以及后續(xù)的檢測(cè)識(shí)別任務(wù)，所使用的數(shù)據(jù)集也是含有較多遮擋情況的復(fù)雜圖像。

本文主要有三個(gè)特點(diǎn)：

第一，提出目標(biāo)檢測(cè)圖像的單位分割方法在鐵路紅外安檢影像中的應(yīng)用，提高檢測(cè)目標(biāo)的感興趣區(qū)域，提升檢測(cè)效果；

第二，提出利用精簡(jiǎn)的CNN 卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)鐵路紅外安檢的快速的目標(biāo)檢測(cè)；

第三，提出人工與機(jī)器結(jié)合的半自動(dòng)深度學(xué)習(xí)訓(xùn)練機(jī)制，提升紅外安檢影像的目標(biāo)檢測(cè)識(shí)別的準(zhǔn)確度。

1 相關(guān)算法研究現(xiàn)狀

本文是在研究鐵路危險(xiǎn)品安檢圖像檢測(cè)算法，通過(guò)傳統(tǒng)的圖像算法和深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)合的方法，進(jìn)行研究和設(shè)計(jì)的。在此過(guò)程中，進(jìn)行了大量的國(guó)內(nèi)和國(guó)外相關(guān)X 光圖像檢測(cè)的前沿論文的研究和準(zhǔn)備。對(duì)于X 光圖像的檢測(cè)特征曲線方法[1]是利用圖像形狀和高低能灰度特征曲線相結(jié)合的方式可以全面的檢測(cè)出危險(xiǎn)品。在基于深度學(xué)習(xí)的管制物品自動(dòng)檢測(cè)算法研究一文中提出使用深度學(xué)習(xí)來(lái)檢測(cè)大圖片中的小目標(biāo)[2]。基于卷積神經(jīng)網(wǎng)絡(luò)的輪胎X 射線圖像缺陷檢測(cè)[3]方法設(shè)計(jì)了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)圖像缺陷，采用了局部關(guān)鍵點(diǎn)和動(dòng)態(tài)學(xué)習(xí)率來(lái)快速調(diào)節(jié)訓(xùn)練模型。基于半監(jiān)督生成對(duì)抗網(wǎng)絡(luò)X 光圖像分類(lèi)算法[4]在傳統(tǒng)的無(wú)監(jiān)督生成對(duì)抗網(wǎng)絡(luò)的基礎(chǔ)上用Softmax替換最后輸出層提高了學(xué)習(xí)的性能。X 射線安檢設(shè)備測(cè)試圖像分割方法[5]采用基于HSI 色彩空間對(duì)圖像邊緣進(jìn)行多邊形逼近簡(jiǎn)化處理后再進(jìn)行幾何分離，提高了質(zhì)量較差圖像的分割。本文的方法通過(guò)對(duì)X 射線圖片的傳統(tǒng)方法的預(yù)處理歸一化，再通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)進(jìn)行目標(biāo)分割和檢測(cè)，最后通過(guò)比較檢測(cè)出的物體的特征向量的距離相似度來(lái)檢測(cè)、分類(lèi)和篩選。綜合考慮了訓(xùn)練集、測(cè)試集、深度學(xué)習(xí)網(wǎng)絡(luò)、傳統(tǒng)算法、時(shí)間空間復(fù)雜度來(lái)提高檢測(cè)的速度和精度。

2 算法實(shí)現(xiàn)

對(duì)紅外光影像進(jìn)行預(yù)處理和歸一化操作，然后對(duì)其進(jìn)行人工標(biāo)注數(shù)據(jù)，在大量的訓(xùn)練集的基礎(chǔ)上，選用最新的CNN 網(wǎng)絡(luò)YOLOv3，對(duì)其進(jìn)行深度學(xué)習(xí)的訓(xùn)練，調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，最后進(jìn)行交叉驗(yàn)證，檢驗(yàn)訓(xùn)練模型的優(yōu)劣，不斷迭代試錯(cuò)調(diào)整，最終得出識(shí)別率較高的模型。總體的算法描述圖，如圖1 所示。

2.1 生成對(duì)抗網(wǎng)絡(luò)對(duì)于圖片數(shù)據(jù)的擴(kuò)展

傳統(tǒng)的X 射線圖像自動(dòng)檢測(cè)方法是利用人工設(shè)計(jì)的特征進(jìn)行物品分類(lèi)，對(duì)通用圖像進(jìn)行分類(lèi)人工特征設(shè)計(jì)，對(duì)X 射線圖像進(jìn)行特征提取，經(jīng)過(guò)特征表達(dá)后利用分類(lèi)器進(jìn)行分類(lèi)。主要的區(qū)別是特征提取和分類(lèi)方法的不同，具有代表性的就是GesickR[6]中：利用邊緣檢測(cè)和模式匹配的方法結(jié)合、Daubechies 小波變換和KNN 算法分類(lèi)方法結(jié)合、尺度不變特征變換算法（SITT）特征提取方法等。Franzel 等人[7]提出了一種基于線性支持向量機(jī)和梯度直方圖的滑動(dòng)窗口檢測(cè)方法，并且利用多視圖集成將各個(gè)視角的單透視圖的檢測(cè)結(jié)果進(jìn)行融合，以避免虛假的檢測(cè)，以此來(lái)提高對(duì)手槍的檢測(cè)性能。有的利用半監(jiān)督學(xué)習(xí)體系結(jié)構(gòu)中的生成對(duì)抗性網(wǎng)絡(luò)，想要通過(guò)生成對(duì)抗網(wǎng)絡(luò)來(lái)解決圖片資源的稀缺問(wèn)題，用于擴(kuò)展數(shù)據(jù)。這種方法首先在傳統(tǒng)無(wú)監(jiān)督生成對(duì)抗網(wǎng)絡(luò)基礎(chǔ)上用Softmax 替換最后輸出層，擴(kuò)展成為半監(jiān)督生成對(duì)抗網(wǎng)絡(luò)，其次對(duì)生成樣本定義額外類(lèi)別標(biāo)簽引導(dǎo)訓(xùn)練，最后采用半監(jiān)督訓(xùn)練方式對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，并將訓(xùn)練得到的判別網(wǎng)絡(luò)運(yùn)用于X 光圖像分類(lèi)中。對(duì)于胸部X 光圖像，結(jié)合自動(dòng)化分類(lèi)診斷選取了6 種肺部疾病的X 光前視圖進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文的算法提高了利用標(biāo)注數(shù)據(jù)的監(jiān)督學(xué)習(xí)性能，同時(shí)對(duì)比其他半監(jiān)督分類(lèi)方法，也都表現(xiàn)出優(yōu)越性能。本文在方法的基礎(chǔ)上受到啟發(fā)，想要通過(guò)半監(jiān)督圖片分類(lèi)方法來(lái)生成鐵路危險(xiǎn)品檢測(cè)的圖片，以此擴(kuò)展數(shù)據(jù)用于后續(xù)的訓(xùn)練。本文利用SIXray違禁物品x 射線圖像數(shù)據(jù)集，經(jīng)過(guò)實(shí)驗(yàn)，我們?cè)谠救斯ぬ暨x的3000 數(shù)據(jù)的基礎(chǔ)上，通過(guò)傳統(tǒng)的數(shù)據(jù)擴(kuò)展方式，包括加噪點(diǎn)，分割組合，通道提取等，再加上生成對(duì)抗網(wǎng)絡(luò)生成的數(shù)據(jù)，一共擴(kuò)展了1 萬(wàn)數(shù)據(jù)，數(shù)據(jù)樣例如圖2 所示。

圖1 總體算法描述圖

圖2 待檢測(cè)X光圖片樣例

2.2 危險(xiǎn)品檢測(cè)圖片的目標(biāo)檢測(cè)的單位分割方法

數(shù)據(jù)集包括了正樣本和負(fù)樣本，其中負(fù)樣本為無(wú)危險(xiǎn)物品的安檢圖片，正樣本包含單一危險(xiǎn)品、多危險(xiǎn)品、多物品重疊。為了達(dá)到更好的識(shí)別檢測(cè)效果，本文利用了目標(biāo)檢測(cè)的單位分割方法，將物品進(jìn)行初步的分割，然后進(jìn)行識(shí)別和檢測(cè)。

基于單位分割的目標(biāo)檢測(cè)算法：由于待識(shí)別的X光圖片整體太大，需要檢測(cè)的區(qū)域相對(duì)于整張圖片來(lái)說(shuō)只集中在某一個(gè)區(qū)域，所以本文在傳統(tǒng)的圖像分割的方法的啟發(fā)下，將原始圖片進(jìn)行單位分割，進(jìn)而縮小感興趣區(qū)域的大小，減少打量的計(jì)算量和算法復(fù)雜度，也能有效地提高檢測(cè)的準(zhǔn)確度。

2.3 危險(xiǎn)品的半自動(dòng)檢測(cè)學(xué)習(xí)

本文提出的一種半自動(dòng)危險(xiǎn)檢測(cè)機(jī)制，即首先通過(guò)大量的數(shù)據(jù)的多次迭代的訓(xùn)練生成初步的可靠的模型，然后在使用模型的初期，進(jìn)行人工對(duì)于數(shù)據(jù)的再次分類(lèi)，找出模型檢測(cè)結(jié)果中失敗的數(shù)據(jù)，再放入訓(xùn)練網(wǎng)絡(luò)中迭代訓(xùn)練，半自動(dòng)的自我學(xué)習(xí)，自我完善，逐步提高模型的識(shí)別精度，減少失誤率，保證人民生命財(cái)產(chǎn)的相對(duì)安全。

2.4 深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整和優(yōu)化

YOLO 是一個(gè)全卷積的卷積神經(jīng)網(wǎng)絡(luò)，最終的輸出都是特征映射上應(yīng)用1×1 的卷積核生成。在YOLOv3 中，對(duì)三個(gè)不同的位置的三種不同大小的特征圖上使用1×1 的核進(jìn)行檢測(cè)。新架構(gòu)值得夸耀的有殘差跳連接（residual skip connections）和上采樣。YOLOv3能夠更好的對(duì)小目標(biāo)的檢測(cè)，檢測(cè)的效果更好。YOLOv3 的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，圖中注意Convolutional是指Conv2D+BN+LeakyReLU，和DarkNet53 圖中的一樣，而生成預(yù)測(cè)結(jié)果的最后三層都只是Conv2D。

圖3 YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)圖

3 測(cè)試與分析

訓(xùn)練使用了1000 張標(biāo)注好的圖片，并進(jìn)行了擴(kuò)展，最后參與訓(xùn)練的總共有11000 張圖片，按照1∶5 的比例分成了驗(yàn)證集訓(xùn)練集進(jìn)行訓(xùn)練。總共迭代了4 萬(wàn)次訓(xùn)練，得到了loss 較低，IOU 較高的模型進(jìn)行測(cè)試。在剩余2000 張未參與訓(xùn)練的數(shù)據(jù)中測(cè)試得到檢測(cè)到存在管制刀具的準(zhǔn)確率為85%，檢測(cè)到存在槍械的準(zhǔn)確率為80%。圖4 為檢測(cè)結(jié)果樣例。

當(dāng)樣本圖片中只包含管制刀具和槍械時(shí)，識(shí)別率很高。但由于樣本中不光含有槍械和管制刀具兩種金屬制品，還有其他的金屬物品，會(huì)干擾檢測(cè)結(jié)果。

圖4 檢測(cè)結(jié)果

4 優(yōu)化

針對(duì)結(jié)果誤識(shí)的情況可以考慮增加負(fù)樣本的訓(xùn)練，標(biāo)注訓(xùn)練非槍械和管制刀具的物品分類(lèi)，以提升本方法的準(zhǔn)確率。針對(duì)訓(xùn)練網(wǎng)絡(luò)可以考慮修改超參數(shù)，此外針對(duì)數(shù)據(jù)集可以增加更多種類(lèi)的數(shù)據(jù)來(lái)提高本方法的泛化能力。

5 結(jié)語(yǔ)

本文利用最新的YOLOv3 的深度學(xué)習(xí)檢測(cè)網(wǎng)絡(luò)，調(diào)整了部分參數(shù)和模型結(jié)構(gòu)，使其更能適應(yīng)鐵路危險(xiǎn)品檢測(cè)圖片的識(shí)別，大大提高了自動(dòng)識(shí)別的效率精度，減少人工檢測(cè)的失誤率，極大地提高了鐵路安全保障系統(tǒng)，保護(hù)人民生命和財(cái)產(chǎn)安全。利用人工智能的發(fā)展成果，設(shè)計(jì)和實(shí)現(xiàn)了一種鐵路危險(xiǎn)品檢測(cè)的計(jì)算機(jī)視覺(jué)的解決方案。過(guò)程中綜合了大量的相關(guān)前沿技術(shù)成果，例如，生成對(duì)抗網(wǎng)絡(luò)（GAN）、目標(biāo)檢測(cè)的單位分割算法、多尺度的相似度分析。但是，用于原始數(shù)據(jù)量的不足和人工標(biāo)注數(shù)據(jù)的人力物力的巨大，使得訓(xùn)練集等相關(guān)數(shù)據(jù)不是特別充足，導(dǎo)致訓(xùn)練出來(lái)的模型出現(xiàn)過(guò)擬合現(xiàn)象，基于以上分析，在后續(xù)的研究和設(shè)計(jì)過(guò)程中，可以通過(guò)增加數(shù)據(jù)集特別是負(fù)樣本的數(shù)量進(jìn)行多次迭代訓(xùn)練，來(lái)避免訓(xùn)練模型時(shí)的過(guò)擬合問(wèn)題。