基于改進式YOLOv2 的紅外圖像目標識別方法

呂弢，宋敏敏，洪文鵬，陳璟，符曉剛，吉亞平，桑學儀

（1.上海航天控制技術研究所，上海 201100；2.陸軍裝備部駐南京地區(qū)軍代局駐上海地區(qū)第三軍代室，上海 200031）

0 引言

傳統(tǒng)的外場紅外數(shù)據(jù)處理一般如下過程：數(shù)據(jù)采集→當次數(shù)據(jù)分析→當次數(shù)據(jù)對比→結論，進行數(shù)據(jù)統(tǒng)計的內容一般為干擾灰度、干擾溫度以及干擾波段內輻射亮度隨投放后時間的變化。由于數(shù)據(jù)的分析和對比一般根據(jù)理論經(jīng)驗公式，數(shù)據(jù)分析結論和理論公式擬合時存在一定的差異，需要根據(jù)經(jīng)驗人為地去修正擬合關系；另外，外場數(shù)據(jù)采集試驗及實驗室仿真試驗的管理手段弱、數(shù)據(jù)分散、缺乏標準化、數(shù)據(jù)分析水平不足，并且長期以來類似的數(shù)據(jù)在進行過一次處理以后往往就閑置下來。盡管前期利用數(shù)據(jù)庫系統(tǒng)工具對這些數(shù)據(jù)的進行了簡單管理和處理分析，如此龐大的數(shù)據(jù)對人工分析來說是非常困難的。針對以上問題，本項目擬將外場紅外目標數(shù)據(jù)集中管理，構建外場試驗圖像數(shù)據(jù)的數(shù)據(jù)庫，利用深度學習算法，從現(xiàn)有海量的紅外圖像數(shù)據(jù)中學習出有效的模型。

而2018 年之后，深度學習算法得益于算法水平和硬件性能的不斷提升，其中CNN 類別的神經(jīng)網(wǎng)絡得到飛速的發(fā)展，依托結構深度和復雜度的依次遞進，其在視覺領域的應用廣度和精度得到很大提升，且其適配的視覺細分領域取得不錯的效果。其中較為典型的就是圖像識別方向上的深度學習應用，逐漸發(fā)展出3 種主流的目標檢測框架：R-CNN算法、YOLO 算法以及SSD［1-6］算法。

R-CNN 算法能夠在物體定位的同時檢測出其類別，包括基于R-CNN 的快速算法Fast R-CNN 與Faster R-CNN，其缺點是R-CNN 系統(tǒng)在預測前需要生成候選區(qū)域，并且對每個候選區(qū)域都采用深度網(wǎng)絡提取特征，導致系統(tǒng)的速度很慢，該系列算法無法滿足實時性要求；YOLO 作為近幾年來最為熱門的識別算法之一，優(yōu)勢在于將目標識別問題直接簡化為回歸問題，有效降低計算量從而提高效率和性能，采用端到端的深度卷積神經(jīng)網(wǎng)絡一次性將目標的類別與位置及相應的置信概率預測出來，但是對小目標的檢測效果較差，另外YOLO 對尺度變化較為敏感，且平均準確率（Mean Average Precision，mAP）指標與頂級的檢測系統(tǒng)還有不小差距；SSD 算法則兼顧了以上兩類算法的思想，在準確性和實時性兩方面都有所改進。其繼承了YOLO 中將檢測轉化為回歸的問題，對于一張圖片只需使用一次網(wǎng)絡結構［7-12］，此外使用了Faster R-CNN 的預先框（prior box）思路，加入基于特征金字塔（Pyramidal Feature Hierarchy）的檢測方式，改善了檢測精度。

這3 種方法包括其衍生的方法在通用圖像檢測上已經(jīng)取得了不錯的效果（見表1），但是也可以看到這些方法對一些特定目標的檢測精度不高，比如船只；此外這些算法受限于數(shù)據(jù)樣本，大部分針對物體大類進行分類，而無法對細分小類進行分類，尤其是無人機、艦船等一些目標。而武器領域的紅外半實物仿真場景中對應的紅外數(shù)據(jù)大部分是飛機、艦船、巡航彈等典型目標，且不同大類有不同細小分類。

表1 PASCAL VOC2012 測試結果Tab.1 Test results by PASCAL VOC2012

為此，本文從實際實戰(zhàn)目標（飛機、裝甲車、雷達、干擾等）、典型外場背景（天空、云層、地物等）紅外數(shù)據(jù)中選擇范圍內挑選實戰(zhàn)典型目標（無人機、艦船等），根據(jù)特定目標對象，選擇YOLO 系列算法并針對應用場景進行改進，開展提取海量視頻庫中的目標紅外輻射特征進行分類整理的具體方法研究，從而達到將來外場試驗數(shù)據(jù)的自動分類入庫功能。

1 方案設計

本文利用圖像特征挖掘技術對紅外目標的輻射特性進行深層次研究，從采集到的海量紅外數(shù)據(jù)研究挖掘關聯(lián)關系、特征規(guī)律，改進YOLOv2 算法從而更高效精準地識別車、船、無人機、客機等類型的目標，有效支撐業(yè)務人員迭代提升制導算法，如圖1 所示。

圖1 紅外目標數(shù)據(jù)挖掘原理Fig.1 Schematic diagram of infrared target data mining

2 針對紅外目標的改進式YOLOv2

YOLOv2 算法是基于YOLO 算法的改進版本，在精度和速度的綜合考慮上較為均衡的，因此本文擬采用YOLOv2 實現(xiàn)端到端的目標檢測，實現(xiàn)在準確率較高的情況下快速目標檢測，因此本文選擇YOLOv2 開展紅外目標檢測算法的研究。以下對YOLOv2 原理進行簡要介紹。

2.1 YOLOv2 原理

YOLO 算法［13］采用端到端的深度卷積神經(jīng)網(wǎng)絡一次性將目標的類別與位置預測出來。針對圖片開展網(wǎng)格分割（S×S），繼而對單網(wǎng)格進行是否含目標預測和目標類別的概率預測，最終YOLO 網(wǎng)絡會得到一個S×S×（B×5+C）的張量輸出，其中，S為劃分網(wǎng)格數(shù)，B為每個網(wǎng)格負責目標個數(shù)，C為類別個數(shù)。

作為回歸類問題，YOLO 選用均方差損失函數(shù)（Mean Squared Error，MSE）作為整個網(wǎng)絡結構的損失函數(shù)，其具體公式和含義業(yè)界均有詳細解釋，本文不做贅述。但YOLO 的v1 版本存在極大缺陷：①待識別圖像尺寸必須與訓練圖像一致；② 同一圖中，多物體識別時僅能識別一個。因此肯定不適合目前各類復雜的紅外目標特性圖像數(shù)據(jù)的識別。目前業(yè)界較為常用的是YOLOv2、YOLOv3 算法（v4、v5 算法加了太多假設條件因此不列入研究范疇）。YOLOv2 算法在YOLO 基礎上引入了k-means 的錨框（anchor box）機制，并輔以Darknet-19 的主干網(wǎng)絡結構模型，有效提升了精度和速度。YOLOv3 則提出了Darknet-53 主干網(wǎng)絡，令整個網(wǎng)絡結構達到100 多層，精度更是達到目前業(yè)界公認的頂尖水平。盡管YOLOv3 的精度優(yōu)于YOLOv2，考慮到網(wǎng)絡層級過多會大大增加后續(xù)將整個算法剪枝輕量化移植到人工智能處理芯片上的難度，因此本項目將以YOLOv2 框架為基礎構建目標檢測網(wǎng)絡。YOLOv2 的檢測流程如圖2 所示，其中tx、ty為中心坐標；tw、th為尺寸寬高；置信度中PObject為檢測框中是否包含目標，值為1 代表包含物體，相反為為圖像真實標記窗口與檢測窗口的交并比。

圖2 YOLOv2 檢測流程Fig.2 Flow chart of YOLOv2 detection

針對大多數(shù)紅外目標特性圖像存在成像分辨率低、變化尺度大、難以獲得精細紋理信息等特點，直接采用YOLOv2 算法開展紅外目標的識別效果并不明顯，因此本文針對紅外目標的特點進行算法改進。以下針對紅外目標的YOLOv2 算法進行闡述。

2.2 YOLOv2-P 的改進方法研究

針對紅外目標特性圖像特性，依據(jù)Faster R-CNN 和SSD 通過RPN 運算不同尺寸特征圖來達到提升不同細粒度檢測分辨率的邏輯，將較高分辨率特征與低分辨率特征的信息融合可有效提升小目標的檢測識別概率。本文在原有算法基礎上疊加中層（局部特征）、高層特征（全圖特征），將細粒度和語義信息有效融合從而提升預測結果的準確性，結合紅外圖像不同粗細粒度特征，增加該目標識別算法的自適應能力。具體而言，本算法將YOLOv2 圖像+卷積+池化+識別的網(wǎng)絡結構改造成如下形式，將紅外圖像的高層輪廓特征作為圖像識別的重要參考融合在識別判據(jù)中，如圖3 所示。

圖3 改進YOLOv2 網(wǎng)絡結構Fig.3 Structure diagram of the improved YOLOv2 network

為提高網(wǎng)絡對弱小目標的檢測能力，項目引入融合多級特征圖，讓不同粗細粒度的特征參與目標檢測，由此構成的改進YOLOv2 網(wǎng)絡在紅外圖像大方位變化、弱小目標檢測方面展現(xiàn)出十分優(yōu)異的性能。以海上民用飛機檢測為例，基于多級特征圖融合技術改進的網(wǎng)絡可以準確的檢測和分類出直升機的正向飛行、側向飛行以及處于弱小目標情況下的飛行圖像，如圖4 所示。

圖4 改進YOLOv2 網(wǎng)絡準確辨別直升機不同情況下的飛行圖像Fig.4 Flight images of a helicopter obtained by the improved YOLOv2 network under different conditions

在基本的YOLOv2 算法中，圖像劃分網(wǎng)格往往是S×S的正方形式，導致對預測候選框中的2 個軸向上的密度是同等分布的，對紅外目標類目標遺漏概率增大。對海上艦船目標進行特征分析，很明顯其在X、Y軸向上的密度分布不同，X軸相對偏密，Y軸則較為稀疏。因此，在基礎YOLOv2 網(wǎng)絡中增加一個重組特征圖，降低Y軸分布密度并增強X軸密度，重構為YOLOv2-P 網(wǎng)絡，如圖5 所示。

圖5 基于橫向候選框擴展技術的YOLOv2-P 網(wǎng)絡結構Fig.5 Structure diagram of the YOLOv2-P network based on the scale-out technology

YOLOv2-P 網(wǎng)絡［14］著重檢測圖像水平方向目標，大大降低了網(wǎng)絡對目標，尤其是對具有遮擋特性目標的漏檢率。以海面艦船目標為例，采用基于橫向候選框擴展技術的YOLOv2-P 網(wǎng)絡，有效檢測并分類出艦船處于遮擋條件下的圖像，如圖6所示。

圖6 基于橫向候選框擴展技術的YOLOv2-P 網(wǎng)絡有效檢測的圖像Fig.6 Effective detected images by the YOLOv2-P network based on the scale-out technology

3 改進式YOLOv2 在紅外目標識別中的實現(xiàn)與驗證

利用改進式YOLOv2 網(wǎng)絡［15］對戰(zhàn)術武器的目標紅外數(shù)據(jù)進行建模訓練及測試驗證，YOLOv2 算法訓練流程圖以及檢測流程圖如圖7 所示?；赥ensorflow 的目標檢測和分類算法，算法分為2 個執(zhí)行文件：訓練器（train.py）和檢測分類器（yolo.py）。

圖7 YOLOv2 訓練流程Fig.7 Flow chart of YOLOv2 training

訓練器：讀取目錄中的正負樣本，采用GPU 對檢測器和分類器進行訓練，其中正樣本已經(jīng)進行了分類，分別放在不同的子目錄下。

檢測分類器：讀取視頻，對視頻中的圖像先用檢測器進行檢測（支持同時檢測多個目標區(qū)域）、然后將檢測到的目標區(qū)域傳給分類器，由分類器進行目標分類，如圖8 所示。

圖8 軟件實現(xiàn)及識別效果Fig.8 Software realization and recognition effect

4 訓練檢測結果

依據(jù)上述設計思路以及參數(shù)設置，對已有的6組不同目標圖像數(shù)據(jù)（類型分別為空客A350 客機、波音787 飛機、汽車、輪船、海上民用直升機、無人機）對基于改進式YOLOv2 的目標檢測和分類軟件進行了測試。6 組圖像被分為訓練集和測試集，具體數(shù)據(jù)信息見表2，測試結果如圖9 所示。

圖9 訓練檢測結果Fig.9 Results of training detection

表2 YOLO 算法訓練樣本Tab.2 Training samples of the YOLO algorithm

1）空客A350客機包含訓練樣本457例，波音787飛機包含訓練樣本97 例，汽車目標類型包含訓練樣本59 例，輪船目標類型包含訓練樣本1 484 例，海上民用直升機目標類型包含訓練樣本1 349 例，無人機目標類型包含訓練樣本573 例。背景提取出負樣本673 例。

續(xù)圖9 訓練檢測結果Continued Fig.9 Results of training detection

2）空客A350客機包含測試圖片500例，波音787飛機包含測試圖片200 例，汽車目標類型包含測試圖片100 例，輪船目標類型包含測試圖片1 000例，海上民用直升機目標類型包含測試圖片1 000例，無人機目標類型包含訓練樣本500 例。背景測試樣本500 例。

具體測試結果見表3。

表3 改進式YOLOv2 算法性能指標驗證結果Tab.3 Results of performance index detection by the improved YOLOv2 algorithm

1）空客A350客機目標類型檢測出500例，其中錯誤檢測0 例，虛警率為0%；波音787 飛機目標類型檢測出200 例，其中錯誤檢測0 例，虛警率為0%；汽車目標類型檢測出100 例，其中錯誤檢測0 例，虛警率為0%；輪船目標類型檢測出998 例，其中錯誤檢測2 例，虛警率為0.2%；海上民用直升機目標類型檢測出1 000 例，其中錯誤檢測0 例，虛警率為0%；無人機目標類型檢測出500 例，其中錯誤檢測0 例，虛警率為0%。

2）空客A350 客機目標類型分類正確500 例，正確率為100%；波音787 飛機目標類型分類正確200 例，正確率為100%；汽車目標類型分類正確500 例，正確率為100%；輪船目標類型分類正確998 例，正確率為99.8%；海上民用直升機目標類型分類正確1 000 例，正確率為100%；無人機目標類型分類正確500 例，正確率為100%。

為驗證改進式YOLOv2 算法提升整個模型性能的有效性，基礎YOLOv2 上也在部門數(shù)據(jù)集上做了驗證，見表4。

表4 基礎YOLO V2 算法性能指標驗證結果Tab.4 Results of performance index detection by the basic YOLOv2 algorithm

對比表3 和表4 可以看出，改進式YOLOv2 算法的分類準確率和虛警率明顯高于基礎版YOLOv2，特別是針對客機和艦船這兩類X軸方向信息密度更大的目標，改進式YOLOv2-P 算法的優(yōu)勢更明顯。而針對直升機這類X、Y軸信息密度分布較為均勻的目標，兩者的性能較為一致，有效證明YOLOv2-P 改進型的優(yōu)勢。

5 結束語

本文針對武器領域紅外目標識別的場景，選取實戰(zhàn)典型目標（無人機、艦船等）作為研究對象，研究應用YOLOv2 算法識別紅外目標的方法，并針對該類紅外目標存在成像分辨率低、變化尺度大、難以獲得精細紋理信息等特點，改進網(wǎng)絡框架為基于橫向候選框擴展技術的YOLOv2-P 網(wǎng)絡以適配X、Y軸分布密度不均衡的情況，開發(fā)基于Tensorflow框架的YOLOv2-P 改進式目標檢測和分類軟件，并在實際外場獲取的紅外目標數(shù)據(jù)中進行驗證。實驗結果表明：本文的算法及開發(fā)的軟件對典型目標（無人機、艦船等）紅外識別能力較強，能有效支撐目標紅外分類整理工作，開發(fā)的軟件實現(xiàn)外場試驗數(shù)據(jù)的自動分類入庫功能，為后期設計師改進制導算法提供了技術支撐。