復雜場景中準確實時的人物識別算法研究

摘" 要：目前，基于深度學習的單步目標檢測器已被廣泛用于實時目標檢測，但其對目標的定位精度較差，并且存在目標漏檢、誤檢等問題。文章提出了一種用于復雜場景中準確實時的人物識別算法。首先，使用高斯YOLOv3來估計預測框的坐標和定位不確定性，然后，采用基于注意力機制的非極大值抑制方法去除冗余的檢測框，提高目標檢測結果的準確性。經自建數據集訓練并測試，改進的高斯YOLOv3對人物的識別精度為83.1%，比YOLOv3提高了1.68%，檢測模型可以應用于軍事戰場人物的識別和定位，為戰場態勢感知系統提供有效的技術支持。

關鍵詞：人物識別；高斯模型；注意力機制；高斯YOLOv3；非極大值抑制

中圖分類號：TP391.4" " 文獻標識碼：A" 文章編號：2096-4706（2024）10-0046-05

Research on Accurate and Real-time Character Recognition Algorithms in Complex Scenes

YANG Jin1，2， JING Fei1，2， ZHANG Tongtong1，2， TU Yaxin3

（1.The 29th Research Institute of CETC， Chengdu" 610036， China; 2.Sichuan Province Engineering Research Center for Broadband Microwave Circuit High Density Integration， Chengdu" 610036， China; 3.Measurement Center of State Grid Sichuan Electric Power Company， Chengdu" 610045， China）

Abstract： Currently， single step object detectors based on Deep Learning have been widely used for real-time object detection， but their positioning accuracy for targets is poor， and there are problems such as missed detection and 1 detection of targets. This paper proposes an accurate and real-time character recognition algorithm for complex scenes. Firstly， this paper uses Gaussian YOLOv3 to estimate the coordinates and positioning uncertainty of the prediction box. Then， a Non-Maximum Suppression method based on Attention Mechanism is used to remove redundant detection boxes and improve the accuracy of target detection results. After self-built dataset training and testing， the improved Gaussian YOLOv3 has a character recognition accuracy of 83.1%， which is 1.68% higher than YOLOv3. The detection model can be applied to the recognition and positioning of military battlefield characters， providing effective technical support for battlefield situation awareness systems.

Keywords： character recognition; Gaussian model; Attention Mechanism; Gaussian YOLOv3; Non-Maximum Suppression

0" 引" 言

戰場態勢感知是對作戰和保障部隊的部署、武器裝備、戰場環境（地形、氣象、水文等）進行實時感知的過程，在未來的信息戰中，提高戰場態勢感知能力可以有效地增強戰爭的整體控制能力。目前，軍事目標的識別和定位是影響戰場態勢感知的關鍵技術[1]。因此，研究復雜環境下軍事目標的自動檢測技術，對戰場態勢的生成和分析具有重要意義。在戰場偵察領域，視頻和圖像比文本和電報信息更直觀、更實用，是目前有效的偵察方法之一。因此，基于視頻和圖像的戰場態勢感知技術可以為指揮決策者提供相對豐富、生動的戰場全局數據[2]。

近年來，學者們逐漸將基于深度學習的方法應用于戰場態勢感知，可以有效解決當前信息化戰場中復雜的戰場態勢生成和分析問題。基于深度學習的多層人工神經網絡模型具有較強的特征學習能力，大多數現有的基于深度學習的目標檢測算法可以分類為兩級檢測器和一級檢測器。兩級檢測器由區域建議階段和分類階段組成。首先，在區域建議階段，通過許多區域建議策略產生候選框，然后，通過分類方法將這些候選框分為不同的類別，以實現目標檢測。周華平[3]等在基于Faster R-CNN框架的基礎上提出了一種改進其特征網絡ResNet-101的方法，算法平均檢測精度提高了5.1%。劉寅[4]在R-FCN網絡的基礎上采用自適應非極大值抑制修正預測框置信度，利用在線難例學習方法并優化候選框參數，優化后的R-FCN網絡對教室內的人物目標識別準確率為89.52%。兩級檢測器可以實現相當高的檢測精度，但檢測速度較低，難以應用于實時檢測的場景。

相比之下，一級檢測器直接返回對象的分類概率和位置坐標，而不需要區域建議過程。例如，YOLO [5]將圖像分割成小網格，并同時預測每個區域的候選框概率和分類概率。與兩級探測器相比，YOLO實現了速度的顛覆性提高，但目標檢測精度較低，其定位誤差源于對網格單元的處理。為了提高一級檢測器的性能，SSD [6]修改了深度學習網絡，增加了多參考和多分辨率策略，以提高檢測精度。RefineDet [7]基于SSD網絡架構，使用ARM模塊和ODM模塊互連，以提高檢測速度和準確性。與深度網絡的修改不同，RetinaNet [8]對其他策略進行了微調，并用焦點損失取代了YOLOv3 [9]中的交叉熵損失，以專注于難以分類的例子，并丟棄負例。Zheng等人[10]提出了一種CIoU損失函數，與GIoU [11]損失和IoU [12]損失函數相比提高了網絡的檢測精度和收斂速度。高斯YOLOv3 [13]利用高斯函數來確定預測框的定位不確定性。此類檢測模型速度較快，但精度相對較低。

由于戰場態勢的高度動態性，對軍事目標的實時檢測提出了很高的要求。此外，在戰場環境中，軍事目標經常受到照明、目標大小、偽裝和遮擋的影響，檢測算法需要能夠適應復雜的戰場環境。高斯YOLOv3算法具有良好的實時性和檢測性能，因此本文選擇高斯YOLOv3作為檢測算法的基本結構并對其進行了改進。為了準確、實時地識別復雜場景中的人物，本文提出了一種用于復雜場景中準確實時的人物識別算法。本文首先采用了改進的高斯YOLOv3作為檢測算法的基礎結構，使用高斯函數來估計預測框的坐標和定位不確定性，有效地提高復雜場景中人物的檢測精度。本文提出一種基于注意力機制的非極大值抑制算法，提高了非極大值抑制算法在消除多余候選框的準確性，從而減少了冗余的候選框對檢測結果的影響，提高人物檢測結果的準確性。

1" 高斯YOLOv3模型

1.1" 基礎網絡結構

圖1給出了改進的高斯YOLOv3框架的架構（圖中最左列中的數字1、2、4和8表示重復的殘差分量數量），該框架由75個卷積層、23個快捷層、4個路由層、3個YOLO層和2個上采樣層組成。改進的高斯YOLOv3生成三個大小分別為76×76、38×38和19×19的特征圖，輸入圖像大小設置為608×608。在改進的高斯YOLOv3網絡中，“卷積”模塊用于預測對象的邊界框坐標、對象置信度值和三個尺度的錨框的類概率。改進的高斯YOLOv3使用“高斯建模”模塊來估計預測框的坐標，從而可以確定預測框的定位不確定性。最后，比較了三種尺度的檢測結果，并使用一些閾值來確定最終結果。因此，改進的高斯YOLOv3可以在保持實時檢測速度的同時提高檢測精度。

1.2" 高斯模型

YOLOv3輸出預測框坐標、對象得分和類得分，并基于對象和類的置信度對對象進行分類。然而，YOLOv3不能確定預測框的置信度，因此預測框的坐標不確定性是未知的。因此，YOLOv3可能無法準確地確定目標人物的定位。

為了解決這個問題，網絡引入高斯函數來估計預測框坐標的不確定性，包括中心信息（即tx和ty）和預測框大小信息（即tw和th）。高斯模型將預測框坐標的均值和方差函數作為輸入，因此改進的高斯YOLOv3將YOLOv3中預測框的輸出數量從4個增加到8個。預測框的不確定性可以使用tx、ty、tw和th的每個單獨的高斯模型進行建模。對于給定的測試輸入x，使用以下公式計算單個高斯模型的輸出y：

其中，μ（x）和" 分別表示預測框坐標的均值和方差。

此外，高斯YOLOv3調整了網絡的損失函數，因此，可以估計高斯YOLOv3中預測框的定位不確定性。tx的損失函數描述如下：

其中W和H分別表示水平和垂直網格的數量。K表示錨框的數量， 表示在（i，j）網格中的第k個錨框處的tx， 表示tx的不確定性， 是tx的GT。通過使用與tx相同的策略來計算ty、tw和th的損失函數。χ為對數函數的數值穩定性指定值10-9。γijk表示權重懲罰系數，其計算如下：

其中ωscale表示基于圖像中GT框的寬度和高度比計算，計算式為：

其中， 表示當GT框和當前錨框之間的CIoU損耗大于某個閾值時被設置為1，并且如果沒有合適的GT則" 等于零。

預測框坐標的定位不確定性以及對象性得分和類得分被認為是檢測標準。考慮定位不確定性的檢測標準如式（5）所示：

其中Cr表示高斯YOLOv3的檢測標準，σ（Object）是對象性得分，σ（Classi）是第i類的得分。Uncertaintyaver指示預測框坐標的平均不確定性。定位不確定性與預測框的置信度呈負相關。

2" 復雜場景中準確實時的人物識別算法

2.1" 數據集

總所周知，數據在深度學習中占有重要地位，高質量的數據集能夠提高模型訓練的質量和模型預測的準確性。目前已有許多適用于目標檢測的數據集，如COCO2017、PASCAL VOC [14]、ImageNet等。針對復雜環境下軍事人物檢測任務，本文構建了真實陸地戰場作戰環境中的軍事人物數據集。

數據集中包含了叢林、城市、雪地、沙漠等常見的陸地作戰場景，同時目標包含來自不同國家的人物，并且考慮了影響目標檢測結果的因素，例如前景遮擋、偽裝、煙霧、照明、目標尺寸、成像視角等，部分圖像示例如圖2所示。數據集中共包含1 507張圖片，將數據集中的圖片6：2：2的比例劃分為訓練集、驗證集和測試集。數據集圖片中的人物目標采用LabelImg標記軟件進行標記，并與PASCAL VOC數據集中的標簽格式保持一致。

2.2" 網絡結構

如上所述，YOLOv3算法在直接應用于檢測復雜場景人物時，可能會產生不準確的缺陷定位、漏檢、誤檢等問題。因此，本文采用高斯YOLOv3作為基礎網絡架構，通過在YOLOv3網絡中引入高斯函數，用于復雜場景的人物檢測，如圖1所示。基于高斯函數的YOLOv3包括兩個模塊：基礎YOLOv3網絡和高斯建模模塊。首先，YOLOv3網絡提取缺陷特征，然后在YOLOv3中引入高斯函數來預測預測框的坐標，從而確定坐標的定位不確定性。具體來說，將預測框的定位不確定性與對象性得分和類得分一起作為檢測標準，可以提高檢測精度。此外，該模型用注意力機制的非極大值抑制算法代替了IoU損失函數，進一步提高了回歸精度和收斂速度。改進的高斯YOLOv3使用特征金字塔在三個不同尺度的特征下進行對象檢測。因此，改進的高斯YOLOv3可以適應各種不同大小的對象檢測任務。

2.3" 基于注意力機制的非極大值抑制算法

現有的目標檢測網絡使用的非極大值抑制算法需手動設置閾值，閾值設置不合理容易出現漏檢、誤檢等情況，并且評價方式不太合理，影響網絡的檢測精度。基于上述問題，本文提出一種基于注意力機制的非極大值抑制算法。

基于注意力的置信度，其計算公式為：

候選邊界框集合B = {b1，…，bN}，每個候選邊界框對應的分類置信度集合S = {s1，…，sN}；其中，si表示集合B中的第i個候選框的置信度值，CIoU是全交并比損失函數值，br和sr分別表示當前候選框及其對應的基于注意力的置信度值。

所述的基于注意力機制的置信度加權懲罰算法，其計算公式為：

bm表示當前集合B中置信度最高的候選框，bi是集合B中的第i個候選框，si是式（6）計算得到的置信度值。

3" 實驗結果及分析

3.1" 實驗參數配置

本文涉及的各項訓練及測試實驗是在操作系統為Ubuntu18.04的服務器中進行，圖形處理器為TITAN RTX。為客觀分析算法性能，本文首先使用通用數據集PASCAL VOC預訓練改進的高斯YOLOv3模型，然后使用自建軍事人物數據集對其進行微調。為了公平比較，各模型學習樣本的大小和學習率分別設置為128和0.000 5。

3.2" 檢測結果

本文從定性及定量兩個維度全面評估算法的性能，首先定性的評估算法的漏檢、誤檢等情況，然后采用均值平均精度（mAP）定量的評估檢測算法的檢測精度。

本文首先在自建的數據集上對改進的高斯YOLOv3和一些方法進行了全面的定性評估，圖3給出了在自建數據集中對來自驗證集的一些圖像的一些實驗結果。從圖中可以發現，當使用高斯YOLOv3時存在漏檢（第1、4列）、錯檢（第2列）等問題。相反，本文提出的改進的高斯YOLOv3可以從這些圖像中準確地檢測所有人物。顯然，改進的高斯YOLOv3比高斯YOLOv3人物識別準確率高。

人物識別模型的檢測結果如表1所示，實驗結果表明，高斯YOLOv3與改進的高斯YOLOv3算法均具有較高的實時性，改進的高斯YOLOv3對人物的識別精度為83.1%，比高斯YOLOv3提高了1.68%。

本文進一步使用三個指標對量種方法進行了定量評估：假陰性（FN）、假陽性（FP）和真陽性（TP）。FN描述人物被漏檢，FP表示其他對象被錯誤地識別位人物；TP表明人物被正確檢測和識別。顯然，一種優秀的人物是被方法應該具有高TP值和低FN和FP值。表2給出了高斯YOLOv3和改進的高斯YOLOv3的對比情況。從表格可知，改進的高斯YOLOv3獲得了最高的TP值和最低的FP和FN值，同時，與高斯YOLOv3相比，FP、FN分別降低了60.00%、40.91%，增加了4.20%的TP。因此，所提出的算法優于以往的研究，適合用于復雜場景的人物識別應用。

4" 結" 論

本文提出了一種用于復雜場景中準確實時的人物識別算法，網絡首先采用高斯函數對預測框的坐標進行建模，然后，采用基于注意力機制的非極大值抑制方法去除冗余的檢測框，提高目標檢測結果的準確性。在自建數據集上的定量和定性對比實驗結果表明，所提出的改進的高斯YOLOv3在保持實時性的同時，提高了精度，增加了TP，并顯著降低了FP、FN，可以提高人物識別的準確定。在某些情況下，本文算法性能的改善并不明顯。本文下一步將針對小目標、目標重疊的目標檢測進行研究，進一步提高算法的識別準確率。

參考文獻：

[1] 于博文，呂明.改進的YOLOv3算法及其在軍事目標檢測中的應用 [J].兵工學報，2022，43（2）：345-354.

[2] 蔣超，崔玉偉，王輝.基于圖像的無人機戰場態勢感知技術綜述 [J].測控技術，2021，40（12）：14-19.

[3] 周華平，殷凱，桂海霞，等.基于改進的Faster R-CNN目標人物檢測 [J].無線電通信技術，2020，46（6）：712-716.

[4] 劉寅.基于R-FCN的教室內人物識別 [J].科學技術創新，2021（30）：88-90.

[5] REDMON J，DIVVALA S，GIRSHICK R. You Only Look Once： Unified， Real-Time Object Detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：779–788.

[6] LIU W，ANGUELOV D，ERHAN D，et al. SSD： Single Shot Multibox Detector [C]//in Lecture Notes in Computer Science（including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics）.Amsterdam：Springer，2016：21–37.

[7] ZHANG S，WEN L，BIAN X，et al. Single-Shot Refinement Neural Network for Object Detection [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：4203–4212.

[8] LIN T Y，GOYAL P，GIRSHICK R，et al. Focal Loss for Dense Object Detection [C]//2017 IEEE International Conference on Computer Vision （ICCV） 2017.Venice：IEEE，2017：2999–3007.

[9] REDMON J，FARHADI A. YOLOv3： An Incremental Improvement [J/OL].arXiv：1804.02767 [cs.CV]（2018-04-08）.https：//arxiv.org/abs/1804.02767.

[10] ZHENG Z，WANG P，LIU W，et al. RenDistance-IoU Loss： Faster and Better Learning for Bounding Box Regression [J/OL].arXiv：1911.08287 [cs.CV].（2019-11-19）.https：//arxiv.org/abs/1911.08287.

[11] REZATOFIGHI H，TSOI N，GWAK J，et al. Generalized Intersection Over Union： A Metric and a Loss for Bounding Box Regression [C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Long Beach：IEEE，2019：658–666.

[12] JIANG B，LUO R，MAO J，et al. Acquisition of Localization Confidence for Accurate Object Detection [C]//Computer Vision-ECCV 2018.Cham：Springer，2018：816–832.

[13] CHOI J，CHUN D，KIM H，et al. Gaussian YOLOv3： An Accurate and Fast Object Detector Using Localization Uncertainty for Autonomous Driving [C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul：IEEE，2019：502–511.

[14] EVERINGHAM M，GOOL L V，WILLIAMS C，et al. The PASCAL Visual Object Classes Challenge Workshop 2008 [J].International Journal of Computer Vision，2010，88（2）：303-338.

作者簡介：楊錦（1996.04—），男，漢族，四川成都人，工程師，碩士研究生，研究方向：機器視覺、深度學習。