基于人在回路的目標數據集均衡完備評價方法研究

高峰 聶普璇 劉俊 王港

摘要：面向艦船目標識別應用需求，針對深度學習網絡模型在實際應用場景下泛化能力不足的問題，設計了一種基于人在回路的目標數據集均衡完備評價方法。構建艦船目標數據集的均衡完備評價指標體系，通過人在回路的方式進行有監督的評估，同時對數據集進行深度學習網絡模型訓練和測試。根據評價指標統計量和深度學習網絡模型的識別準確率，采用灰色關聯分析和逼近理想排序法建立數據集評價模型，實現艦船目標數據集的均衡完備性評價。結合具體實例，研究了對自建數據集采用均衡完備評價方法的評價結果與其識別準確率的變化趨勢一致性，驗證了該方法的有效性和可靠性。客觀定量評價艦船目標數據集均衡完備性能的同時，為數據集的均衡完備性能改進提供優化方向，有助于提高艦船目標識別模型的泛化性能，提高作戰信息化、智能化水平。

關鍵詞：數據集；均衡性；完備性；目標識別；艦船

中圖分類號：TP319文獻標志碼：A文章編號：1008-1739（2022）22-52-7

0引言

隨著深度學習技術的日益成熟，人工智能的浪潮正席卷全球，在軍事應用領域，作戰信息化、智能化水平也在不斷提高[1]。深度學習作為人工智能關鍵技術之一，其三大核心要素為：大數據、深度學習算法和高性能計算平臺[2]。其中，大數據是當前人工智能發展的基礎，在目標識別領域，體現為待識別目標圖像樣本大數據構成的目標數據集。目標數據集的完整性、均衡性和規模大小直接影響目標識別深度學習網絡模型的性能[3-4]。然而，在目標數據集的構建過程中，受成像條件、采集條件、成本、合作/非合作目標等多方面因素限制，存在不均衡、不完備的問題，表現為深度學習目標識別模型泛化能力差，在實驗室環境下能取得較好的識別效果，但實際應用中結果不如人意。針對這些問題，數據集均衡完備的全面綜合評價顯得尤為重要[5-6]，目前的研究大多聚焦于算法和數據層面，Krawczyk[7]引入類別損失來適應不均衡的數據集，Ferreira等[8]通過采樣方法調整優化數據集。本文面向艦船目標識別應用需求，構建數據集均衡完備評價指標體系，通過人在回路的方式進行有監督的評估。根據評價指標統計量和深度學習網絡模型的識別準確率建立數據集評價模型，實現圖像目標數據集的均衡完備性評價。

1基于人在回路的數據集均衡完備評價方法原理框架設計

本文以海洋艦船目標識別場景為例，艦船目標識別數據集的不完備問題主要體現在無法全面描述實際場景中的艦船特點。完備性要求數據集除了能夠描述艦船目標的基本形態，還要能夠參考實際海洋情況，在船載、岸基等場景下，體現艦船目標應有的特點。結合實際場景下的艦船數據特點，主要從圖像屬性和目標屬性進行完備性分析。圖像屬性包括圖像分辨率、圖像質量、類別涵蓋和目標數量；目標屬性包括目標類別、目標尺度、目標角度和目標背景。

艦船目標識別數據集的不均衡問題主要體現在數據集按不同規則進行劃分后，數量比例不均勻。均衡性要求數據集中的不同類別樣本數量或比例分布均勻且符合實際場景要求，同時在完備性的各項要求下，每一類屬性數量或比例分布均勻。因此除了考慮結合實際的識別框架按類別進行劃分，還應當考慮完備性因素。參照傳統分類問題中類間距離與類內距離的定義，主要從類間和類內兩方面對艦船目標識別數據集進行均衡性分析。均衡性在類間表現為目標類別的數量比例滿足均衡性要求，即數量均勻，或與實際場景的目標類別比例一致。均衡性在類內表現為，在單一類別中，從完備性相關因素角度能夠滿足均衡性要求，即按其完備性因素進行劃分后，數量比例均勻，或與實際場景劃分后數量比例一致。

在建立圖像目標數據集均衡完備評價指標體系的基礎上，通過人在回路的方式對艦船目標識別數據集進行有監督的評估，根據評價指標統計量和深度學習目標識別模型的識別準確率進行參數計算，建立評價模型，實現圖像目標數據集的均衡完備性評價。基于人在回路的圖像目標數據集均衡完備評價方法原理框架如圖1所示。

以自建艦船目標數據為基礎，構建個指標分布不同的數據集，分別用選定的目標識別深度學習網絡模型（為不失一般性，本文選擇YOLOV3模型）進行訓練[9]，在相同測試集上測試得到平均準確率、漏報率和誤報率3項識別準確率指標，并計算各自最終的識別準確率。依據評價指標體系，得到個數據集的指標統計量，并使用卡方檢驗對統計量進行預處理，確定原始數據與滿足均勻分布數據的偏離程度。通過計算評價指標與識別準確率參考值的關聯度，得到指標權重；由此確定數據集的最優、最劣方案，計算待評價數據集與最優方案的貼近度。最后，計算整體評價結果和局部評價結果，輸出最終的評價結果。

2基于人在回路的數據集均衡完備評價指標體系構建

2.1完備均衡性的數據集評價指標體系設計

以艦船目標識別數據集完備均衡性為基礎，參考常規評價體系的指標與原則，按照代表性、全面性和可量化性等標準，設計評價指標體系，如表1所示。

3基于人在回路的數據集均衡完備評價方法實現

3.1基于評價指標的數據統計與處理

4實驗驗證與結果分析

4.1數據統計與處理

實驗自建了艦船目標數據集，包含軍船和民船2類數據共6 348張圖像，以此為基礎，構建不同數據分布的數據集15個，以表示，其中1～10為實驗數據集，11～15為待評價數據集，圖5為自建數據集的部分展示。構建的各個數據集在所設計的數據集評價指標下，具有不同的數據分布和相同的規模（均為4 228張艦船目標圖像以及相同的目標數量（均包含8 757個艦船目標）。為了模擬實際場景下的數據，構建的測試集盡可能滿足完備性、均衡性各項要求。所有數據集通過相同的YOLOV3進行訓練，相關訓練參數保持一致，并通過統一測試集進行驗證，得到目標識別算法經過各個數據集訓練后的識別準確率，如表3所示。

對原始數據進行基于卡方檢驗的關聯度計算，將單個指標下多個分級統計量的集合轉化為單一的指標特征量，即指標的偏離度。計算完成的各個數據集在各項評價指標下的偏離度如表4所示。

對識別準確率進行轉化，將多個識別準確率指標轉化為一個值，用作描述數據集優劣的參考量，得到的準確率參考值如表5所示。

4.2參數計算實驗

根據基于人在回路的數據集均衡完備評價方法流程，使用GRA方法對指標與識別準確率參考值的關聯度進行參數計算。將實驗數據集指標偏離度進行同向化處理和無量綱化處理，由計算出的關聯系數計算指標與準確率參考值關聯度，確定各個指標的權重，計算結果如表6所示。

以上為待評價數據集的整體評價結果，可以直觀地描述數據集的整體性優劣。接下來計算局部評價結果和可接受最大指標偏離度的卡方值，本文以數據偏差為1倍時的指標偏離度卡方值作為最大指標偏離度。結合指標權重，計算得到待評價數據集各指標偏差因素和對應參考值，如表7所示。

以上為本文中待評價數據集的局部評價結果，可以反映待評價對象的局部性問題，為數據集優化提供支撐。

4.5分析與討論

對數據集評價結果進行分析，首先針對整體評價結果，待評價數據集貼近度與準確率參考值對比如圖6所示，橙色線條表示待評價數據集與最優方案貼近度，藍色線條表示待評價數據集的識別準確率。可以看出，5個待評價數據集與最優方案的貼近度整體呈現從高到低下降的趨勢，而作為參考的識別準確率參考值也呈整體下降趨勢，二者變化趨勢相近，說明本文的數據集評價方法能夠全面、合理地描述數據集各方面特征，評價其優劣，驗證了該方法的可靠性。

其次，對于局部評價結果，由表7可知，在5個待評價數據集中，數據集13有1個指標超出了參考偏差因素，數據集14有2個指標超出了參考偏差因素，數據集15有3個指標超出了參考偏差因素。這與整體評價結果基本一致，同時依照這些指標偏差因素，在對數據集進行優化時，可以準確了解到數據集在完備性、均衡性角度具體存在問題的指標，進而進行調整。因此，局部評價結果能夠為數據集的構建和優化提供支撐。

綜上，本文的數據集均衡完備評價方法能夠從完備性、均衡性的角度全面、合理地對數據集進行評價，具有良好的可靠性，同時，評價結果可為數據集構建和優化提供理論支撐，滿足實際工程應用的需要。

5結束語

本文面向艦船目標識別應用需求，對艦船目標數據集進行均衡完備性分析，構建數據集均衡完備評價指標體系，通過人在回路的方式進行有監督的評估，同時對數據集進行深度學習網絡模型訓練和測試。根據評價指標統計量和深度學習網絡模型的識別準確率，計算指標與識別準確率參考值的關聯度，建立數據集評價模型。本文的創新點在于構建數據集均衡完備評價指標體系，根據評價指標統計量和深度學習網絡模型的識別準確率進行GRA，從而確定評價指標權重，并使用TOPSIS建立數據集評價模型，計算待評價數據集與最優方案的貼近度，實現艦船目標數據集的均衡完備性評價。本文可為數據集的科學、全面評價提供理論支持，為構建均衡完備數據集提供解決方案，進而有助于提高艦船目標識別模型的泛化性能，提高作戰信息化、智能化水平。

參考文獻

[1]萬維.基于深度學習的目標檢測算法研究及應用[D].成都：電子科技大學，2015.

[2]趙寶康，李晉文，楊帆，等.一種基于深度學習的遙感圖像目標檢測算法[J].計算機工程與科學，2019，41（12）：2166-2172.

[3]李國和，張騰，吳衛江，等.面向機器學習的訓練數據集均衡化方法[J].計算機工程與設計， 2019， 40（3）：812-818.

[4] JOHNSON J M， KHOSHGOFTAAR T M. Survey on Deep Learning with Class Imbalance[J]. Journal of Big Data， 2019， 6（1）：27.

[5]柯逍，鄒嘉偉，杜明智，等.基于蒙特卡羅數據集均衡與魯棒性增量極限學習機的圖像自動標注[J].電子學報， 2017， 45（12）：2925-2935.

[6]張騰.不平衡數據集均衡化方法研究及其應用[D].北京：中國石油大學（北京）， 2018.

[7] KRAWCZYK B. Learning from Imbalanced Data：Open Challenges and Future Directions[J].Progress in Artificial Intelligence， 2016， 5（4）：221-232.

[8] FERREIRA L E B，BARDDAL J P ，ENEMBRECK F，et al. An Experimental Perspective on Sampling Methods for Imbalanced Learning from Financial Databases[C]// International Joint Conference on Neural Networks.Riode Janeiro：IEEE，2018：1206-1212.

[9] REDMON J，FARHADI A.YOLOv3：An Incremental Improvement[J].[2022-09-10]. https：//arxiv.org/abs/1804. 02767.

[10]宋福志.ATR與人在回路的選擇[J].戰術導彈技術，2006（2）：59-62.

[11]鄭利平，劉曉平.人在回路仿真運行有效性評估方法研究[J].系統仿真學報， 2007， 19（7）：1417-1420.

[12] GREENWOOD P E， NIKULIN M S. A Guide to Chi-squared Testing[J]. Biometrics， 1996， 39（4）：392.

[13] GAU H S， HSIEH C Y，LIU C W. Application of Grey Correlation Method to Evaluate Potential Groundwater Recharge Sites[J].Stochastic Environmental Research and Risk Assessment，2006，20（6）：407-421.

[14] SHIH H S，SHYUR H J，LEE E S.An Extension of TOPSIS for Group Decision Making[J]. Mathematical & Computer Modelling， 2007， 45（7-8）：801-813.

[15]龔永紅，鄭威，吳林，等.基于自步學習的無監督屬性選擇算法[J].計算機應用， 2018， 38（10）：2856-2861.

[16]汪業成.基于自步學習的興趣點（POI）推薦技術研究[D].成都：電子科技大學，2020.