基于深度遷移學習的紅外艦船目標檢測算法

王悅行，吳永國，徐傳剛

（天津津航技術物理研究所，天津 300308）

0 引 言

卷積神經網絡（convolutional neural networks，CNN）在圖像分類、人臉識別等領域的巨大成功依賴于大規模數據集的訓練［1-2］。研究和實踐表明，CNN在圖像識別任務中，當訓練數據集達到千萬量級時，可以接近甚至超過人眼識別能力［3-5］。但是在紅外目標檢測任務［6-8］中，受客觀條件限制，真實紅外目標圖像數據量有限，無法按傳統方法對算法進行訓練［9］。因此，必須開展基于遷移學習的CNN 訓練方法研究，將通過大數據集充分訓練的CNN 模型遷移到用于識別紅外艦船特征的CNN模型［10］。

遷移學習［11］可以從現有數據遷移知識來幫助將來的學習，而且遷移學習不像傳統機器學習那樣做同分布假設。采用仿真紅外圖像數據集上預先訓練的成熟CNN 特征，對提取出的特征在真實紅外圖像數據集上進行二次訓練，具體流程如圖1所示。

將遷移學習應用到神經網絡中，就是將一層層網絡中每個節點的權重從一個訓練好的網絡遷移到一個全新的網絡里，而不是從頭開始，為每一個特定任務訓練神經網絡。遷移學習相當于讓神經網絡有了語言。新一代神經網絡可以在前人的基礎上更進一步，使用一個由他人預先訓練好并可作為我們訓練模型的起點。因此，本文使用大量仿真紅外艦船圖像和少量真實紅外艦船圖像作為訓練樣本，利用由粗到細的深度卷積神經網絡實現遷移學習，以解決仿真紅外艦船圖像和真實紅外艦船圖像的跨域適應性問題，從而實現對真實紅外艦船目標的檢測識別功能。

1 紅外艦船目標跨域自適應檢測算法

在復雜海面場景條件下，能夠準確地檢測目標對于實際作戰應用有重要意義。但是由于客觀條件限制，海面紅外目標場景數據較少，因此，為了降低深度學習對真實紅外艦船數據量的需求，本文使用大量仿真紅外艦船圖像數據集和少量真實紅外艦船圖像，通過特征自適應遷移學習（feature adaption transfer learning，FATL）方法實現從仿真紅外目標到真實紅外目標的跨域目標檢測功能。

檢測器通常由兩部分組成：backbone 和head。前者在ImageNet上進行預訓練，后者用來預測類別信息和目標物體的邊界框。在最近幾年，目標檢測器會在backbone 和head 之間插入一些網絡層，這些網絡層通常用來收集不同的特征圖，我們將其稱之為目標檢測器的neck。通常，一個neck 由多個bottom-up 路徑和top-down路徑組成。

圖2 介紹了本文設計的用于跨域對象檢測的網絡結構框架，目標檢測器的backbone 采用DenseNet預訓練模型，模型參數在ImageNet 上進行預訓練，能夠高效地逐層提取輸入圖像不同的深度特征；目標檢測器的neck 采用路徑聚合網絡（path aggregation network，PAN）結構，使低層信息更容易傳播到頂層；目標檢測器的head 采用粗細分類模塊，粗分類模塊會從不同層輸出的特征圖中提取當前特征圖的前景信息，進行粗粒度特征自適應；經過全連接層后，細分類模塊區分不同類型目標并對齊同一類型目標，進行細粒度特征自適應。在數據增廣方法上，本文采用自對抗訓練方法（self-adversarial training，SAT）提高模型泛化能力。

與目前常用的Yolov3 檢測器［12］相比（Yolov3 網絡結構如圖3 所示），本文算法采用DenseNet 結構作為骨架網絡，與Darknet53 結構相比，DenseNet 結構能夠在小數據集情況下更好地解決過擬合的問題。另外，本文網絡增加PAN 結構連通淺層特征和深層特征，使得網絡在提取目標高層次語義信息時能夠更好地保留目標細節特征，從而提高對小目標的檢測性能。同時，通過SAT方法在原有模型的訓練過程中注入對抗樣本，提升了模型對于微小擾動的魯棒性。并且，本文網絡設置粗分類和精細分類模塊，能夠達到對目標類型進行精準分類的目的。

2 檢測器結構

本文檢測器由提取特征的backbone、用于輸出目標檢測結果的head 以及連接兩者的neck 組成。通過對檢測網絡進行設計優化，使網絡在提取圖像高層次語義信息的同時，能夠充分利用目標的低層次表觀特征，并且通過多尺度設計，使網絡能夠在不同空間分辨率下檢測目標。

2.1 檢測器backbone

本文選用DenseNet 作為檢測網絡的backbone。DenseNet 網絡結構由多個Dense Block 組成，一個Dense Block 包含多個卷積層，如圖4 所示，每層結構由 卷 積、batch normalization（BN）和ReLU 組 成。Dense Block 的輸入并不是只使用之前最后一層的輸出，而是將之前所有Dense Block的輸出以及原始層的輸出作為輸入，即x0，x1，…，xi-1。DenseNet 不同層特征能夠復用，從而減少計算量，并且緩解梯度消失問題，加強特征傳播。

圖4 Dense Block網絡結構Fig.4 Dense Block network structure

2.2 檢測器neck

特征圖經過上一節backbone 特征提取網絡后，會輸入到檢測器head 中來得到檢測結果。為了豐富檢測器head 的信息，本文采用PAN 結構作為檢測器的neck，使特征圖在送入head 之前，首先經過自底向上和自頂向下的PAN結構，相鄰特征圖按元素順序添加到一起。

圖5是本文采用的PAN結構。PAN結構是在常用的特征金字塔網絡（feature pyramid networks，FPN）基礎上，增加了自底向上的結構，參見圖5（b）中橙色框結構，能夠使網絡的底層信息更容易傳播到頂層。在FPN中，局部空間信息在圖5（a）中由紅色箭頭向上傳遞，紅色路徑經過約100層。PAN引入了short-cut路徑，只需約10層就可到達頂部的N5層。short-circuit結構設計使最上層可以獲得精確的局部信息。因此，PAN結構能夠連通淺層特征和深層特征，PAN輸出特征包含了自底向上的空間豐富信息和自上而下的語義豐富信息，能夠提高對小目標的檢測性能。

圖5 PAN結構Fig.5 PAN structure

2.3 檢測器head

檢測器head是在neck之后，用于輸出檢測網絡結果，即目標檢測位置和目標類別。為了減小不同領域特征空間的域偏移以實現跨域目標檢測，本文采用文獻［13］的方法，分別在backbone 和neck 網絡結構的輸出特征層設置粗分類head 和細分類head。首先，本文利用DenseNet網絡提取多層目標特征，然后采用粗分類head 對DenseNet 網絡提取的前景目標和背景特征進行特征對齊，實現前景和背景的分類。細分類head將PAN 網絡融合的目標表觀特征和深度特征進行提取，細分類head 在充分利用目標類別信息的基礎上，突出每個類別的分布并對不同類別目標進行特征對齊，從而達到對目標類型精分類的目的。

因此，FATL 算法設計了兩個分類模塊head：第一個模塊（粗分類head）從不同領域圖像中識別出前景信息，但是對目標類別不作區分；第二個模塊（細分類head）通過建立每個類別的原型實現同一類別目標的語義對齊。具體分類過程如圖6所示。

圖6 適配模塊原理示意圖Fig.6 The schematic diagram of the adaptation module

在粗粒度階段，通過基于注意力的區域轉移模塊來突出前景的重要性，它以一種不區分類的粗糙方式工作。利用高級特征中的注意機制提取感興趣的前景目標，并在特征分布對齊時對其進行標記。通過多層對抗性學習，利用復雜的檢測模型可以實現有效的領域交叉。粗分類網絡采用經典的對抗生成網絡模型，由分類器D 和主干網絡G 構成，具體來說，分類器D 試圖區分特征來自真實圖像和仿真圖像，而主干網絡G旨在混淆分類器。G和D之間通過梯度反向層進行連接。當訓練過程收斂時，G 傾向于提取域不變的特征表示。第l個卷積塊中對抗學習的目標函數Ll可以表示為

式中：Gl和Dl分別是分類器D 和主干網絡G 的第l個卷積塊；θGl和θDl是Gl和Dl對應的權重因子；xs和xt分別是來自源域DS和目標域DT的輸入圖像；Dl（·）表示源域輸入圖像的目標特征概率。

在細粒度階段，通過基于原型的語義對齊模塊來構建跨域的每個類別的全局原型。原型在每次迭代中都進行自適應更新，從而抑制了假偽標簽和類不匹配的負面影響。由于從粗到細的特征自適應，前景區域中的領域知識能夠得到有效傳遞。本文提出的結構將跨領域具有相同類別的一對原型（WSi，WTi）之間的距離最小化，從而保持特征空間中的語義一致性。原型可以定義為

式中：WSi和WTi表示分別來自源域S和目標域T的第i類原型；F（f）表示在頭部網絡經過第2 個全連接層后前景區域f的特征；|·|表示區域個數。本文采用頭部網絡提供的Ri作為目標域的偽標簽，采用真實數據Gi提取源域中前景區域。

因此，檢測器head 能夠利用粗分類器高級特征的注意機制提取感興趣的前景目標，然后通過細分類器基于原型的語義對齊模塊將跨領域具有相同類別的目標原型進行對齊，從而實現跨域自適應目標檢測功能。

2.4 數據增廣方法

本文采用自對抗訓練方法（SAT）中的數據增廣方法。首先，對一個訓練樣本執行前向傳遞。在傳統的反向傳播中，通常是通過調整模型權重來改進檢測器對圖像中目標檢測的準確率。本文采取相反的方向，通過改變圖像來降低檢測器的性能，從而創建一個針對當前模型的對抗性攻擊，而新圖像在視覺上看起來是一樣的。然后，用帶有原始邊界框和類標簽的新圖像對模型進行訓練，從而提高模型泛化能力，并減少過擬合。

3 紅外艦船目標仿真方法

經過幾十年發展，仿真紅外圖像可以很好地模仿紅外探測器接收到的來自物體和背景的紅外輻射。在滿足客觀物理規律的同時，還能提供與真實紅外船只圖像類似的邊緣、輪廓、紋理和辨別性特征等細節，以及豐富的高級語義信息。

當深度學習技術與仿真紅外船只圖像相結合，就可以從大量仿真紅外船只圖像中學習到本應從真實紅外船只圖像中學習的信息。這些信息可以幫助神經網絡優化各層參數，強化其對各個特征的提取、分析和判斷能力，從而提高網絡對海上紅外船只圖像的特征適應能力，最終實現對真實紅外船只目標的準確檢測。通過該方法生成的紅外艦船目標圖像具有自然的圖像紋理特征，符合紅外輻射特性，可有效提高紅外艦船數據集的完整性和可用性。

圖7 是利用仿真生成的紅外船只目標仿真序列，為模擬海上船只可能出現的尺度變化和角度變化，讓船只在視場內產生從0 到360°的角度變化，間隔30°；產生從0 到8000 m 的高度變化，間隔100 m；產生從0到80°的視角變化，間隔5°。

為了評估仿真紅外圖像與真實紅外圖像的相似性，本文用結構相似性（SSIM）指標來進行評價。SSIM 值越大，意味著仿真紅外圖像與真實紅外圖像的差異越小，圖像的仿真效果越好。SSIM 的定義如下：

式中：x、y為兩幅圖像（在這里分別代表仿真紅外圖像與真實紅外圖像）；μx和μy分別為x和y的灰度平均值；σx和σy分別為x和y的灰度方差；σxy為x和y的灰度協方差；c1和c2用于維持SSIM 數值的穩定，c1＝k1L，c2＝k2L（其中，L為圖像灰度值的動態范圍，k1和k2是試驗總結的經驗值，k1＝0.01，k2＝0.03）。

SSIM 的計算結果為-1 到1 之間的小數。若結果為1，說明對比的兩幅圖像在結構上完全一致，當兩張圖像之間滿足SSIM ≥0.7時，就可以認為兩個圖像相似。計算仿真紅外艦船圖像與真實紅外艦船圖像的SSIM 值，得出本文仿真生成的紅外圖像SSIM 均值達到0.795 1，方差為0.003 2。由于SSIM＞0.7，可知基于此方法生成的仿真紅外圖像與真實紅外圖像高度相似。

4 試驗驗證情況

本文針對上述海上紅外艦船圖像的小樣本問題，利用海上紅外艦船圖像中特征的不變性，研究了一種基于深度遷移學習的紅外艦船目標檢測方法。采用大量仿真紅外艦船數據集和少量真實紅外艦船數據集訓練深度學習網絡，試驗采用2×TITAN V顯卡，單卡5 120個CUDA核，顯存12G，測試結果如圖8所示。

如圖8 所示，采用大量仿真紅外艦船數據集和少量真實紅外艦船數據集進行訓練，用真實圖像進行檢測時，可以做到準確檢測。將FATL算法與Yolov3算法進行對比試驗，如表1所示，在大量仿真圖像的訓練條件下，Yolov3 的適應能力較差，對正確目標的檢出率較低，對錯誤目標有較高的誤檢率。而本文提出的算法顯著提升了目標檢測準確率，降低了目標檢測虛警率，而且對于存在火光干擾和部分遮擋的紅外艦船目標以及島岸背景條件下的紅外艦船目標都有準確的檢測結果。由此可以證明，本文提出的結構具有跨域遷移性和環境適應性，在面對真實海上紅外艦船目標時具有較好的檢測效果。

表1 FATL算法與Yolov3算法的對比Tab.1 The comparison of the FATL algorithm with the Yolov3 algorithm

圖8 真實紅外艦船目標檢測效果Fig.8 Real infrared ship target detection effect

5 結束語

對于復雜海面場景，能夠準確地檢測紅外艦船目標對于實際作戰應用有重要意義。由于客觀條件限制，海面紅外目標場景數據較少，因此，為了降低深度學習對紅外圖像數據量的需求，本文創新性地使用大量仿真紅外艦船數據和少量真實紅外艦船數據，利用FATL 方法實現跨域目標檢測功能。通過試驗證明，本文提出的算法對于真實紅外艦船目標具有較好的檢測效果。