基于全局—局部特征聯合的光學衛星遙感圖像艦船目標細粒度識別

李孟洋 孫煒瑋 張筱晗 姚立波*

基于全局—局部特征聯合的光學衛星遙感圖像艦船目標細粒度識別

李孟洋1,2孫煒瑋1張筱晗3姚立波*1

（1 海軍航空大學，煙臺 264000）（294592部隊，徐州 050003）（3 遙感信息研究所，北京 100096）

針對光學遙感圖像艦船目標類間差異小，需要豐富艦船目標的特征表示能力提高其細粒度識別準確率的問題，文章提出了一種基于全局—局部特征聯合的艦船目標細粒度識別方法，設計了雙分支特征提取與融合模型。首先，全局特征提取分支通過卷積神經網絡提取圖像的全局特征；其次，局部特征增強分支將淺層特征圖打亂并重構，加入對抗性損失函數，訓練網絡識別局部重點區域特征的能力，提取目標局部特征；最后，將全局特征和局部特征進行融合，利用全連接層對特征進行降維處理去除冗余信息，增加魯棒性，并利用融合特征完成分類任務。實驗表明，該方法可以兼顧全局特征和局部特征，在FGSC-23艦船目標數據集上準確率達到86.36%，優于其他方法。

艦船目標 細粒度識別 特征融合 遙感圖像 遙感應用

0 引言

隨著海洋資源的開發和利用，對海上艦船目標實現精準識別對于維護海洋安全具有重要意義。面對廣闊的海洋，光學遙感衛星具有覆蓋范圍廣、空間分辨率高、與人類視覺表征相符合等優勢[1]。因此，利用高分辨率光學遙感圖像可以更好的完成艦船目標細粒度識別任務[2-3]。然而，受光照、天氣等因素影響，不同平臺光學遙感器對同一艦船目標的成像差別較大，導致艦船目標類內差異大；同時，光學遙感圖像通常只有俯視的平面影像，缺少其他角度信息，這都為艦船目標精細識別任務帶來困難。

遙感圖像艦船目標識別分為三個級別：元識別，判斷有無艦船；粗粒度識別，判別民船、軍艦、航母等；細粒度識別，判別艦船具體類別，如巡洋艦、護衛艦等。傳統的遙感圖像艦船目標識別方法主要分為特征提取[4-8]、特征選擇[9-10]以及判別分類三個步驟，但對人工特征依賴較大，無法提取深層次信息，速度慢且識別率較低。近年來，發展迅速的深度學習技術被引入到遙感圖像艦船目標識別任務中。文 獻[3]提出了基于二維傅里葉變換的深度網絡（2D-DFrFT based Deep Network，FDN），通過變換域豐富圖像細節信息，在僅有四類艦船目標的BCCT-2000數據集上進行驗證；文獻[11]提出的基于卷積神經網絡CNN（Convolutional Neural Network）的合成孔徑雷達圖像（Synthetic Aperture Radar，SAR）艦船識別算法，解決了數據分布不平衡的問題；文獻[12]提出了一種基于CNN的多波段艦船目標融合識別方法，完成了六類艦船的分類。但僅通過CNN提取目標全局特征，缺少對目標局部重點區域特征的關注。此外，這些工作僅針對艦船目標粗粒度識別，不適合艦船目標細粒度識別任務。

在計算機視覺中，目標細粒度識別任務的重點在于找到其關鍵的判別性區域，隨著深度學習的蓬勃發展，發展出基于關鍵位置的分類網絡[13-17]和端到端特征編碼[18-20]的兩種框架。文獻[21-22]等通過對層間特征交互處理，提高網絡局部特征學習的能力；文獻[23]通過破壞重建的方式加強網絡對關鍵判別位置的響應；文獻[24]訓練得到一系列卷積核探測具有判別性的特征模塊。以上方法均在細粒度自然圖像識別任務中取得了不錯的成績。卷積網絡[23-24]僅通過重點關注目標的局部特征就可以有效提高細粒度識別準確率，為遙感圖像艦船目標細粒度識別任務提供了借鑒，但其主要基礎是自然圖像具有豐富的局部特征以及空間維多角度的成像。遙感數據與自然場景圖像存在較大的域差異，受艦船剛體目標特性和光學遙感成像的限制，艦船目標不同類別之間可能存在相似的全局特征或局部特征，為細粒度識別任務帶來困難。目前，利用光學遙感圖像對艦船目標進行元識別和粗粒度識別已有所成果，但細粒度識別任務尚處于探索階段。

針對高分辨率光學衛星遙感圖像艦船目標細粒度識別問題，本文提出了一種基于全局—局部特征聯合的雙通道艦船目標識別方法。首先，通過全局增強單元學習艦船目標的全局特征；其次，通過局部增強單元訓練卷積網絡，使其關注重點集中在局部特征；第三，將全局特征和局部特征進行融合，增強不同特征之間的互補性，提高特征穩健性，完成識別任務；最后，基于FGSC-23數據集[3]，對算法性能進行測試驗證。

1 特征圖重構算法

1.1 網絡結構

本文設計的模型分三個模塊，分別為全局特征提取分支、局部特征增強分支以及特征融合模塊，算法結構如圖1所示。全局特征提取分支中，選取Restnet50網絡[25]作為目標全局特征提取網絡，提取艦船目標深層語義特征，并經過全連接層得到艦船目標的全局特征。局部特征增強分支，設計了特征圖重構算法，將提取的局部特征打亂重構作為網絡輸入，同時設計對抗性損失函數，通過訓練，加強網絡對目標局部特征的響應能力，提取艦船目標的局部特征。特征融合模塊，將全局特征和增強的局部特征在特征維進行融合，設計融合方法并對融合特征進行降維處理，去除冗余信息，降低計算量，送入分類網絡得到識別結果。針對數據集可能存在的樣本不均衡問題，采用優化的交叉熵損失函數對網絡進行訓練。下面對模型中的局部特征增強分支、特征融合模塊以及模型訓練損失函數分別進行分析。

圖1 雙分支全局與局部特征提取和融合模型結構

1.2 局部特征增強分支

如圖2所示，對于某些艦船，如散裝貨船和集裝貨船、驅逐艦和護衛艦具有相似的全局特征，即類間差異小；而受光照、涂層等因素影響，即使同種類別的艦船（如不同的登陸艦）在遙感圖像中也會呈現出較大差異，即類內差異大。對艦船目標識別任務來說，考慮到艦船的剛體結構，具有固定的幾何形狀、尺度等全局特征，某些類間差異較大的艦船，如航母、兩棲攻擊艦，僅憑全局特征就可以完成類型識別。在類間差異小的情況下，重點局部特征將對艦船目標的細粒度識別起到關鍵作用。

圖2 不同類型艦船光學遙感圖像

原始圖像中包括艦船目標的邊緣、紋理等細節特征，相比而言，CNN特征圖經過卷積池化操作，得到更為抽象的語義特征，利于艦船目標識別。某散裝貨船圖像切片經Resnet50網絡第一層卷積得到的特征圖前16維如圖3所示，可以看出，不同通道的特征圖包含有圖像的不同信息，有的特征圖中艦船目標部分區域得到銳化，有的特征則更抽象。如何讓網絡自適應從中提取目標重點局部特征是本文研究的重點。

本文受破壞重構學習（Destruction and Construction Learning，DCL）[23]啟發，對特征圖進行打亂重構，得到重構特征圖，將其和原特征圖送入共享網絡進行訓練，若訓練后，網絡能夠通過重構特征圖準確地判別艦船目標類別，則證明該網絡具備自適應提取目標重點局部特征的能力。為此，設計對抗性損失函數訓練網絡，引導網絡僅通過局部特征來完成識別任務，使該分支向局部特征分配更多注意力，忽略其它位置，從而提取局部特征。

圖3 特征圖前16通道展示

圖4 基于特征圖的打亂與重構

1.3 特征融合

全局特征提取分支得到的特征主要集中在艦船目標輪廓、顏色等全局特征，可以完成某些類間差異大的艦船識別；局部特征增強分支得到的特征主要針對局部關鍵位置，可以完成某些類間差異小、類內差異大的艦船目標識別。全局特征和局部特征通過串聯組成融合特征，從而實現艦船目標在不同級別下的特征信息融合，具有互補性和穩健性。本文模型利用全連接層、RELU激活層、DROPOUT層組合對融合特征進行類降維處理，加速收斂過程，提高泛化能力，去除冗余信息和噪聲，提高網絡識別的準確率。

1.4 模型訓練與損失函數

為實現端到端訓練，綜合考慮各組成部分對網絡的影響，更好的發揮全局特征與局部特征作用，同時減少數據不平衡的影響，設計損失函數。網絡損失函數由全局支路損失函數g、局部支路損失函數p、融合模塊損失函數c三部分構成

全局特征提取分支產生的損失函數為

局部特征增強分支產生的損失函數p為

局部特征增強分支產生的對抗性損失函數a

融合模塊損失函數c為

2 實驗

2.1 數據集與實驗設置

本節采用了公開的光學遙感圖像艦船目標識別數據集FGSC-23對所提方法進行驗證。數據集的圖像分辨率介于0.4～2.0m，共包含22類、3 636個艦船目標，分別為航母、驅逐艦、登陸艦、護衛艦、兩棲運輸艦、巡洋艦、塔拉瓦級兩棲攻擊艦、兩棲攻擊艦、指揮艦、潛艇、醫療船、戰斗艇、軍輔船、集裝箱船、汽車運輸船、氣墊船、散裝貨船、油船、漁船、客船、液化氣體船以及駁船，依次對應類別序號0至21。實驗按照4:1的比例劃分訓練集和測試集，各個類別樣本數如表1所示。

表1 FGSC-23各類別樣本數目表

Tab.1 The numbers of each category in FGSC-23

實驗平臺為搭載ubantu16.04系統的計算機，配置1080Ti顯卡，采用Pytorch深度學習框架。實驗采用了包括隨機旋轉、隨機水平翻轉在內的數據增強手段，并將圖像統一映射為448像素×448像素矩形以適應模型結構的輸入。以Resnet50作為特征提取網絡的基本結構，采用在ImageNet數據集上訓練的模型作為初始化權重，再利用實驗數據集進行微調。經過多次試驗調試，參數設置迭代次數300次，初始學習率0.001，每迭代60輪學習率下降為50%，采用隨機梯度下降訓練優化方法，動量取0.9。

2.2 評價指標

實驗評價指標采用準確率和混淆矩陣。準確率為被識別正確的總數與目標總數之商。混淆矩陣的縱列代表樣本標簽，橫行代表該樣本經過分類被判別成的類別，故對角線元素代表各類別的準確率，其他位置代表被錯誤分類的概率。

2.3 實驗結果與分析

2.3.1 不同參數的影響

首先，驗證不同網絡參數對識別結果的影響。本文選取Resnet50作為基礎網絡進行實驗。Resnet50的結構共5個模塊，分別命名為conv1、conv2_x、conv3_x、conv4_x、conv5_x，輸出特征圖分別為fea1、fea2_x、fea3_x、fea4_x、fea5_x。為研究局部特征增強分支中打亂不同卷積層特征圖以及不同的打亂參數對實驗結果的影響，本文分別在原圖、fea1、fea2_x、fea3_x上針對不同進行實驗，結果如表2所示。

表2 不同參數的結果對比

Tab.2 Comparison with different parameters

實驗結果表明，即使局部特征增強分支在原圖上進行打亂重構，融合結果也要優于單分支模型，證明融合方法有效。同時，可以看到，局部支路選取基于fea1打亂的重構操作，效果要優于在原圖基礎上進行，在fea2_x、fea3_x特征圖的打亂重構效果不明顯。

由圖5可以看出，在fea1特征圖上，隨著的增大，準確率經歷了先上升后下降的階段。當較小時，特征圖分的塊較大，局部支路的卷積核對關鍵位置的識別尚不敏感，隨著的增大有所改善。但當>3時，準確率開始下降，這是因為船體的部分關鍵區域分塊時被分開了，破壞了重點區域的整體性，網絡的識別能力降低。故在后續實驗中均取=3。

圖5 不同參數結果對比柱狀圖

2.3.2 不同的特征融合方法

通過對特征融合以及結果融合兩種方式下艦船目標細粒度識別結果來驗證融合模塊中不同融合方法對識別結果的影響。特征融合為在特征維上，對全局特征和局部特征進行串聯，而后利用全連接層、ReLU激活函數、Dropout層對特征進行處理，加快收斂速度，提高泛化能力，減少冗余，達到降維效果；決策級融合是對不同支路的分類結果，采取一定的融合方式進行得到的最終分類結果。

利用決策級得到的融合結果為

經實驗可得，特征級融合的準確率為86.36%，決策級融合的準確率為85.03%，說明特征級融合相對決策級融合效果較好。全局特征和局部特征融合得到的特征對艦船目標具有更全面的表征性，故識別效果優于決策級融合。

2.3.3 與其他方法的對比

最后，為驗證本文所提框架的有效性，分別采用經典的Resnet50、Vgg16，以及專門針對細粒度識別的RCNN[18]、DCL[23]方法以及本文方法在FGSC-23數據集上進行艦船目標細粒度識別實驗。實驗結果如表3所示。

表3 不同框架的識別結果

Tab.3 Results of different methods

從表中可以看出，在FGSC-23數據集上本文所提方法取得了86.36%的準確率，優于其他經典的深度學習方法。

各方法的混淆矩陣如圖6所示。橫坐標是正確的標簽，縱坐標是識別的標簽，因此，對角線是正確識別的，其他位置為錯誤識別的。

通過混淆矩陣，可以看出，相比經典的識別方法，本文所提方法對于類間差異較小的類別，如散裝貨船和集裝貨船，具有更高的準確率，同時，相比細粒度識別方法，對于類間差異較大的類別，如航母和兩棲攻擊艦，識別更具包容性。簡言之，本文所提方法可以兼顧全局特征和局部特征，以此實現對目標的分類，達到更好的識別效果。

圖6 混淆矩陣

3 結束語

針對遙感圖像艦船目標細粒度識別任務，本文提出了一種雙分支全局與局部特征提取和融合模型。該模型融合了艦船目標的全局特征和局部特征，獲得更豐富全面的特征表示，增強了特征的互補性和魯棒性。局部支路通過對特征圖進行打亂重構，構造對抗性損失函數，使網絡獲得識別判別性區域的能力。最后，基于FGSC-23數據集驗證所提模型的細粒度識別能力，實驗結果表明，該模型準確率達到了86.36%，優于DCL、RCNN等經典模型。本文模型受數據集限制，針對部分樣本較少的類別，識別能力仍有待提高。未來將關注如何優化小樣本艦船目標細粒度識別、增強特征表能力，進而提高識別精度。

[1] 王小勇. 空間光學技術發展與展望[J]. 航天返回與遙感, 2018, 39(4): 79-86.

WANG Xiaoyong. Development and Prospect of Space Optical Technology[J]. Space Recovery & Remote Sensing, 2018, 39(4): 79-86. (in Chinese)

[2] 王昌安. 遙感影像中的近岸艦船目標檢測和細粒度識別方法研究[D]. 武漢: 華中科技大學, 2019.

WANG Chang'an. Detection and Fine-grained Recognition of Ship Targets in Remote Sensing Images[D]. Wuhan: Huazhong University of Science and Technology, 2019. (in Chinese)

[3] SHI Q, LI W, TAO R. 2D-DFrFT Based Deep Network for Ship Classification in Remote Sensing Imagery[C]//2018 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS), Augest 19-20, 2018, Beijing, China. IEEE, 2018.

[4] ZHANG X, LYU Y. A New Benchmark and an Attribute-guided Multi-level Feature Representation Network for Fine-grained Ship Classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13(1): 1271-1285.

[5] LOWE D. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[6] LESA J, BEAMER, STEPHEN F, et al. The BPI/LBP Family of Proteins: A Structural Analysis of Conserved Regions[J]. Protein Science, 2008, 7(4): 906-914.

[7] JORGE S, FLORENT P, THOMAS M, et al. Image Classification with the Fisher Vector: Theory and Practice[J]. Int J Comput Vis, 2013, 105(3): 222-245.

[8] WANG Y, CHOI J, MORARIU V, et al. Mining Discriminative Triplets of Patches for Fne-grained Classi?cation[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016.

[9] 蔣定定, 許兆林, 李開端. 應用基本遺傳算法進行水面艦船目標識別研究[J]. 中國工程科學, 2002, 6(8): 79-81.

JIANG Dingding, XU Zhaolin, LI Kaiduan. Application of Basic Genetic Algorithm to Target Recognition of Surface Ships[J]. Strategic Study of CAE, 2002, 6(8): 79-81. (in Chinese)

[10] 李娜, 劉方. 基于模糊聚類視區劃分的SAR目標識別方法[J]. 電子學報, 2012, 40(2): 394-399.

LI Na, LIU Fang. SAR Target Recognition Method Based on Fuzzy Clustering Viewing Zone Division[J]. Acta Electronica Sinica, 2012, 40(2): 394-399. (in Chinese)

[11] HUANG L, LIU B, LI B, et al. Open SAR Ship: A Dataset Dedicated to Sentinel-1 Ship Interpretation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(1): 195-208.

[12] 劉峰, 沈同圣, 馬新星. 特征融合的卷積神經網絡多波段艦船目標識別[J].光學學報, 2017, 37(10): 240-248.

LIU Feng, SHEN Tongsheng, MA Xinxing. Feature Fusion Convolutional Neural Network Multi-band Ship Target Recognition[J]. Acta Optics Sinica, 2017, 37(10): 240-248. (in Chinese)

[13] LI J W, QU C W, SHAO J Q, et al. Ship Classification for Unbalanced SAR Dataset Based on Convolutional Neural Network[J]. Applied Remote Sensing, 2018, 12(3): 10-35.

[14] HUANG S, XU Z, TAO D, et al. Part-stacked CNN for Fine-grained Visual Categorization[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June27-30, 2016, Las Vegas, NV, USA.IEEE, 2016.

[15] ZHANG H, XU T, ELHOSEINY M, et al. SPDA-CNN: Unifying Semantic Part Detection and Abstraction for ?ne-Grained Recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016.

[16] FU J, ZHENG H, MEI T. Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-grained Image Recognition[C]//2017 IEEE Conference on Computer Vision & Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017.

[17] ZHENG H, FU J, MEI T, et al. Learning Multi-attention Convolutional Neural Network for Fine-grained Image Recognition[C]//2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. IEEE, 2017.

[18] LIN T, ROYCHOWDHURY A, MAJI S. Bilinear Convolutional Neural Networks for Fine-grained Visual Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(6): 1309-1322.

[19] XING W, ZHANG Y, GONG Y, et al. Grassmann Pooling as Compact Homogeneous Bilinear Pooling for Fine-grained Visual Classi?cation[C]//15th European Conference on Computer Vision, September 8-14, 2018, Munich, Germany. ECCV, 2018: 365-380.

[20] KONG S, FOWLKES C. Low-rank Bilinear Pooling for Fne Grained Classi?cation[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017.

[21] ZHENG H, FU J, ZHA Z J, et al. Looking for the Devil in the Details: Learning Trilinear Attention Sampling Network for Fine-grained Image Recognition[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA, USA. IEEE, 2019.

[22] YU C, ZHAO X, ZHENG Q, et al. Hierarchical Bilinear Pooling for Fine-grained Visual Recognition[C]//Computer Vision — ECCV 2018: 11220. ECCV, 2018: 595-610.

[23] CHEN Y, BAI Y, ZHANG W, et al. Destruction and Construction Learning for Fine-grained Image Recognition[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA, USA. IEEE, 2019.

[24] WANG Y, MORARIU V I, DAVIS L S. Learning a Discriminative Filter Bank within a CNN for Fine-grained Recognition[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-22, 2018, Salt Lake City, UT, USA. IEEE, 2018: 4148-4157.

[25] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[EB/OL]. [2020-07-11]. https://arxiv.org/pdf/1512.03385.pdf.

Fine-grained Recognition of Ship Targets in Optical Satellite Remote Sensing Images Based on Global-local Features

LI Mengyang1,2SUN Weiwei1ZHANG Xiaohan3YAO Libo*1

（1 Naval Aviation University, Yantai 264000, China）（2 Unit 94559 of the Chinese People's Liberation Army, Xuzhou 050003, China）（3 Institute of Remote Sensing Information, Beijing 100096, China）

In view of the small intra-class diversity in ship targets, the need to enrich the target's feature representation capability to improve the accuracy of fine-grained recognition is necessary, thus this paper propose a method for fine-grained recognition of ship targets based on combination of global-local features. The model consists two branches: firstly, the global feature extraction branch extracts the global features of the image through a convolutional neural network; secondly, the local feature enhancement branch shuffles and reconstructs the shallow feature map, then trains the network to extract the local feature of discriminative regions by an adversarial loss function; finally, the global feature and local feature are fused together to complete the classification task through the fully connected layer , which removes the redundant information as well as increases the robustness. Experiments show that this method can take both global and local features into account, and the accuracy rate on the FGSC-23 dataset is 86.36%, which is superior to others.

ship target; fine-grained recognition; feature fusion; remote sensing image; remote sensing application

TP75

A

1009-8518(2021)03-0138-10

10.3969/j.issn.1009-8518.2021.03.015

2020-07-20

國家自然科學基金重大研究計劃重點項目（91538201）；國家自然科學基金重大項目（61790554）

李孟洋, 孫煒瑋, 張筱晗, 等. 基于全局—局部特征聯合的光學衛星遙感圖像艦船目標細粒度識別[J]. 航天返回與遙感, 2021, 42(3): 138-147. LI Mengyang, SUN Weiwei, ZHANG Xiaohan, et al. Fine-grained Recognition of Ship Targets in Optical Satellite Remote Sensing Images Based on Global-local Features[J]. Spacecraft Recovery & Remote Sensing, 2021, 42(3): 138-147. (in Chinese)

李孟洋，女，1993年生，2015年獲軍械工程學院雷達工程專業學士學位，2020年獲海軍航空大學信息與通信工程專業碩士學位，現任職于中國人民解放軍94592部隊。主要研究方向為深度學習、目標識別。E-mail：502295312@qq.com。

（編輯：龐冰）