一種增強型YOLOv3的合成孔徑雷達(SAR)艦船檢測方法

張 明, 王子龍, 呂曉琪, 3, 喻大華, 張寶華, 李建軍

一種增強型YOLOv3的合成孔徑雷達(SAR)艦船檢測方法

張 明1, 2, 王子龍1, 呂曉琪1, 3, 喻大華1, 張寶華1, 李建軍1

(1. 內(nèi)蒙古科技大學(xué) 信息工程學(xué)院模式識別與智能圖像處理重點實驗室, 內(nèi)蒙古 包頭 014010; 2. 大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院, 遼寧 大連 116026; 3. 內(nèi)蒙古工業(yè)大學(xué), 內(nèi)蒙古 呼和浩特 010051)

近年來, 海戰(zhàn)場成為現(xiàn)代戰(zhàn)爭的主要作戰(zhàn)區(qū)域之一, 艦船目標逐漸成為海上重點監(jiān)測對象, 能否快速準確地識別海戰(zhàn)場艦船目標的戰(zhàn)術(shù)意圖, 給指揮員的決策提供必要的支持, 這關(guān)系到一場海上戰(zhàn)役的成敗。隨著合成孔徑雷達(synthetic aperture radar, SAR)成像技術(shù)的不斷發(fā)展, 大量SAR圖像可用于艦船目標檢測與識別。利用SAR圖像進行艦船目標檢測與識別, 已經(jīng)成為重要的海洋應(yīng)用之一。針對傳統(tǒng)SAR圖像艦船檢測方法準確率較低的問題, 本文在YOLOv3的基礎(chǔ)上, 結(jié)合感受野(receptive field block, RFB)模塊, 提出一種增強型的SAR艦船檢測方法。該方法在最近公開的SAR圖像艦船檢測數(shù)據(jù)集上平均準確率值達到了91.50%, 與原YOLOv3相比提高了0.92%。實驗結(jié)果充分表明本文提出的算法在SAR艦船的檢測中具有較好的檢測效果。

艦船檢測; 合成孔徑雷達(SAR); YOLO; 遙感圖像

合成孔徑雷達(synthetic aperture radar, SAR)[1]是一種主動式高分辨率微波成像傳感器, 在微波遙感領(lǐng)域中得到了快速的發(fā)展。與光學(xué)、紅外傳感器相比, SAR不會受到天氣、光照等外部條件的影響, 具有全天時、全天候、大尺度、遠距離和連續(xù)觀測運動目標的能力, 并能拍攝高分辨率的圖像。SAR成像的過程中能夠觀測到海面艦船目標、艦船尾跡圖像變化及穿透海水探測復(fù)雜地形。而且, 對海面目標進行成像時具有長期、連續(xù)、實時等特點, 所以利用大量的SAR數(shù)據(jù)信息[2-7], 可以對海面艦船目標進行檢測與跟蹤。因此, SAR更適用于艦船目標檢測、偵察和監(jiān)視等研究。

SAR圖像艦船檢測方法主要包括基于統(tǒng)計模型、基于特征的方法和深度學(xué)習(xí)模型[8-9], 傳統(tǒng)的方法有恒虛警率(constant false alarm rate, CFAR)[10-11]等。李健偉等[12]將候選區(qū)域提取的二值化標準梯度方法(binarized normed gradients, BING)[13]和快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region-convolutional neural network, Fast R-CNN)[14]相結(jié)合, 以這種方法進行SAR艦船檢測, 檢測率達到73.5%。楊龍等[15]將單點多框檢測器(single shot multi box detector, SSD)應(yīng)用到SAR艦船檢測中, 提出了上下文信息的遷移學(xué)習(xí)模型, 實現(xiàn)了87.1%的檢測精度。而當前主流算法為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)目標檢測算法, 如: SSD[16], YOLO[17](you only look once), YOLOv2[18], YOLOv3[19], R-CNN[20](region-convolutional neural network), Fast R-CNN[21]和Faster R-CNN[22]等。深度學(xué)習(xí)模型中的特征金字塔模型(feature pyramid network, FPN)因其能通過跨尺度特征融合的結(jié)構(gòu), 解決多尺度目標檢測問題, 已被廣泛用于多尺度檢測[23]。如: NAS-FPN (Neural architec-ture search with rein forcement learning)[24], PANet (path aggregation network)[25], YOLOv3等網(wǎng)絡(luò)。其中檢測精度和速度比較好的算法是YOLOv3, 檢測精度可達到90.58%。為了進一步提高艦船檢測精度, 本文在YOLOv3的基礎(chǔ)上, 結(jié)合DarkNet-53網(wǎng)絡(luò)結(jié)構(gòu)和感受野(RFB)模塊, 提出一種增強型的SAR艦船檢測方法, 該方法可以解決復(fù)雜場景下艦船目標精準檢測問題, 同時為海上目標檢測智能化發(fā)展提供技術(shù)支撐, 進而對未來戰(zhàn)場態(tài)勢評估、戰(zhàn)術(shù)目標打擊等任務(wù)提供指導(dǎo)建議。

1 方法

1.1 YOLOv3算法原理

YOLOv3主要使用殘差網(wǎng)絡(luò)改進特征提取網(wǎng)絡(luò), 將基礎(chǔ)網(wǎng)絡(luò)DarkNet-19[18]升級到DarkNet-53[19], 通過DarkNet-53特征提取網(wǎng)絡(luò)對輸入圖像提取特征, 得到一定大小的特征圖, 借鑒特征金字塔網(wǎng)絡(luò)的思想, 在3個不同尺度(13×13、26×26和52×52)大小的特征圖上, 給每個尺度分配三個不同大小的預(yù)選框, 然后基于圖像的全局信息進行目標預(yù)測, 從而實現(xiàn)端到端的檢測。

YOLOv3損失函數(shù)公式如下:

=loss+wh+class+confidence, (1)

其中, 為損失函數(shù);loss為目標中心相對所在網(wǎng)格左上角坐標的偏移量誤差；wh為預(yù)選框長寬誤差；class為分類誤差，confidence為目標置信度誤差。

1.2 感受野(RFB)模塊原理

RFB結(jié)構(gòu)主要有兩個特點[26]: (1) 使用不同尺寸卷積核的卷積層構(gòu)成的多分枝結(jié)構(gòu); (2) 引入了空洞卷積層, 來增加感受野。其中RFB結(jié)構(gòu)中用不同膨脹因子rate(內(nèi)核元素間的距離)表示空洞卷積層的參數(shù)。在RFB結(jié)構(gòu)中每個分支上, 特定核大小的卷積層后面跟著一個相應(yīng)膨脹系數(shù)的卷積層, 所有不同尺寸和膨脹因子的卷積層的特征圖被連接起來, 合成一個卷積數(shù)組, 達到融合不同特征的目的。其結(jié)構(gòu)如下圖1所示。

RFB-s和RFB相比, 針對于多尺度檢測問題主要有兩個改進, 一方面用3×3卷積層代替5×5卷積層, 另一方面用1×3和3×1卷積層代替3×3卷積層, 主要目的應(yīng)該是為了減少計算量, 本文用RFB-s網(wǎng)絡(luò)對YOLOv3進行改進。RFB-s其結(jié)構(gòu)如下圖2所示。

1.3 改進的模型結(jié)構(gòu)

本文算法分別在YOLOv3中的DarkNet-53的最后一層、第152層與最后一層上采樣連接后、和第92層與第152層上采樣連接后加入感受野模塊(圖3紅色部分)。新的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示。

圖1 RFB模型結(jié)構(gòu)

圖2 RFB-s 模型結(jié)構(gòu)

1.4 參數(shù)設(shè)置

本文實驗在中科院公布的數(shù)據(jù)集進行SAR艦船檢測模型的訓(xùn)練, 訓(xùn)練參數(shù): batch_size為32, 動量為0.9, 權(quán)重衰減正則系數(shù)為0.000 5, 學(xué)習(xí)率為0.001, IOU設(shè)置為0.5。

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)集

本文實驗數(shù)據(jù)采用中國科學(xué)院空天信息研究院數(shù)字地球重點實驗室王超研究員團隊最近公開的SAR圖像船舶檢測數(shù)據(jù)集。該數(shù)據(jù)集來自國產(chǎn)高分三號SAR數(shù)據(jù)和Sentinel-1 SAR數(shù)據(jù), 均為多源、多模式SAR圖像。包含SAR艦船檢測圖像43 550張, 圖片大小為256×256, 將數(shù)據(jù)集按照7︰1︰2隨機分為訓(xùn)練集、驗證集和測試集。其中部分數(shù)據(jù)集樣本如圖4所示。

圖3 YOLOv3-RFB-s網(wǎng)絡(luò)模型圖

圖4 數(shù)據(jù)集樣本

2.2 實驗環(huán)境

本文所有實驗都在一個深度學(xué)習(xí)加速計算服務(wù)器上進行, 該服務(wù)配置CPU為Intel Xeon E3 v4, GPU為NVIDIA v10, 內(nèi)存為32 G, 所提出的網(wǎng)絡(luò)模型都在公開的TensorFlow框架和Keras人工神經(jīng)網(wǎng)絡(luò)庫上實現(xiàn)。

2.3 實驗評價指標

為了有效地評價模型性能, 本文采用平均準確率平均準確率(mean average precision,ma)、d(檢測率)和m(漏檢率)等評價指標。公式定義為:

平均準確率為:

檢測率為:

漏檢率為:

式中,為準確率;為召回率;為被預(yù)測為正樣本,實際為正樣本;為被預(yù)測為負樣本, 實際為正樣本;為真實目標。

2.4 置信度的選擇

為了得到更有效的模型, 本文設(shè)置了三個不同的置信度參數(shù), 分別為0.2、0.25和0.3。實驗結(jié)果如表1所示。在檢測的樣本中一共有圖片8 710張, 有艦船目標11 805個。從表1中(其中被預(yù)測為正樣本, 實際為負樣本)。可以得出, 本文實驗在不同置信度的檢測結(jié)果中, 當置信度為0.2的時候檢測效果最好, 平均準確率為91.50%, 檢測率為93.63%, 漏檢率為6.37%。

表1 不同置信度下的實驗結(jié)果

為了評估所提模型的收斂性, 本文將模型損失曲線可視化, 如圖5所示。實驗結(jié)果表明, 損失曲線在第30個epoch時接近零, 在隨后的20個批次中, 損失曲線沒有明顯的波動, 從這些現(xiàn)象可以得出模型已經(jīng)達到收斂狀態(tài)。

此外, 為了評價所提模型的性能, 本文與原YOLOv3網(wǎng)絡(luò)進行了比較。當兩個模型的置信度均設(shè)置為0.2時, 從表2中可以得出, 本文的模型與YOLOv3相比檢測到的目標數(shù)量提高68個, 誤檢數(shù)量減少130個, 漏檢數(shù)量減少68個, 檢測率提高了0.57%, 平均準確率值提高了0.92%。說明本文方法與YOLOv3相比具有較好的檢測效果, 在性能上有了進一步的提升。

圖5 模型的loss曲線

表2 實驗SAR艦船檢測結(jié)果評價指標

為了驗證所提模型的有效性, 本文將模型的曲線可視化, 如圖6所示。結(jié)果表明, 隨著召回率的上升, 改進后模型的精確度下降比較緩慢, 且模型的精準確度大于YOLOv3, 說明改進后的模型與YOLOv3相比, 在艦船檢測特征提取的過程中, 具有更強大的提取與判別能力。

圖6 模型的P-R曲線圖

為了驗證方法的有效性, 本文隨機選取三幅圖像, 分別用原YOLOv3和本文方法進行艦船檢測, 實驗結(jié)果效果圖如圖7所示, 在(d)與(g)圖片中原YOLOv3與本文實驗同時正確檢測出真實目標但原YOLOv3出現(xiàn)了誤檢現(xiàn)象。在(e)與(h)圖片中YOLOv3出現(xiàn)漏檢現(xiàn)象。在(f)與(i)圖片中YOLOv3沒有正確檢測出艦船。而本文實驗?zāi)軌蛘_檢測出下圖中的艦船目標, 且得分相對較高。與YOLOv3相比在簡單和復(fù)雜的背景下都具有較好的檢測結(jié)果。

3 結(jié)論

針對SAR艦船檢測準確率較差、檢測困難的問題, 本文在YOLOv3的基礎(chǔ)上, 結(jié)合DarkNet-53網(wǎng)絡(luò)結(jié)構(gòu)和感受野(RFB)模塊, 提出一種增強型的SAR艦船檢測方法, 該方法具有較好的檢測效果。在實驗過程中通過設(shè)置不同置信度, 最終發(fā)現(xiàn)當置信度為0.2時模型效果最優(yōu)。為了驗證模型的有效性, 該模型檢測結(jié)果與YOLOv3進行了比較, 結(jié)果表明該模型不僅提升了檢測率, 而且降低了誤檢率,在相對復(fù)雜的環(huán)境下能夠更準確地檢測出圖像中的艦船目標。但是, 本文算法在多個小目標密集且噪聲比較大的時候, 虛假目標也會呈現(xiàn)高亮度的狀態(tài)與真實目標非常接近很難分辨出真實目標, 會存在漏檢或誤檢的現(xiàn)象, 之后我們將會針對這一現(xiàn)象進行改進, 提高在高噪聲、多目標的情況下的檢測性能。

圖7 SAR艦船檢測結(jié)果圖

(a-c)為數(shù)據(jù)集中真實的目標(黃色框標出); (d-f)為原YOLOv3檢測結(jié)果; (g-i)為本文方法的檢測結(jié)果

(a-c) Real targets in the data set (marked in yellow boxes); (d-f) Detection results using the original YOLOv3 method; (g-i) Detection results using our method

[1] WANG Y, WANG C, ZHANG H, et al. A SAR dataset of ship detection for deep learning under complex backgrounds[J]. Remote Sensing, 2019, 11(7): 765-771.

[2] CHEN S, WANG H, XU F, et al. Target classification using the deep convolutional networks for SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(8): 4806-4817.

[3] BREKKE C, SOLBERG A H. Oil spill detection by satellite remote sensing[J]. Remote sensing of environ-ment, 2005, 95(1): 1-13.

[4] ELDHUSET K. An automatic ship and ship wake detection system for spaceborne SAR images in coastal regions[J]. IEEE transactions on Geoscience and Remote Sensing, 1996, 34(4): 1010-1019.

[5] ZHANG T, ZHANG X. High-speed ship detection in SAR images based on a grid convolutional neural net-work[J]. Remote Sensing, 2019, 11(10): 1206-1213.

[6] ZHANG M, AN J, ZHANG J, et al. Enhanced delaunay triangulation sea ice tracking algorithm with combining feature tracking and pattern matching[J]. Remote Sen-sing, 2020, 12(3): 581-587.

[7] 張明, 呂曉琪, 張曉峰, 等. 結(jié)合紋理特征的SVM海冰分類方法研究[J]. 海洋學(xué)報, 2018, 40(11): 149-156.

ZHANG Ming, Lü Xiaoqi, ZHANG Xiaofeng, et al. Research on SVM sea ice classification based on texture features[J]. Haiyang Xuebao, 2018, 40(11): 149-156.

[8] HUANG Z, PAN Z, LEI B. Transfer learning with deep convolutional neural network for SAR target clas-si-fication with limited labeled data[J]. Remote Sensing, 2017, 9(9): 907-913.

[9] WANG C, ZHANG H, WU F, et al. A novel hierarchical ship classifier for COSMO-SkyMed SAR data[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 11(2): 484-488.

[10] GAO G. A parzen-window-kernel-based CFAR algori-thm for ship detection in SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2010, 8(3): 557-561.

[11] HOU B, CHEN X, JIAO L. Multilayer CFAR detection of ship targets in very high resolution SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 12(4): 811-815.

[12] 李健偉, 曲長文, 彭書娟, 等. 基于級聯(lián)CNN的SAR圖像艦船目標檢測算法[J]. 控制與決策, 2019, 44(1): 40-44.

LI Jianwei, QU Changwen, PENG Shujuan, et al. Ship targets detection method based on convolutional neural network for SAR image[J]. Fire Control & Command Control, 2019, 44(1): 40-44.

[13] CHENG M M, ZHANG Z, LIN W Y, et al. BING: Binarized normed gradients for objectness estimation at 300fps[C]//Proceedings of the IEEE conference on com-puter vision and pattern recognition, 2014: 3286-3293.

[14] SIMONYAN K, ZISSERMAN A. Very deep convolutio-nal networks for large-scale image recognition[J/OL]. arXiv preprint arXiv: 1409.1556, 2014.

[15] 楊龍, 蘇娟, 李響. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的SAR艦船目標檢測[J]. 系統(tǒng)工程與電子技術(shù), 2019, 41(9): 1990-1997.

YANG Long, SU Juan, LI Xiang. Ship detection in SAR images based on deep convolutional neural network[J]. Systems Engineering and Electronics, 2019, 41(9): 1990- 1997.

[16] LIU W, ANGUELOV D, ERHAN D, et al. Ssd: Single shot multibox detector[C]//European conference on computer vision. Springer, Cham, 2016: 21-37.

[17] REDMON J, DIVVALA S, GIRSHCK R, et al. You only look once: Unified, real-time object detection[C]// Proceedings of the IEEE conference on computer vision and pattern recognition, 2016: 779-788.

[18] REDMON J, FARHADI A. YOLO9000: better, faster, stronger[C]//Proceedings of the IEEE conference on com-pu-ter vision and pattern recognition, 2017: 7263-7271.

[19] REDMON J, FARHADI A. Yolov3: An incremental impro-vement[J/OL]. arXiv preprint arXiv: 1804. 02767, 2018.

[20] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE con-ference on computer vision and pattern recognition, 2014: 580-587.

[21] GIRSHICK R. Fast r-cnn[C]//Proceedings of the IEEE in-ternational conference on computer vision, 2015: 1440-1448.

[22] REN S, HE K, GIRSHICK R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.

[23] LIN T Y, DOLLáR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2017: 2117-2125.

[24] GHIASI G, LIN T Y, LE Q V. Nas-fpn: Learning scalable feature pyramid architecture for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019: 7036-7045.

[25] ZHAO Q, SHENG T, WANG Y, et al. M2det: A single-shot object detector based on multi-level feature pyramid network[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 9259-9266.

[26] LIU S, HUANG D. Receptive field block net for accurate and fast object detection[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018: 385-400.

An enhanced YOLOv3 method for synthetic aperture radar (SAR) ship detection

ZHANG Ming1, 2, WANG Zi-long1, Lü Xiao-qi1, 3, YU Da-hua1, ZHANG Bao-hua1,LI Jian-jun1

(1. Key Laboratory of Pattern Recognition and Intelligent Image Processing, College of Information Engi-neering, Inner Mongolia University of Science and Technology, Baotou 014010, China; 2. School of Infor-mation Science and Technology, Dalian Maritime University, Dalian 116026, China; 3. Inner Mongolia University of Technology, Hohhot 010051, China)

Recently, the naval battlefield has become one of the main operational areas of modern warfare. Ship targets have gradually become the key objects monitored at sea. The success of a maritime battle is related to the ability to quickly and accurately identify the tactical intent of ship targets on the naval battlefield and to provide the necessary support for the commander’s decision-making. With the development of synthetic aperture radar (SAR) imaging technology, a large number of SAR images can be used for ship target detection and recognition. Detection and identification of marine targets have become one of the most important marine applications of SAR data. In order to solve the problem of low accuracy of traditional SAR image ship detection, this paper proposes an enhanced SAR ship detection based on the algorithm YOLOv3 and the DarkNet-53 network structure, combined with the receptive field block (RFB) module. This method achieves a mean average precision (ma) value of 91.50% in the recently published SAR image detection data set and shows an improvement of 0.92% compared with the original YOLOv3. The experimental results show that the algorithm proposed in this paper is effective in enhancing SAR ship detection.

ship detection; SAR; YOLO; remote sensing image

Nov. 12, 2020

TP751

A

1000-3096(2021)12-0001-07

10.11759/hykx20201112001

2020-11-12;

2021-05-07

國家自然科學(xué)基金項目(61771266, 81871430, 61663036, 62066036); 內(nèi)蒙古自治區(qū)高等學(xué)校科學(xué)研究項目(NJZY18150); 內(nèi)蒙古杰出青年培育基金項目(2018JQ02)

[National Natural Science Foundation of China, Nos. 61771266, 81871430, 61663036, 62066036; Research Program of science and technology at Universities of Inner Mongolia Autonomous Region, No. NJZY18150; Inner Mongolia Outstanding Youth Cultivation Fund, No. 2018JQ02]

張明(1985—), 男, 內(nèi)蒙古巴彥淖爾人, 副教授, 主要研究領(lǐng)域為遙感圖像處理, 模式識別和深度學(xué)習(xí)等, 電話: 15174962922, E-mail: nkd_zm@imust.edu.cn; 呂曉琪(1963—),通信作者, 男, 內(nèi)蒙古包頭人, 博士, 教授, 主要從事醫(yī)學(xué)圖像處理、模式識別方面的研究, E-mail: lxiaoqi@imut.edu.cn

(本文編輯: 康亦兼)