改進YOLOv3的SAR圖像艦船目標檢測

張佳欣 王華力

(陸軍工程大學通信工程學院, 江蘇南京 210007)

1 引言

海上艦船目標的檢測與識別是海洋監測的重要任務之一。合成孔徑雷達(Synthetic Aperture Radar, SAR)[1]是一種使用主動式微波遙感技術的傳感器,相比于光學傳感器,具有全天時、全天候、多角度、遠距離監測的能力,在海洋救援、海洋執法等民用領域,以及海洋實時監視檢測等軍事領域都有廣泛應用空間[2],同時也是海上艦船目標檢測和識別的重要技術。

SAR艦船目標檢測通常根據場景的不同分為兩類:近岸艦船目標檢測和遠海艦船目標檢測。遠海場景背景單一,檢測難度相對較低,而近海場景大多處于海陸分割的環境中,背景相對復雜,艦船目標具有多尺度、多形態、排列緊密的特點,目標的檢測和識別更加困難。傳統的艦船目標檢測算法如CFAR(Constant False-Alarm Rate)[3]基于對比度信息的統計模型,根據背景雜波的統計特性選取閾值來實現目標檢測,但CFAR存在建模過程復雜,檢測耗時較長等問題,且一般只適用于純海面類的特定場景,在復雜的海陸背景環境下,艦船目標檢測的研究進展緩慢。

近年來,學者們開始嘗試將基于深度學習的目標檢測算法應用于SAR艦船的目標檢測[4-5]。基于深度學習的目標檢測分為兩大類:基于候選區域的目標檢測方法,如R-CNN[6-9]系列和基于回歸的目標檢測方法,如SSD[10]、YOLO[11-14]系列和RetinaNet[15]等。文獻[16]中將Fast RCNN應用于SAR圖像艦船目標檢測中,提出基于生成對抗網絡和線上難例挖掘的SAR圖像艦船目標檢測方法; 文獻[17]將SSD檢測算法應用到SAR圖像艦船目標檢測當中,針對SSD檢測算法在SAR圖像艦船檢測中存在魯棒性差、對小目標檢測效果不佳的問題,將融合上下文信息和遷移模型學習技術應用于SSD算法檢測中;Hu[18]等針對復雜目標背景下艦船目標檢測難題,重新設計殘差網絡單元,提出了改進特征金字塔網絡結構的方法,并引入平衡因子優化損失函數中的小目標權重,并可實現實時SAR目標檢測問題;文獻[19]提出了一種結合場景分類的分層漸進式近岸區域SAR艦船快速目標檢測方法SC-SSD,通過場景分類階段和目標檢測兩個階段在保持較高的檢測精度的同時,具有明顯更快的檢測速度。

為了更好實現SAR圖像艦船目標的實時檢測,本文選取了兼顧速度和精準度的YOLOv3算法。不同于以前的研究者從改進網絡結構的角度優化算法,本文考慮到YOLOv3算法在不同SAR數據集上的適用性,從網絡訓練策略角度來優化算法,增強算法的魯棒性和檢測的精準度。一方面,針對YOLOv3算法訓練過程中正負樣本選擇方法進行了改進,本文在YOLOv3基礎上結合了ATSS正負樣本分配策略[20],ATSS是一種根據預測目標的統計特征動態選擇正負樣本方法,通過選擇出更優質的訓練樣本優化網絡的訓練過程。另一方面,通過對YOLOv3不同檢測層上檢測到的目標框分布的分析,本文設計了一個基于檢測層的錨框超參數優化策略,細化了錨框的搜索空間,提高了檢測效果。

2 算法介紹

2.1 網絡結構

YOLOv3算法的關鍵點是使用Darknet-53特征提取網絡和多尺度的FPN(Feature Pyramid Networks)架構[21]。Darknet-53是一個殘差模型,因為包含53個卷積層,所以稱為Darknet-53,網絡使用了殘差單元,從而構建更深的網絡。另外一點是,YOLOv3使用FPN架構來實現多尺度檢測。 FPN通過自上而下的路徑和水平連接增強了基礎特征的語義表示,并在三個不同尺度的特征層上實現了預測。另外,YOLOv3是基于錨框的目標檢測算法,它通過聚類分析數據集,設置了9個錨框,把這9個錨框按照“越大的錨框分配給尺度越小的特征圖”的原則平均分配在三個尺度的特征層上,這些錨框作為預測階段目標所能匹配的候選框參與網絡的訓練過程。YOLOv3整體的網絡結構如圖1所示。

圖1 YOLOv3網絡結構圖Fig.1 YOLOv3 network structure

2.2 損失函數

本文在YOLOv3計算目標檢測的邊框回歸的損失時,引入了GIOU損失函數[22]。原版YOLOv3采用的是獨立的計算出邊框中心坐標和長寬4個點的損失最終相加得到邊框損失,但實際這4點是有一定相關性的,其次實際評價邊框檢測的指標是使用IOU(IOU為兩個框的交并比)這兩者是不等價的,故在本文中采用了以GIOU作為邊框損失函數的YOLOv3。GIOU的計算很簡單,對于兩個邊界框A、B,可以算出其最小凸集(包圍A、B的最小包圍框)C。有了最小凸集,就可以計算GIOU,計算如公式(1)

(1)

GIOU損失函數為:

LGIOU=1-GIOU

(2)

在YOLOv3中引入GIOU損失作為邊界框的損失后的損失函數如式(3)所示:

(3)

3 算法改進

3.1 基于ATSS算法的正負樣本分配策略

YOLOv3算法中采用基于IOU的策略來定義正負樣本。IOU即兩個邊界框的交并比,在目標檢測算法中通常作為衡量兩個邊界框相似程度的重要依據。YOLOv3算法先計算目標對象和多個候選框的IOU,選擇最大IOU值對應的候選框作為正樣本,再設置IOU閾值,對于IOU小于閾值的候選框全部作為負樣本,其他樣本不參與loss的計算。以最大IOU值的候選框作為正樣本的方法,負樣本遠遠多于正樣本,一定程度上造成了正負樣本不均衡的問題,從而影響模型的訓練效果。為了解決YOLOv3中正負樣本不均衡的問題,有研究者設定了IOU閾值來劃分正負樣本,大于IOU閾值作為正樣本,小于IOU閾值的作為負樣本,雖然基于IOU閾值的方法對于平衡正負樣本具有一定的作用,但IOU閾值作為一個敏感的超參數一旦確定所有樣本都將按照這一固定的標準定義正負樣本,失去了目標框本身的隨機性。特別是較大的目標相比于小目標往往能匹配到更多的正樣本,難以維持不同大小目標樣本選擇的均衡。

文獻[20]中研究了基于錨框的目標檢測算法和非錨框的目標檢測算法在正負樣本定義上的差異,提出了ATSS的動態正負樣本分配策略,ATSS算法在候選框選取階段對每個目標框設定獨立的IOU閾值,為了使IOU閾值的設定更好的度量正負樣本分配的界限,算法中根據候選錨框的統計特性來定義IOU閾值。本文在YOLOv3正負樣本定義上使用了ATSS算法的思想,對于每個目標以候選框和真實框之間IOU的均值與方差之和動態調整IOU閾值,從而改善YOLOv3中樣本選擇存在的正負樣本不均衡和不同尺度大小目標樣本的不均衡等問題。具體算法的流程為:

(1)對于圖像上的每一個真實目標框,首先選擇對應的候選正樣本。YOLOv3把圖分為S×S(三個特征層,輸入416×416的圖像,S×S分別為13×13、26×26、52×52)的格子,每個格子都設有3個不同尺寸大小的錨框。對于每一個目標,在不同的特征層分別選取目標中心點所在格子的3個錨框作為候選正樣本,3個不同大小的特征層總共選擇9個錨框作為候選正樣本,對于目標g其候選框記為Cg。

(2)計算候選框Cg和真實框g之間的IOU,記為Dg:

Dg=IOU(Cg,g)

(4)

計算Dg的均值,記為mg:

mg=Mean(Dg)

(5)

計算Dg的方差,記為vg:

vg=Var(Dg)

(6)

得到IOU的均值mg和方差vg,通過這些數據統計,設定目標的IOU閾值,記為tg:

tg=mg+vg

(7)

(3)選擇和真實框的IOU大于IOU閾值tg的候選框作為最終的正樣本,其余作為負樣本,即對于c∈Cg,滿足IOU(c,g)≥tg的c作為正樣本,其余作為負樣本。

在ATSS原算法中采用了候選框和目標框IOU的均值與標準差之和作為目標的IOU閾值,但考慮到當IOU數據分布極不穩定等極端情況時,IOU的標準差會相應變大從而影響均值在IOU閾值設定中的作用,導致閾值的無效化,本文用方差代替標準差作為IOU閾值的另一個度量因素,方差在數值上作為標準差的平方,既能保留標準差所代表的數據的離散狀況,又能把數值保持在一個可控的范圍,在保證IOU閾值有效的同時增強了其穩定性。本文在實驗部分別以IOU的中位數、均值、均值加標準差、均值加方差作為IOU的閾值進行了對比實驗,驗證了改進算法的有效性。

對于決定IOU閾值的兩個因素,ATSS算法從以下兩個方面解釋其意義:一方面,IOU的均值體現了目標候選框整體的質量水平。一個高的均值代表著候選框的整體質量較高,應該提高標準,有一個更高的IOU閾值;一個低的均值代表著大多數的候選框質量較低,應該降低標準,IOU閾值更低。另一方面IOU的方差用來度量FPN的哪一層適合檢測該目標。一個高的方差值代表著只有某一個或少數幾個層適合檢測該目標,在均值上加上高的方差值來獲得一個高的閾值從而僅從這一層挑選正樣本;一個低的方差值代表著有多個特征層適合檢測該目標,在均值上加上一個低的方差值降低其標準,從多層選擇正樣本。改進的正負樣本定義方法以均值和方差之和作為IOU閾值,根據對象的統計特征,從適當的金字塔層為每個目標自適應地選擇適當的正負樣本。對于不同尺度大小、不同長寬比例的目標,應用ATSS的YOLOv3算法都會根據目標本身的特性選擇正負樣本,維持了不同目標間的樣本選擇的平衡。另外,改進的YOLOv3算法中沒有增加新的參數,不存在因引入超參數而對模型訓練產生影響的問題。

3.2 錨框超參數優化策略

YOLOv3是基于錨框的單階段目標檢測算法,和其他基于錨框的目標檢測算法一樣,YOLOv3算法在圖像上設置密集的錨框,并通過訓練網絡來預測錨框的分類置信度和位置偏移。其中,錨框的超參數作為算法初始的設置是影響YOLOv3算法訓練效果的重要因素。YOLOv3算法通常使用k-means算法對數據集樣本的長寬聚類來得到9個錨框超參數,再根據“越大的錨框分配給尺度越小的特征圖”的原則分配到三個特征層上,但這種由簡單聚類和分配得到超參數可能不是最適合每個檢測層的。為了近一步將YOLOv3算法應用與SAR數據集檢測目標檢測,本文研究了YOLOv3算法中錨框超參數的優化問題。

本文提取了YOLOv3不同檢測層上檢測到的目標框來探究不同特征層和錨框分配的關系,SSDD數據集[16]在三個不同大小特征層上目標框數據分布如圖2所示。

圖2 SSDD數據集在三個特征層上目標框分布Fig.2 Target box distribution of SSDD dataset on three feature layers

由圖2可以看出,總體上講,隨著自上而下的特征層的變大,特征層所能檢測到的目標框的大小越來越集中于更小的目標,同時能檢測到的目標尺度的范圍也逐漸集中。雖然保持著上述特點,但每個層能檢測的目標框的大小很大部分都集中在0～1000和1000～2000范圍內,也就是說各層所能檢測到的目標大小有很大部分的范圍重疊。

因此,單一的按照“越大的錨框分配給尺度越小的特征圖”的原則分配錨框可能不是最優的方法,為了使錨框的設定能夠更貼近每層檢測層的特點,本文設計了新的錨框超參數優化策略。整體的優化過程是基于k-median++聚類[23]算法的,k-median++是針對k-means++的改進算法,主要的改進是用樣本的中位數代替均值作為產生新的聚類中心依據,減輕了噪聲樣本對聚類中心選擇的影響,提高了算法魯棒性。對于k-median++算法中距離的選擇,本文采取了YOLO作者提出的基于IOU計算的距離,其公式為:

d(box,centroid)=1-IOU(box,centroid)

(8)

其中,centroid表示聚類中心,box表示樣本,IOU為聚類中心的邊界框和樣本的邊界框的交并比。d越小,則樣本邊界框和聚類中心邊界框的IOU越大,即相似度越高。

錨框超參數優化策略的具體流程為:(1)使用k-median++算法對錨框超參數進行初始化,在初始錨框下使用YOLOv3算法對模型進行訓練至網絡收斂;(2)在收斂模型的基礎上,通過錨框匹配階段分別提取FPN三個檢測層匹配到的目標對象。(3)分別對三個不同大小檢測層匹配到的目標進行聚類,得到的聚類中心作為新的錨框參數對應設置在三個不同大小的檢測層上,完成超參數的優化。圖3中對比了錨框優化前后的錨框和目標框的分布。其中圖(a)、(c)、(e)為各層優化前的目標框和錨框的分布,圖(b)、(d)、( f )為各層優化后的目標框和錨框的分布。其中,黑色的點為錨框的分布,其他點為各層檢測到的目標框的分布,從各層錨框優化的前后對比可以發現,經過優化后的錨框更能代表各層目標框的分布,更適合作為目標邊框回歸的基準。

圖3 錨框優化前后對比圖Fig.3 Comparison of anchor boxes before and after optimization

4 實驗結果與分析

4.1 實驗準備

本文實驗環境如表1所示。

表1 實驗環境配置表

本文選擇目標檢測常用的精準率、召回率和F1值作為實驗的評價指標。

(9)

(10)

(11)

公式中,TP為把正類預測為正類的樣本,FP負類預測為正類的樣本,FN為正類預測為負類的樣本。

實驗采用了海軍航空大學李健偉教授等公開的SSDD數據集[16]和中國科學院空天信息研究院數字地球重點實驗室研究員王超團隊公開的SAR圖像船舶檢測數據集[4](SAR-Ship-Dataset)。SSDD數據集共有1160張圖像和2456艦船目標,每個圖像平均有2.12艘船,包括不同分辨率和不同場景的圖像。SAR-Ship-Dataset以國產的高分3號SAR數據和Sentinel-1 SAR數據作為主要數據源,共使用高分3號102個場景和Sentinel-1 SAR圖像108個場景來構造高分辨率SAR艦船數據集。目前,深度學習樣本庫包含43819個船舶切片,從中隨機選擇10955張不同場景的圖片進行實驗。

4.2 實驗過程

實驗按照7∶2∶1劃分訓練集、測試集和驗證集。訓練時所有實驗對輸入的圖片均采用Mosaic方法進行數據增強,豐富樣本數據,提高網絡的泛化能力。網絡設置每一個batch中包含8張圖像,選用Adam優化器,初始學習率為0.01。訓練采用遷移學習,在YOLOv3的預訓練模型上進行,設置epoch為300,訓練過程中會保存最后一次迭代的模型和最優的模型。

4.2.1正負樣本分配方法對比實驗

為了驗證基于ATSS正負樣本分配方法的YOLOv3在SAR圖像上的目標檢測效果,本文設計了基于IOU閾值的YOLOv3算法和基于ATSS的YOLOv3算法的對比實驗,這項實驗采用了SSDD數據集,以F1值作為評價標準,具體實驗結果如表2所示。

表2 不同正負樣本分配方法下的實驗結果

從表2的實驗結果可以看出,基于IOU閾值的YOLOv3算法在檢測性能上受到閾值這一超參數的影響很大,而本文基于ATSS的思想的算法中,根據目標與候選框IOU的均值和方差之和作為IOU閾值,在不用考慮超參數影響下達到了最優的結果,證明了其有效性和優越性。另外,在基于ATSS的方法中,以多種IOU的統計特性作為IOU閾值,經過對比實驗可以看出,以均值與標準差之和定義IOU閾值的結果較差,分析其原因,可能是由于在IOU標準差較大時,在均值上加上較大的標準差導致IOU閾值過高從而影響正樣本的選擇,而方差作為標準差的平方,在數值上通常小一個量級,緩解了標準差過大導致閾值失效的問題,故以均值與方差之和定義IOU閾值得到了最優的結果。

4.2.2不同數據集不同場景下的艦船檢測結果與分析

本文分別在SSDD數據集和SAR-Ship-Dataset數據集上設計不同改進算法下的實驗,并分別驗證近岸遠海不同場景下的艦船目標檢測效果。實驗結果如表3所示。

表3 不同數據集不同場景實驗結果

由表3可以看出,改進后的YOLOv3模型在SSDD數據集和SAR-Ship-Dataset數據集不同場景下的檢測效果都得到了提升,遠離陸地的海面場景中檢測的F1值都達到了98%和95.8%的較高水平,而對于背景相對復雜的近岸場景,檢測的精確率和召回率都有明顯的提升,F1值也分別提升了2.9%和2.4%。

進一步分析可以看出,錨框優化方法和ATSS正負樣本定義方法均在算法效果的提升上都起到了一定的作用。為了研究錨框優化的作用,實驗繪制了錨框優化前后損失函數隨迭代次數的變化曲線,如圖4所示,其中虛線為原算法損失函數變化曲線,實線為改進后的算法損失函數變化曲線,可以看出,錨框優化后算法的損失函數相比于之前總體上下降了0.2,同時收斂速度變快,結合表3中的實驗結果得出,錨框優化方法加快了網絡的收斂,平衡了檢測的精準率和召回率,使檢測效果進一步提升。

圖4 損失隨迭代次數的變化曲線Fig.4 Variation curve of loss with iteration times

圖5為YOLOv3算法在兩個不同數據集上的檢測效果,其中上一行為真實框,下一行為預測框。由圖5可以看出對于兩個不同的數據集上的目標檢測效果都較好,證明算法具有很好的泛化性和適應性,其中對于復雜場景下尺度不一、形態多變的目標,預測框和真實框都較為吻合,進一步證明了改進算法的有效性,可以使YOLOv3算法更好的應用于SAR目標檢測數據集上。

圖5 改進模型檢測效果Fig.5 Detection results of improved model

4.2.3不同目標檢測方法比較

為了進一步驗證本文算法的有效性,本文選取了Faster RCNN、SSD、CenterNet方法在更大場景SAR圖像數據集AIR-SARShip-1.0上和本文算法做了對比實驗。AIR-SARShip-1.0數據集包含 31 景高分三號的多場景SAR 圖像,其中場景類型主要涵蓋了港口、島礁和不同級別海況的海面,實驗采用滑窗把圖像裁剪成500×500的子圖,按照7∶2∶1劃分訓練集測試集和驗證集。其實驗結果如表4所示,其中mAP為數據集驗證集上檢測的平均精準度,time為檢測耗時。

表4 不同算法對比結果

從實驗結果對比可以看出,本文算法在艦船檢測平均精準度這一指標中獲得了最好的結果,在檢測時間上,由于本文算法沒有增加網絡結構上的參數量,模型的復雜度沒有增加,滿足原YOLOv3算法的實時檢測特點,獲得較快的檢測速度,從平均精準度和檢測時間兩個標準上證明了算法的優越性。

圖6為本文算法在3000×3000的較大場景圖像下的檢測效果,其中中間圖為真實框的結果,兩邊的圖為檢測的結果。從放大區域的檢測對比可以看出,對于海面上的較密集分布的目標預測框和真實框較為吻合,對于近岸密集排列的目標,漏檢和錯檢也很少,說明大場景下艦船目標仍有較好的檢測效果,進一步證明了改進算法的有效性。

圖6 AIR-SARShip-1.0數據集圖像檢測效果Fig.6 Image detection results of AIR-SARShip-1.0 data set

5 結論

本文在YOLOv3的基礎上加入了ATSS正負樣本定義方法和錨框優化方法,在不改變模型網絡框架的情況下從模型訓練優化的方向改進,不增加模型復雜度和檢測時間的同時提高模型在SAR圖像艦船目標檢測上的檢測效果,并在公開數據集上實驗驗證,對于近岸和遠海不同場景下的目標檢測虛警率和漏檢率都明顯下降,說明了本文改進算法的有效性。但近岸復雜場景下的艦船目標的檢測效果仍然有很大的提升空間,這也是需要進一步研究的方向。另外,由于本算法沒有網絡結構上的改變,可以在此本文算法的基礎上改進網絡結構進行下一步的優化。