基于改進YOLOv3的合成孔徑雷達影像艦船目標檢測

黃勃學, 韓 玲, 王 昆, 楊朝輝, 黃五超

(長安大學地質工程與測繪學院, 西安 710054)

隨著遙感技術的發展,基于遙感影像進行艦船檢測成為了沿海國家的重要任務,并且在艦船尋找與救助、漁船監視、非法移民、保衛領土、反毒品以及艦船非法傾倒油污的監視管理等方面發揮著重要作用[1-2]。合成孔徑雷達(synthetic aperture radar,SAR)是一種主動探測的成像傳感器,成像不受云霧、光照的影響,可以對目標實現多波段、多極化、多視角的觀測[3]。在艦船檢測任務中,SAR不受海洋天氣多變的限制,能夠對艦船目標進行全方位實時監測。

SAR影像艦船檢測雖然起步較早,但大部分研究是基于傳統的目標檢測思想,仍然是半自動化的檢測算法。近年來,中外對SAR影像艦船檢測開展了大量的研究。文獻[4-6]提出了雙參數恒虛警率(constant false alarm rate,CFAR)算法；加拿大商用軟件OMW(ocean monitoring workstation)[7]使用基于K分布的CFAR算法進行艦船檢測；Kapur等[8]將信息論中的熵引入圖像分割,提出了最佳熵雙閾值檢測算法；Tello等[9]、Wardlow[10]使用小波變換來檢測艦船目標；張風麗等[11]提出了基于小波變換和相關運算結合的艦船目標檢測算法；Liu等[12]利用多極化特性進行艦船目標檢測。

近年來,隨著深度學習在各學科的泛化發展,目標檢測算法也有了實質性進展,推動了SAR影像艦船檢測任務從半自動化進入到全自動化時代,目前比較流行的檢測算法可以分為兩大類。一類是基于區域建議(region proposal)的分步式目標檢測方法,代表性的有:區域卷積神經網絡(region-based convolutional neural networks, R-CNN)[13]、SPP(spatial pyramid pooling)[14]、Fast R-CNN[15]、Faster R-CNN[16],這些是two-stage算法,需要先使用選擇性搜索(selective search)或者區域建議網絡(region proposal networks,RPN)產生建議區域,然后再在建議區域上進行邊框回歸和二次分類,實現目標檢測；另一類是基于回歸思想的一步式目標檢測方法,代表性的有:YOLO(you only look once)[17]、SSD(single shot multibox detector)[18]等,這些是one-stage算法,將目標檢測問題簡化為回歸問題,沒有顯式的區域提名過程,僅使用一個卷積神經網絡直接預測不同目標的類別和位置。為此，以one-stage的YOLOv3算法作為框架基礎,對錨點框(anchor boxes)生成機制進行改進,并與多種聚類算法進行對比分析,以期提高YOLOv3艦船檢測的效果。

1 YOLOv3基本原理

YOLOv3是在YOLOv2基礎上改進而來的目標檢測模型,是目前速度和精度最為均衡的檢測網絡,它采用一個單獨的卷積神經網絡(convolutional neural networks,CNN)實現end-to-end的目標檢測。

圖1 Darknet-53網絡結構Fig.1 Darknet-53 network architecture

YOLOv3相比YOLOv2,進行如下改進:①加入了多尺度預測,借鑒特征圖金字塔網絡(feature pyramid networks, FPN)思想,通過融合多層特征映射信息預測3種不同尺度的先驗框；②使用K-means聚類得到邊界框(bounding box)的先驗框,選擇9個簇以及3個尺度,然后將這9個簇均勻分布在這3個尺度上,即每種尺度預測3個anchor boxes,對于每種尺度,引入新的卷積層進一步提取特征,最后在各尺度上輸出邊界框(bounding box)的信息；③分類器不再使用softmax,而是使用獨立的多個logistic分類器代替；④在訓練過程中,使用二元交叉熵損失(binary cross-entropy loss)來進行類別預測；⑤用Darknet-53代替Darknet-19進行特征提取,如圖1所示,即借鑒殘差網絡[19]的思想,交替使用3×3與1×1的卷積神經網絡,簡化了ResNet神經網絡,加快訓練速度。

2 艦船目標檢測框架

2.1 艦船目標檢測流程

艦船目標檢測的整體流程如圖2所示。

圖2 艦船目標檢測流程Fig.2 Ship target detection process

2.2 錨點框算法改進

圖3 SAR船艦數據集可視化Fig.3 SAR ship data set visualization

anchor boxes是用來預測邊界框(bounding box)的,錨點框算法最初是在Faster R-CNN中提出的,原文用128×128、256×256、512×512尺度,以及1∶1、1∶2、2∶1縱橫比共計9個anchors來預測邊界框。每個anchor預測2 000個框左右,使得目標檢出率大大提高。從YOLOv2開始增加了錨點框機制,到YOLOv3已由5個增加到了9個anchors。由于作者是在PASCAL VOC數據集得到的這組anchor,對于自然數據集比較敏感,但是對于遙感影像數據集,尤其是SAR數據集來說,宜使用新的錨點框組合進行數據集的訓練。在數據集11 853張船艦SAR影像中,共有16 174只船艦目標,以標注框的標準化寬高作為坐標維度,可視化數據集分布,如圖3所示,可以發現95%以上的目標的尺寸集中在0.5×0.5,并且數據聚集特別緊密,存在少部分離群樣本。還對訓練集標注框的標準化寬高進行統計分析,如圖4、圖5所示,發現有83.45%和 83.10%的目標標準化寬高分布于0.02～0.18,也就是說絕大部分目標不足圖像1/10,因此SAR船艦數據集的小目標居多。

圖4 SAR船艦數據集標注框寬度統計結果Fig.4 Statistical results of the box width of SAR ship data set

圖5 SAR船艦數據集標注框高度統計結果Fig.5 Statistical results of the box height of SAR ship data set

對于距離的選擇,如果按照傳統K-means算法使用歐氏距離,則大的boxes會比小的boxes產生更多的損失誤差。YOLO作者在設計錨點框思想時希望可以通過anchor boxes獲得更好的IOU scores,并且IOU scores與bounding box的尺寸無關,為此設計了新的距離公式為

d(box,centroid)=1-IOU(box,centroid)

(1)

式(1)中：box為各anchor box；centroid為當前簇群的定位框；IOU(box,centroid)為anchor和當前定位框的交并比。

2.2.1K-median++

由于K-means算法需要不斷的更換聚類中心,通過平均值來重新計算每個簇群的中心。對于數據聚集緊密且有明顯離散點的數據,使用平均值確定聚類中心會使處于離散點簇的中心不穩定,容易受到噪聲點的影響；同時K-means算法初始聚類中心需要人為確定,不同的初始聚類中心可能導致完全不同的聚類結果。針對這兩點不足,對于YOLOv3的錨點框聚類算法進行改進,以使其更加符合艦船SAR影像數據集的特點,得到更能反映艦船樣本尺寸的anchors參數。

對于數據離散點較多,致使尺寸較大的bounding box的簇群的中心不能被真實反映,用中位數代替均值計算新的聚類中心。這樣針對數據集中某些離群點,中位值的變化也不是很大,甚至無變化,因此魯棒性會比K-means好很多；對于初始聚類中心的選擇,應使初始聚類中心之間的相互距離要盡可能的遠。因此將本文的聚類方法命名為K-median++。

2.2.2K-median++算法實現

K-median++算法實現偽代碼如下。

(1)從數據集點群隨機選擇一個點作為第一個聚類中心。

(2)對于數據集中的每一個點X,計算其與最近的聚類中心(指已選擇的聚類中心)的距離,記為D(X)。

(3)再從數據集中隨機挑選一個隨機點作為“種子點”。

(4)對于每個點X,計算其和最近的一個“種子點”的距離并保存在一個數組中,然后把這些距離加起來得到Sum[D(X)]。

(5)取一個能落在Sum[D(X)]中的隨機值Random,執行Random=D(X),直到Random≤0,此時的點就是下一個 “種子點。

Random的取法:為使Random落在Sum[D(X)]中,設計Random=Sum[D(X)]α,其中0<α<1,Random是隨機的,那么它有更大的概率落在D(X)較大的區域內,如圖6所示,Random更有可能落在D(Xi)中,Xi為數據集的第i個點；此時利用Random=D(X),直到Random≤0,便可知道Random落在了哪個區間段,因此Xi就是下一個選擇的隨機聚類中心。

(6)重復步驟(2)～(5),直到K個初始聚類中心被選擇出。

(7)利用K個初始聚類中心,執行K-median聚類算法。

在對數據集進行預處理之后,利用K-means、K-means++、K-median及K-median++4種算法進行聚類,并以各自的meanIOU作為評價標準,對比結果如表1所示。

對4種聚類算法的meanIOU變化曲線可視化,如圖7(a)所示,K-means在第7次迭代時meanIOU到達峰值74.52%,之后隨著迭代的收斂,meanIOU呈緩慢下降趨勢,最終經過34次迭代,meanIOU達到73.40%；如圖7(b)所示,K-means++與K-means的曲線走勢大致相同,在第6次迭代meanIOU達到峰值75.60%之后會緩慢下降,最終經過26次迭代,meanIOU達到75.41%,相比K-means提升了個2.01百分點；如圖7(c)所示,K-median并未出現meanIOU隨迭代而明顯下降的問題,同時,僅通過17次迭代,meanIOU便穩定在了74.99%,相比K-means

圖6 隨機聚類中心選擇Fig.6 Random cluster center selection

表1 4種聚類算法的對比結果

圖7 平均交并比變化曲線Fig.7 The curve of the mean intersection over union

提升了1.59個百分點；如圖7(d)所示,K-median++的整個曲線走勢是很平穩地上升,并且起始聚類的meanIOU高達73.04%,這一點和K-means++很相近,這也是自動生成初始聚類中心算法的突出優勢,初始聚類中心的選取很可靠,因此后續達到收斂要求迭代次數少,在經過9次迭代之后,meanIOU穩定在了77.10%,相比K-means提升了個3.7百分點。因此經過對比發現,K-median++作為YOLOv3的錨點框聚類算法是可行的,相比其他三種聚類算法,meanIOU最高,迭代次數最少,可以使anchor boxes的精度得到較大的提高,計算量得到大幅度降低。

3 實驗

3.1 實驗平臺

本文算法在開源目標檢測框架Darknet上實現,具體相關配置環境如表2所示。

表2 實驗配置環境

3.2 數據集獲取

由于遙感影像數據集較為缺乏,目前大部分目標檢測數據集都是真實場景數據,如PASCAL VOC2007/2012、COCO等數據集；近年來，由部分機構、高校帶頭做了不少的遙感數據集,如DOTA、NWPUVHR-10、RSOD等。數據集是SAR船艦圖片,采用中科院遙感所王超團隊構建的“多模式SAR圖像船舶檢測數據集——CAESAR-RADI”,選取其中11 853張圖片。然后將數據集分為訓練集、驗證集、測試集,分別用于模型訓練、參數調優和結果評價。

3.3 實驗步驟

①將制作好的訓練集的xml標注文件轉換為對應的txt標注文件；②生成訓練集、驗證集、測試集圖像路徑列表;③調整優化部分網絡參數,網絡配置參數如下(動量:0.9；權重衰減:0.000 5；飽和度:1.5；曝光度:1.5；色調:0.1；最大迭代次數:2 000；學習率:0.01、0.001、0.000 1)；④利用K-means腳本和K-median++腳本得到訓練集的9種anchors組合；⑤修改類名文件.names和.data文件；⑥加載預訓練模型darknet53.conv.74,加快網絡收斂；⑦將K-means算法和K-median++算法得到的兩種anchors組合分別嵌入網絡配置文件,生成各自的訓練權重文件。

3.4 實驗結果

對訓練集分別用K-means和K-median++生成的anchors參數進行訓練,得到各自的權重文件,再進行結果評估,模型訓練的損失函數曲線如圖8所示,初始迭代損失(loss)高達974,隨著迭代進行,在第70次迭代時,損失值值已降到了個位數,在前500次迭代中,YOLOv3(K-means)和YOLOv3(K-median++)的損失值差距不明顯,曲線基本相互重疊；當迭代進行到600次時,兩條損失曲線之間的差距逐漸拉開,后者較前者學習能力更強,收斂速度更快,訓練效果更好。

圖8 損失函數曲線Fig.8 Loss function curve

3.4.1 船艦檢測結果

在訓練好YOLOv3(K-means)和YOLOv3(K-median++)的權重文件之后,在測試集上進行檢測,檢測結果如圖9所示。由圖9可以發現,YOLOv3(K-median++)對于小目標的檢測有了明顯提升,使得更多的艦船目標被檢測出來。

圖9 SAR影像艦船檢測結果Fig.9 SAR image ship detection results

3.4.2 評價指標

實驗結果評價采用國際PASCAL VOC目標檢測挑戰賽的度量標準,即精確度(Precision)、召回率(Recall)、平均精度(AP)和平均精度均值(mAP)。精確率和召回率定義為

(2)

(3)

式中:TP為預測對的正樣本；FP為預測錯的正樣本；TN為預測對的負樣本；FN為預測錯的負樣本。精確率是針對預測結果而言,預測為正的樣本中有多少是真正的正樣本,即預測的正樣本中有多少是預測對的；召回率是針對數據集中的正樣本而言,表示數據集中正樣本有多少被正確預測到,即有多少正樣本被正確檢出。最終艦船目標檢測結果評估如表3所示。

表3 艦船目標檢測結果評估

4 結論

通過改進YOLOv3的anchor boxes聚類方法,提出了新的聚類算法K-median++,通過對艦船SAR數據集的標注框進行聚類分析,獲得了更為合理的anchors參數。得出如下結論。

(1)相較于傳統的K-means聚類方法,K-median++聚類算法對緊密數據集有更好的魯棒性,相比K-means、K-means++、K-median 3種聚類方法,通過K-median++得到的聚類中心更為合理,大幅度降低計算量,同時獲取的anchor boxes可以保持較高的meanIOU；K-median++算法不僅適用于本文數據集,也適用與類似緊密型聚集數據的聚類。

(2)基于K-median++的YOLOv3檢測效果也更為出色,對于不同尺寸的船艦目標都能保證較高的檢測準確率,同時召回率獲得了明顯提升,即有更多不明顯船艦目標會被檢測出。