基于更快區(qū)域卷積神經(jīng)網(wǎng)絡的多視角船舶識別

程靜，王榮杰，2，曾光淼，林安輝，2，王亦春，2

（1.集美大學 輪機工程學院，福建 廈門 361021；2.福建省船舶與海洋工程重點實驗室，福建 廈門 361021）

隨著社會經(jīng)濟的發(fā)展，海上交通日益繁華，船舶識別對海洋監(jiān)視、海運管理有重要的應用價值［1］。在海洋監(jiān)視領域，船舶識別對海洋環(huán)境和不法船舶有強有力的監(jiān)督作用。在海運管理上可以監(jiān)控和輔助管理海上交通，同時確保海岸和海上安全。船舶檢測和識別已成為熱門研究課題［2-3］。此外，隨著人工智能發(fā)展，自從新型深度卷積神經(jīng)網(wǎng)絡（convolu‐tional neural network，CNN）AlexNet［4］在2012 年 的ImageNet 圖像分類競賽中取得勝利以來，許多領域都提出了越來越多的基于深度學習的解決方法。例如，計算機視覺（圖像檢測、識別和分類）、語音識別、自然語言處理、音頻識別、生物信息和醫(yī)學學科等［5］。其中基于圖像的目標檢測，已經(jīng)有許多著名的基于CNN的檢測方法，包括：1）一階段檢測器，如文獻［6］提出的you only look once（YOLO）、文獻［7］提出的單次多框檢測器（single shot multibox de‐tector，SSD）、文獻［8］提出的RetinaNet和文獻［9］提出的anchor-free CenterNet；2）兩階段檢測器，如文獻［10］提出的區(qū)域卷積神經(jīng)網(wǎng)絡（region convolu‐tional neural network，R-CNN）、文獻［11］對文獻［10］改進的快速區(qū)域卷積神經(jīng)網(wǎng)絡（fast region con‐volutional neural network，F(xiàn)ast R-CNN）和文獻［12］的更快區(qū)域卷積神經(jīng)網(wǎng)絡（faster region convolution‐al neural network，F(xiàn)aster R-CNN）。

基于圖像的目標檢測已經(jīng)廣泛應用于路上目標檢測和海上目標檢測。在人工智能和自動駕駛技術的推動下，無人控制的智能船舶順勢而生。智能船舶自主航行或執(zhí)行的感知周圍環(huán)境，即識別海上船舶等其他目標。目前主要通過圖像信息研究船舶識別，根據(jù)圖像產(chǎn)生的來源，基于圖像的船舶識別方法大致分為雷達圖像、遙感圖像和視覺圖像3 類［13］。基于雷達圖像的船舶檢測，文獻［14］通過Faster R-CNN 對檢測網(wǎng)絡中分類置信度較低的邊界框重新評估，提高對船舶的檢測性能。文獻［15］在Faster R-CNN 的感興趣區(qū)域（region of interest，RoI ）添加上下文信息，生成不同深度的多層建議區(qū)域，實現(xiàn)了基于合成孔徑雷達（synthetic aperture radar，SAR）圖像的船舶端到端檢測。文獻［16］提出了一種基于密集注意金字塔網(wǎng)絡的SAR 圖像船舶檢測方法，提高了SAR 圖像的識別精度。文獻［17］采用特征重用策略來提高參數(shù)效率，并引入分支實現(xiàn)多尺度對象檢測。利用遙感圖像檢測船舶的研究，文獻［18］提出了一種從遙感圖像中自適應學習特征的網(wǎng)絡用于船舶檢測。文獻［19］在基于R-CNN 的船舶監(jiān)測框架中引入場景掩模提取網(wǎng)絡，用于輔助船舶檢測，有效抑制了非目標區(qū)域的誤報。文獻［20］提出了一種融合多層特征交叉層次、旋轉(zhuǎn)區(qū)域建議網(wǎng)絡和雙向遞歸神經(jīng)網(wǎng)絡融合自注意機制的艦船檢測框架，解決了圖像船舶的多維、背景復雜的問題。視覺圖像指通過攝像機采集的視頻或圖像，海洋環(huán)境的復雜性增大了通過船載攝像機或岸域攝像機獲取多艘船舶的困難，且目前公開的船舶視覺圖像數(shù)據(jù)集也很少，因此，相較于基于雷達圖像和遙感圖像，基于視覺圖像的船舶識別研究較少，文獻［21］提出了一種兩階段分層特征選擇算法來區(qū)分3 種民用船舶類型。文獻［22］提出了一種基于Faster R-CNN 的船舶概率檢測與分類系統(tǒng)，將分類器置信度視為概率，通過貝葉斯融合確定艦船類別。文獻［23］提出了一種從粗到精級聯(lián)卷積神經(jīng)網(wǎng)絡，識別不同類型的船舶。這些是對船舶類型的檢測，不能識別同一類別的不同艘船舶。文獻［24］使用SSD 算法檢測內(nèi)河船舶，應用樣本增強和遷徙學習緩解了訓練中的過擬合問題。文獻［13］提出了一個顯著性感知的CNN框架用于船舶檢測，以獲得更準確的船舶位置。文獻［25］提出了一個增強的卷積神經(jīng)網(wǎng)絡，能夠精準識別不同艘船舶，且提高了不同天氣條件下的船舶檢測精度。這是基于同一視角下的船舶圖像進行的研究。由于海洋環(huán)境的特殊性和攝像機位置固定以及視角范圍局限性，獲取同一艘船舶在相同/不同時刻、相同/不同背景下的不同視角的圖像較為困難，因此多視角下的船舶識別領域缺乏能夠訓練深度網(wǎng)絡模型的大規(guī)模數(shù)據(jù)集。同類船舶都是剛性同質(zhì)的，高度相似，難以區(qū)分其細微差別；且當視角改變時，大型船舶在外觀上有很大不同［26］。相比于人和車輛重識別，有關船舶多視角識別的研究很少。文獻［27］提出了基于合成孔徑雷達圖像的多視角船舶識別方法，文獻［26］提出了一個基于全局和局部融合的多視角特征學習的船舶識別框架，利用自制的多視角船舶數(shù)據(jù)集評估模型性能。目前還沒有找到其他基于視覺圖像的多視角船舶識別研究。

針對上述問題，本文自制多視角船舶數(shù)據(jù)集，以Faster R-CNN 為基準網(wǎng)絡，提取船舶在不同視角下的特征，進而實現(xiàn)對多視角船舶的識別，并評估不同背景環(huán)境以及圖像分辨率對Faster R-CNN 識別多尺度船舶的性能影響。

1 Faster R-CNN模型和RPN網(wǎng)絡

1.1 Faster R-CNN模型

Faster R-CNN 是對Fast R-CNN 的改進，使用區(qū)域建議網(wǎng)絡（region proposal network，RPN）替代Fast R-CNN 的選擇性搜索算法來確定候選區(qū)域。Faster R-CNN 主要由RPN 和Fast R-CNN 兩部分組成，其核心過程是利用主干特征提取網(wǎng)絡提取目標特征，獲得共享特征圖（feature map），再通過RPN生成候選區(qū)域。Fast R-CNN 確定候選區(qū)域是否包含目標，并校正候選區(qū)域的位置和尺寸。最后，使用感興趣區(qū)域池化（region of interest pooling，RoI Pool‐ing）對候選區(qū)域進行分類和邊界回歸。

Faster R-CNN先將任意尺寸的圖像調(diào)整至需要的尺寸，同時將調(diào)整比例和調(diào)整后圖像的寬高存儲到圖像信息im_info 中，再通過主干網(wǎng)絡提取特征，并將獲得的特征圖作為公共特征圖，被共享于RPN和全連接層。RPN 用于生成候選框，通過RoI Pool‐ing 利用候選框截取共享特征圖。最后通過全連接層進行邊界回歸預測和分類，并使用邊界回歸預測調(diào)整建議框，得到精確預測框，如圖1所示。

1.2 特征提取網(wǎng)絡

Faster R-CNN 可以采用多種主干特征提取網(wǎng)絡，雖然深度網(wǎng)絡能夠提取更深層次的特征信息，但隨著網(wǎng)絡的加深，參數(shù)也會隨之增加［28］。殘差網(wǎng)絡（ResNet）能夠有效解決梯度消失和梯度爆炸以及網(wǎng)絡退化的問題，且其殘差結構使得梯度可以從淺層平滑地傳遞到深層，能夠訓練深度的神經(jīng)網(wǎng)絡來提高特征提取能力。與VGG網(wǎng)絡模型相比，具有殘差機制的ResNet可以更好地保留淺層特征，并傳遞給深層參與訓練［29］。因此，本文以殘差網(wǎng)絡（ResNet50）［30］作為Faster R-CNN 的主干特征提取網(wǎng)絡。ResNet50有5個模塊（模塊0～模塊4）組成，如圖2（a）所示，（3，224，224）分別表示圖像的輸入通道數(shù)、高度和寬度。模塊0是對輸入的預處理，模塊1～模塊4 結構類似，都是由瓶頸層（bottleneck layer，BTNK）組成，分別包含3、4、6、3個BTNK。輸入輸出通道數(shù)相同的表示為BTNK1，如圖2（b）所示，用于加深網(wǎng)絡；輸入輸出通道數(shù)不同的表示為BTNK2，如圖3（c）所示，用于改變網(wǎng)絡的通道。以ResNet50 的模塊3的輸出為共享特征層，如圖2（d）所示。

圖2 ResNet50網(wǎng)絡模型結構Fig.2 Diagram of the ResNet50 network model

圖3 RPN網(wǎng)絡Fig.3 RPN Network

1.3 RPN模塊

如圖3 所示，RPN 以主干特征提取網(wǎng)絡提取的特征圖為輸入，通過3×3 的滑動窗口將其映射到較低維度（以256 維為例）的隱藏層上，最后連接到2 個全連接層，一個用于目標分類，另一個用于獲取目標坐標位置。每個滑動窗口在其映射位置同時生成k個錨框，為了適應各種目標尺寸和縱橫比，設置3×3=9 種組合，即特征圖上每個位置都有9 個不同尺寸的錨框。共享特征圖經(jīng)過向低維映射后進行分支：1）分類層：經(jīng)過1×1×256×18的卷積核，得到1×1×18 的特征向量，分別表示9 個錨框的正標簽前景概率和負標簽背景概率（cls_score），通過邏輯回歸獲得目標類別概率；2）回歸層：經(jīng)過1×1×256×36 的卷積核，得到1×1×36的特征向量，分別表示9 個錨框的位置坐標（bbox_pre）。

按照以下標定方法為錨框標定正負標簽：

1）與任意真實框（ground truth，GT）的重疊度（intersection over union，IoU）＞0.7，標定為正標簽；

2）與某個GT 的IoU 有最大值的錨框標定正標簽；

3）與GT 的IoU＜0.3，標定為負標簽；

4）上述條件都不滿足的既不是正標簽也不是負標簽，剔除。

由此確定前景錨框，使用邊界框回歸得到錨框與真實框之間的偏移值，即平移和伸縮參數(shù)，從而得到粗略建議框。通過圖1 中的im_info 將粗略建議框映射回原圖，判斷粗略建議框是否超過邊界，剔除嚴重超出邊界的。按照邏輯回歸分數(shù)進行從大到小排序，取出前N個粗略建議框，使用非極大值抑制算法消除冗余，對剩下粗略建議框再次排序，選擇前M個粗略建議框，即為候選框。

1.4 分類及回歸網(wǎng)絡

RoI Pooling 將RPN 模塊獲得的候選框映射到共享特征圖的相應位置，再將映射后的區(qū)域劃分為相同大小的區(qū)域，最后對每個區(qū)域進行最大池化操作，完成從不同尺寸的候選框得到相同尺寸的特征圖，極大地提高了處理速度。

利用RPN 模塊中獲得的建議框截取公共特征層中存在目標的區(qū)域，通過RoI Pooling 獲得相同尺寸局部特征層，通過全連接層和邏輯回歸計算每個建議框目標的類別概率；同時再次利用邊界回歸獲得每個建議框的位置偏移量，即回歸預測bbox_pre，用于回歸更加精確的目標檢測框，如圖4所示。

圖4 分類與回歸網(wǎng)絡Fig.4 Classification network and regression network

1.5 損失函數(shù)

在RPN 模塊的分類過程中可能存在誤識別，而生成的候選框與真實框存在位置偏差，如圖5所示，因此將產(chǎn)生2 個損失：分類損失Lcls和回歸損失Lreg。候選框一般使用四維向量（x，y，w，h）表示，（x，y）表示框的中心點坐標,w和h分別表示框的寬和高。計算分類損失需要與錨框?qū)獦硕ńY果和預測結果；計算回歸損失需要：1）RPN 網(wǎng)絡生成的候選框的坐標位置（x，y，w，h）；2）錨框的坐標位置（xa，ya，wa，ha）；3）真實框的坐標位置（x*，y*，w*，h*）。

圖5 真實框與檢測框示例Fig.5 Example of ground truth box and detect box

圖5 中實線框為船舶的GT，虛線框為提取的候選框，即使該候選框被分類器識別為目標船舶，但相較于GT，位置存在偏差，仍相當于沒有正確檢測出郵輪，因此需要對候選框微調(diào)至與GT 位置盡可能接近。則候選框與GT 之間的平移量（tx，ty）與尺度因子（tw，th）分別表示為：

損失函數(shù)定義為：

其中：

式中：i為錨框的序號；pi為第i個錨框為目標的概率；p*i為GT 標簽，當?shù)趇個錨框為正樣本時p*i=1；第i個錨框為負樣本，則為一個表示候選邊界框4 個坐標位置參數(shù)的向量為與標定為正標簽的錨框相對應的GT 框的坐標位置向量；分類損失為2 個類別（目標/非目標）的損失對數(shù)；為回歸預測；R為魯棒損失函數(shù)；分類層和回歸層的輸出分別由｛p｝i和｛t｝i組成。R計算為：

2 識別多視角船舶實驗結果及分析

采用Faster R-CNN 對圖6 所示的不同角度的船舶進行實驗，由于目前公開的多角度船舶數(shù)據(jù)集很少，本數(shù)據(jù)集為從https://www.marinetraffic.com/網(wǎng)站下載不同類型的多艘船舶的多視角圖片，使用la‐belImg 標注工具對其進行錨框標記，其中訓練集1 904 張，測試集235 張，驗證集211 張。船舶的種類、每一類的數(shù)量（小類數(shù)量）和每艘船舶的數(shù)量（船舶數(shù)量）如表1 所示。Faster R-CNN 的訓練分為預訓練階段和訓練階段2個部分，在預訓練階段，使用在視覺對象類（visual object classes，VOC）數(shù)據(jù)集［31］上訓練過的權重作為權重，且主干網(wǎng)絡被凍結，不僅能夠提高訓練速度，而且能夠在訓練初期防止權重被破壞。批量大小設置為4，迭代50次，初始學習率設置為1×10-4。在訓練階段，主干網(wǎng)絡參與訓練，參數(shù)被調(diào)整，特征提取網(wǎng)絡發(fā)生變化，批量大小設置為2，迭代100 次，初始學習率設置為1×10-5，且根據(jù)迭代次數(shù)動態(tài)調(diào)整學習率。

表1 實驗所用的船舶種類及數(shù)量Table 1 Type and number of ships used in the experiment

圖6 不同視角船舶Fig.6 Ships in different view

為了評估Faster R-CNN 對多視角船舶圖像中船舶的識別能力，采用平均F1分數(shù)（meanF1score，mF1）、平均精度（mean average precision，mAP）和平均誤檢率（mean log-average miss rate，mMR）作為評價指標。為了定量分析Faster R-CNN 對不同分別率、不同背景圖像的識別能力，以識別不同類型不同艘船舶的F1分數(shù)（F1score，F(xiàn)1）和誤檢率（log-aver‐age miss rate，MR），以及各類型船舶的mAP 作為評價指標，F(xiàn)1表示為：

式中mF1為F1的均值。

式中：n為船舶的數(shù)量；T iP為IoU 大于閾值的邊界框數(shù)量；F iP為IoU 小于閾值的邊界框數(shù)量，或者檢測到同一個GT 的多余檢測框的數(shù)量；F iN為沒有檢測到的GT的數(shù)量。

其中：

MR表示為：

當置信度設置為0.5時，F(xiàn)aster R-CNN識別所有多視角船舶圖像的mF1=0.696 9，mAP=92.88%，mMR=8.34%，表明Faster R-CNN 能夠較精準地識別多視角船舶圖像。

Faster R-CNN 識別21 種高速船舶、22 種運輸船舶、24種軍艦和23種油船的F1和mAP分別如圖7和圖8所示，其中圖8（a）、圖8（b）、圖8（c）和圖8（d）分別表示檢測每一艘高速船舶、運輸船舶、軍艦和油船的mAP。

圖7 Faster R-CNN檢測各類多艘船舶的F1 分數(shù)Fig.7 F score of Faster R-CNN detects various ships

圖8 Faster R-CNN檢測不同類別船舶的mAPFig.8 The mAP of detecting various ships by Faster R-CNN

圖9表示存在誤檢的船舶，除圖9所示13種船舶外，其他所有船舶誤檢率均為0。結果顯示，運輸船舶6、運輸21、軍艦1、軍艦5、軍艦14、軍艦23、油輪8、油輪20的F1均為0，mAP均小于0.4，其中運輸船舶6和軍艦23為有霧環(huán)境下的低分辨率圖像，運輸船舶8、運輸船舶21、軍艦5油船8和油船20的圖像均在昏暗環(huán)境下，而軍艦14背景與目標極為相似，如圖10所示，表明Faster R-CNN對低分辨率圖像、背景與前景相似的圖像以及昏暗環(huán)境下的圖像檢測能力低。而運輸船舶6、運輸船舶8、運輸船舶21、軍艦5、油船8和油船20的MR均為1，表明Faster R-CNN對有霧、背景昏暗等環(huán)境下的低分辨率船舶圖像識別能力更低。

圖9 Faster R-CNN誤檢船舶及其概率Fig.9 Ships of miss detection and their MR by Faster R-CNN

圖10 高誤檢率船舶圖像Fig.10 High MR of ship images

3 結論

1)本文以Faster R-CNN 為基準網(wǎng)絡，多視角船舶圖片為數(shù)據(jù)集，研究Faster R-CNN 對不同視角下船舶的識別能力，以及不同背景環(huán)境和圖像分辨率對識別性能的影響；

2)實驗結果表明，F(xiàn)aster R-CNN 能夠較為準確地識別不同視角船舶，但是當圖像背景與前景相似時，F(xiàn)aster R-CNN識別能力下降，而當圖像為有霧或昏暗背景下的低分辨率圖像時，F(xiàn)aster R-CNN 對多視角船舶的識別能力下降明顯。