海面艦船遙感目標視覺檢測技術研究

史 超

(江蘇自動化研究所，江蘇 連云港 222000)

0 引言

遙感技術是指借助于各類遙感平臺對遠距離地物進行隔空檢測的技術[1]。近年來，高分辨率的可見光遙感圖像大量涌現，各種小型目標的紋理細節和結構都十分清晰。由于海洋資源的重要性，海洋上各種艦船目標的自動檢測方法不斷更新，對海洋目標檢測意義重大。傳統目標檢測方法的解決思路主要是基于模板匹配、知識表示、圖像分析和機器學習等方法[2]。這些方法過于依賴人工，專用性太強，不具有普適性，而且人工提取特征難以表達高層語義信息，導致檢測性能較差。近年來，隨著人工智能技術的發展，人工智能已經達到可以自行處理問題的程度，甚至能夠比人更加快速和準確。深度學習的方法不需要人為設計特征表達來提取目標特征，而是通過訓練海量的數據自行提取特征[3]，而且已經被證實。在可以獲得足夠數據量的前提下，深度學習方法的目標檢測識別精度甚至超過人類的認知能力。本文對海洋遙感圖像的艦船目標進行檢測。與普通近距離目標檢測不同的是遙感圖像屬于遠距離成像，遙感圖像的覆蓋范圍、尺度和物體方位都不同，進行目標檢測相對困難[4-6]，主要有以下幾點：① 每一幅遙感圖像中包含不同大小的目標，同一個分辨率下的目標差異大，所以準確找出所有目標相對困難;② 可見光遙感圖像易受到光照、云層等因素影響，會導致目標本身的特征發生改變，影響目標的檢測;③ 遙感圖像是由衛星或飛機從高空向下拍攝，會導致圖像中的同一個目標有不同的旋轉角度，導致形態上的差異，嚴重影響對目標的檢測;④ 遙感圖像有些目標可能很小而且密集，目標之間可能會產生干擾并且不易檢測[7-8]。針對上述問題，本文在對深度學習和視覺關注機制的相關技術分析的基礎上，使用python語言通過深度學習框架實現一個對海洋遙感圖像艦船目標的檢測。通過注意力機制對算法進行優化使得結果更加精準。

1 基于FR-CNN的艦船目標粗定位

快速區域卷積神經網絡(Faster Region-based Convolutional Neural Networks,FR-CNN)以整張圖片為輸入，利用CNN得到圖片的特征圖[9]。使用區域生成網絡(Region Proposal Networks,RPN)進行候選框提取，并將這些候選框投影到特征圖[10-12]。針對特征圖上的每一個大小不同的候選框，使用興趣區域(Region of Interesting,RoI)池化操作，得到固定維度的特征表示，最后通過2個全連接層，分別用softmax分類以及回歸模型進行檢測[13]。一張圖經過卷積后，會得到相應的特征圖，特征圖的每一個像素都可以對應原始的圖像，對于任何一個候選區域，只需要獲取它的左上右下2個點對應到特征圖中的位置，就能從特征圖中獲取到這個候選區域對應的特征。FR-CNN整體可以劃分為4個主要內容，算法整體結構如圖1所示。

圖1 FR-CNN整體結構Fig.1 Overall structure of FR-CNN

(1) 特征提取網絡。FR-CNN的特征提取部分使用一組基礎的Conv+ReLU+pooling層提取輸入圖像的特征圖，用于后續RPN層和全連接層。

(2) 區域生成網絡。RPN網絡用于生成候選區域框，利用網絡訓練來提取前景。通過softmax判斷錨定屬于正例還是反例，獲得前景區域的大致坐標，再利用邊界框回歸修正錨定獲得精確的候選區域框。

(3) 感興趣區域池化。池化層獲得輸入的特征圖和候選區域框，綜合信息后提取出每個候選區域的特征表示，用于后續全連接層判定目標類別。

(4) 分類。利用每個候選區域的特征表示可以計算出候選區域框的類別，同時再次利用邊界框回歸和非極大值抑制來獲得檢測框最終的精確位置。

以上述4個方面依次描述算法實現。首先，展示一張本文實現的算法的整體結構圖，如圖2所示。

圖2 目標檢測算法結構Fig.2 Structure of object detection algorithm

對于任意大小的輸入圖像在提取特征圖之前，首先縮放至固定大小，再送入網絡進行特征提取；特征提取網絡中包含了多個卷積層、池化層和激活函數；RPN網絡首先經過3×3卷積，再分別生成正例錨定和對應邊界框回歸偏移量，然后計算出候選區域；而RoI池化層則利用候選區域從特征圖中提取候選區域特征送入后續全連接和softmax網絡做分類。

特征提取層的主要作用是提取能夠很好地描述和區分圖像目標的特征，本文使用ResNet50網絡模型作為這一部分的結構模型[14]。使用在ImageNet圖片分類數據集中訓練好的網絡參數，在這里直接進行使用，可以節省很多的調整參數的時間。

ResNet50中有2個基本的塊：Conv Block和Identity Block。Conv Block輸入和輸出的維度不同，不能連續串聯，用于改變網絡的維度；Identity Block輸入維度和輸出維度是相同的，可以串聯，用于加深網絡。ResNet50的整體結構如圖3所示。FR-CNN的特征提取網絡部分只包含了長寬壓縮了4次的內容，第5次壓縮后的內容在RoI中使用。ResNet50結構中包括了多個Conv Block和Identity Block。最終輸出為特征圖。

圖3 ResNet50整體結構Fig.3 Overall structure of ResNet50

區域生成網絡中，FR-CNN拋棄了傳統的滑動窗口和選擇性搜索方法，直接使用RPN生成候選區域框，可以極大地提升檢測框的生成速度。從圖2的結構圖可以看到，RPN網絡分為2步：第1步通過softmax分類錨定獲得正例和反例分類，可以對RPN進行訓練使它對任意輸入都具備識別能力。第2步用于計算對于錨定的邊界框回歸偏移量，以獲得精確的正例，用收斂來保證精度。最后的正例層則負責綜合正例錨定和對應邊界框回歸偏移量獲取候選區域，在這個過程中剔除太小和超出邊界的候選區域。獲得的公用特征層在圖像中就是特征圖，其有2個應用，一個是和RoI池化結合使用；另一個是進行一次3×3的卷積后，進行一個9通道的1×1卷積，還有一個36通道的1×1卷積。

在FR-CNN中，錨定的數量是9，所以2個1×1卷積的結果是：① 9×4的卷積用于預測特征層上每一個網格點上每一個錨定的變化情況;② 9×1的卷積用于預測公用特征層上每一個網格點上每一個預測框內部是否包含了物體。當輸入圖像尺寸是600 pixel×600 pixel的彩色圖像時，公用特征層的就是38×38×1 024，相當于把輸入進來的圖像分割成38×38的網格，然后每個網格存在9個錨定，錨定大小不等。

(1)

(2)

(3)

由式(1)可以看出，區域生成網絡的損失函數分為兩部分，第一部分為分類損失函數Lcls，是對邊界框分類網絡的損失函數；第二部分為回歸損失函數Lreg，用于邊界框的回歸網絡訓練，Lreg計算公式如式(4)和(5)：

(4)

(5)

RoI池化層則負責接收候選框，并進行池化操作后送入后續網絡。從圖1中可以看出，Rol池化層有2個輸入：原始特征圖和RPN輸出的候選框。對于傳統的CNN(如ResNet和VGG)，網絡訓練好之后，輸入的圖像必須是固定大小尺寸，同時輸出也需要固定尺寸。當輸入圖像大小不確定，就會產生問題。有2種解決辦法：從圖像中裁剪一部分傳入網絡或者將圖像縮放成需要的尺寸后傳入網絡。

2種辦法的示意如圖4所示。可以看出，無論采取哪種辦法，效果都不好。一方面，利用裁剪破壞了圖像的完整結構；另一方面，縮放后破壞了圖像原始形狀信息。

(a) 剪裁

(b) 縮放圖4 裁剪和縮放Fig.4 Cutting and scale

分類回歸是分類器部分利用前面已經獲得的候選區域特征，通過全連接層與softmax可以計算出每個候選目標分別屬于哪個類別，輸出分類的概率向量；再次利用邊界框回歸獲得每個候選目標的位置偏移量，用于回歸更加精確的目標檢測框。全連接層的計算為：

(6)

非極大值抑制算法在計算機視覺方向有很多應用，例如目標檢測算法和人臉識別算法等。在目標檢測算法中，經過分類器后，會有很多被確定為樣本的候選區域框，大量候選區域框都集中在目標附近，這些框會有互相重疊的部分，需要進行非極大值抑制方法來解決。非極大值抑制的本質是將其中局部范圍內的最大值挑選出來，對非極大值的元素進行抑制，保留最優的框，如圖5所示。

圖5 非極大值抑制Fig.5 Non-maximum suppression

首先對所有的候選框的得分進行排序，選出分數最大的候選框，然后遍歷剩余的框并設定一個值，當剩余的框和最高分的框交并比的值大于這個值時，證明重疊率很大，則刪除這個剩余框。循環以上操作，最后得到一個最優解。

2 基于注意力機制的目標精檢測

本文在FR-CNN框架的基礎上引入了注意力模型對遙感圖像進行目標檢測，設計了一種結合了空間和通道的注意力機制模塊——卷積塊注意模塊(Convolutional Block Attention Module,CBAM)[15]，使用的特征提取網絡是ResNet50，將CBAM加入到ResNet結構中，需要在ResNet的每個殘差塊后加入該模塊，結構如圖6所示。實驗證明，該模塊的加入提高了網絡的檢測性能。

圖6 CBAM模型結構Fig.6 Structure of CBAM model

當輸入F作為輸入特征圖時，本文提出的CBAM主要對其進行以下2個運算：

F′=Mc(F)?F，

(7)

F″=Ms(F′)?F′，

(8)

Mc(F)=σ(MLP(AvgPool(F)+MLP(MaxPool(F)))=

(9)

Ms(F)=σ(f7×7([AvgPool(F);MaxPool(F)]))=

(10)

式中，σ表示sigmoid激活函數。該部分顯示的卷積層使用了7×7的卷積核，后面的實驗曾使用3×3的卷積核，但總體來說7×7的卷積會表現更好。

3 實驗結果與對比分析

本文利用網絡衛星地圖搜集了近500張海洋遙感圖像作為數據集,其中80%作為訓練圖像，20%作為測試圖像。首先是對于遙感圖像數據的收集，使用衛星遙感圖像以截圖的方式進行數據收集。使用網絡衛星地圖裁減了500張不同視角、不同位置的海洋遙感圖像。部分示例如圖7所示。

圖7 海洋遙感數據集示例圖像Fig.7 Sample image of marine remote sensing dataset

3.1 目標檢測結果數據對比

在目標檢測領域，均值平均精度(mean Average Precision,mAP)是判斷一個目標檢測算法的檢測精度的主要指標。組成mAP的基礎是AP，AP是由查準率(Precision)和召回率(Recall)組合得到的。

查準率是目標檢測中會產生正樣本和負樣本，檢測過程中可能會發生錯誤，假定已經識別結束時，被識別為正確的目標中有部分是正確目標(True Positive),但是也有一部分是錯誤目標(False Positive)，查準率定義為:

(11)

召回率是定義被誤認的目標為False Negative，被正確分類的為True Negative，則召回率定義為：

(12)

由于查準率和召回率的關系是其中一個升高，另一個一定降低，所以可以繪制圖像并通過圖像獲得AP值，也就是Recall和Precision曲線下邊的面積，如圖8所示。mAP就是對AP的值求平均值。

圖8 查準率和召回率Fig.8 Precision ratio and recall ratio

IoU示意如圖9所示。

IoU(Intersection over Union)交并比：檢測中使用的一個評估指標，是測量在特定數據集中檢測相對物體準確度的一個標準。

IoU表示產生的候選框和原標記框的重疊率就是它們之間的交集和并集的比值。IoU值越高檢測精度越高。最理想的情況是完全重疊，IoU值為1。計算如下：

(13)

圖9 IoU示意圖Fig.9 Schematic diagram of IoU

3.2 目標檢測算法測試結果

對大部分目標檢測算法進行艦船目標檢測的測試結果如表1所示。

表1 目標檢測算法實驗數據Tab.1 Experimental data of object detection algorithm

由表1可以看出，本文經過視覺注意力機制改進后的算法相比原算法和其他算法有優勢，檢測精度和顯示效果較好，表明了工作的有效性。

4 結束語

本文使用深度學習框架和視覺注意力機制實現了對海洋遙感圖像的艦船目標的自動檢測，能夠實現對艦船目標的快速檢測和標定。文中的海洋遙感圖像艦船目標檢測算法使用深度學習實現對遙感圖像的特征提取，相比傳統算法有極大的優勢和提升效果，而且使用視覺注意力機制對算法進行改進，提升了算法的檢測精度和顯示效果，提高了對于海洋艦船目標檢測的定位精度，對海洋目標檢測有重大意義。