基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像目標(biāo)檢測(cè)識(shí)別*

張路青 郭 瑩

（1.海軍駐武漢地區(qū)第七軍事代表室 武漢 430223）（2.武漢數(shù)字工程研究所 武漢 430205）

1 引言

隨著遙感技術(shù)的迅速發(fā)展，各種不同成像方式、不同空間分辨率的遙感平臺(tái)得以涌現(xiàn)，產(chǎn)生了大量遙感圖像。高分辨率遙感圖像作為信息的有效載體，它不僅具備全天時(shí)、全天候、實(shí)時(shí)傳輸?shù)哪芰Γ瑫r(shí)擴(kuò)寬了人的視野范圍，提高了目標(biāo)觀(guān)察精度。艦船作為海上商業(yè)貿(mào)易的重要運(yùn)輸工具以及戰(zhàn)時(shí)易遭受攻擊的重點(diǎn)軍事目標(biāo)，為確保海上監(jiān)測(cè)、救援等非軍事活動(dòng)和軍事任務(wù)的順利展開(kāi)，使用航天遙感衛(wèi)星對(duì)海上艦船動(dòng)向進(jìn)行監(jiān)視，并尋求技術(shù)手段對(duì)遙感衛(wèi)星獲取的圖像數(shù)據(jù)進(jìn)行艦船目標(biāo)的檢測(cè)與識(shí)別，關(guān)乎國(guó)家安全和社會(huì)經(jīng)濟(jì)發(fā)展［1］。開(kāi)展基于遙感圖像的艦船目標(biāo)檢測(cè)和識(shí)別無(wú)論在民用還是軍事領(lǐng)域都有著廣闊的應(yīng)用前景。在民用方面，可以監(jiān)控特定港口或海域的海運(yùn)交通，輔助遇難船只救援，配合安全管理部門(mén)監(jiān)測(cè)和打擊非法捕魚(yú)、非法傾倒油污、走私和海盜等違法行為；在軍事領(lǐng)域，可以監(jiān)視敵方重點(diǎn)港口和海域的艦船部署與動(dòng)態(tài)，分析敵方的海上作戰(zhàn)實(shí)力，評(píng)估戰(zhàn)時(shí)海上打擊效果，形成海上作戰(zhàn)情報(bào)等［2］。

近年來(lái)，隨著GPU 計(jì)算性能的大幅度提升和各大數(shù)據(jù)集的公開(kāi)，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)與識(shí)別算法已經(jīng)逐步取代了傳統(tǒng)算法，成為當(dāng)前主流的目標(biāo)檢測(cè)與識(shí)別算法。目前發(fā)展較為成熟的深度學(xué)習(xí)目標(biāo)檢測(cè)與識(shí)別算法分為兩類(lèi)，分別為以R-CNN［3］、Fast R-CNN［4］、Faster R-CNN［5］為基礎(chǔ)的兩段式和以YOLO［6～8］、SSD［9］為代表的一段式目標(biāo)檢測(cè)與識(shí)別算法，其他算法大多以上述算法作為基礎(chǔ)進(jìn)行優(yōu)化和改進(jìn)。其中兩段式的檢測(cè)算法與傳統(tǒng)的目標(biāo)檢測(cè)與識(shí)別算法類(lèi)似，將目標(biāo)檢測(cè)與識(shí)別作為分類(lèi)問(wèn)題來(lái)處理。首先根據(jù)一系列特征從輸入圖像提取出過(guò)量的候選區(qū)域，然后計(jì)算每個(gè)候選區(qū)域的特征，最后對(duì)各個(gè)候選區(qū)域進(jìn)行分類(lèi)。而一段式的目標(biāo)檢測(cè)與識(shí)別算法則直接將目標(biāo)的定位轉(zhuǎn)化為回歸問(wèn)題處理。由于兩類(lèi)算法在設(shè)計(jì)上的不同，其性能和精度產(chǎn)生了差異，一段式的算法在計(jì)算速度上有著絕對(duì)的優(yōu)勢(shì)，而兩段式的算法則具有較高的定位精度和識(shí)別率。

從上述可以看出，一段式目標(biāo)檢測(cè)與識(shí)別算法在處理速率上是優(yōu)于兩段式目標(biāo)檢測(cè)與識(shí)別算法，但在目標(biāo)檢測(cè)與識(shí)別精度是不及兩段式目標(biāo)檢測(cè)與識(shí)別算法的。而在軍事行動(dòng)中，艦船目標(biāo)的檢測(cè)與識(shí)別精度是核心問(wèn)題，只有保證了識(shí)別信息的準(zhǔn)確性，才能更好地掌握海情態(tài)勢(shì)，輔助指揮員決策。本文以Faster R-CNN 模型為基礎(chǔ)，提出一種基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像艦船目標(biāo)檢測(cè)與識(shí)別方法。

2 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的艦船目標(biāo)檢測(cè)與識(shí)別

海面艦船目標(biāo)在可見(jiàn)光圖像成像中主要表現(xiàn)為大尺度跨度和多方向分布的特征，本文以Faster R-CNN 網(wǎng)絡(luò)模型為基礎(chǔ)，結(jié)合海面艦船目標(biāo)的成像特征，構(gòu)建了一種適用于艦船目標(biāo)檢測(cè)與識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)模型，如圖1 所示，該模型由深度卷積特征提取網(wǎng)絡(luò)、多層次候選區(qū)提取網(wǎng)絡(luò)、多層級(jí)特征融合網(wǎng)絡(luò)、候選區(qū)特征生成網(wǎng)絡(luò)、目標(biāo)精確定位網(wǎng)絡(luò)和目標(biāo)分類(lèi)識(shí)別網(wǎng)絡(luò)六個(gè)模塊組成。

圖1 艦船目標(biāo)檢測(cè)與識(shí)別網(wǎng)絡(luò)框圖

2.1 深度卷積特征提取網(wǎng)絡(luò)

本文構(gòu)建的深度卷積神經(jīng)網(wǎng)絡(luò)通過(guò)大規(guī)模的數(shù)據(jù)擬合復(fù)雜模型，學(xué)習(xí)出艦船目標(biāo)的深層語(yǔ)義特征，更具體的表征待檢測(cè)物體。該網(wǎng)絡(luò)模塊由5 個(gè)處理單元構(gòu)成，如圖2 所示。處理單元分為兩類(lèi)，前兩個(gè)基本處理單元分為一類(lèi)，分別對(duì)輸入圖像進(jìn)行兩次卷積和ReLU 操作之后連接了極大值池化層；后三個(gè)基本處理單元分為一類(lèi)，分別對(duì)輸入圖像進(jìn)行經(jīng)過(guò)三次卷積和ReLU操作之后連接了極大值池化層。

圖2 深度卷積特征提取網(wǎng)絡(luò)

其中，所有的卷積層都使用尺寸為3×3 的卷積核；所有的極大值池化層都使用2×2 池化核來(lái)對(duì)卷積特征進(jìn)行縮放。

2.2 多層次候選區(qū)域提取網(wǎng)絡(luò)

當(dāng)前目標(biāo)識(shí)別模型在多尺度問(wèn)題的處理上較為薄弱，對(duì)小尺度目標(biāo)和大尺度目標(biāo)的檢測(cè)率低。深度卷積網(wǎng)絡(luò)多尺度候選區(qū)域生成技術(shù)從獲選區(qū)域產(chǎn)生步驟入手，使用多尺度候選區(qū)域生成網(wǎng)絡(luò)在不同縮放級(jí)別的卷積特征圖上生成尺度多樣化的初始窗口。

為了適應(yīng)圖像中艦船目標(biāo)任意方向的特點(diǎn)，用以生成不同角度，不同尺度，不同比例的候選區(qū)域。本文結(jié)合Ma等提出的傾斜候選區(qū)域生成網(wǎng)絡(luò)（Rotation Region Proposal Networks）［11］的思想，建立了適于艦船目標(biāo)檢測(cè)與識(shí)別的多層次候選區(qū)域提取網(wǎng)絡(luò)，如圖3所示。

圖3 多層次候選區(qū)域提取網(wǎng)絡(luò)

多層次候選區(qū)域提取網(wǎng)絡(luò)中分別在4 個(gè)不同層級(jí)的卷積特征圖上進(jìn)行了候選框檢測(cè)，這些特征圖在進(jìn)行候選區(qū)域生成前分別進(jìn)行了3 次、4 次、5次和6 次2×2 的最大值池化操作，大小分別為原輸入圖像的1/8、1/16、1/32、1/64。在多個(gè)不同大小的卷積特征圖上進(jìn)行相同窗口大小的滑窗，將獲得與原圖中不同尺度物體相對(duì)應(yīng)的候選框，有效地改善圖像中過(guò)大或過(guò)小尺度目標(biāo)的漏檢問(wèn)題。

針對(duì)遙感圖像艦船目標(biāo)水面姿態(tài)及種類(lèi)的多樣性，在多層次候選區(qū)域提取網(wǎng)絡(luò)中，本文使用了10×2、2×10、4×4、8×2、2×8 五個(gè)不同大小的窗口在卷積特征圖上生成初始候選框，通過(guò)對(duì)五個(gè)大小的卷積核的訓(xùn)練，連接Loss_Conv1、Conv5_3、Conv6_1、Pool6 四個(gè)卷積特征的卷積層將根據(jù)每個(gè)窗口的卷積特征回歸出候選框的4 個(gè)主要參數(shù)，在添加方向控制參數(shù)以控制候選框的方向。在訓(xùn)練階段，回歸出的候選框參數(shù)將與人工標(biāo)注給出的目標(biāo)框進(jìn)行比較，得出每個(gè)候選框的誤差，將誤差反向傳播給前面的每一層，對(duì)每一層的參數(shù)進(jìn)行調(diào)整優(yōu)化。

2.3 多層級(jí)特征融合網(wǎng)絡(luò)

特征的表達(dá)能力是決定分類(lèi)器性能的關(guān)鍵因素之一，更強(qiáng)的表達(dá)能力能夠更具體地描述待檢測(cè)目標(biāo)的特性，減少分類(lèi)器的搜索空間，從而達(dá)到提高分類(lèi)器分類(lèi)精度的效果。深度卷積網(wǎng)絡(luò)多層級(jí)特征融合技術(shù)通過(guò)對(duì)不同深度的卷積特征進(jìn)行特征外推和融合，將深度卷積網(wǎng)絡(luò)學(xué)習(xí)到的低級(jí)、高級(jí)特征進(jìn)行組合，通過(guò)學(xué)習(xí)的手段獲得更適合艦船目標(biāo)表達(dá)的融合特征。

圖像卷積特征分為淺層特征和深層特征，淺層卷積特征主要表示目標(biāo)的表面紋理、形狀輪廓特征；而深層卷積特征則表示了目標(biāo)的語(yǔ)義特征。在RRoI Pooling［10］之間，將不同深度的多層卷積特征進(jìn)行融合，然后在融合特征上進(jìn)行候選區(qū)域特征抽取，得到的候選區(qū)域特征將具有更強(qiáng)的表達(dá)能力。

本文構(gòu)建的多層級(jí)特征融合網(wǎng)絡(luò)如圖4 所示，多層級(jí)特征融合網(wǎng)絡(luò)主要對(duì)分類(lèi)、回歸、反卷積層等全連接層的參數(shù)值進(jìn)行調(diào)整，并在一定程度上微調(diào)特征提取網(wǎng)絡(luò)的卷積核權(quán)值，優(yōu)化特征提取和候選區(qū)域生成效果。

圖4 多層級(jí)特征融合網(wǎng)絡(luò)

loss=αClsLoss+βCoordLoss

其中，類(lèi)別損失是用softmax 分類(lèi)層計(jì)算得出，邊界誤差則是通過(guò)下式計(jì)算的出：

式中(dx,dy,dw,dh)為人工標(biāo)注艦船目標(biāo)邊界框的相關(guān)參數(shù)。

2.4 候選區(qū)域特征生成網(wǎng)絡(luò)

候選區(qū)域特征生成網(wǎng)絡(luò)將多層次候選區(qū)域提取網(wǎng)絡(luò)和多層級(jí)特征融合網(wǎng)絡(luò)的輸出作為輸入，生成每個(gè)候選區(qū)域?qū)?yīng)的卷積特征，并將特征矢量化，為定位和識(shí)別網(wǎng)絡(luò)提供標(biāo)準(zhǔn)化輸入。

2.5 精確定位和分類(lèi)識(shí)別網(wǎng)絡(luò)

為了方便整個(gè)模型實(shí)現(xiàn)端到端的運(yùn)算，在本模型中使用了全連接層來(lái)完成邊界框回歸與候選區(qū)域分類(lèi)任務(wù)。全連接層以全連接的方式連接相鄰的兩層神經(jīng)元，認(rèn)為下一層的輸入與上一層所有的輸入都相關(guān)。全連接層的每個(gè)輸出結(jié)點(diǎn)的輸出值是所有輸入結(jié)點(diǎn)輸入值的加權(quán)和，其計(jì)算公式如下所示：

其中，N為輸入結(jié)點(diǎn)的個(gè)數(shù)，xi為第i個(gè)輸入結(jié)點(diǎn)的輸入值，ωij為連接第j個(gè)輸出結(jié)點(diǎn)對(duì)第i個(gè)輸入結(jié)點(diǎn)的網(wǎng)絡(luò)的權(quán)值。

在訓(xùn)練階段，其網(wǎng)絡(luò)結(jié)構(gòu)圖5 所示。在訓(xùn)練過(guò)程中，使用多任務(wù)聯(lián)合損失函數(shù)訓(xùn)練整個(gè)網(wǎng)絡(luò)模型，通過(guò)聯(lián)合誤差的反向傳播來(lái)調(diào)整網(wǎng)絡(luò)內(nèi)損失層、全連接層以及卷積層的參數(shù)。

圖5 精確定位與分類(lèi)識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)圖

由于艦船所處位置包含靠岸、近岸、離岸，其分布包含單只、并列及復(fù)雜隊(duì)形，這些情況使得艦船目標(biāo)本身可能存在被遮擋問(wèn)題。當(dāng)艦船目標(biāo)部分區(qū)域被遮擋時(shí)，其識(shí)別特征與未被遮擋的艦船目標(biāo)的識(shí)別特征具有一定的差異性。通過(guò)對(duì)艦船目標(biāo)的實(shí)際航行與錨泊狀態(tài)分析得出，根據(jù)艦船目標(biāo)被遮擋的部分進(jìn)行分類(lèi)，可以分為艦艏被遮擋的船只、艦艉被遮擋的船只、左舷被遮擋的船只及右舷被遮擋的船只。為了提高這四類(lèi)部分遮擋船只的檢測(cè)率，本文將候選框分為了四個(gè)部分，如圖6 所示。

圖6 艦船目標(biāo)子區(qū)域劃分

根據(jù)上述的子區(qū)域劃分，對(duì)于任意一個(gè)候選框box，本文所使用的多子區(qū)域聯(lián)合損失函數(shù)定義如下：

loss=lbox+λ(lh,le,ll,lr)

其中，lbox為整個(gè)候選框的損失，lh為艦艏損失，le為艦艉損失，ll為左舷損失，lr為右舷損失，λ為加權(quán)系數(shù)。

3 試驗(yàn)與結(jié)果分析

實(shí)驗(yàn)數(shù)據(jù)部分來(lái)自于公開(kāi)數(shù)據(jù)部分來(lái)自于商業(yè)衛(wèi)星圖像及Google Earth。

3.1 評(píng)估參數(shù)

在進(jìn)行實(shí)驗(yàn)時(shí)由很多評(píng)估參數(shù)，IoU（intersection over union）用以衡量?jī)蓚€(gè)區(qū)域覆蓋程度，即：

在目標(biāo)檢測(cè)中，通常有一個(gè)閾值來(lái)判斷預(yù)測(cè)是否正確。當(dāng)邊界框的預(yù)測(cè)分?jǐn)?shù)大于閾值α?xí)r則為正樣本，反之為負(fù)樣本。當(dāng)IoU 比閾值大時(shí)，檢測(cè)框?yàn)門(mén)P，如果小于閾值時(shí)為FP。FN 指的是模型預(yù)測(cè)框中沒(méi)有目標(biāo)，但實(shí)際上包含目標(biāo)。混淆矩陣如表1所示。

表1 混淆矩陣

采用TPR、FNR、Precision多方位評(píng)估指標(biāo)對(duì)本文測(cè)試結(jié)果進(jìn)行評(píng)估，計(jì)算公式如下。

其中，TPR 為真正率、FNR 為假負(fù)率、Precision 為精準(zhǔn)率。

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)設(shè)置如表2所示。

表2 實(shí)驗(yàn)環(huán)境配置和參數(shù)設(shè)置

3.3 實(shí)驗(yàn)結(jié)果

針對(duì)實(shí)驗(yàn)數(shù)據(jù)，在已有的測(cè)試集中隨機(jī)抽取800 張圖片作為測(cè)試圖片，根據(jù)得到的測(cè)試結(jié)果，測(cè)試該800張圖片共耗時(shí)156800ms，平均的檢測(cè)時(shí)間為196ms，采用TPR、FNR、Precision 評(píng)估結(jié)果如表3所示。

表3 艦船目標(biāo)檢測(cè)與識(shí)別結(jié)果分析

為了對(duì)模型進(jìn)行充分測(cè)試，本文針對(duì)不同的海面場(chǎng)景進(jìn)行檢測(cè)識(shí)別測(cè)試，圖7 給出了三種不同的海面場(chǎng)景下艦船目標(biāo)檢測(cè)識(shí)別結(jié)果。

圖7 不同海面情況下艦船目標(biāo)檢測(cè)結(jié)果

圖7（a）為一艘靠岸民船，檢測(cè)結(jié)果與實(shí)際結(jié)果一致，識(shí)別為民船的置信度為0.8694。圖7（b）中為多艘艦艇泊岸檢測(cè)，檢測(cè)結(jié)果如表4所示。

表4 圖7（b）艦船目標(biāo)識(shí)別結(jié)果

結(jié)合表4 和圖7（b），從檢測(cè)結(jié)果可以看出，圖像中所有艦船目標(biāo)均正確檢測(cè)出來(lái)，但是將目標(biāo)4錯(cuò)誤地識(shí)別為驅(qū)逐艦。圖7（c）為兩艘船泊岸檢測(cè)，從檢測(cè)結(jié)果看，雖然圖片中的艦船目標(biāo)部分缺失，但仍然能準(zhǔn)確定位并識(shí)別出目標(biāo)，識(shí)別結(jié)果與實(shí)際目標(biāo)類(lèi)型一致。

4 結(jié)語(yǔ)

針對(duì)遙感圖像中目標(biāo)方向、目標(biāo)大小、拍攝角度及場(chǎng)景的多樣性導(dǎo)致遙感圖像艦船目標(biāo)檢測(cè)與識(shí)別精度不高的問(wèn)題，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的艦船目標(biāo)檢測(cè)與識(shí)別方法，該方法提高了卷積神經(jīng)網(wǎng)絡(luò)對(duì)旋轉(zhuǎn)變換的魯棒性，通過(guò)多層次候選區(qū)域提取技術(shù)減少了目標(biāo)的漏檢情況，采用多層級(jí)特征融合提取表達(dá)能力更強(qiáng)的融合特征，使得在艦船目標(biāo)的檢測(cè)與識(shí)別中展現(xiàn)出較好的效果。從實(shí)驗(yàn)示例可以看出，雖然在不同情況下本文方法均能正確的檢測(cè)出圖像中的艦船目標(biāo)，但是在目標(biāo)識(shí)別時(shí)還是存在錯(cuò)誤的分類(lèi)。下階段的工作需要繼續(xù)對(duì)艦船目標(biāo)的識(shí)別能力進(jìn)行優(yōu)化，使得模型的整體性能進(jìn)一步提升。