基于深度卷積神經網絡的遙感影像目標檢測

孫梓超，譚喜成，洪澤華，董華萍,3，沙宗堯，周松濤，楊宗亮

(1.武漢大學遙感信息工程學院，湖北 武漢 430079； 2.上海機電工程研究所，上海 201109；3.城市空間信息工程北京市重點實驗室，北京 100038)

0 引言

高分辨率遙感影像的目標檢測是計算機視覺識別、數字影像處理等技術在遙感領域的重要應用[1-2]，被廣泛應用于軍事偵察、國土資源監測、違章建筑及違法用地識別等領域。傳統遙感影像目標檢測方法一般基于影像處理技術，如幾何特征提取、紋理選擇、影像分割，在此基礎上用對比匹配的方法識別目標。該方法需要充分的特征工程建設，計算量大，工作流程復雜，檢測準確率和效率較低，難以滿足實際應用中對檢測質量和效率的要求[2]。近年來，深度卷積神經網絡在影像檢測識別等領域表現出較大優勢，該網絡能根據標注，從海量影像中有效提取目標底層特征并進行訓練。目標對象的各種特征幾何關系被網絡不斷學習和優化，最終得到目標的高層深度特征[1]，能準確檢測影像中的目標。本文基于深度卷積神經網絡，設計了一種遙感影像目標檢測方法，并以飛機、油罐目標為例，建立一個通用的遙感影像目標檢測網絡，在測試數據集上取得了較高的準確率和置信度。

1 研究現狀

深度卷積神經網絡是近年來深度學習應用到影像分類、識別等方面的一個重大成果。卷積神經網絡最早可追溯到1998年提出的LeNet-5，LeNet-5是第一個多層結構神經網絡模型，其訓練過程采用反向傳播算法[3-5]。與傳統的全連接神經網絡相比，LeNet-5增加了卷積層和池化層(降采樣層)。卷積層對影像進行逐像素特征提取，和前一層局部連接且參數共享，既保證了對影像特征的充分提取，又合理減少了參數數量；池化層降低了輸入到下一層的數據維度，從而降低了整個網絡的復雜度。然而，在實際應用中，隨著網絡結構深度加深，參數數量逐漸增多。同時，受制于當時的硬件計算能力且缺乏大型訓練數據集，訓練中經常出現過擬合現象，網絡模型訓練所得的參數只在訓練數據集上表現良好，而在其他數據集上效果一般，可擴展性低。在此背景下，HINTON等[6]于2006年提出了對待訓練參數進行預訓練的初始化方法，該方法比隨機初始化待訓練參數的方法效果更好。隨著計算機硬件技術的突飛猛進，以及政府、企業等組織保有數據量的不斷增大，深度卷積神經網絡迎來了發展高峰。2012年，KRIZHEVSKY等[7]設計了AlexNet模型，用一種整流線性單元(ReLU)來解決梯度消失問題，以Dropout[8]正則化技術防止過擬合，同時使用GPU作為網絡訓練的硬件計算單元，大幅度提高了訓練速度。該網絡模型在ImageNet圖片分類比賽中將錯誤率從26%降低到15%。目前常用的深度卷積網絡有VGG16、ResNet、Inception、Xception等。

深度卷積神經網絡雖然在影像分類和識別領域取得了較大成就，但在目標檢測中，不僅需要識別出影像中的目標，還需要檢測出目標在影像中的位置，這對普通的深度卷積神經網絡而言較為困難[9]。與此同時，對于復雜的影像如遙感影像，一張影像可能存在不同數量的多種目標，如何識別出不同目標的種類并以包圍框形式準確標定目標在影像中的位置，也成為深度卷積神經網絡無法解決的難題。在此背景下，GIRSHICK[9]提出了區域卷積神經網絡(RCNN)。RCNN相比傳統目標檢測方法，顯著提高了檢測準確率和效率，以PASCAL VOC數據集為例，檢測精度從35.1%提高到了53.7%。

但RCNN也存在如下問題：1)候選區域影像預先提取，會消耗大量存儲空間；2)每個候選區域均輸入卷積神經網絡(CNN)計算，存在大量交疊區域，重復進行特征提取會浪費資源。針對此，GIRSHICK團隊在原有基礎上提出了Fast-RCNN[9-10]，其結構設計更精巧，利用對輸入圖片的大小歸一化操作和均勻切割候選區域完成對應步驟，大大減少了每張圖片的候選區域數量，顯著提高了網絡訓練速度[10]。

之后，GIRSHICK團隊又提出了Faster-RCNN[10-11]，相比RCNN和Fast-RCNN，其進步在于將目標檢測的4個步驟統一在一個網絡結構中。目標特征提取使用一個深度卷積網絡，如VGG16、Inception、ResNet，在候選框生成和類別判斷中共享特征參數，大大減少了重復計算，利用區域生成網絡完成候選區域選取，進一步加快了訓練和測試速度，實現了與GPU的完全兼容，是目前最準確、快速的目標檢測方法之一。

RCNN的發展變化如圖1所示。

圖1 RCNN的發展過程Fig.1 Development process of RCNN

2 基于Faster-RCNN的目標檢測方法

2.1 Faster-RCNN目標檢測過程

Faster-RCNN目標檢測過程可分為如下4個步驟：

1)利用CNN對圖片進行特征提取，生成特征圖(feature maps)。

2)在步驟1)生成的特征圖基礎上用區域推薦網絡(region proposal network，RPN)進行候選區域生成，該網絡用softmax激活函數通過每個候選框中心錨點(anchor)判別該候選框屬于背景還是目標，再通過矩形框回歸對錨點修正獲得精確的候選框(proposals)。

3)Roi Pooling層獲得步驟1)、2)中的產生的feature maps和proposals，綜合得出輸入圖片中可能為目標的部分及該部分在原圖中的相對位置，稱為proposal feature maps，并輸入全連接層進行目標所屬類別判斷。

4)全連接層判斷步驟3)中傳入的每個proposal feature maps類別，并再次通過矩形框回歸獲得更精確的目標矩形框，完成目標檢測過程。

Faster-RCNN流程如圖2所示。作為Faster-RCNN目標檢測方法中的2個重要組成部分，CNN和RPN分別解決了目標是什么和目標在哪里的問題。

2.2 CNN結構

CNN是深度學習方法應用到遙感影像目標檢測領域的理論和技術基礎，盡管CNN在3種RCNN中的位置和具體結構略有不同，但其作用均是進行物體特征提取和訓練。CNN結構中的主要組成部分包括卷積層、池化層、全連接層、激活函數。以本次實驗使用的VGG16網絡為例，其結構如圖3所示。

卷積層用于圖片特征的提取，其實現依賴于卷積核，如圖4所示。卷積核在一幅5×5的影像上按從左到右從上往下進行逐像素卷積，將輸入影像中的一個3×3子區的特征聚合為輸出影像中的一個1×1子區。這樣做可使產生的特征圖中相鄰神經元共享大部分輸入，保留圖像中目標的大部分特征。遙感影像中，目標與背景在紋理、范圍等方面的差異在圖片中表現為像素規律的差別，這種差別通過多層卷積核提取后轉化為特征圖上的黑色背景和非黑色的目標抽象線條，從而達到獲得目標特征的目的。

圖2 Faster-RCNN流程Fig.2 Flowchart of Faster-RCNN

圖3 VGG16網絡結構Fig.3 Network structure of VGG16

圖4 卷積層示意圖Fig.4 Schematic diagram of convolution layer

池化層又稱為降采樣，在卷積后繼續降低參數數量和模型復雜度，同時進行特征壓縮，提取主要特征。常用的池化操作方法有最大池化法和平均池化法[12]。最大池化示意圖如圖5所示，其中尺寸為2×2的過濾器以2為步長在輸入特征圖上進行滑動，輸出由每個相鄰2×2區域中最大值組成的特征圖，從而達到降低參數數量和提取主要特征的目的。

遙感影像具有數據量大、圖片蘊含信息復雜等特點，因此在CNN中合理使用池化層能大幅度降低計算參數，提高檢測速度。遙感影像中目標和背景的像素值普遍存在差異，選擇合理的池化層舍去的信息絕大多數是無用信息，對網絡的識別能力影響很小。

全連接層在整個CNN中起“分類器”作用，在實際使用中，全連接層可由卷積操作實現，相當于卷積核為1×1的卷積層[8]。本實驗中，圖片經過Roi Pooling處理后，全連接層對其中包含的目標進行種類識別。

激活函數是非線性函數，用于在CNN中加入非線性元素。卷積層、全連接層計算完成后，一般會將結果通過某個激活函數轉換為非線性形式，以此來增加網絡的表達和泛化能力[8]。目前，大多數卷積神經網絡均采用ReLU[12]作為激活函數。

2.3 RPN結構

生成目標候選區域的質量直接影響到目標檢測任務的準確率，是區域卷積神經網絡中至關重要的一環，也是其與傳統卷積神經網絡的重要區別。在RCNN和Fast-RCNN中，候選區域生成采用選擇搜索的方法，利用劃窗對每幅影像提取約2 000個候選區域[9-10]。

在Faster-RCNN中，用RPN改進候選區域的生成。RPN是全卷積的網絡，在提取特征的CNN后，實現特征參數共享，大大減少候選區域選取過程和特征提取過程中的重復計算，做到了端到端的目標檢測，形成了統一的區域卷積神經網絡結構[11]。RPN包括1個過濾器尺寸為1×1的卷積層和2個平行的全連接層。RPN與選擇搜索均用劃動窗口策略生成候選區域，但RPN的劃動窗口操作與選擇搜索不同，在卷積層特征圖上進行，經過卷積池化操作，維度縮小了256倍。

在卷積層特征圖上，基礎劃窗尺寸為3×3，以每個劃窗的中心點為錨點，通過錨點，按不同的縮放倍數和長寬比例得到不同大小的劃窗尺寸，以適應待檢測目標大小和比例不一的情況。常用的公共基準窗口有3個倍數(1，2，4)和3個比率(0.5，1，2)，因此可得9個尺寸的劃窗，如圖6所示。利用上述方法，對每個錨點用不同尺寸的劃窗劃動生成不同尺寸的候選區域，這些候選區域經過RPN網絡中的一層卷積后轉換為256維的全連接特征，再分別輸入2個全連接層用于判別目標是否存在，并進行后續的矩形框位置回歸計算[11]，上述過程即RPN的工作原理，如圖7所示。判別目標是否存在的具體方法為以候選標注框與人工標注框交并比為依據，對每個人工標注框，取與其交并比最大的候選框為正樣本，小于某一閥值的候選框為負樣本。

圖6 不同尺寸劃窗的獲取Fig.6 Acquisition of sliding windows with different dimensions

圖7 RPN工作原理示意圖Fig.7 Schematic diagram of operating principle of RPN

3 飛機目標檢測實驗

3.1 數據及實驗過程

飛機、油罐的遙感影像數據集使用RSOD-Dataset[13-14]，標注方法與Pascal數據集一致，飛機圖像大小為1 044×915，油罐圖像大小為1 075×923，如圖8所示。本次實驗所使用的遙感影像均為對地俯視圖，未發生形變現象，為目標檢測提供了便利。同時，待檢測目標大小在30×30到150×150范圍內，相對圖像尺寸較小，且不同目標彼此大小差異較大，增加了準確檢測的難度。本實驗基于谷歌TensorFlow框架[15]，用數據集轉換工具將遙感影像轉換為TensorFlow可使用的數據集形式，上述數據預處理流程如圖9所示。

圖8 數據集圖片實例Fig.8 Examples from image dataset

圖9 數據預處理流程Fig.9 Flowchart of data preprocessing

網絡模型的訓練使用NVIDIA GEFORCE GTX1060顯卡，因此需在Windows10系統上搭建cuda8.0+cudnn6的GPU運算環境。用基于pascal數據集預訓練的Faster-RCNN模型進行定制訓練，設待檢測目標類別為2，學習率為0.002%，初步訓練100 000輪，將訓練參數存儲到本地，并導出為靜態網絡參數模型以備后續測試[16]。在測試數據集上進行網絡測試，測試結果如圖10所示。

圖10 測試結果樣例Fig.10 Samples of test results

3.2 討論

針對每張測試圖片，本文采用了一種直觀的目標檢測置信度計算方法，即檢測目標置信度之和除以每張圖中實際的目標數目，并定義未檢測到的目標和檢測錯誤的目標，置信度為0，有

(1)

式中：P為每張圖的檢測置信度；j為圖中實際的目標數目；Cj為每個目標的檢測置信度。

用式(1)對測試結果進行統計，總平均置信度為98.4%。同時，所有測試圖片中每個目標均被框出，檢測準確率達到100%，較之傳統遙感圖像目標檢測方法有較大提高。

本實驗中，影響檢測準確率的因素主要有：

1) 訓練數據集規模較小。訓練數據中遙感影像的光照、天氣等過于接近，飛機種類、顏色、角度基本相同，網絡泛化能力較弱。

2) 存在過擬合現象[17-18]。這是因為借用了谷歌發布的預先訓練的Faster-RCNN模型，模型內部已存在的參數對訓練有一定影響。

3) 測試用例分辨率參差不齊。在不經影像處理的情況下，檢測準確率受到較大影響。

后續研究可從上述3方面入手，擴大數據規模，覆蓋多環境下的飛機遙感影像，并改進網絡模型結構，以獲得更好的檢測效果。特征提取部分使用不同的深度卷積網絡以獲得更好的提取效果。用控制變量的思想，對初始學習率進行微調，對比不同學習率下的檢測準確率，探索模型初始參數對檢測效果的影響[19]。

4 結束語

本文詳細介紹了深度卷積神經網絡的一種變體—區域深度卷積神經網絡，并以飛機、油罐的遙感影像為例，用Faster-RCNN區域卷積神經網絡進行目標檢測，提高了檢測的準確率和置信度。本文使用的目標檢測方法擴展方便，使用包含多種目標的數據集進行網絡訓練可使網絡具備檢測不同目標的能力，在遙感影像解譯和快速信息獲取等方面有著廣闊的應用前景。本文使用的方法仍存在一些不足，如在不同光照、地形、天氣等外部因素影響下，檢測各種地物的遙感影像較為困難，在處理海量遙感數據時如何顯著提升效率也仍待解決。隨著遙感技術、芯片技術的發展，用于訓練的數據集規模和訓練所用的硬件設備計算力都會有較大提升，給相關研究帶來了新的可能。