Faster R-CNN模型在遙感圖像飛機目標檢測中的應用

常鵬飛，段云龍

(中國電子科技集團公司第二十七研究所，河南 鄭州 450047)

0 引言

隨著衛星遙感技術及計算機視覺技術的發展和應用，遙感圖像中的目標檢測成為研究的熱點[1-2]。利用遙感圖像高效快速地檢測出飛機等典型的高價值目標在模式識別、偵察探測等領域具有很高的應用價值，同時也是遙感智能處理領域的重點研究問題。

多年來，國內外許多學者對遙感圖像中飛機檢測技術進行了廣泛而深入的研究，取得了一定的成果。Guang Shu利用顏色、紋理和亮度等低層特征構建顯著圖實現飛機粗定位，訓練AdaBoost級聯分類器，提取harr特征實現目標檢測[3]；李新德等人提出了利用DSmT進行多特征融合后用PNN進行分類的飛機目標識別方法[4]；蔡紅蘋等人提出了一種基于目標輪廓與灰度特征的圓周頻率濾波法來實現飛機目標的檢測[5]。雖然上述傳統算法在一定程度上解決了遙感圖像中飛機目標檢測的問題，但是這些傳統算法依然存在特征難以設計選取、處理過程繁雜、識別精度低以及泛化能力差等不足。

近年來，隨著深度學習方法的異軍突起，基于深度學習的方法在推薦系統、智慧城市和計算機視覺等領域取得了令人矚目的成績，成為學術界和工業界研究的熱點[6-8]。同時，深度學習方法在推動自然場景圖像目標檢測技術的發展過程中起到了重要作用。與傳統方法相比，深度學習方法是一種端到端模型結構，可以學習到更豐富的語義信息和高層次的圖像特征表征，免去了以往繁瑣的數據預處理、特征提取和參數調優等過程，同時能較好地免除復雜背景的干擾，提高檢測精度，具有較強的魯棒性和泛化能力。與R-CNN[9]，SPP[10]，Fast R-CNN[11]等其他基于目標候選區的目標檢測深度卷積神經網絡模型相比，Faster R-CNN模型[12]在目標檢測精度和檢測速度上具有明顯優勢。2015年，Faster R-CNN模型在COCO目標檢測比賽中取得第一名的優異成績，并且在PASCAL VOC 2007和PASCAL VOC 2012上也有十分突出的表現。Faster R-CNN是目前最準確、快速的目標檢測模型之一。

雖然深度卷積神經網絡模型Faster R-CNN在自然場景圖像目標檢測任務中取得了優異的表現，但是由于缺乏公開且成熟的專門針對遙感圖像飛機目標檢測的數據集，導致將Faster R-CNN模型用于遙感圖像飛機目標檢測的應用研究相對較少。鑒于此，本文構建了全新的遙感圖像飛機目標檢測數據集Airplane-2018，并基于該數據集進行FasterR-CNN模型的遷移學習訓練。實驗結果表明，該方案可以較好地適應遙感圖像飛機目標檢測的應用研究。

1 Faster R-CNN模型

R-CNN和Fast R-CNN等基于目標候選區的目標檢測模型中，目標候選區提取步驟獨立于整個深度網絡單獨存在，且難以融入GPU運算，成為限制檢測速度的瓶頸。針對以上問題，Shaoqing Ren等人提出了Faster R-CNN模型，該算法引入區域生成網絡(Region Proposal Networks，RPN)來進行目標候選區的提取。

Faster R-CNN模型主要由2個模塊組成：RPN候選區生成模塊和Fast R-CNN檢測模塊，如圖1所示。具體又可以細分為4個單元：卷積層單元、區域生成網絡單元、RoI池化單元以及分類和回歸單元。

① 卷積層單元：包括一系列卷積和池化操作，用于提取圖像的特征，卷積層單元的權值參數為RPN候選區生成模塊和Fast R-CNN檢測模塊共享；

② 區域生成網絡單元：生成目標候選區，用于后續的目標檢測與識別；

③ RoI池化單元：綜合卷積層特征和目標候選區的信息，將目標候選區在輸入圖像中的坐標映射到最后一層特征中，對特征圖中對應區域進行池化操作，得到固定大小的池化結果；

④ 分類和回歸單元：用于判斷目標候選區的類別并預測其準確位置。

圖1 Faster R-CNN模型框架

Faster R-CNN模型將目標候選區的提取、深度特征提取、目標檢測和識別過程都融入到一個端到端的深度網絡模型中。所有的過程都可以在GPU中運行，從而在不降低檢測精度的情況下，大大提高了檢測速度。

2 微調預訓練模型

2.1 Airplane-2018數據集

在遙感圖像飛機目標檢測的應用研究方面，目前缺乏公開且成熟的專門針對遙感圖像飛機目標檢測的數據集。因此，本文構建了遙感圖像飛機目標檢測數據集Airplane-2018。Airplane-2018數據集從Google Earth上人工截取不同國家機場的衛星圖像，如圖2所示。每幅影像大小在66×51個像素到 3 072×2 480個像素之間，分辨率在0.3～2 m之間。數據集構建過程中，為了增加數據集的多樣性和適用性，盡量采集了來自不同傳感器，且在不同時間、不同季節、不同光照強度和不同成像視角的圖像。

圖2 機場圖像截取

深度學習訓練過程中，為了防止過擬合現象，需要進行數據擴充[13]操作。常見的幾種數據擴充方式有隨機裁剪、旋轉變化及色彩抖動等，過程如圖3所示。經過數據擴充，獲得數據集共計3 410幅圖像，15 056個飛機樣本。Airplane-2018數據集部分圖像樣例如圖4所示。由圖4中可以看出，數據集Airplane-2018數據集中圖像場景較為復雜，飛機目標在整幅圖像中所占比例小，且圖中含有大量背景目標，如跑道、機庫和登機樓等。

圖3 數據擴充

圖4 Airplane-2018數據集部分圖像樣例

本文使用開源軟件LabelImg對圖像中的飛機目標人工進行標注，使用矩形框框選飛機目標，生成的標注信息自動保存在XML文件中，如圖5所示。

圖5 飛機目標區域信息標簽提取

標注信息中最重要的是、和