凝視視頻衛星目標檢測算法

張作省 朱瑞飛

?

凝視視頻衛星目標檢測算法

張作省1,2,3朱瑞飛4

（1 中國科學院長春光學精密機械與物理研究所，長春 130033）（2 中國科學院大學，北京100049）（3 中國電子科技集團公司第二十八研究所，南京 210000）（4 長光衛星技術有限公司，長春 130000）

為了實現對高分辨率光學遙感視頻衛星成像視場范圍內的飛機目標進行快速高效檢測，提出一種遙感影像快速目標檢測方案。文章借鑒深度卷積神經網絡模型YOLO系列算法高速檢測目標優點，引入端對端式全卷積神經網絡構建檢目標測算法，通過實驗統計和探索光學衛星成像視場范圍大小對目標檢測準確率和檢測速度的影響，結合目標尺度進行網絡調優、改進檢測模型，得到基于凝視成像視頻衛星目標檢測的高效算法。運用算法對來自“吉林一號”光學A星及視頻3星的影像數據集進行目標檢測實驗統計，在413張800像素×800像素的靜態遙感影像測試集中實現76.2%的平均檢測準確率，在同等尺度的遙感視頻序列中實現31幀/s的檢測速度。該算法成功將深度卷積神經網絡技術引入到凝視視頻衛星遙感應用領域，有效證明了深度學習技術在遙感視頻識別領域的可行性。

視頻衛星 目標檢測 深度卷積神經網絡 衛星遙感應用

0 引言

凝視視頻衛星[1-3]作為一種新型對地觀測衛星，采用“凝視”成像方式對某一區域進行連續觀測，即：隨著衛星運動其光學成像系統始終盯著目標區域進行拍攝記錄，可以連續觀察“凝視”視場內變化。從2017年1月由“快舟一號”甲運載火箭發射的亞米級像素分辨率的商用“吉林一號”視頻3星到2017年11月由“長征六號”運載火箭以一箭三星[4-5]方式發射“吉林一號”視頻4、5、6星，凝視視頻衛星快速發展，高分辨率影像[6]數據急劇增加。為充分利用凝視遙感視頻數據，實現對地觀測“凝視”視場內重要目標自動檢測以及進一步開發更智能的遙感解譯系統，從海量高分數據中提取有效特征就成為了其中的關鍵技術。

傳統的目標識別和圖像分割方法很難適應海量數據，其所依賴的特征表達均為人工設計，例如：文獻[7]處理步驟較多因而算法實現時較為耗時；文獻[8]雖能實現實時檢測，但其準確率卻不符合高精度的要求。這些傳統算法強烈依賴數據本身特征，在圖像數據增多時難以滿足高準確率和高效率的雙項指標要求。此外，找到合適的目標特征并設計相應的分類方法是目標檢測和識別的核心。如HOG[9]、SHIT[10]等采用通用特征，往往只能表達圖像中目標的底層特點，在缺少訓練樣本時，難以有效地用于復雜場景，其泛化性能受到嚴重制約。此外，依據具體目標顯著性特點設計良好的旋轉或尺度不變性的模板進行匹配，也能進行有效分類和識別。但這些特征的設計強烈依賴于專業背景知識、模型固化、參數難以調整，在面對新的復雜場景時難以保證較高的準確性。

近年來，深度卷積神經網絡技術（Convolutional Neural Network，CNN）[11]的出現為圖像目標檢測和識別提供新的思路和研究方法。其實質是構建多層結構的機器學習模型對海量訓練數據進行復雜特征的學習，用于之后的分析和預測。因此，其具備強大的影像數據學習能力和高度的圖像特征抽象能力，在諸多圖像領域取得了革命性的成功。

與傳統圖像處理場景相比，遙感影像數據有著很大不同：影像尺度大、視場大、目標小且目標像素分辨率低。對遙感視頻數據進行目標檢測和識別屬于大范圍、小目標、高速度的檢索問題，就檢測和識別的準確率而言，其突出困難主要有以下兩點：

1）目標形態更加復雜。不同尺度、不同排列角度、不同種類以及不同光照分布和采集影像數據時天氣條件的多時相性，使得目標規律性更加難以總結。

2）背景干擾更加明顯。由于光學衛星的成像尺度較大，高分辨率遙感影像數據中會出現更多與目標某些圖像特征相似的背景干擾。例如：機場中在以飛機為目標時，停機坪中的紋理和陰影、復雜的人造建筑區，都給檢測造成了極大干擾。

而近年來，深度卷積神經網絡技術的出現為圖像目標識別提供了全新的方法，并以高準確率廣受關注。將其用于遙感影像數據的動態目標檢測和識別時，最主要的問題是其檢測速度是否滿足實時性的要求。而深度卷積神經網絡YOLO（You Only Look Once，YOLO）[12]在傳統目標識別領域克服了檢測速度的瓶頸，但在識別小目標的任務中精度非常低，其結構建立在犧牲小目標準確的基礎上來提升檢測效率。在YOLOv2[13]網絡的方案中，對傳統場景VOC2007[14-15]數據集中平均像素尺度為600像素×600像素的圖像可達到70幀/s的檢測速度，完全滿足實時性要求，實現目標快速檢測。

本文結合遙感影像特點對YOLOv2網絡結構進行適當改進，通過探索檢測時影像與訓練集影像的相對尺度對檢測模型準確率的影響，首次將深度卷積神經網絡應用于凝視視頻衛星目標檢測，得到適用于凝視視頻衛星的高效目標檢測方法，填補了光學視頻衛星成像領域目標檢測方案的技術空白。

1 遙感目標識別方案

1.1 算法架構

不同于傳統目標識別方法中常用的區域選擇、特征提取、目標分類三個步驟，在YOLO網絡框架中，將目標識別問題轉化為回歸問題。步驟如下：

1）將原圖縮放為448像素×448像素，圖片劃分為7個×7個網格，每一個網格作為一個單元。

2）CNN提取特征和預測：卷積部分提取特征。

3）全連接層預測：每一個單元預測7個包圍框，每個包圍框對應5個參數（包圍框中心位置（）、包圍框的寬、高以及置信值評分）。

其中置信值評分即為構建網絡的損失函數，

4）過濾預測框，通過非極大值抑制合并冗余框。

YOLO（v1）使用全連接層進行包圍框預測，要把維度為1 470像素×1像素的全鏈接層重塑為維度為7×7×30像素的最終特征，這樣會丟失較多空間信息導致定位不準。YOLOv2移除全連接層（以獲得更多空間信息）并借鑒使用Faster-RCNN[16]里的錨定框預測包圍框。如圖1所示，錨定框即通過對卷積特征圖進行滑窗采樣，每個中心預測種不同大小和比例的建議框，在Faster-RCNN中取值為9。由于都是卷積不需要重塑，可以很好地保留空間信息，最終特征圖的每個特征點和原圖每個單元一一對應。

圖1 錨定示意

具體步驟如下：

1）去掉最后的池化層確保輸出的卷積特征圖有更高的分辨率；

2）縮減網絡，讓圖片輸入分辨率為416像素×416像素，目的是讓后面產生的卷積特征圖寬高都為奇數，這樣就可以產生一個中心單元；

3）使用卷積層降采樣（參數為32），使得輸入卷積網絡的416像素×416像素圖像經卷積提取特征后得到13像素×13像素的特征圖；

4）把預測類別的機制從空間位置解耦，由錨定框同時預測類別和坐標。

首先對錨定框的個數和寬高維度進行預選，利用統計學習中的K-means聚類[17]方法，對數據集中的真實包圍框做聚類，找到真實目標框統計規律。這樣得到更具代表性的先驗包圍框維度，以使網絡更容易學到準確的預測位置。以聚類個數為包圍框個數，以個聚類中心框的寬高維度為錨定框的維度。

對來自手工標注的樣本數據庫中的包圍框的寬高（共計12 730組目標框）進行K-means聚類，分別選取5類和9類聚類中心，結果如圖2所示。圖2（a）是5個聚類中心的聚類結果，圖2（b）為9個聚類中心的結果。隨著聚類中心增多，重疊度IOU增大，其復雜度也不斷增加，為了平衡復雜度和IOU最終選取5種聚類中心。以表1所示的5種聚類中心作為網絡訓練時的anchor框取值大小，進行模型訓練。

圖2 聚類結果

表1 聚類中心

Tab.1 Clustering center 像素

最終算法如圖3所示。給定一個輸入圖像，將圖像劃分成S×S的網格，對于每個網格，均預測5個包圍框，每個包圍框對應5個坐標值：中心坐標（x,y），包圍框的寬和高（w,h）以及相應的類別概率值。由于傳統場景圖像尺度與遙感影像尺度相差甚遠，需將遙感影像進行適當的切分以訓練合適的檢測模型。

1.2 面向光學遙感數據的特征遷移學習

在目標識別與圖像分類領域，當訓練一個高識別效率和強泛化性能的深度卷積神經網絡模型時，需要大量帶標簽的樣本數據。之前多數深度學習模型面向自然場景的目標識別任務數據量龐大且取得了非常優秀的成績。根據文獻[18]的結論，在最后一層全連接層之前的網絡層稱為瓶頸層，瓶頸層的輸出節點向量可以被看作任何圖像的一個更加精簡且表達能力更強的特征向量。在新數據集上直接利用訓練好的神經網絡對圖像進行特征提取，再用提取得到的特征向量作為輸入來訓練新的單層全連接網絡處理新問題。

在光學遙感領域鮮有成熟的公開數據集，本文采用遷移學習的方法將在大樣本數據庫預訓練好YOLOv2的模型應用在基于“吉林一號”光學A星的遙感影像數據構成的樣本數據庫中，有效地構建了面向光學遙感影像數據的目標識別和實時動態目標跟蹤的深度卷積神經網絡模型。

YOLOv2低層卷積結構提取圖像的通用特征，如邊緣檢測；中層和高層卷積結構包含識別和分類有關的特征。遷移學習指的是網絡頂層的遷移，最有效的方式是將頂層分類目標替換為飛行器，采用網絡微調的方式利用少量樣本進行訓練實時飛行器目標識別模型。

1.3 針對光學遙感影像數據的目標識別實驗

由于“吉林一號”光學A星的載荷相機每一景成像的大小為20 000像素×20 000像素，像素分辨率為0.72m，影像中機場中的飛機所占像素大致在20像素×20像素至300像素×300像素區間范圍內，在圖中所占比例在0.1%~1.5%的區間范圍。人眼距屏幕距離約為0.5m，考慮視覺系統衍射極限：

圖4 遙感場景切分后的待檢測區域

1.4 靜態遙感影像目標識別仿真

首先，基于靜態光學遙感影像數據進行卷積神經網絡的實驗對127張“吉林一號”光學A星原始影像進行切割，建立樣本集為2 413張800像素×800像素大小的來自全世界各地的機場影像數據，其中2 000張作為訓練集，413張作為測試集。基于此樣本集，分別使用YOLOv2和Faster-RCNN（ResNet）進行訓練并測試，為了更加清楚的表示兩種模型的檢測性能，用P-R曲線來驗證實驗結果。在P-R曲線中，曲線與坐標軸所包圍的面積，代表測試平均準確率（Average Precision，AP）。其定義如下：

式中代表查準率（精準率）；代表查全率（召回率）。定義如式（5）、式（6）：

式中TP表示飛機目標被正確檢測數量；FP表示不是飛機的干擾目標被檢測為飛機的數量；FN表示飛機目標沒有被檢測的數量。

實驗時，得到如圖5所示的曲線。其中，紅色曲線代表YOLOv2結果，對應AP1，藍色曲線為Faster-RCNN（ResNet）的結果，對應AP2。其中橫軸為模型的查全率，縱軸是檢測的查準率。由圖可知，Faster-RCNN（ResNet）的檢測結果要高于YOLOv2，但其在測試集中1.2s/幀的檢測速度遠低于YOLOv2的3.2ms/幀的檢測速度。考慮到視頻影像特點，在實際使用時，YOLOv2更具有借鑒價值。

圖5 PR曲線

對圖4切分得到的3 000像素×2 000像素的影像利用訓練好的YOLOv2模型進行飛機檢測得到如圖6所示的結果。從圖6可以看出，有明顯的漏檢情況發生，一些清晰的目標被遺漏，用黃色框標出，這是難以接受的。由此引發了以下的思考：模型訓練時采用的訓練集尺度與實際使用模型進行目標檢測時使用的圖像尺度，對目標檢測的準確率是否有影響？如果有，這種影響關系怎么體現？

將圖6切分成四塊一樣大的圖像再次進行檢測，切分后檢測效果如圖7所示。對比可以發現檢測效果得到較大提升，在圖7（c）部分三左下角遺漏掉一架紋理和顏色特征不明顯的飛機，并未出現錯檢。由此證明，實際使用時影像尺度對準確率是有直接關系的，需要探究這種尺度關系對模型穩健性的影響。

圖6 整體識別結果

圖7 切分后的識別結果

針對訓練好的檢測模型對不同尺度的遙感影像數據進行檢測的漏檢率與影像相對尺度的關系，進行統計學實驗。對“吉林一號”視頻星拍攝得到的影像分別切分100像素×100像素、200像素×200像素、…、5 000像素×5 000像素各50張，利用訓練好的YOLOv2模型進行檢測。其漏檢率統計結果如圖8所示。由圖可知，當測試集與訓練集的相對尺度大小為100%時，目標的漏檢率最低。當相對尺度低于50%或高于180%時，最終識別結果由于出現漏檢率高于10%的情況，該尺度影像不可使用訓練得到的模型進行直接檢測。

圖8 漏檢率與相對像素大小關系

對“吉林一號”視頻3星遙感視頻影像進行動態目標識別，實驗環境如下：系統Ubuntu16.04，CUDA8.0，cudnn5.1，OpenCV2.4.10，顯卡Quadro K5200。仿真結果如圖9所示，在800像素×800像素的遙感視頻影像中實際實現的識別速度為0.032 3s幀，即可達到31幀s，完全滿足實時性要求。

圖9 遙感視頻實時識別結果

2 結束語

在對遙感影像數據的挖掘中，算法成功將卷積神經網絡技術應用于遙感影像數據目標識別領域。通過構建針對視頻衛星影像的動態目標識別網絡框架，分別對高分辨率靜態影像和動態遙感視頻進行實驗，在800像素×800像素的靜態遙感影像中實現76.2%的識別準確率，同時對視頻序列可實現31幀/s的識別速度。此外，通過實驗統計探索訓練數據集與測試數據集中樣本的相對大小對模型準確率的影響，有效地證明深度學習技術在遙感識別領域的可行性，對于進一步開發遙感視頻衛星實時目標檢測和識別算法具有參考價值。但本文依然存在不足：訓練生成的模型在多尺度的目標識別中存在著明顯的缺陷，如何改進網絡和識別方法以實現多尺度目標的高準確性識別需進一步探索；此外，在保證識別速度的前提下，算法如何提高模型的準確率依然需要進一步改進。

[1] 姚燁, 喬彥峰, 鐘興, 等. 凝視成像降質模型的超分辨率重建[J]. 光學學報, 2017, 37(8): 109-118. YAO Ye, QIAO Yanfeng, ZHONG Xing, et al. Super-resolution Reconstruction of Staring Imaging Degraded Model[J]. Acta Optica Sinica, 2017, 37(8): 109-118. (in Chinese)

[2] 朱厲洪, 回征, 任德鋒, 等. 視頻成像衛星發展現狀與啟示[J]. 衛星應用, 2015(10): 23-28. ZHU Lihong, HUI Zheng, REN Defeng, et al. Status Video Imaging Satellites Development and Inspiration[J]. Satellite Application, 2015(10): 23-28. (in Chinese)

[3] 張曼倩. 吉林林業一號衛星[J]. 衛星應用, 2017(3). ZHANG Manqian. Jilin Forestry-1 Satellite[J]. Satellite Application, 2017(3). (in Chinese)

[4] 科軒. 快舟一號甲成功發射“一箭三星”開啟中國商業航天新時代[J]. 中國航天, 2017(1): 23-24. KE Xuan. KZ-1 Successfully Launched “One Vehicle with Triple-satellites” to Open a New Era of China's Commercial Space[J]. Aerospace China, 2017(1): 23-24.(in Chinese)

[5] 商顯揚, 杜朋, 王桂嬌, 等. 一箭三星發射結構布局及斜推分離技術研究[J]. 強度與環境, 2018, 45(1): 7-11. SHANG Xianyang, DU Peng, WANG Guijiao, et al. Research of Structural Layout and Inclined Separation for One Vehicle with Triple-satellites[J]. Structure & Environment Engineering, 2018, 45(1): 7-11. (in Chinese)

[6] 李果, 孔祥皓. 靜止軌道高分辨率光學成像衛星發展概況[J]. 航天返回與遙感, 2018, 39(4): 55-63. LI Guo, KONG Xianghao. Development of High-resolution Optical Imaging Satellites in Geostationary Orbit[J]. Spacecraft Recovery & Remote Sensing, 2018, 39(4): 55-63. (in Chinese)

[7] 姚遠, 姜志國, 張浩鵬. 基于層次化分類器的遙感圖像飛機目標檢測[J]. 航天返回與遙感, 2014, 35(5): 88-94. YAO Yuan, JIANG Zhiguo, ZHANG Haopeng. Aircraft Detection in Remote Sensing Image Based on Hierarchical Classifiers[J]. Spacecraft Recovery & Remote Sensing, 2014, 35(5): 88-94. (in Chinese)

[8] 王旭輝, 劉云猛, 裴浩東. 基于嵌入式圖像處理平臺的實時多目標識別算法[J]. 科學技術與工程, 2014, 14(3): 227-230. WANG Xuhui, LIU Yunmeng, PEI Haodong. One Real-time Multi-target Recognition Algorithm Based on the Embedded Image Processing Development Platform[J]. Science Technology and Engineering, 2014, 14(3): 227-230. (in Chinese)

[9] DALAL N, TRIGGS B. Histograms of Oriented Gradients for Human Detection[C]//Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on, IEEE, 2005: 886-893.

[10] COMANICIU D, MEER P. Mean Shift: A Robust Approach Toward Feature Space Analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5):603-619.

[11] HINTON G E, SALAKHUTDINOV R R. Reducing the Dimensionality of Data with Neural Networks[J]. Science, 2006, 313(5786): 504-507.

[12] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-time Object Detection[C]//Computer Vision and Pattern Recognition, 2016. IEEE Computer Society Conference on IEEE, 2016:779-788.

[13] REDMON J, FARHADI A. YOLO9000: Better, Faster[C]//2017 IEEE Conference on Computer Vision & Pattern Recognition. Honolulu, USA: IEEE, 2017:6517-6525.

[14] KOBETSKI M, SULLIVAN J. Apprenticeship Learning: Transfer of Knowledge via Dataset Augmentation[C]// Scandinavian Conference on Image Analysis. Springer, Berlin, Heidelberg, 2013: 432-443.

[15] MARKUS K, JORMA L, VILLE V. The 2005 PASCAL Visual Object Classes Challenge[J]. Lecture Notes in Computer Science, 2015, 111(1): 98-136.

[16] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: Towards Real-time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6):1137-1149.

[17] ANIL K. Data Clustering: 50 Years beyond K-means[J]. Pattern Recognition Letters, 2010, 31(8): 651-666.

[18] DONAHUE J, JIA Y, VINYALS O, et al. DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition[C]//International Conference on International Conference on Machine Learning.Eprint arXiv:1310.1531, 2014.

Target Detection Algorithm of Staring Video Satellite

ZHANG Zuoxing1,2,3ZHU Ruifei4

（1 Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China）（2 University of Chinese Academy of Sciences, Beijing 100049, China）（3 The 28th Research Institute of China Electronics Technology Group Corporation, Nanjing 210000, China）（4 Chang Guang Satellite Technology Co., Ltd, Changchun 130000, China）

In order to realize fast and efficient detection of aircraft targets in the field of view of high-resolution optical remote sensing video satellite, a fast target detection scheme for remote sensing images is proposed. Using the detection capability of the deep convolutional neural network model YOLO series algorithm at high speed, an end-to-end full convolutional neural network was introduced to construct a detection algorithm. The influence of optical satellite imaging field of view on the target detection accuracy and speed was explored by experiments and statistics. And then, by tuning network and improving detection model based on the target scale, an efficient algorithm for gaze imaging video satellite target detection was obtained from data of Jilin-1 Optical Satellite and Video Satellites-3, which achieved a detection accuracy of 76.2% in 413 static remote sensing images with 800×800 pixels, and had a detection speed of 31 frames per second in remote sensing video sequence. Deep convolutional neural network technology was successfully introduced into the field of remote sensing applications for staring video satellites,which proved the feasibility of deep learning technology in the field of remote sensing video recognition.

video satellite; target recognition; deep convolution neural network; satellite remote sensing application

TP753

A

1009-8518(2018)06-0102-10

10.3969/j.issn.1009-8518.2018.06.012

2018-04-02

吉林省科技廳重點科技攻關項目（20170204034SF）；國家重點研發計劃（2016YFB0502605）

張作省，男，1993年生，2018年獲中國科學院長春光學精密機械與物理研究所光學工程碩士學位。研究方向為基于深度學習技術的遙感影像目標檢測。E-mail：zhangzuoxing1993@163.com。

朱瑞飛，男，1986年生，2013年獲中國科學院長春光學精密機械與物理研究所博士學位。主要研究方向為基于遙感影像數據挖掘。

（編輯：龐冰）