強化特征提取能力的航拍圖像目標檢測算法?

徐 智 施皓晨 項 超 黎 寧 李海林

（南京航空航天大學電子信息工程學院 南京 211106）

1 引言

近年來，深度學習在視頻圖像領域的研究應用火熱，特別是目標檢測方面。深度學習的吸引力之一來自于對大量標注訓練數據的有效學習，結合硬件加速計算資源的支持，使得其在目標檢測方面取得了一定程度的成功。目前主要存在兩大類別的目標檢測方法：一階和二階目標檢測方法。它們之間的主要區別在于是否存在提取候選區域的級聯模塊。這種級聯模塊可以使網絡有針對性地檢測疑似目標區域的物體，使其精度高于一階目標檢測方法。但由于多了這樣的級聯模塊，會使得模型的復雜度高，在檢測速度上低于一階檢測方法。

二階目標檢測方法中具有代表性的是R-CNN系列檢測方法。Ross Girshick 等相繼提出RCNN［1］和Fast R-CNN［2］，這兩種方法都是通過選擇性搜索方式（Selective Search，SS）來產生目標檢測的感興趣區域。后來，Ross Girshick 等［3］又提出了Faster R-CNN方法，其采用了內嵌的區域候選網絡（Region Proposal Network，RPN）。RPN 網絡相對SS方法更高效，在每張圖上生成感興趣區域僅需要10ms 的 時 間 。 此 外 ，何 凱 明 等［4］提 出 的Mask R-CNN 方法不僅可以應用于圖像分割，也可以用于圖像目標檢測。針對目標檢測，這個方法的優勢在于對ROI pooling 方式的改進。他提出了新的ROI Align 操作，即加入了雙線性插值的方法來精煉感興趣區域，這種操作能顯著提高模型的檢測精度。除了R-CNN系列方法，Dai等［5］提出R-FCN網絡模型，用專門的卷積層構建位置敏感分數地圖來代替Faster R-CNN 的全卷積結構，極大降低了網絡的參數量。此外，Lin 等［6］提出FPN 目標檢測方法，利用特征金字塔思想做目標檢測，在不同尺度特征層進行獨立的目標預測。

一階目標檢測方法雖然在檢測精度上表現欠佳，但其檢測速度非常快。一階目標檢測方法主要包括YOLO 系列［7～9］，SSD 方法［10］，DSSD 方法［11］和RetinaNet 方法［12］。目前，YOLO 系列方法已經更新到YOLOv3，YOLOv3 改進了對小目標的檢測精度，主要是由于使用了ResNet 特征提取架構和多尺度預測方式。但同時模型犧牲了檢測中等目標的性能。YOLOv2 采用了很多技巧，如高分辨率分類器，細粒度特征，批歸一化等等方法，因此它比YOLOv1更好、更快、更強。對于小目標檢測，SSD方法略好于YOLOv1，它參考了YOLOv1 直接預測回歸框位置和目標的分類概率的方式，同時又借鑒了Faster R-CNN 大量使用Anchor boxes 來提升檢測精度。與SSD 方法相比，DSSD 方法使用了更好的基礎網絡（ResNet）和反卷積層，它的跨層連接方式給予淺層網絡更好的特征信息表達。此外，RetinaNet 是一個基于FPN 的檢測網絡，它依靠最終的Focal loss 來解決背景負樣本過多造成類別不平衡的問題。RetinaNet 結構精煉而強大，是目前比較好的一階目標檢測方法之一。

對于航拍視角下的目標檢測，存在背景信息復雜、目標尺度小等問題。針對這些問題，本文提出的方法可以很好地解決這些問題。本算法不僅在數據集上對小目標進行尺度和比例聚類來保證網絡模型對小目標的初始先驗感知，而且引入密集拓撲結構和最優池化策略，利用注意機制思想提高模型對小目標的特征提取能力。此外，本文提出的模型檢測速度快，能進行實時檢測。

2 算法介紹

由于像YOLOv2 這種一階檢測模型結構新穎、應用潛力大，并擁有實時檢測的能力，在檢測精度上具有非常大的提升空間，故本文在YOLOv2 結構基礎上提出新的檢測模型（Dense of You Only Look Once，DOLO），如圖1 所示，其中1/2n(n=0,1,…,5)表示當前特征塊的大小是輸入圖片尺寸的1 2n，故整個網絡共有5 次下采樣過程。且模型中加入ResNet-v1-50預訓練網絡，使初始模型擁有更好的特征提取能力。并針對小目標漏檢問題，本文提出一系列改進方案，適用于航拍視角下地面小目標檢測，并能達到實時檢測的效果。

圖1 DOLO網絡模型

2.1 網格設計和Anchor boxes聚類

由于網絡最終輸出S×S×F 的特征塊，其中S為特征圖的寬或高的尺寸，F 為特征層數。由于5次下采樣，故由特征塊反向映射至原圖可得32S×32S 的網格圖，如圖2（a）所示，其S 值為13。本模型根據1920×1080 大小的航怕圖像原始尺寸將網格設置為18×10，如圖2（b）所示。不等比例的網格設置不僅可以與原始目標比例相適宜，而且增加了橫向網格的數量。精細化的橫向網格設置可以更好地保留小目標的信息特征。

圖2 不同比例的網格設置

Anchor Boxes 的比例尺寸設置在一定程度上借鑒了Faster R-CNN 中的候選區域提取的思想，它將作為每個網格預測回歸框的參考窗口。故本文通過航拍數據集中各種車輛目標的尺寸進行K-Means聚類統計。

如圖3 所示，設計了3 個不同比例及1 個不同尺度的Anchor boxes，分別為1∶1、1∶2、2∶1 以及3∶3。而且根據對網格比例數量的設計，每個網格負責4 個回歸框的預測，其不存在每個網格中目標數量多于回歸框數量的情況，這也確保了模型賦予小目標充足的預測框的能力。

圖3 航拍目標尺寸K-means聚類結果圖

2.2 網絡預測

根據本文對模型的網格設置，最后網絡會輸出18×10×F 的特征塊，如圖4 所示。網絡中某一網格預測的是相對于對應Anchor boxes 的偏移量以及某一類目標的置信度，分別為目標位置信息的偏移量tx，ty，tw，th和置信度to，然后通過以下公式轉換：

其中cx、cy為該網格左上角的坐標，tw、th為對應Anchor boxes 的寬和高，bx、by、bw、bh則為預測的回歸框的位置信息。此外，Pr(object)表示當目標中心落在該網格中時為1，否則為0，IOU(b,object)則表示預測目標的回歸框和真實框之間的交并率信息。

圖4 網絡輸出特征塊示意圖

2.3 特征提取方式強化

為提高對小目標的檢測能力，在連接方式上，YOLOv2 模型提出細粒度特征，即在網絡末端添加一個Passthrough Layer 來連接中淺層特征，但一個跨層連接的方式不足以充分利用到淺層特征；YOLOv3 則利用了ResNet 基礎網絡架構，但隨著網絡的加深，在同一個位置過多使用Addition 方式來疊加信息，則會弱化信息流，一定程度上相當于特征信息的丟失［13～14］。DSOD［15］則采用DenseNet［16］連接思想，將網絡中每一層都直接與前層相連的方式來能實現特征的重復利用。但是DenseNet 的連接方式會使得網絡的參數量隨著網絡深度的加深呈指數增長。故本文提出新的連接方式應用于網絡中的特征提取。

首先，我們定義一個非線性變換組合函數F(x)，具體為

1）通過使用批歸一化（Batch Normalization，BN）對每一層輸入進行歸一化，提高網絡訓練效率。

2）應用ReLU激活函數來增強網絡的非線性擬合能力，降低網絡出現過擬合情況的概率。

3）通過采用尺寸為3×3 的卷積核來提取圖像特征信息。

即：

圖5 CliqueNet網絡結構圖

其次，我們定義密集連接結構，為CliqueNet 連接方式，如圖5 所示。第一階段用于初始化塊中的所有層，從第二階段開始重復細化層。在第一階段，輸入層F0通過單向連接初始化該塊中的所有層，連接每個新的層以更新下一層。從第二階段開始，每一層開始交替更新。由于第二階段得到更好的關注并吸收了更多高級視覺特征，所以僅將第二階段的特征信息作為下一個塊的輸入。除了要更新的頂層之外，所有層都相互連接作為底層，并且他們的相應參數也是相互連接的。因此，第k(k ≥2)循環中的第i(i ≥1)層可以表示為

其中*表示帶參數W 的卷積運算，g(?)為非線性激活函數，Wij在不同階段不斷重復使用。每個層將始終從最近更新的層接受反饋信息。由于每次傳播帶來自上而下的細化，它實現了空間注意機制。這種循環反饋結構可以確保塊中所有層之間的信息傳遞最大化。

最后，為減少網絡模型的參數量，通過采用1×1 的卷積核來縮小Feature Maps 數量，然后對輸出進行池化下采用操作，如圖6 所示。由于針對于隨機初始化的網絡模型，Average Pooling 相比較Max Pooling 能使網絡模型擁有更好的性能［17］，而Max Pooling 又非常適合稀疏化的信息特征（如經過Re-LU 激活函數后的信息特征）［18］。所以，找到最優池化策略是提高小目標檢測精度的關鍵之一。

定義池化操作函數，如下所示：

其中 γ ∈[0,1]，favg(x)為平局池化函數，fmax(x)為最大值池化函數。但是由于γ 的取值極度依賴于交叉驗證實驗，導致其自適應能力差，故我們利用網絡學習來衡量favg(x)和fmax(x)之間的比例值，故式（8）轉化為

其中 σ(?)為Sigmoid 函數，w 為一個可學習的網絡權重參數。

圖6 最優池化步驟圖

3 實驗結果與分析

本文所使用的航拍數據集采集于海拔60m～70m 低空中，包括不同光照強度（晴天、陰天和雨天）、不同路段（高速公路、城市道路和交叉口）以及不同道路走向（橫向，斜向）。本文主要研究的目標為汽車，公交車和卡車這三類車輛目標。

航拍圖像的分辨率為1920×1080，模型的輸入圖片尺寸為574×320。此外，設置初始學習率為0.001，使用Adam 優化器自適應調整學習率。IOU閾值設置為0.5，經NMS操作輸出最終的預測結果。

本文設計了針對航拍小目標檢測的卷積神經網絡，并在航拍數據集中將本文算法與幾種一階的檢測方法進行性能比較，結果如表1 和圖7 所示。從表1 可看到，針對航拍數據集，YOLOv2 方法和SSD300 方法對小目標的檢測效果低于其在PASCAL VOC2007 公共數據集上的性能表現，mAP 值僅達到49.3%和50.9%。對于YOLOv3 模型，它的多尺度預測機制使得其對小目標檢測非常有效，可以達到86.7%的精度，但是其檢測速度卻降低至17fps。對于本文提出的模型，Dense block 表示模型尾部的密集特征塊采用DenseNet 連接方式，而Clique block則表示采用CliqueNet連接方式。

可以看到，本文算法在犧牲較小檢測速度情況下獲得了極大的精度提升，其中DOLO（Dense block）模 型mAP 值 達 到87.1% ，DOLO（Clique block）模 型mAP 值 達 到89.2%。DOLO（Clique block）模型性能較好的原因主要是因為其循環結構的設計融合了注意機制思想，使得模型更加關注局部小目標信息。此外，Faster RCNN 方法雖然能達到較高的檢測精度，但是其檢測速度較慢，僅有15fps。

表1 不同檢測模型性能對比表

圖7 不同檢測模型性能對比圖

通過設置不同的置信度閾值=｛0.50，0.55，0.60，0.65，0.70，0.75，0.80，0.85，0.90，0.95，1.00｝情況下，得到相應的Precision-Recall 圖，如圖7 所示。每條曲線下的面積大小即為對應模型的mAP值。本文所提出的算法在保持較高Precision 值情況下，擁有較高的Recall值，故總體性能較好。

此外，從圖8 可以看到，DOLO（Clique block）模型比DOLO（Dense block）模型目標定位更加準確（如圖中箭頭所示），由于CliqueNet 的連接方式比DenseNet更為精煉獨到，引入了循環結構和注意機制，故能帶來更好的定位精度。

本文做了3 個場景下的車輛目標檢測實驗，如圖9～圖11 所示，對比了原始YOLOv2 模型、SSD300模型和本文模型DOLO（Clique block）。可以看到，YOLOv2 模型檢測結果較差，漏檢現象嚴重，特別是在車輛目標較多的情況下。SSD 模型的檢測結果相比較YOLOv2 表現較好，但同樣存在漏檢現象。本文改進的模型對小目標檢測擁有比較好的魯棒性，即使在小目標半遮擋的情況下也能將其檢測出來，對車輛漏檢可能性比較小。

圖8 模型檢測結果對比

圖9 場景一下不同模型檢測結果對比圖（YOLOv2（a，d）、SSD300（b，e）和DOLO（Clique block）（c，f））

圖10 場景二下不同模型檢測結果對比圖（YOLOv2（a，d）、SSD300（b，e）和DOLO（Clique block）（c，f））

圖11 場景三下不同模型檢測結果對比圖（YOLOv2（a，d）、SSD300（b，e）和DOLO（Clique block）（c，f））

4 結語

本文針對航拍目標的特點，分析設計了針對于小目標檢測的神經網絡模型。設計了結合密集拓撲結構和最優化池化策略的特征提取模塊，極大地提高了模型對小目標特征提取能力，使模型在保持現有檢測速度的情況下增強了對小目標檢測的魯棒性。此外，針對樣本類別不均衡情況下的目標識別，本模型仍存在很大的探索空間，需要進一步對模型結構做出改良。