改進RetinaNet模型的小目標檢測

吳正平，張程鵬，雷幫軍*，趙俊臣

(1. 三峽大學計算機與信息學院，湖北 宜昌 443002；2. 三峽大學水電工程視覺監測湖北省重點實驗室，湖北 宜昌 443002)

1 引言

隨著深度學習技術的不斷發展，目標檢測技術已經廣泛應用到了智能交通、智慧醫療等領域。小目標檢測作為目標檢測領域中的一個難點，已經成為了研究的熱點方向。計算機視覺領域通常使用兩種方式來定義小目標：根據相對尺寸進行定義和根據絕對尺寸進行定義。根據相對尺寸進行定義時將小目標定義為在256×256的圖像中目標面積小于80像素的目標，即目標面積小于圖像面積的0.12%。根據絕對尺寸進行定義時，以COCO數據集為例，尺寸小于32×32像素的目標即為小目標。當前，小目標檢測面臨的挑戰[1]主要有：1)可利用特征少，低分辨率的小目標可視化信息少，難以提取到重要特征；2)定位精度要求高，小目標由于尺寸小，在預測過程中，預測框偏移一個像素點，與目標框的IOU(Intersection over union)就會出現大的變化；3)數據集中小目標占比少，小目標在圖像中分布不均勻；由于這些問題的存在，小目標檢測仍然是一個具有挑戰的課題。

近年來基于深度學習的目標檢測方法在復雜基準數據集(例如PASCAL VOC和COCO)上的對象識別準確率取得了巨大的進步。基于深度學習的目標檢測算法[2]主要分為兩種不同的解決方式：1)兩階段目標檢測算法；2)單階段目標檢測算法。兩階段目標檢測算法將目標檢測分為檢測與識別兩個階段，第一階段基于目標候選框檢測目標，第二階段通過神經網絡進行識別。而基于回歸的端到端實現目標檢測任務的一體化卷積網絡就稱為單階段目標檢測算法。兩階段目標檢測算法，以區域建議網絡R-CNN[3]算法為代表，逐步衍生出了Fast R-CNN[4]、Faster R-CNN[5]算法，檢測精度得到大幅度提升，但因網絡參數量較大，導致檢測速度較慢。單階段目標檢測算法，以YOLO[6]、YOLO V2[7]、YOLO V3[8]、YOLO V4[9]、SSD[10]系列算法為代表，相比于兩階段目標檢測算法，單階段目標檢測算法在檢測精度上雖然有所降低，但在檢測速度上得到了一定幅度的提升，使得實時檢測成為了可能。

針對小目標檢測中目標體積小，背景雜亂等挑戰，Li等人[11]提出使用生成對抗網絡(Perceptual GAN)來減少小目標和大目標在特征表示上的差距，其中生成器生成小目標的超分表達，判別器能從生成的超分圖形中的檢測獲益量來計算損失值，然后交替地執行生成器和判別器網絡對抗分枝的訓練過程，利用大小目標的結構相關性來增強小目標的表達，使其與對應大目標的表達相似，從而提高小目標檢測性能。為了進一步改進小目標的特征表示，Lee等人[12]提出特征級超分辨率方法，在基本檢測模型的基礎上，引入了四個附加組件：SR特征發生器和鑒別器、SR目標提取器和小預測器。SR特征發生器作為一種基于GAN[13]的模型，利用SR目標提取器的特征作為目標，在SR特征鑒別器的引導下產生高分辨率的特征。

本文模型針對小目標檢測難點所做的工作可總結為三點：一是在ResNet-FPN特征提取模塊中使用密集連接思想改進ResNet[14]，在FPN[15]中使用特征拼接替換特征融合，同時，在數據輸入時采用Overlapping Patches方式，緩解了小目標特征丟失的問題；二是在特征提取模塊的輸出中引入通道注意力和像素注意力模塊，緩解了難以提取重要特征，定位不準的問題；三是在數據預處理時使用Copy-paste[16]數據增強方式緩解了數據集小目標占比少，小目標在圖像中分布不均勻的問題。通過在RetinaNet[17]算法的基礎上進行以上三點改進，有效改善了原始RetinaNet算法中存在的不足。

2 RetinaNet目標檢測算法原理

RetinaNet目標檢測算法是2017由 He提出的一種one-stage深度學習目標檢測算法。標準的RetinaNet目標檢測算法體系結構由4個主要部分組成：a)骨干網絡基于ResNet網絡模型，用于從輸入圖像中提取特征；b)特征金字塔網絡(FPN)，以金字塔形式構建的卷積神經網絡，用于結合網絡上下兩層特征圖的優點；c)分類子網，它從FPN中提取有關對象類別信息，從而解決分類問題；d)回歸子網，它從FPN中提取有關圖像中對象坐標的信息，從而解決回歸問題。標準的RetinaNet目標檢測算法總體架構如圖1，架構細節如圖2。

圖1 標準的RetinaNet目標檢測算法總體架構

圖2 標準的RetinaNet目標檢測算法架構細節

3 注意力機制改進RetinaNet

3.1 總體網絡結構

本文在RetinaNet目標檢測模型基礎上，結合DenseNet[18]網絡模型密集連接的思想和特征拼接思想改進了ResNet-FPN特征提取模塊，同時為了保證檢測精度，引入通道注意力和像素注意力機制模塊，提出了新的RFA-RetinaNet(ResNet-FPN*-Attention-RetinaNet)模型用于交通目標檢測，可以有效的檢測出圖像中的小目標。本文模型總體網絡結構如圖3所示，架構細節如圖4所示。

圖3 RFA-RetinaNet模型總體網絡結構

圖4 RFA-RetinaNet模型架構細節

3.2 數據預處理

在網絡的特征提取階段，采用Resnet50網絡。然而，在本文收集的交通數據集中摩托車的尺寸極小(圖像尺寸的0.02%-0.07%)，通過利用整張圖像去獲得良好的辨別特征非常困難。

標準的Resnet50網絡輸入圖像大小固定(473×473)。因此，將圖像從高分辨率圖像調整到低分辨率圖像(1080×1920到473×473)，會進一步的將小目標的空間分辨率壓縮。隨著網絡的加深，提取到的特征圖中失去小目標的特征信息，導致小目標的漏檢。為了解決這個問題，本文創新地采用了兩種預處理方法：1)對小目標使用隨機粘貼方式進行數據增廣；2)為了避免調整圖像大小，將每張圖像分成四個相互重疊的區域。

圖5 隨機粘貼數據增廣

圖6 將一張圖像分割成四張相互重疊圖像

3.3 改進的ResNet-FPN*網絡

在ResNet網絡中通過一系列下采樣得到的特征圖有{C2，C3，C4，C5}，對應步長分別為{4，8，16，32}。C2層下采樣倍數最小，包含信息最多，為了減少小目標特征的丟失，將C2層與C3層，C4層，C5層進行密集連接。從而可以將更多可辨識小目標的特征納入訓練與檢測，利用更多特征檢測小目標。改進后的結構如圖7。

圖7 改進后的ResNet網絡結構

特征金字塔(FPN)不同層級的特征之間存在語義差異，為了兼顧機器計算能力，很多網絡在設計上，底層特征的通道數較少，特征尺度大，包含的語義信息不夠豐富[19]，往往只得到一些底層信息(如邊緣)；

相反，高層特征，由于經過較多卷積層，通道數往往會比較大，包含較多的語義信息。在將相鄰兩個尺度的特征融合時，FPN首先將高層特征經過1×1卷積進行降維，從而使得它和下面一層特征有同樣的通道數，然后通過2倍上采樣進行尺度上的適配，最終使得兩個特征層的shape完全相同，直接相加進行特征融合。這種特征融合方式存在的問題是，高層特征和底層特征進行適配的過程中，高層特征經過一個1×1的卷積減少通道數，通道數的減少顯然會損失信息。為了避免因為減少通道數而丟失信息，在對相鄰兩層特征進行融合時，只對高層特征上采樣進行尺度上的適配，保持原來的通道數不變，然后對得到的特征進行拼接[20]，最大限度保留高層特征的語義信息。特征拼接過程如圖8。

圖8 改進后的FPN特征拼接過程

為了證明改進后的FPN特征拼接過程的有效性，在不改變RetinaNet其它結構的情況下對兩種方式進行了對比實驗，實驗結果如圖9所示。圖中p3代表原始FPN網絡中的最底層特征圖，p3*代表使用本文特征融合方式的FPN網絡的最底層特征圖。由圖9可以看出隨著目標尺寸的減小，即使是在最底層特征圖上的檢測效果也不理想，但是在采用本文所用方式后小目標的檢測效果有所提升。

圖9 兩種特征融合方式效果對比

3.4 注意力機制模塊

通過RetinaNet在VOC數據集上的實驗數據繪制圖10，小尺寸目標只能在特征金字塔的底層特征圖(P3層、P4層)上被檢測出來。Hu 等人[21]證明了增加小目標周圍的上下文信息可以有效的提高網絡對小目標的檢測率。因此，為了提升對小目標的檢測效果，同時減少計算量，受Hu等人啟發，本文模型在特征金字塔的P3層、P4層引入注意力模塊。

圖10 FPN各層次中的目標尺寸

整個注意力模塊由通道注意力(Channel Attention)和像素注意力模塊(Pixel Attention)組成。

通道注意力機制模塊對輸入的特征圖進行全局平均池化，再分別采用ReLU激活函數和Sigmoid激活函數，進行兩次全連接。通過調整通道的權重，達到選擇更具有價值的特征信息的目的。通道注意力實現如圖12(a)所示。通道注意力模塊中全局平均池化公式如式(1)所示

(1)

式中，Xc(i，j)表示第c個通道在(i，j)位置的值；Hp為全局平均池化函數；Fc為輸入特征圖，大小為W×H×C，gc為全局平均池化之后的注意力矩陣，大小為1×1×C。最終輸出為

(2)

圖11 注意力機制模塊

(3)

(4)

4 實驗結果與分析

在本節中，分別介紹實驗數據集和度量指標，對改進的RetinaNet目標檢測網絡性能進行驗證。

實驗條件：Ubuntu 18.04操作系統，內存(RAM)為16GB，處理器(CPU)為Intel Core i7-4770 @ 3.40GHz八核，顯卡(GPU)型號為NVIDIA GeForce GTX 1660，顯存6GB。

深度學習開發環境為：JetBrains PyCharm Community Edition 2017.2.4 x64，Python 3.6.13，Cuda 10.2，cuDNN 7.6.5，Pytorch 1.2.0。

4.1 實驗數據集和性能指標

本實驗在采集的交通數據集和VOC數據集上進行。

交通數據集原始數據在湖北省宜昌市多個車輛通行較為密集的交通路口使用無人機采集，原始圖片大小為1080×1920像素。本文實驗采用其中1180張圖片，檢測目標設定為小車(car)、公交(car)和摩托車(motorcycle)三類。包含目標總數為40515，其中標簽car的數量為37120，標簽bus的數量為2910，標簽motorcycle的數量為485。主要使用AP和mAP對模型進行評估。

圖12 兩種注意力機制

4.2 實驗分析

1)表1給出了原始基線RetinaNet網絡，改進的Resnet50-FPN*-RetinaNet，Resnet50-FPN-Attention-RetinaNet和RFA-RetinaNet網絡在采集的交通數據集上的目標檢測結果。詳細比較了各個網絡的性能。對于實驗數據的具體分析如下：

(a)由表1，Resnet50-FPN*-RetinaNet

在采集的交通數據集上的目標檢測平均精度均值(mAP)為95.87%，比基線網絡RetinaNet提升了0.59%。

Resnet50-FPN*-RetinaNet對基線網絡RetinaNet的特征提取模塊Resnet-FPN做出了改進，將Resnet50網絡C2層與C3層，C4層，C5層進行密集連接，同時在FPN網絡中用特征拼接代替特征融合。該實驗數據證實：改進的Resnet50-FPN*特征提取網絡減少了目標信息丟失，可以提高目標檢測精度。

(b)由表1，RFA-RetinaNet在Resnet50-FPN*-RetinaNet網絡的基礎上嵌入了注意力機制模塊，可以加強對小目標特征的提取。

RFA-RetinaNet在采集的交通數據集上的目標檢測平均精度均值(mAP)為97.38%，比Resnet50-FPN*-RetinaNet提升了1.51%。

(c)由表1，RFA-RetinaNet在采集的交通數據集上，針對小目標(motorcycle)檢測的AP值為93.07%，比基線RetinaNet網絡提升了4.52%。比Resnet50-FPN*-RetinaNet網絡提升了3.12%。

上述實驗結果表明：本文網絡設計中增加的注意力機制模塊可以學習到通道之間的相關性和像素之間的相關性，篩選出針對通道和像素的注意力，雖稍微增加了一些參數量，但并不影響檢測實時性，且獲得了相對最高的檢測精度。

表1 四種模型的對比結果

2)在VOC2007測試集上，實驗主要是將RFA-RetinaNet目標檢測算法(主干網絡為 ResNet50)的各個類別的AP值與原始RetinaNet算法作對比，具體結果如圖14所示。從圖可以看出RFA-RetinaNet算法的大多數類別的平均精度高于原始RetinaNet算法，特別是bird、bottle、pottedplant等小目標的AP值提升明顯，分別提高了3.6%、2.2%和3.1%。但是boat、bus、sofa的AP值較低于原始RetinaNet算法，其原因在于 VOC 訓練集圖片數量較少，隨著網絡層數的加深，參數量的增加，算法的訓練效果稍低，測試集中含有重疊目標的圖片不易進行檢測。圖15是RFA-RetinaNet和RetinaNet的可視化檢測結果對比。共五組，通過對比可以發現，改進型RetinaNet能夠檢測出更多的小目標，如(a)組和(c)組中的boat盡管存在陰影、光照不足等問題RFA-RetinaNet仍然能夠檢測出來。(b)組中尺寸極小的car，(d)組和(e)組中目標間存在相互遮擋的sheep和bird，RFA-RetinaNet都被檢測出來。

圖13 RFA-RetinaNet模型檢測結果

圖14 改進型RetinaNet算法與基線模型在PASCAL VOC test 2007 上20 類目標的比較

圖15 兩種算法的可視化對比RetinaNet(top)，Ours(bottom)

可見，本文設計的網絡模型在輕微程度遮擋(圖14(d)和圖14(e))、陰影、光照不足(圖14(a)和圖14(c))等情況下對小目標均有較好的檢測效果。因而，本文提出的模型更適用于多種復雜場景中小目標檢測。

3)本組實驗以基于ResNet50-FPN*特征提取網絡的Resnet50-FPN*-RetinaNet目標檢測模型為基線模型，分別在FPN*的不同輸出層引入注意力模塊，在采集的交通數據上進行小目標(motorcycle)檢測效果對比。對實驗結果的影響如表2所示。

雖然在FPN*網絡高層的特征語義信息更為精細，但隨著網絡逐層升高，圖像中小目標的特征語義信息被逐漸淡化。相反FPN*網絡低層小目標的特征語義信息豐富，在低層引入注意力機制模塊可以將注意力集中在感興趣的特征信息上，對提高小目標檢測準確率有積極作用。

從表2可以看出，在FPN*網絡的不同輸出層引入注意力機制模塊，對小目標檢測的AP也不同。在P3，P4，P5，P6，P7五個輸出層上全部引入注意力模塊，小目標檢測的AP反而最低，當只在低層引入注意力機制模塊而不在高層引入時，針對小目標檢測的AP逐漸升高，當在P3，P4分別引入注意力機制模塊時，針對小目標檢測的AP達到最高。

表2 FPN*不同輸出層引入注意力機制對實驗結果的影響

5 結論

針對交通車輛檢測中小目標檢測問題，將RetinaNet目標檢測算法作為基礎檢測算法，提出了新的RFA-RetinaNet目標檢測模型，制作了新的交通檢測數據集。

本文為了解決高空交通數據集中圖像分辨率高，小目標(motorcycle)尺寸小、數量少的問題，為基線RetinaNet目標檢測模型引入了新的數據增強方式，首先使用Copy-paste方式擴充小目標數量，然后通過Overlapping-patches切割高分辨率圖像，減少小目標信息丟失。

在網絡結構方面，通過對ResNet輸出模塊之間的密集連接，使得C2層豐富的語義信息更加高效的向后傳遞。在FPN模塊引入特征拼接，充分融合了金字塔模塊相鄰兩層之間的語義信息。進一步在FPN的P3、P4層引入注意力機制模塊，優化檢測網絡。

檢測實驗結果表明，改進后的模型在構造的交通數據集上，針對car、bus和motorcycle分別取得了99.48%，99.60%和93.7%的AP值。說明了，該目標檢測模型對交通場景中的小目標具有較好的檢測效果，其可以在實際應用中準確識別、分類和定位小目標。

目前本實驗只針對car、bus和motor-cycle三類交通場景中的目標進行檢測，后續考慮增加檢測目標的種類，統計數據集中的大小目標檢測情況。本文模型在FPN的低層輸出引入注意力機制，忽略了高層的語義信息，后續考慮融入高層語義信息，繼續對網絡進行優化，以尋求更好的網絡模型。