基于注意力機制和特征融合改進的小目標檢測算法

麻森權 周 克

(貴州大學電氣工程學院 貴州 貴陽 550025)

0 引 言

目標檢測是計算機視覺的基本任務之一，廣泛應用于無人駕駛、安全系統(tǒng)和瑕疵檢測等領域。隨著卷積神經網絡(CNN)的快速發(fā)展，Girshick等[1]提出了一個R-CNN框架，將目標檢測問題轉化為分類問題。在此框架中，使用選擇性搜索[2]提取候選區(qū)域提議，然后，CNN從候選區(qū)域提議中提取特征，最后，R-CNN通過支持向量機(SVM)分類器對這些特征進行分類，并對候選區(qū)域提議執(zhí)行邊界框回歸。R-CNN是目標檢測的開創(chuàng)性工作。結果表明，R-CNN比使用手工設計功能的傳統(tǒng)方法要好得多。為了提高效率并處理任何大小輸入，Gir-shick進一步提出了FastR-CNN[3]框架，該框架顯著提高了R-CNN的效率和準確性。FastR-CNN采用感興趣區(qū)域(ROI)池化策略，允許網絡以更快的速度提取任何大小的提議窗口上的高級特征。然而FastR-CNN也使用選擇性搜索來提取候選提議，并且特征提取和對象分類的過程是分開的。Ren等[4]提出了FasterR-CNN網絡，其中候選區(qū)域提議由RPN(RegionProposalNetwork)提供。該方法可以訓練端到端網絡，并實現更好的檢測性能。但是，在一組卷積和池化層之后，FasterR-CNN中最后一個卷積層的特征映射很小。在最后的特征映射中，原始圖像中的對象也小得多，難以定位，因此FasterR-CNN無法很好地解決小對象檢測問題。同時，完全卷積網絡(FCN)[5]已經被提出并被證明擅長語義分割任務。FCN中，結合卷積和池化的網絡接收圖像并輸出特征圖，特征圖使用解卷積圖層來獲取與輸入圖像大小相同的輸出圖像。最后，比較輸入圖像和輸出圖像以獲得基于像素的分割結果。FCN在PASCALVOC分割方面取得了良好的效果[6]。通過FCN網絡，輸入圖像將被下采樣，最后一個特征圖比輸入圖像小32倍。因此，不可能直接進行語義分割。但是，它使用反卷積層將要素圖上采樣到與原始圖像相同的大小。最后，它對最后一個特征圖的每個像素進行分類，以獲得分割結果。從FCN的網絡結構中，反卷積層將恢復在提取特征的過程中容易丟失的信息。

Redmon等[7]提出了YOLO(YouOnlyLookOnce)算法，該算法是端到端網絡架構，網絡的輸入是圖像內容，輸出是邊界框和相關類概率的信息。YOLO的第三個版本——YOLOv3[8]，將高級網絡與低級網絡連接起來，從高級功能和早期功能圖中的細粒度信息中獲取更有意義的語義信息。這種信息融合方式在一定程度上提高了小物體的檢測性能。然而，這樣的設計沒有充分利用低級信息，并且缺乏多樣的接受領域。因此，它在檢測小尺寸和易于聚類的對象方面很弱。

在端到端的單級目標檢測算法中，Liu等[9]提出一種SSD算法，該算法兼顧了YOLO算法的檢測速度和FasterRCNN算法的檢測精度。但是由于SSD使用conv4_3低級feature在應用于小目標檢測時的低級特征卷積層數較少，存在特征提取不充分的問題，從而對小目標檢測的效果一般。

受注意力機制[10]思想的啟發(fā)，本文在DSSD算法的框架中引入注意力通道，保留更多的目標特征信息，抑制無關信息，進一步提升DSSD算法應用于小目標的檢測效果。

1 SSD系列目標檢測算法

1.1 SSD算法

SSD(SingleShotMultiBoxDetector)是目前較流行的檢測框架之一，相比于FasterR-CNN算法在檢測速度上有明顯優(yōu)勢，而相比于YOLO又有明顯的精度優(yōu)勢[9]。SSD網絡結構如圖1所示。SSD使用預先訓練的VGG16神經網絡作為核心，然后將具有小濾波器的卷積層添加到神經網絡的頂部，因此可以使用不同的卷積操作對多個不同尺度的目標進行檢測，并在SSD網絡頂部的卷積層中產生固定尺度目標的預測結果。SSD算法中設計了不同寬高比的默認檢測框，并應用于多個特征圖中，在每個特征圖中使用3×3的卷積核提取目標預測框的特征信息，其中包含類別信息和位置信息，并在網絡訓練過程中通過不斷調整相對于默認框的類別置信度和位置偏移量，使得預測框可以更加準確地表達出預測目標的類別和位置信息。SSD算法的網絡設計可以進行簡單的端到端的模型訓練，使得低分辨率輸入的圖像上也能達到很高的檢測精度。

圖1 SSD神經網絡結構圖

1.2 DSSD算法

DSSD[11]算法是對SDD算法的優(yōu)化，其目的是通過解決多尺度融合問題用于快速地檢測目標物體。在網絡框架上，DSSD的主干特征提取網絡使用ResNet替代了SSD中的VGG16網絡，并且將網絡層中的特征圖用乘法(EltwProduct)完成信息融合，將上層特征圖的語義信息與下層特征圖的語義信息融合成多尺度的特征圖，使得預測回歸位置框和分類任務的輸入特征圖多樣化。這不僅提高了目標檢測的精度，也使得DSSD網絡模型對小目標物體的檢測有了一定的提升。

2 注意力機制

注意力在人類感知中起著重要作用[12]。人類視覺系統(tǒng)的一個重要特性是不會同時處理整個場景。相反，為了更好地捕捉視覺結構，人類利用了一系列的局部掃視并選擇性地聚焦于突出的部分[13]。

最近在目標檢測領域有人提出將注意力機制引入到CNN網絡中來提高大規(guī)模分類任務的性能。Wang等[14]提出使用編碼器式注意模塊的剩余注意網絡。通過細化特征圖，該網絡不僅性能良好，而且對噪聲輸入具有魯棒性。Hu等[15]引入一個緊湊的注意力特征提取庫，使用全局平均匯集特征來計算通道關注的信息權重。Woo等[16]基于一個有效的體系結構同時利用空間和通道注意模塊來關注更多信息，取得了很好的效果。徐誠極等[17]將注意力機制引入到YOLO算法中，提高了檢測精度。受此啟發(fā)，本文結合DSSD算法的特點，引入注意力模塊做進一步研究。

3 改進DSSD算法

3.1 算法框架總體結構

對于常規(guī)物體，SDD算法兼顧檢測精度和檢測速度，但是在對小目標低分辨率的物體檢測中，SSD算法以及改進過的DSSD算法都存在漏檢的情況。這是由于SSD使用conv4_3低級feature去檢測小目標，而低級特征卷積層數少，存在特征提取不充分的問題。對此本文在SSD網絡框架中引入力模塊，保留更多的目標特征，并且進一步通過特征融合，抑制無關信息，提高檢測精度。引入注意力模塊的DSSD算法的模型結構如圖2所示。

圖2 引入注意力特征融合模塊的神經網絡結構圖

在該網絡中，首先通過注意力模塊增強低層網絡的信息表征能力，使得感受野更關注目標特征，然后與高層網絡中的上下文信息進行融合，增強對檢測目標的定位能力。

3.2 注意力模塊結構

注意力模塊的結構如圖3所示，主要由通道注意力和空間注意力兩部分組成。

圖3 注意力模塊結構圖

Mc(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))=

(1)

式中：σ表示是Sigmod激活函數；W0和W1分別為共享全連接層MLP的權重。

第二步利用特征間的空間關系生成空間注意力特征圖，空間注意力特征圖主要關注目標所在位置的特征信息，它是對通道注意力特征圖的一個補充。為計算空間注意力特征圖，沿通道應用平均池化和最大池化操作，并將它們連接起來以生成有效的特征描述符。在信息區(qū)域中，應用池化操作可以有效地提高通道中目標特征的顯著程度[18]。

Ms(F)=σ(f7×7([AvgPool(F);MaxPool(F)])=

(2)

式中：f7×7為卷積操作，卷積核為7×7的卷積層。對于一個輸入特征圖F∈RC×H×W，其中C、H、W表示的是特征圖的長度、寬度和通道數，經過注意模塊的計算過程為：

F′=Mc(F)?F

F″=Ms(F)?F′

(3)

式中：?表示元素乘法，在乘法過程中注意特征值被相應地傳播；F″為最終確定的輸出。

3.3 特征融合模塊結構

參考文獻[19]對DSSD網絡的改進方法，本文設置三個高低層網絡融合模塊直接對檢測目標進行分類和位置回歸，以簡化復雜運算，提升網絡模型的效率。融合模塊的結構如圖4所示，以融合Conv3_3特征圖和Conv15_2特征圖為例，首先對Conv15_2特征圖進行卷積核大小為2×2、通道數為256的上采樣操作，輸出結果通過卷積核為3×3的卷積層映射輸出至修正激活函數層(Rectified Linear Unit，ReLU)和正則化層NB后再次卷積，為防止過擬合再進行一次正則化。Conv3_3特征圖直接經過卷積、激活函數修正和正則化后與采樣后的Conv15_2特征圖進行求和操作(Eltw Sum)，隨后添加一個3×3的卷積層以確保檢測的特征具有可分辨性，最后在一個ReLU層后實現融合功能。

圖4 特征融合模塊結構圖

4 實驗分析

4.1 模型訓練

本文采用SDD算法的訓練方式對模型進行訓練，首先，將一組默認框與設定的目標真實框進行匹配，對于每個真實框，將其與最佳重疊的默認框以及JacCard系數大于閾值(比如0.5)的任何默認框匹配。然后在沒有匹配的默認框中，根據置信度損失值選擇某些框作為負樣本，負樣本與匹配框的比率為3∶1。最后將聯合定位損失值(比如平滑損失函數L1)和置信損失值最小化。

模型訓練在ImageNet數據集上進行預訓練，該數據包含了1400萬幅圖像，2萬多個類別，其中至少100萬幅圖像提供了邊界框，提高模型的泛化能力。實驗環(huán)境在Ubuntu16.04LTS操作系統(tǒng)下進行，深度學習框架為Tensorflow，開發(fā)語言為Python3.6。硬件配置包括CPU為Intel i7-7700，主頻3.6GHz，內存為36GB；GPU為Nvida GTX1080Ti，顯存11GB。

4.2 小目標檢測效果分析

將預訓練好的模型分別應用于含有大量小目標的紡織物瑕疵檢測和遙感圖像目標檢測。紡織圖片選用的TILDA數據集，其中共有3200幅圖片，包括的瑕疵有污漬、破洞、斷緯等。遙感圖像使用的是VEDAI航拍圖像數據集，圖片中包括飛機、汽車等目標。對兩個數據集分別隨機抽取80%圖像進行訓練，其余20%圖像進行測試，并與DSSD算法進行對比。實驗中發(fā)現，影響檢測效果的因素主要有兩個，分別是錯檢和漏檢。圖5是在TILDA數據集上某幅圖片的檢測情況，其中：(a)中標注了8個待檢目標；(b)為DSSD算法的檢測效果，共檢測出了4個目標，漏檢4個目標；(c)為本文算法的檢測效果，共檢測出了6個目標，漏檢2個目標。圖6是在VEDAI數據集上某幅圖片中航拍目標檢測情況，其中：(a)中標注了9個待檢目標；(b)為DSSD算法的檢測效果，共檢出了6個目標，漏檢3個目標；(c)為本文本算法的檢測效果，共檢出7個目標，漏檢2個目標，錯檢1個目標。

(a) 原圖待檢目標

(b) DSSD算法檢測效果

(c) 本文算法檢測結果圖5 TILDA紡織物瑕疵檢測效果對比圖

(a) 原圖待檢目標

(b) DSSD算法檢測效果

(c) 本文算法檢測結果圖6 VEDAI遙感圖像物體檢測效果對比圖

本文實驗統(tǒng)計了10次在進行模型測試時對小目標檢測的平均檢測數據，包括正確檢測率、漏檢率和錯檢率，如表1所示。本文算法相對于DSSD算法在TILDA數據集上和VEDAI數據集上的漏檢率分別降低了7.8%和4.7%，有效提高了對小目標的檢測效果。本文算法的不足之處是在錯檢率上分別有7.8%和10.9%，相比于DSSD算法增加了0.6%和1.3%。下一步將研究錯檢率增加的原因并通過改進來降低錯檢率提高算法的檢測效果。

表1 10次模型測試時的小目標平均檢測數據 %

4.3 算法性能評價

綜合實驗結果，分別在兩個數據集上采用平均精度均值(Mean Average Precision，mAP)和每秒幀率(Frame Per Second，FPS)兩個指標，對比評價本文算法和DSSD算法的對于包含小目標的檢測精度和檢測效率。各項數據如表2所示，可以看出，本文算法相對于DSSD算法在TILDA數據集和VEDAI數據集上目標檢測的平均精度均值分別提高了2.5%和4.4%，每秒幀率提高了1.7和1.4。結果表明，本文算法在DSSD算法的基礎上加入了注意力機制模塊進行特征整合，有效提取了小目標的特征信息，提高了目標檢測精度，同時提升了的檢測效率。

表2 評價指標對比

5 結 語

為解決SSD系列算法在檢測小目標中的不足，本文在DSSD算法的框架中引入了注意力機制模塊，可以有效提取小目標的特征信息，并且通過特征融合的方式對小目標進行位置回歸，提高了原算法的檢測精度，證明了注意力模塊可以有效提升深度學習網絡的性能。下一步將參考本文方法對其網絡進行改進，尋找最優(yōu)的網絡模型用于圖像中的小目標檢測。