基于注意力掩模融合的目標(biāo)檢測(cè)算法

董瀟瀟，何小海，吳曉紅，卿粼波，滕奇志

(四川大學(xué) 電子信息學(xué)院，四川 成都 610065)

1 引 言

目標(biāo)檢測(cè)是結(jié)合了目標(biāo)定位和識(shí)別2個(gè)任務(wù)的一項(xiàng)基礎(chǔ)性計(jì)算機(jī)視覺(jué)任務(wù)，它的目的是在圖像的復(fù)雜背景中找出若干目標(biāo)，給出一個(gè)精確的目標(biāo)邊框(Bounding box)，并判斷該邊框中目標(biāo)所屬的類(lèi)別[1]。目標(biāo)檢測(cè)在人工智能和信息技術(shù)的諸多領(lǐng)域如機(jī)器人視覺(jué)、消費(fèi)電子、自動(dòng)駕駛、人機(jī)交互、基于內(nèi)容的圖像檢索、智能視頻監(jiān)控[2-3]等有著廣泛的應(yīng)用。

目前，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要分為兩類(lèi)，一是單階段方法，二是兩階段方法。兩階段方法將檢測(cè)問(wèn)題劃分為兩個(gè)過(guò)程，首先產(chǎn)生區(qū)域建議(Region proposals)，然后對(duì)候選區(qū)域進(jìn)行分類(lèi)和邊界框回歸，這類(lèi)算法的典型代表是基于區(qū)域建議的R-CNN系列算法，如R-CNN[4]、SPPNet[5]、Fast R-CNN[6]、Faster R-CNN[7]、Mask R-CNN[8]等。一階段方法采用基于回歸的思想，跳過(guò)區(qū)域建議階段，直接產(chǎn)生物體的類(lèi)別概率和位置坐標(biāo)值，經(jīng)過(guò)單次檢測(cè)即可得出最終的檢測(cè)結(jié)果，故在檢測(cè)速度上有更好的結(jié)果，其代表性算法有：YOLO[9]、SSD[10]、Focal Loss[11]等。SSD結(jié)合了YOLO中的回歸思想和Faster-RCNN中的Anchor機(jī)制，使用多尺度的特征圖譜進(jìn)行回歸，既保持了YOLO速度快的特性，也保證了Faster-RCNN精度高的優(yōu)點(diǎn)。隨后為了進(jìn)一步提高SSD的精度和對(duì)小目標(biāo)的檢測(cè)能力，各種不同的方法被提出來(lái)。Fu等[12]為了提高淺層特征的表征能力，將基礎(chǔ)網(wǎng)絡(luò)由VGG替換為ResNet,并借助反卷積模塊以增加各層之間的上下文信息,提高了對(duì)小目標(biāo)的檢測(cè)能力，但是速度相對(duì)于SSD卻大幅下降。Liu等[13]從人類(lèi)視覺(jué)的感受野結(jié)構(gòu)出發(fā)，提出了感受野模塊(RFB),通過(guò)構(gòu)建多分支卷積層和隨后的空洞卷積層以加強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)到的深層特征。Zhang等[14]綜合一階段和兩階段目標(biāo)檢測(cè)的技巧，一方面引入兩階段中對(duì)包圍框由粗到細(xì)的思想，一方面結(jié)合特征融合用于檢測(cè)網(wǎng)絡(luò)，取得了很好的效果。Liang等[15]利用多層卷積特征進(jìn)行目標(biāo)檢測(cè)，其中利用淺層卷積特征實(shí)現(xiàn)目標(biāo)定位，利用深層卷積特征實(shí)現(xiàn)目標(biāo)識(shí)別，以充分發(fā)揮各層卷積特征的作用。

近年來(lái)，注意力機(jī)制在計(jì)算機(jī)視覺(jué)中的應(yīng)用逐漸增加。現(xiàn)有的視覺(jué)注意模型可分為軟注意模型和強(qiáng)注意模型。軟注意模型以確定性的方式預(yù)測(cè)注意區(qū)域，由于它是可微的，故可以使用反向傳播進(jìn)行訓(xùn)練[16]，讓神經(jīng)網(wǎng)絡(luò)學(xué)到每一張新圖片中需要關(guān)注的區(qū)域，因而形成了注意力。強(qiáng)注意模型隨機(jī)預(yù)測(cè)圖像的注意點(diǎn)，通常通過(guò)強(qiáng)化學(xué)習(xí)或最大化近似變分下界來(lái)訓(xùn)練。一般來(lái)說(shuō)，軟注意模型比強(qiáng)注意模型更有效，因?yàn)閺?qiáng)注意模型需要抽樣進(jìn)行訓(xùn)練，而軟注意模型可以進(jìn)行端到端訓(xùn)練。Hu等[17]設(shè)計(jì)了目標(biāo)關(guān)系模塊，其注意力權(quán)重主要由外觀特征權(quán)重和空間權(quán)重組成，通過(guò)聯(lián)合其他目標(biāo)的信息從而允許對(duì)它們之間的關(guān)系進(jìn)行建模。Wang等[18]提出了一種基于Attention的殘差學(xué)習(xí)方式,設(shè)計(jì)了一種可堆疊的網(wǎng)絡(luò)結(jié)構(gòu)，并從可堆疊的基本模塊中引入了注意力機(jī)制，不同的注意力特征圖譜可以捕捉到不同類(lèi)型的注意力。Hu等[19]重點(diǎn)關(guān)注通道關(guān)系，顯示地建模特征通道之間的依賴(lài)關(guān)系，自適應(yīng)地重新校準(zhǔn)通道特征響應(yīng)，從而增強(qiáng)有用的特征而抑制冗余特征。綜上，為了讓目標(biāo)檢測(cè)重點(diǎn)關(guān)注有效信息，本文將注意力模型融入到目標(biāo)檢測(cè)中去，在SSD和RefineDet基礎(chǔ)上提出了基于注意力掩模融合的改進(jìn)的特征金字塔算法，主要用于改進(jìn)當(dāng)前目標(biāo)檢測(cè)算法缺乏視覺(jué)注意力信息的缺點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文算法進(jìn)一步改進(jìn)了目標(biāo)檢測(cè)的精度，同時(shí)也能保持高效的速度。

2 RefineDet

RefineDet的損失函數(shù)主要包含ARM和ODM兩方面。ARM包含二進(jìn)制分類(lèi)損失Lb和回歸損失Lr,ODM包含多類(lèi)別分類(lèi)損失Lm和回歸損失Lr,ARM和ODM兩部分的損失函數(shù)一起前向傳播，損失函數(shù)如下：

(1)

圖1 RefineDet網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network of RefineDet

3 本文算法

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

算法的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。以輸入尺寸為320×320的圖像為例：

(1)使用基準(zhǔn)網(wǎng)絡(luò)VGG16[20]提取特征，經(jīng)過(guò)卷積操作和6次下采樣操作后，得到多尺度的卷積特征層。

(2)使用基本的卷積層conv4_3,conv5_3,fc7以及conv6_2進(jìn)行初步的二分類(lèi)和包圍框回歸操作，以得到預(yù)選框，減少負(fù)樣本搜索。

(3)將注意力掩模模塊Attention Mask Module(AMM)和特征金字塔結(jié)構(gòu)結(jié)合起來(lái)，即將頂層特征同底層特征融合后，再輔之以注意力信息AMM，得到更加有效的特征P1,P2,P3,P4。

(4)最后將上述特征直接用于多分類(lèi)和回歸操作，不斷訓(xùn)練迭代模型，得到最終的檢測(cè)結(jié)果。

圖2 本文算法網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network of proposed algorithm

3.2 注意力掩模模塊

觀察一幅圖片時(shí)，人腦并不均衡地關(guān)注整幅圖片，而是帶有一定權(quán)重分布的。對(duì)于深度學(xué)習(xí)中的目標(biāo)檢測(cè)任務(wù)而言，想要檢測(cè)出相關(guān)的人或者特定物體，將其與背景天空等區(qū)分開(kāi)來(lái)，同樣需要有一定的選擇性側(cè)重。為此，引入文獻(xiàn)[18]中的注意力模型，將原本的殘差結(jié)構(gòu)改為基本的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并去除了一些卷積層，以便更加適應(yīng)本文的網(wǎng)絡(luò)訓(xùn)練。

注意力掩模模塊(AMM)的結(jié)構(gòu)圖如圖3所示。在本文中，使用基本的卷積函數(shù)(conv)，激活函數(shù)(relu)和池化函數(shù)(pool)來(lái)構(gòu)建基本網(wǎng)絡(luò)。每個(gè)注意力掩模模塊分為兩個(gè)分支:掩模分支和主干分支。給定輸入x,主干分支經(jīng)過(guò)卷積后得到輸出G(x),掩模分支經(jīng)過(guò)卷積和反卷積操作得到相同尺寸的輸出M(x)。掩模分支中，首先經(jīng)過(guò)兩次conv,relu,pool操作，然后經(jīng)過(guò)兩次deconv操作得到特征圖譜S(x),最后經(jīng)過(guò)sigmoid函數(shù)得到輸出的掩模：

在選取特征點(diǎn)匹配的算法時(shí)要考慮與其搭配的特征點(diǎn)提取算法，使用特征提取過(guò)程得到的特征描述符(DESCRIPTOR)數(shù)據(jù)類(lèi)型有的是FLOAT類(lèi)型的，比如說(shuō)：SURF，SIFT，有的是UCHAR類(lèi)型的，比如說(shuō)有ORB，BRIEF。對(duì)應(yīng)FLOAT類(lèi)型的匹配方式有：FLANNBASEDMATCHER，BRUTEFORCE等。對(duì)應(yīng)UCHAR類(lèi)型的匹配方式有：BRUTEFORCE。所以O(shè)RB特征描述子只能使用BRUTEFORCE匹配法。另外還有一種相對(duì)于更加傳統(tǒng)的SURF+FLANN的方法。

(2)

圖3 注意力掩模模塊Fig.3 Attention mask module

輸出掩模類(lèi)似于Highway Network[21]中的門(mén)控單元，控制著主干分支的神經(jīng)元,可以自適應(yīng)地學(xué)習(xí)到有效的特征并且抑制噪聲。主干分支中，經(jīng)過(guò)兩次conv函數(shù)得到主干輸出。最后輸出的注意力模型P(x)公式如下所示：

Pi,c(x)=(1+Mi,c(x))*Gi,c(x)，

(3)

式中:i代表神經(jīng)元的空間位置，c代表神經(jīng)元的通道位置。類(lèi)似于殘差網(wǎng)絡(luò)中的恒等映射，M(x)的輸出范圍為[0,1]，當(dāng)M(x)接近0時(shí)，P(x)的輸出接近原始的特征G(x)。

在注意力掩模模塊中，注意力掩模不僅在前向傳播中充當(dāng)特征選擇器，在反向傳播中也能進(jìn)行梯度更新。特征掩模的梯度如下所示：

(4)

其中:θ是掩模分支參數(shù)，φ是主干分支參數(shù)。

3.3 改進(jìn)的特征金字塔融合

SSD網(wǎng)絡(luò)雖然取得了較好的效果，但由于其只在若干個(gè)特征圖譜上進(jìn)行檢測(cè)，并沒(méi)有結(jié)合不同尺寸的特征，導(dǎo)致低層的特征圖譜缺乏語(yǔ)義信息，這樣不利于小目標(biāo)的檢測(cè)。而RefineDet網(wǎng)絡(luò)采取側(cè)邊連接的方法，將高層語(yǔ)義信息同低層定位信息融合在一起，可以進(jìn)行多種尺度的檢測(cè)，仍然缺乏注意力信息。本文提出了融合不同特征圖譜與注意力掩模的結(jié)構(gòu)，不僅能進(jìn)行多尺度檢測(cè)，還可以結(jié)合注意力模型關(guān)注感興趣區(qū)域，從而有效地檢測(cè)出所有尺度物體。具體網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 特征金字塔融合結(jié)構(gòu)Fig.4 Feature pyramid fusion structure

輸入的特征圖譜為(H×W×C),其中H和W代表高和寬，C代表通道的個(gè)數(shù)。對(duì)于底部特征L1，首先經(jīng)過(guò)3×3的卷積層進(jìn)行特征降維，將維度從512降到256，對(duì)于檢測(cè)特征P2,經(jīng)過(guò)2×2的反卷積操作，在擴(kuò)大特征圖譜同時(shí)也進(jìn)行了降維的操作，得到的輸出為(40×40×256)；然后將上述輸出進(jìn)行eltwise sum操作，得到融合后的特征圖譜T1亦為(40×40×256)；最后將注意力掩模模塊同T1融合以增加注意力信息，經(jīng)過(guò)Relu層后得到的檢測(cè)特征P1可應(yīng)用于檢測(cè)系統(tǒng)。

若圖片中存在多種尺度的目標(biāo)，低層的特征如P1和P2可以用來(lái)檢測(cè)小目標(biāo)，而高層的特征如P3和P4具有更大的感受野，負(fù)責(zé)檢測(cè)大目標(biāo)。

4 實(shí) 驗(yàn)

本次實(shí)驗(yàn)在以下兩個(gè)公開(kāi)數(shù)據(jù)集中開(kāi)展：PASCAL VOC[22]2007和PASCAL VOC 2012。PASCAL VOC數(shù)據(jù)集包含20類(lèi)物體，包括飛機(jī)、自行車(chē)、鳥(niǎo)等。本文的實(shí)驗(yàn)平臺(tái)為：Ubuntu 16.04.5,Nvidia GTX 1080Ti GPU,Intel(R)Xeon(R)CPU E5-2686。采用的深度學(xué)習(xí)框架為Caffe，采用的精度評(píng)價(jià)指標(biāo)為mAP(Mean average precision)，速度評(píng)價(jià)指標(biāo)為fps(Frames per second)。

4.1 VOC2007數(shù)據(jù)集

VOC2007數(shù)據(jù)集的訓(xùn)練集有5 011張，測(cè)試集有4 952張。本次實(shí)驗(yàn)在VOC2007 trainval和VOC2012 trainval上進(jìn)行訓(xùn)練，在VOC2007 test數(shù)據(jù)集上測(cè)試。所有的方法在VGG16基準(zhǔn)網(wǎng)絡(luò)中進(jìn)行預(yù)訓(xùn)練。如圖2所示，使用conv4,conv5,fc7以及新增的conv6層進(jìn)行定位和置信度的預(yù)測(cè)。使用Multistep方式來(lái)調(diào)整學(xué)習(xí)率，即在前80k次迭代中學(xué)習(xí)率設(shè)置為10-2，隨后20k和40k次迭代中學(xué)習(xí)率分別設(shè)置為10-3和10-4。輸入圖片尺寸為320×320時(shí)，訓(xùn)練時(shí)batch size設(shè)置為16，GPU數(shù)量為1；當(dāng)圖片尺寸為512×512時(shí)，由于一塊GPU顯存不夠，故采用兩塊GPU進(jìn)行聯(lián)合訓(xùn)練。測(cè)試時(shí)batch size設(shè)置為1。

表1 不同算法在VOC2007和VOC2012數(shù)據(jù)集上的測(cè)試結(jié)果Tab.1 Test results of different algorithms on VOC2007 and VOC2012 datasets

續(xù) 表

表2 不同算法在VOC2007數(shù)據(jù)集上20類(lèi)別的AP比較Tab.2 AP comparison of 20 categoriesfor different algorithms on VOC2007 dataset

如表1所示，將本文的算法與其他主流的目標(biāo)檢測(cè)算法進(jìn)行對(duì)比。對(duì)于320×320的輸入，mAP達(dá)到了81%，與RefineDet 320相比提高了1%，與SSD相比提高了6.7%。由于本文測(cè)試所使用的GPU不同于RefineDet，故將RefineDet中在VOC07+12數(shù)據(jù)集上訓(xùn)練的320×320的模型在1080Ti上進(jìn)行測(cè)試，觀察得到，本文算法的速度同其相比降低了18.4%。在速度和精度的均衡下，本文算法仍能取得較好的效果。對(duì)于512×512的輸入，mAP為82.2%，比RefineDet的精度提高了0.4%，這也證明了本文算法的有效性。同精度更高的基于區(qū)域的目標(biāo)檢測(cè)方法進(jìn)行比較，可以看到，本文算法在尺寸小于CoupleNet的情況下，mAP幾乎能夠達(dá)到CoupleNet的效果。

表2中列舉出各類(lèi)算法中20類(lèi)目標(biāo)的AP(Average precision)，可以看到大部分類(lèi)別的平均精度都有提升。

4.2 VOC2012數(shù)據(jù)集

VOC2012數(shù)據(jù)集的訓(xùn)練集有11 540張，測(cè)試集有10 991張。本次實(shí)驗(yàn)在VOC2007 trainval和VOC2012 trainval上進(jìn)行訓(xùn)練，在VOC2012 test數(shù)據(jù)集上測(cè)試。使用Multistep方式來(lái)調(diào)整學(xué)習(xí)率，即在前160k次迭代中學(xué)習(xí)率設(shè)置為10-2，隨后40k和80k次迭代中學(xué)習(xí)率分別設(shè)置為10-3和10-4。對(duì)于320×320和512×512的輸入，訓(xùn)練的batch size設(shè)置為16，并且使用兩塊GPU進(jìn)行訓(xùn)練。其余實(shí)驗(yàn)設(shè)定和4.1中相同。

如表1所示，Proposed320 mAP為79.0%，與RefineDet 320相比提高了0.9%，與SSD相比提高了6.6%。同二階段方法相比，本文算法比精度最高的CoupleNet低了1.4%。Proposed512 mAP為80.8%，與RefineDet 320相比提高了0.7%，且精度超過(guò)了CoupleNet，為所提算法中最高的。

4.3 定性結(jié)果

圖5給出了本文算法模型在VOC2007和VOC2012數(shù)據(jù)集上的具體測(cè)試結(jié)果。

圖5 VOC2007和VOC2012數(shù)據(jù)集的測(cè)試結(jié)果。(a)VOC2007測(cè)試結(jié)果，強(qiáng)調(diào)檢測(cè)的多尺度效果；(b)VOC2007測(cè)試結(jié)果，重點(diǎn)檢測(cè)小目標(biāo)；(c)VOC2012測(cè)試結(jié)果，強(qiáng)調(diào)檢測(cè)的多尺度效果；(d)VOC2012測(cè)試結(jié)果，重點(diǎn)檢測(cè)小目標(biāo)。Fig.5 Test result on VOC2007 and VOC2012 dataset.(a)Test result on VOC2007,emphasizing the multiscale effect of detection;(b)Test result on VOC2007,focusing on small targets;(c)Test result on VOC2012,emphasizing the multiscale effect of detection;(d)Test result on VOC2012,focusing on small targets.

5 結(jié) 論

本文提出了一種基于注意力掩模融合的目標(biāo)檢測(cè)算法，通過(guò)神經(jīng)網(wǎng)絡(luò)提取特征得到多尺度卷積特征圖譜，初步進(jìn)行二分類(lèi)和回歸，在特征金字塔結(jié)構(gòu)中結(jié)合注意力掩模模塊進(jìn)行多尺度的檢測(cè)。實(shí)驗(yàn)結(jié)果證明：對(duì)于320×320的圖片輸入，本文算法在VOC2007和VOC2012數(shù)據(jù)集上達(dá)到了81.0%mAP和79.0%mAP，檢測(cè)速度為60.9 fps；對(duì)于512×512的圖片輸入，本文算法在VOC2007和VOC2012數(shù)據(jù)集上達(dá)到了82.2%mAP和80.8%mAP，檢測(cè)速度為35.0 fps，實(shí)現(xiàn)了精度和速度的均衡要求。