一種改進(jìn)的單步多框目標(biāo)檢測(cè)算法

王燕妮，劉祥，劉江

(1.西安建筑科技大學(xué)信息與控制工程學(xué)院，710055，西安；2.西安現(xiàn)代控制技術(shù)研究所，710065，西安)

目標(biāo)檢測(cè)的任務(wù)是找出圖像中的感興趣目標(biāo),確定它們的類別和位置,是計(jì)算機(jī)視覺領(lǐng)域的核心問題之一。由于不同圖像中待檢測(cè)目標(biāo)的類別、外觀、數(shù)量、尺度、位置等不同,且存在遮擋等干擾因素,使目標(biāo)檢測(cè)在機(jī)器視覺領(lǐng)域成為最具挑戰(zhàn)性的任務(wù)。目標(biāo)檢測(cè)在紅外探測(cè)技術(shù)、智能視頻監(jiān)控、遙感影像目標(biāo)檢測(cè)、醫(yī)療診斷[1-4]以及智能建筑中的火災(zāi)、煙霧檢測(cè)中都有廣泛應(yīng)用。

目標(biāo)檢測(cè)算法可以分為傳統(tǒng)目標(biāo)檢測(cè)算法和基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法,傳統(tǒng)目標(biāo)檢測(cè)算法使用手工設(shè)計(jì)特征來(lái)檢測(cè),首先在圖像上選擇候選區(qū)域,對(duì)這些區(qū)域進(jìn)行特征提取,最后使用分類器進(jìn)行分類。代表算法有尺度不變特征變換算法(SIFT)[5]和維奧拉-瓊斯算法(V-J)[6]等,但該類算法時(shí)間復(fù)雜度高且魯棒性較差。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法,根據(jù)是否有產(chǎn)生候選區(qū)域的機(jī)制分為兩階段目標(biāo)檢測(cè)算法和單階段目標(biāo)檢測(cè)算法。兩階段目標(biāo)檢測(cè)算法有基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(R-CNN)[7]算法、快速基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Fast R-CNN)[8]算法和更快的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Faster R-CNN)[9]算法等。R-CNN算法通過選擇性搜索算法對(duì)輸入圖像提取候選區(qū)域,利用卷積神經(jīng)網(wǎng)絡(luò)提取特征,最后通過支持向量機(jī)SVM[10]進(jìn)行分類;Fast R-CNN在R-CNN的基礎(chǔ)上,加入了感興趣區(qū)域,通過多任務(wù)損失函數(shù),實(shí)現(xiàn)端到端的訓(xùn)練;Faster R-CNN采用候選區(qū)域生成網(wǎng)絡(luò)(RPN)代替了選擇性搜索算法,提高了算法的速度和準(zhǔn)確率。單階段目標(biāo)檢測(cè)算法利用回歸的思想,直接在輸入圖像上回歸出目標(biāo)的類別及邊框。單階段目標(biāo)檢測(cè)算法有快速目標(biāo)檢測(cè)算法(YOLO)[11]和SSD[12]:YOLO采用全圖信息進(jìn)行預(yù)測(cè),極大地提高了檢測(cè)速率;SSD算法借鑒了Faster R-CNN中的思想,在提高檢測(cè)速度的同時(shí)也提高了檢測(cè)精度。

目標(biāo)檢測(cè)算法中經(jīng)常會(huì)存在誤檢、漏檢等問題,因此本文以SSD算法為基礎(chǔ),對(duì)其進(jìn)行改進(jìn),以提升檢測(cè)效果,可以較好地改善誤檢、漏檢情況。

1 SSD算法

1.1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

SSD目標(biāo)檢測(cè)算法使用視覺幾何群網(wǎng)絡(luò)VGG-16[13]作為基礎(chǔ)網(wǎng)絡(luò),并且將網(wǎng)絡(luò)中原本的全連接層fc6和fc7轉(zhuǎn)換為3×3的卷積層,將分類層替換為4組卷積層,用來(lái)獲取更多特征圖用于檢測(cè),網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。由圖1可以看出,SSD采用多尺度特征圖進(jìn)行檢測(cè),其中大尺度特征圖用于檢測(cè)小目標(biāo),小尺度特征圖用于檢測(cè)中、大目標(biāo),這種檢測(cè)策略可以提高識(shí)別的準(zhǔn)確度,提高了對(duì)不同物體尺寸變化的泛化能力。

圖1 SSD網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2 SSD候選框

如1.1節(jié)中所述,SSD采用多尺度特征圖進(jìn)行檢測(cè),分別選取conv4_3、conv7、conv8_2、conv9_2、conv10_2、conv11_2共6個(gè)特征圖。SSD借鑒了Faster R-CNN中錨點(diǎn)框的思想,在每個(gè)特征圖上設(shè)置不同尺寸、長(zhǎng)寬比的候選框,候選框的尺寸計(jì)算公式如下

(1)

式中:sn表示候選框與圖片的比例;smax和smin代表比例的最大值和最小值,分別取值為0.9和0.2;e代表特征圖的個(gè)數(shù)。

(2)

1.3 SSD算法損失函數(shù)

SSD算法中的損失函數(shù)定義為位置誤差Lloc和置信度誤差Lconf的加權(quán)和,計(jì)算公式為

(3)

采用Smooth Ll loss[14]計(jì)算SSD算法中的位置誤差,對(duì)候選框的中心(xc,yc)及寬度(w)、高度(h)的偏移量進(jìn)行回歸,公式如下

(4)

(5)

(6)

SSD算法中的置信度損失,使用softmax loss表示,Neg代表負(fù)樣本集,公式如下

(7)

2 改進(jìn)SSD算法

為改善SSD算法中存在的誤檢漏檢等問題,本文結(jié)合空洞卷積[15]、反卷積[16]和注意力機(jī)制,提出一種改進(jìn)的SSD目標(biāo)檢測(cè)算法。算法首先使用連續(xù)3次空洞卷積替代原本conv4_3卷積層及之前的2次卷積操作;然后結(jié)合反卷積的思想,對(duì)基礎(chǔ)網(wǎng)絡(luò)提取出的不同尺度的特征圖進(jìn)行特征融合;最后在每個(gè)用于檢測(cè)的特征圖后添加注意力模型,以達(dá)到提高檢測(cè)能力的效果。

2.1 空洞卷積和反卷積

空洞卷積也稱為膨脹卷積,是一種改進(jìn)的圖像卷積方法,在標(biāo)準(zhǔn)卷積的基礎(chǔ)上注入空洞,以此擴(kuò)大感受野。在空洞卷積中,增加了一個(gè)擴(kuò)張率參數(shù)d,(d-1)為卷積核之間填充的空洞數(shù)量,擴(kuò)張率越大,卷積核之間的空洞數(shù)量越多,感受野越大,通過調(diào)整擴(kuò)張率參數(shù)控制空洞卷積中空洞填充的大小。擴(kuò)張率參數(shù)為1時(shí),即為標(biāo)準(zhǔn)卷積。標(biāo)準(zhǔn)卷積和空洞卷積示意圖如圖2所示。

圖2 標(biāo)準(zhǔn)卷積和空洞卷積操作示意圖

加入空洞卷積后卷積核尺寸計(jì)算公式為

q=k+(k-1)*(d-1)

(8)

式中:q為加入空洞卷積后的卷積核尺寸;k為加入空洞卷積之前的卷積核尺寸。

加入空洞卷積后特征圖尺寸的計(jì)算公式為

(9)

式中:o為加入空洞卷積后的特征圖尺寸;a為輸入特征圖尺寸;s為步長(zhǎng);p為填充。

反卷積也稱為轉(zhuǎn)置卷積,是標(biāo)準(zhǔn)卷積操作的逆運(yùn)算,用來(lái)對(duì)特征圖尺寸進(jìn)行還原,解決經(jīng)過一系列卷積池化操作等運(yùn)算后特征圖分辨率變小的問題,擴(kuò)大感受野。標(biāo)準(zhǔn)卷積和反卷積的操作示意圖如下。

圖3 標(biāo)準(zhǔn)卷積和反卷積操作示意圖

使用反卷積輸出特征圖尺度的計(jì)算公式如下

O=s(a-1)+k-2p

(10)

式中:O為反卷積輸出特征圖尺寸。

2.2 注意力機(jī)制

計(jì)算機(jī)視覺借鑒了人類視覺系統(tǒng)中的注意力機(jī)制,對(duì)一幅圖像中的感興趣區(qū)域進(jìn)行重點(diǎn)關(guān)注,抑制其他干擾區(qū)域帶來(lái)的影響。在深度學(xué)習(xí)中,通過對(duì)特征圖添加掩碼來(lái)實(shí)現(xiàn)注意力機(jī)制,就是對(duì)特征圖添加權(quán)重,將感興趣區(qū)域的特征標(biāo)識(shí)出來(lái),通過神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,讓網(wǎng)絡(luò)學(xué)到每一幅圖像中需要重點(diǎn)關(guān)注的感興趣區(qū)域,這樣就形成了深度學(xué)習(xí)中的注意力,以此提高神經(jīng)網(wǎng)絡(luò)處理信息的能力。從注意力域的角度,可以分為空間域、通道域和混合域。

空間域?qū)D像中的空間信息變換到另一個(gè)空間中并保留了關(guān)鍵信息。Jaderberg等提出空間變換網(wǎng)絡(luò)的網(wǎng)絡(luò)模型,模型結(jié)構(gòu)如圖4所示[17],H為特征圖的高,W為特征圖寬,C為通道數(shù)。對(duì)圖像中的空間域信息做對(duì)應(yīng)的空間變換,提取特征圖中的關(guān)鍵信息。在卷積操作后,不同卷積核產(chǎn)生的通道信息所包含的信息量及重要程度不同,故使用同樣的變換器解釋性不強(qiáng),因而一般用于圖像輸入層之后。

2018年11月26日，機(jī)電一體化專家博澤中國(guó)太倉(cāng)新基地舉行了開業(yè)慶典儀式。多名博澤集團(tuán)和中國(guó)區(qū)領(lǐng)導(dǎo)層、太倉(cāng)市政府領(lǐng)導(dǎo)和業(yè)界人士共同出席了此次活動(dòng)。

圖4 空間域模型結(jié)構(gòu)圖

通道域主要分布于通道中,表現(xiàn)在圖像上就是對(duì)不同圖像通道的關(guān)注程度不同。Hu等提出通道域注意力機(jī)制[18]結(jié)構(gòu)如圖5所示。圖中X為輸入特征,通過卷積操作生成新的特征U,通過全局平均池化操作將其擠壓成通道數(shù)為C的一維向量,通過激勵(lì)函數(shù)獲得權(quán)重,最后對(duì)特征圖上每個(gè)像素點(diǎn)加權(quán)。

圖5 通道域模型結(jié)構(gòu)圖

混合域是結(jié)合空間域和通道域的注意力機(jī)制。Fei等提出了基于注意力機(jī)制的殘差學(xué)習(xí)方式[19],其添加的掩碼借鑒了殘差網(wǎng)絡(luò)的思想,不只根據(jù)當(dāng)前網(wǎng)絡(luò)層的信息添加掩碼,還添加了上一層的信息,防止了掩碼后信息量過少引起的網(wǎng)絡(luò)層數(shù)不能堆疊很深的問題。這可以看做每一個(gè)特征元素的權(quán)重,通過給每個(gè)特征元素找到其對(duì)應(yīng)的注意力權(quán)重,就同時(shí)形成了空間域和通道域的注意力機(jī)制。

2.3 改進(jìn)SSD算法

在SSD目標(biāo)檢測(cè)算法中,采用多尺度特征圖的方法對(duì)目標(biāo)進(jìn)行檢測(cè),其中底層特征圖對(duì)應(yīng)細(xì)節(jié)信息,高層特征圖對(duì)應(yīng)抽象的語(yǔ)義信息。底層特征圖上的小目標(biāo)物體在經(jīng)過一系列卷積、池化等操作后,獲得的高層特征圖上保留的信息將變得更少,所以對(duì)小目標(biāo)物體的檢測(cè)更不敏感。因此,在SSD算法中,底層特征圖用于對(duì)小目標(biāo)進(jìn)行檢測(cè),高層特征圖用于對(duì)中、大目標(biāo)進(jìn)行檢測(cè)。

感受野是指在卷積神經(jīng)網(wǎng)絡(luò)中,每一層特征圖像素在輸入圖像上映射區(qū)域的大小。在SSD算法中,選擇conv4_3、conv7、conv8_2、conv9_2、conv10_2、conv11_2這6個(gè)特征圖用于檢測(cè),conv4_3為底層特征圖,包含的細(xì)節(jié)信息豐富,但語(yǔ)義信息較少,同時(shí)感受野較小;其他5個(gè)為高層特征圖,包含的細(xì)節(jié)信息較少,語(yǔ)義信息豐富,感受野較大。只有conv4_3一個(gè)底層特征圖用于對(duì)小目標(biāo)進(jìn)行檢測(cè),細(xì)節(jié)信息不足且沒有利用到高層的語(yǔ)義信息,導(dǎo)致SSD算法對(duì)小目標(biāo)物體檢測(cè)效果較差。因此,引入空洞卷積,通過對(duì)擴(kuò)張率進(jìn)行調(diào)節(jié),使具有相同尺寸的卷積核感知到更廣泛的感受野,防止局部信息丟失,挖掘多尺度信息。

如1.1節(jié)中所述,SSD算法采用VGG-16為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行特征圖提取,通過疊加使用3次3×3卷積核替代7×7卷積核,有效減少了參數(shù)量,保證了檢測(cè)算法的實(shí)時(shí)性。在感受野相同的情況下,引入了更多層的非線性函數(shù),一定程度上加深了網(wǎng)絡(luò)深度,使網(wǎng)絡(luò)學(xué)到更復(fù)雜的特征,提升檢測(cè)效果。為了增大卷積核的感受野,更容易獲得待檢測(cè)物體的全局特征,本文使用3次擴(kuò)張率d=1,2,4的空洞卷積,替換原本conv4_3卷積層及之前的2次卷積核尺寸為3×3的標(biāo)準(zhǔn)卷積,以達(dá)到擴(kuò)大感受野的作用。引入空洞卷積結(jié)構(gòu)與原始標(biāo)準(zhǔn)卷積結(jié)構(gòu)對(duì)比如圖6所示,空洞卷積感受野計(jì)算公式如下

圖6 引入空洞卷積結(jié)構(gòu)與原始標(biāo)準(zhǔn)卷積結(jié)構(gòu)對(duì)比

v=2*(d-1)*(k-1)+k

(11)

式中:v為空洞卷積感受野范圍。

圖7 感受野對(duì)比圖

表1 特征圖尺度和參數(shù)值的對(duì)比

圖8a表示算法輸入圖像,圖8b表示原算法進(jìn)行標(biāo)準(zhǔn)卷積后的conv4_3特征圖輸出,圖8c表示由空洞卷積替代標(biāo)準(zhǔn)卷積后的conv4_3特征圖輸出。對(duì)比圖8b和圖8c,在使用空洞卷積替換原標(biāo)準(zhǔn)卷積后,擴(kuò)大了輸出的特征圖感受野,但是細(xì)節(jié)信息較之前有所下降,可能對(duì)檢測(cè)結(jié)果產(chǎn)生不利影響,故需要引入反卷積和注意力機(jī)制。通過反卷積將空洞卷積輸出的底層特征圖和高層特征圖進(jìn)行特征融合,可以同時(shí)具有較豐富的細(xì)節(jié)信息和語(yǔ)義信息;同時(shí)通過注意力機(jī)制,使網(wǎng)絡(luò)對(duì)圖像中復(fù)雜的信息進(jìn)行再次整合。

(a)輸入圖像

在進(jìn)行特征融合時(shí),首先對(duì)conv4_3進(jìn)行擴(kuò)張率為2的空洞卷積以擴(kuò)大感受野;然后對(duì)具有豐富語(yǔ)義信息的特征圖conv9_2進(jìn)行反卷積操作,對(duì)其進(jìn)行特征圖尺寸的還原,擴(kuò)大感受野;最后通過元素相加的方式進(jìn)行融合,直接對(duì)2個(gè)特征圖進(jìn)行相加,沒有改變通道數(shù),節(jié)省了計(jì)算量。通過融合將高層特征圖中的語(yǔ)義信息映射到用于檢測(cè)小目標(biāo)物體的底層特征圖中,相比融合前包含了更豐富的上下文信息,對(duì)小目標(biāo)物體的檢測(cè)更敏感,同時(shí)也增強(qiáng)了網(wǎng)絡(luò)的辨識(shí)能力。

本文引入通道注意力機(jī)制,分為擠壓、激勵(lì)和注意3個(gè)步驟。

擠壓操作的公式如下

(12)

式中:H、W分別為輸入的高度、寬度;U為輸入特征圖;Y為擠壓操作的輸出;C為輸入的通道數(shù)。式(12)將HWC的輸入轉(zhuǎn)化為1×1×C的輸出,相當(dāng)于進(jìn)行了一次全局平均池化操作。

激勵(lì)操作的公式如下

S=h-Swish(W2ReLU6(W1Y))

(13)

式中:S為激勵(lì)操作的輸出;W1的維度為C/β×C,W2的維度為C×C/β,β為一個(gè)縮放參數(shù),本文取值為4。W1與Y相乘代表全連接操作,然后經(jīng)過ReLU6激活函數(shù);再與W2相乘,也代表一次全連接操作,最后再經(jīng)過h-Swish激活函數(shù),就完成了激勵(lì)操作。ReLU6和h-Swish激活函數(shù)的圖像如圖9所示,公式如下

(a)ReLU6函數(shù)圖像

(14)

注意操作的公式如下

X=SU

(15)

式中:X為添加注意力機(jī)制后的特征圖。通過該方法為融合后的特征圖和其他5個(gè)特征圖分別添加注意力模型,為特征圖通道上的信號(hào)添加權(quán)重。這個(gè)權(quán)重代表與感興趣區(qū)域的相關(guān)度,使網(wǎng)絡(luò)投入更多關(guān)注對(duì)感興趣區(qū)域進(jìn)行學(xué)習(xí),忽視不重要的區(qū)域,使訓(xùn)練的模型學(xué)習(xí)能力提升,能更充分地學(xué)習(xí)到待測(cè)物體的多種特征信息,以提升檢測(cè)效果。本文提出的改進(jìn)SSD算法網(wǎng)絡(luò)結(jié)構(gòu)如圖10所示。

圖10 改進(jìn)SSD算法網(wǎng)絡(luò)結(jié)構(gòu)圖

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)平臺(tái)為i7-8700處理器,NVIDIA GeForce TX1070Ti顯卡,基于深度學(xué)習(xí)框架Keras。使用PASCAL VOC數(shù)據(jù)集,包含20個(gè)類別,分別為人、鳥、貓、牛、狗、馬、羊、飛機(jī)、自行車、船、巴士、汽車、摩托車、火車、瓶子、椅子、餐桌、盆栽植物、沙發(fā)、電視。本文使用VOC2007和VOC2012作為訓(xùn)練集,使用VOC2007作為測(cè)試集。訓(xùn)練時(shí)采用隨機(jī)梯度下降法(SGD),批量設(shè)置為32,初始學(xué)習(xí)率設(shè)置為0.001,動(dòng)量參數(shù)設(shè)置為0.9,學(xué)習(xí)率在迭代次數(shù)為100 000和150 000時(shí)調(diào)小90%,共訓(xùn)練200 000次。

3.2 檢測(cè)效果客觀評(píng)價(jià)

本文使用平均檢測(cè)精度(mAP)作為檢測(cè)算法的評(píng)價(jià)指標(biāo)。檢測(cè)到的每一個(gè)類別都會(huì)得到由查準(zhǔn)率和查全率構(gòu)成的曲線,曲線下的面積就是單個(gè)類別的檢測(cè)精度(AP),對(duì)所有類別的檢測(cè)精度求平均,即可得到平均檢測(cè)精度。

以VOC2007和VOC2012數(shù)據(jù)集為訓(xùn)練集,VOC2007為測(cè)試集,將本文算法與原始SSD算法、基于反卷積的單步多框目標(biāo)檢測(cè)DSSD算法[20]進(jìn)行對(duì)比,對(duì)比結(jié)果如表2所示,將數(shù)據(jù)可視化后的對(duì)比情況如圖11所示。

圖11 VOC2007測(cè)試集上各類別平均檢測(cè)精度對(duì)比

此外,為檢驗(yàn)算法的實(shí)時(shí)性,本文對(duì)比了其他主流模型及本文提出的改進(jìn)算法的檢測(cè)速度,對(duì)比結(jié)果如表3和圖12所示。

圖12 VOC2007測(cè)試集上檢測(cè)速度對(duì)比圖

從表2和表3可以看出,本文提出的改進(jìn)SSD算法與其他主流模型相比,檢測(cè)精度均有一定提升;相比原始SSD算法檢測(cè)精度提升了0.9%,檢測(cè)速度略低于SSD算法,相比DSSD算法檢測(cè)精度略有下降,但檢測(cè)速度有較大提升。因此,本文提出的算法在提高檢測(cè)精度的同時(shí),滿足了實(shí)時(shí)性的需求。

表2 本文算法與其他算法檢測(cè)結(jié)果對(duì)比

表3 檢測(cè)速度對(duì)比

3.3 檢測(cè)效果主觀評(píng)價(jià)

為了更直觀地感受本文提出的改進(jìn)算法檢測(cè)能力,在VOC2007測(cè)試集中選取若干圖片,分別用原始SSD算法和改進(jìn)后的算法進(jìn)行檢測(cè)并對(duì)比,限于篇幅限制,本節(jié)共選取6張圖片進(jìn)行對(duì)比,對(duì)比結(jié)果如圖13～圖18。

從圖13～16中可以看出,改進(jìn)后的算法相比原始SSD算法可以檢測(cè)到更多目標(biāo),有效改善了漏檢的問題。如圖17所示,改進(jìn)后的算法檢測(cè)出更多目標(biāo)的同時(shí)對(duì)目標(biāo)的分類也更加準(zhǔn)確,改善了誤檢的問題。如圖18所示,在待檢測(cè)目標(biāo)發(fā)生遮擋現(xiàn)象時(shí),改進(jìn)后的算法檢測(cè)更加準(zhǔn)確,仍可以檢測(cè)出重疊目標(biāo)的類別。

(a)SSD檢測(cè)結(jié)果

(a)SSD檢測(cè)結(jié)果

(a)SSD檢測(cè)結(jié)果

(a)SSD檢測(cè)結(jié)果

(a)SSD檢測(cè)結(jié)果

(a)SSD檢測(cè)結(jié)果

4 結(jié) 論

本文提出一種改進(jìn)的SSD目標(biāo)檢測(cè)算法,通過連續(xù)3次空洞卷積替換原本conv4_3卷積層及之前的兩次標(biāo)準(zhǔn)卷積卷積核為3×3,以擴(kuò)大特征圖的感受野;結(jié)合反卷積,對(duì)不同尺度的特征圖進(jìn)行特征融合,使用于檢測(cè)的特征圖同時(shí)具有豐富的細(xì)節(jié)信息和上下文信息;最后結(jié)合注意力機(jī)制,對(duì)多尺度特征圖添加注意力模塊,提升算法對(duì)感興趣區(qū)域的檢測(cè)能力。通過理論分析和實(shí)驗(yàn)對(duì)比,改進(jìn)后的算法相比原始SSD算法檢測(cè)精度有明顯的提升,有效改善了誤檢和漏檢等問題。由于引入了額外計(jì)算量,導(dǎo)致檢測(cè)速度有所下降,但仍能滿足實(shí)時(shí)性需求。從對(duì)比圖中也可以看出,改進(jìn)后的算法仍存在一定漏檢現(xiàn)象,在接下來(lái)的研究中,將對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)部分進(jìn)行優(yōu)化,進(jìn)一步提高算法各方面的性能。