目標(biāo)邊緣特征增強(qiáng)檢測(cè)算法

李雪萌，楊大偉，毛 琳

(大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116605)

目標(biāo)檢測(cè)算法因卷積特征表達(dá)能力不足，而致使檢測(cè)偏離真實(shí)值，常表現(xiàn)為對(duì)小目標(biāo)和同類(lèi)多目標(biāo)檢測(cè)失效?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法致力于不斷提高檢測(cè)精度，按兩階段和單階段目標(biāo)檢測(cè)算法進(jìn)行分類(lèi)。兩階段檢測(cè)算法的代表是基于區(qū)域生成的豐富特征層次結(jié)構(gòu)網(wǎng)絡(luò)(RCNN[1])系列算法，RCNN檢測(cè)算法通過(guò)對(duì)輸入的圖片生成候選區(qū)域，使用基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi)(AlexNet[2])主干網(wǎng)絡(luò)進(jìn)行特征提取，并訓(xùn)練支持向量機(jī)(Support Vector Machine,SVM)對(duì)特征進(jìn)行區(qū)域分類(lèi)，取得比傳統(tǒng)檢測(cè)方法更好的結(jié)果。但其訓(xùn)練步驟繁瑣，重復(fù)計(jì)算多。兩階段算法較單階段算法擁有更高的檢測(cè)精度，但檢測(cè)效率較低。單階段檢測(cè)算法包含單次取樣計(jì)算(You only look once，YOLO[3])、單次多尺度檢測(cè)器(Single Shot MultiBox Detector，SSD[4])、分組角點(diǎn)檢測(cè)網(wǎng)絡(luò)(CornerNet)等。CornerNet具有可以與兩階段檢測(cè)器相媲美的檢測(cè)精度，該算法將對(duì)目標(biāo)的檢測(cè)轉(zhuǎn)換為對(duì)目標(biāo)關(guān)鍵點(diǎn)的檢測(cè)，使用沙漏特征提取網(wǎng)絡(luò)(Hourglass[5])作為骨干網(wǎng)絡(luò)，通過(guò)目標(biāo)左上角點(diǎn)與右下角點(diǎn)確定邊界框位置，省略生成錨框的步驟。

CornerNet檢測(cè)特征角點(diǎn)時(shí)，常常對(duì)目標(biāo)邊界定位不準(zhǔn)確，當(dāng)目標(biāo)尺寸過(guò)小或同類(lèi)目標(biāo)距離過(guò)近時(shí)，容易出現(xiàn)漏檢或錯(cuò)檢現(xiàn)象。針對(duì)誤撿漏檢等問(wèn)題，提出基于多尺度特征融合的小目標(biāo)行人檢測(cè)[6]，結(jié)合反卷積與特征融合思想，實(shí)現(xiàn)深層特征與淺層特征結(jié)合使用，在一定程度上提高檢測(cè)精度，但網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，同時(shí)計(jì)算量增加。文獻(xiàn)[7]為解決復(fù)雜背景下全景視頻中運(yùn)動(dòng)小目標(biāo)檢測(cè)精度低的問(wèn)題，提出了一種基于復(fù)雜背景下全景視頻運(yùn)動(dòng)小目標(biāo)檢測(cè)算法，通過(guò)分離前景背景信息，提取有效的前景信息并訓(xùn)練前景特征圖，實(shí)現(xiàn)小目標(biāo)的精準(zhǔn)檢測(cè)，但算法運(yùn)算時(shí)間長(zhǎng)，無(wú)法實(shí)現(xiàn)目標(biāo)實(shí)時(shí)檢測(cè)。

本文提出一種邊緣特征增強(qiáng)的CornerNet目標(biāo)檢測(cè)算法(Octconv Egle feature enhancement Cornernet，OEC)，通過(guò)增強(qiáng)圖像邊緣特征實(shí)現(xiàn)邊界框的精確定位。該算法加入OEC邊緣特征增強(qiáng)模塊獲取目標(biāo)的高低頻分量信息，經(jīng)融合兩種不同分量信息增強(qiáng)邊緣特征表達(dá)能力，改善CornerNet角點(diǎn)檢測(cè)漏檢、精度下降的情況，有效提升對(duì)小目標(biāo)的檢測(cè)，對(duì)空間距離較小的同類(lèi)目標(biāo)區(qū)分能力顯著提升，進(jìn)一步提高檢測(cè)精度。

1 OEC目標(biāo)邊緣特征增強(qiáng)檢測(cè)算法

CornerNet算法的核心思想，是通過(guò)一個(gè)沙漏主干神經(jīng)網(wǎng)絡(luò)分別對(duì)目標(biāo)的左上角和右下角進(jìn)行卷積池化處理，獲取目標(biāo)邊框角點(diǎn)，利用熱圖(Heatmap)估計(jì)目標(biāo)所在的真實(shí)位置。預(yù)測(cè)邊框角點(diǎn)時(shí)，在沙漏網(wǎng)絡(luò)提取特征細(xì)節(jié)信息的過(guò)程中，一旦信息缺失或不完整，將直接影響熱圖對(duì)目標(biāo)位置的判斷，導(dǎo)致目標(biāo)范圍定位不準(zhǔn)確。

OEC目標(biāo)檢測(cè)算法運(yùn)用圖像頻率域高低頻信息融合的思想，通過(guò)強(qiáng)調(diào)特征中高頻信息分量增強(qiáng)邊緣特征信息，有利于熱圖對(duì)角點(diǎn)位置的檢測(cè)，不僅解決低頻分量冗余問(wèn)題，更可提高識(shí)別性能，能夠?qū)δ繕?biāo)進(jìn)行有效區(qū)分和定位，改善對(duì)空間距離較小的同類(lèi)目標(biāo)以及小目標(biāo)檢測(cè)精度較低的問(wèn)題。OEC目標(biāo)檢測(cè)算法結(jié)構(gòu)框架如圖1。

圖1 OEC目標(biāo)檢測(cè)算法結(jié)構(gòu)

1.1 OEC模塊

OEC檢測(cè)算法由串聯(lián)型OEC邊緣特征增強(qiáng)模塊實(shí)現(xiàn)，目的為從沙漏網(wǎng)絡(luò)中分離出高頻、低頻不同的特征分量信息。在CornetNet網(wǎng)絡(luò)中，特征經(jīng)沙漏網(wǎng)絡(luò)輸出后直接進(jìn)入角點(diǎn)處理層，即由A到A′點(diǎn)直接相連，在角點(diǎn)處理層中直接計(jì)算熱圖，確定目標(biāo)位置。由于熱圖計(jì)算對(duì)目標(biāo)邊緣信息極為敏感，OEC模塊在沙漏網(wǎng)絡(luò)后，即AA′之間插入OEC邊緣特征增強(qiáng)模塊，通過(guò)OEC模塊對(duì)特征進(jìn)行邊緣增強(qiáng)處理，分解為不同頻率，融合輸出適當(dāng)?shù)母哳l特征信息，為熱圖計(jì)算目標(biāo)位置提供良好的預(yù)處理。

(1)特征通過(guò)沙漏網(wǎng)絡(luò)進(jìn)入OEC模塊。經(jīng)過(guò)1×1×128的卷積Conv進(jìn)行降維變換，調(diào)整特征圖尺度。

(2)引入八度卷積(Octave Convolution，OctConv[8])過(guò)濾特征信息，對(duì)輸入頻率張量中的低頻和高頻分量進(jìn)行處理，輸出融合信息。

(3)輸出的高頻信息經(jīng)過(guò)1×1×128的反卷積DConv還原尺度，在角點(diǎn)處理層中生成熱圖，計(jì)算角點(diǎn)，得到目標(biāo)的邊框信息。

OEC模塊結(jié)構(gòu)如圖2。

圖2 OEC邊緣特征增強(qiáng)模塊結(jié)構(gòu)

1.2 邊緣特征增強(qiáng)

在卷積神經(jīng)網(wǎng)絡(luò)中，通過(guò)對(duì)特征圖進(jìn)行頻率分離，可以充分提取圖像的相關(guān)特征信息。在邊緣特征增強(qiáng)模塊中，引入OctConv算法對(duì)輸入特征中的低頻和高頻分量進(jìn)行分離-融合處理，通過(guò)融合部分低頻信息，輸出更多的高頻信息，增強(qiáng)目標(biāo)邊緣特征。

當(dāng)γ=0時(shí)，僅包含高頻分量，沒(méi)有低頻分量信息，此時(shí)OctConv退化為普通卷積；當(dāng)γ=1時(shí)，只輸出低頻信息而沒(méi)有高頻信息。

輸出的融合分量設(shè)為Y，則Y的構(gòu)建過(guò)程為

Y=[γYL+(1-γ)YH]]·D；

(1)

YL=(XL?M)+P(XH?M) ；

(2)

YH=(XH?M)+U(XL?M) 。

(3)

式中：D∈(0,1)為幅值系數(shù)；?為卷積計(jì)算；P為池化操作；U為上采樣操作。通過(guò)調(diào)節(jié)頻率分配系數(shù)γ控制融合分量的比率，最終輸出高低頻融合信息Y。

高低頻融合張量的計(jì)算過(guò)程為

(4)

OEC模塊通過(guò)融合高低頻信息，有效替代普通卷積，穩(wěn)定提高識(shí)別性能。

1.3 邊緣特征可視化

邊緣特征的增強(qiáng)有利于熱圖計(jì)算，從而更精確地確定目標(biāo)位置，通過(guò)計(jì)算OEC 高頻輸出后在熱圖中的類(lèi)別得分，設(shè)計(jì)損失函數(shù)確定目標(biāo)類(lèi)別和檢測(cè)的準(zhǔn)確性。計(jì)算得到高頻增強(qiáng)的熱圖得分：

(5)

由于高頻處理能夠突出特征的邊緣信息，利于特征邊緣信息的增強(qiáng)顯示，通過(guò)OEC模塊增強(qiáng)高頻信息，融合低頻信息，在實(shí)現(xiàn)高低頻分量特征有效通信的基礎(chǔ)上輸出更多的高頻分量。得到損失函數(shù)：

(6)

式中：pc為熱圖中類(lèi)別c的得分；n是圖像中目標(biāo)的數(shù)量；α和β是控制角點(diǎn)的超參數(shù)；Sc為高頻輸出，(1-Sc)項(xiàng)增強(qiáng)了對(duì)真實(shí)值的約束。輸入到熱圖的特征經(jīng)OEC模塊增強(qiáng)后的可視化對(duì)比如圖3。

圖3 邊緣特征可視化對(duì)比

圖3中(1)行為原始圖像；(2)行為CornerNet原始算法中經(jīng)Conv卷積層的可視化表達(dá)；(3)行為OEC算法中經(jīng)OEC模塊的可視化表達(dá)；(4)行為原始卷積細(xì)節(jié)顯示效果；(5)行為經(jīng)OEC算法特征增強(qiáng)后細(xì)節(jié)顯示效果。OEC檢測(cè)算法增強(qiáng)目標(biāo)的邊緣特征信息，在一定程度上提高了邊緣特征的表達(dá)能力，利于目標(biāo)的檢測(cè)。

2 仿真分析

本算法運(yùn)行環(huán)境硬件配置為NVIDIA 1080Ti顯卡，軟件系統(tǒng)為Ubuntu16.04，使用Pytorch0.4.0深度學(xué)習(xí)框架，訓(xùn)練使用語(yǔ)境中通用目標(biāo)(Common Objects in Context，COCO[9])2014數(shù)據(jù)集，共有123 287張圖片。將頻率分配系數(shù)設(shè)置為0，幅值系數(shù)D設(shè)為1，不改變特征圖輸入與輸出的大小，輸出融合信息，增強(qiáng)高頻特征。COCO 2014數(shù)據(jù)集提供的圖片包含80個(gè)類(lèi)別，經(jīng)過(guò)與CornerNet仿真分析，設(shè)置批處理大小為2，在同樣迭代80 000次的情況下，學(xué)習(xí)率為0.000 25，以IOU=0.5為標(biāo)準(zhǔn)進(jìn)行對(duì)比分析。仿真結(jié)果見(jiàn)表1。

表1 算法對(duì)比結(jié)果

測(cè)試結(jié)果顯示OEC檢測(cè)算法mAP為0.302高于CornerNet檢測(cè)算法(0.223)。在COCO數(shù)據(jù)集80個(gè)檢測(cè)類(lèi)別中，OEC檢測(cè)算法的平均準(zhǔn)確率均優(yōu)于CornerNet，列舉20個(gè)類(lèi)別對(duì)比見(jiàn)表3。

表2 在COCO2014數(shù)據(jù)集上的仿真結(jié)果

OEC檢測(cè)算法對(duì)人、交通工具、動(dòng)物等類(lèi)別檢測(cè)效果的提高尤其明顯，應(yīng)用于無(wú)人駕駛系統(tǒng)、智能機(jī)器人等領(lǐng)域時(shí)，可有效提高檢測(cè)精度，相比CornerNet存在較大優(yōu)勢(shì)。

選取OEC與CornerNet四組場(chǎng)景的測(cè)試結(jié)果如圖4。

第一組對(duì)比圖中由于目標(biāo)過(guò)小，且目標(biāo)與背景區(qū)分度不高，CornerNet不能檢測(cè)遠(yuǎn)處場(chǎng)景中小目標(biāo)(右側(cè)的人)，而OEC能夠準(zhǔn)確檢測(cè)并分類(lèi)；第二組對(duì)比圖中，同一類(lèi)目標(biāo)過(guò)多且重疊度高，OEC相比CornerNet能夠檢測(cè)出更多的小目標(biāo)；第三組對(duì)比圖存在多個(gè)同一類(lèi)目標(biāo)且位置相近，CornerNet出現(xiàn)漏檢的現(xiàn)象，OEC準(zhǔn)確檢測(cè)到CornerNet未檢測(cè)到的目標(biāo)(右數(shù)第四個(gè)人)；第四組對(duì)比圖中，CornerNet由于關(guān)鍵點(diǎn)定位錯(cuò)誤，對(duì)于空間距離相近的同類(lèi)目標(biāo)不能夠正確區(qū)分，OEC能夠正確區(qū)分同一目標(biāo)的不同位置，對(duì)目標(biāo)進(jìn)行精確框定。

OEC目標(biāo)檢測(cè)算法在一定程度上提高檢測(cè)精度的同時(shí)，對(duì)于場(chǎng)景中存在多個(gè)目標(biāo)以及目標(biāo)與背景區(qū)分度過(guò)低情況下的檢測(cè)效果仍待提升，如圖5。

a)CornerNet測(cè)試結(jié)果 b)OEC測(cè)試結(jié)果

a)目標(biāo)密集場(chǎng)景 b)目標(biāo)區(qū)分度低場(chǎng)景

圖5a中由于目標(biāo)分布較密集，OEC算法不能檢測(cè)出場(chǎng)景中的所有目標(biāo)；圖5b中，目標(biāo)與背景區(qū)分度過(guò)低，目標(biāo)(右側(cè)的小鳥(niǎo))沒(méi)有被檢測(cè)到。

對(duì)比CornerNet算法檢測(cè)結(jié)果，OEC算法的檢測(cè)精度提升幅度達(dá)0.9%，檢測(cè)效果提升明顯。雖然增加了卷積操作但訓(xùn)練時(shí)間并沒(méi)有較大差距，同時(shí)計(jì)算量減少。OEC檢測(cè)算法通過(guò)增強(qiáng)特征細(xì)節(jié)，能夠檢測(cè)到更多的特征信息，對(duì)小目標(biāo)和空間距離較小的同類(lèi)目標(biāo)檢測(cè)效果較好，并適用于復(fù)雜場(chǎng)景，檢測(cè)精度有明顯的優(yōu)勢(shì)。

3 結(jié) 語(yǔ)

本文針對(duì)CornerNet檢測(cè)算法對(duì)角點(diǎn)檢測(cè)容易出現(xiàn)漏檢和檢測(cè)效果不佳的情況，加入邊緣特征增強(qiáng)模塊分離并輸出更多的高頻信息，提出OEC目標(biāo)邊緣特征增強(qiáng)檢測(cè)算法，通過(guò)增強(qiáng)邊緣特征信息，進(jìn)一步提高檢測(cè)精度。與CornerNet算法相比，OEC算法進(jìn)一步改善了目標(biāo)的框定效果，并得到較優(yōu)結(jié)果，提高對(duì)尺寸較小目標(biāo)的檢測(cè)精度，對(duì)空間距離較小的同類(lèi)目標(biāo)區(qū)分能力提升，適用于無(wú)人駕駛及移動(dòng)機(jī)器人等場(chǎng)景。后續(xù)工作中，希望進(jìn)一步提高對(duì)復(fù)雜場(chǎng)景下存在多個(gè)目標(biāo)的檢測(cè)精度，提升目標(biāo)與背景的區(qū)分能力。