基于關(guān)鍵點(diǎn)的Anchor Free目標(biāo)檢測(cè)模型綜述①

鄭婷婷,楊 雪,戴 陽

(長安大學(xué) 信息工程學(xué)院,西安 710064)

引言

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺應(yīng)用的基礎(chǔ),在圖像處理中任務(wù)中發(fā)揮著至關(guān)重要的作用.目標(biāo)檢測(cè)是一種利用算法在圖像中搜索感興趣區(qū)域的技術(shù),結(jié)合了目標(biāo)分類和定位兩個(gè)任務(wù).在人臉檢測(cè)、人體姿勢(shì)估計(jì)、實(shí)例分割等領(lǐng)域的到了廣泛的使用.

傳統(tǒng)的目標(biāo)檢測(cè)模型主要包括Haar 特征+Adaboost+Cascade、HOG 特征+SVM、HOG 特征+Cascade、DPM 特征+Latent SVM 等,這些算法雖然推動(dòng)了目標(biāo)檢測(cè)的發(fā)展,但仍然存在以下兩點(diǎn)問題:一是基于滑窗的區(qū)域選擇沒有針對(duì)性,耗時(shí)較長,窗口冗余;二是手動(dòng)標(biāo)記的特征對(duì)于多變的情況具有較差的魯棒性.隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展,這些問題已經(jīng)得到了解決.

自2013年Girshick 等[1]提出R-CNN 框架后,在此基礎(chǔ)上的一系列框架不斷被提出,如Faster R-CNN、Mask R-CNN 等的two stage 框架和YOLO、SSD、RetinaNet 等的one stage 框架,二者都是基于錨框的目標(biāo)檢測(cè).相比傳統(tǒng)的目標(biāo)檢測(cè)方法,基于卷積神經(jīng)網(wǎng)絡(luò)的錨框的方法能夠進(jìn)行更為精細(xì)的檢測(cè).但使用錨框仍存在以下兩方面的問題:一是通常需要一組非常大的錨框,例如:DSSD[2]超過4 萬,RetinaNet[3]超過10 萬.這是因?yàn)闄z測(cè)器被訓(xùn)練用以分類每個(gè)錨框是否與真實(shí)框盡可能的重疊,所以需要大量的框以確保與大多數(shù)的真實(shí)框最大程度的重疊.最終只有一小部分框與真實(shí)框重合,這會(huì)導(dǎo)致正負(fù)樣本的不平衡,并減慢了訓(xùn)練的速度.二是使用錨框會(huì)引入許多超參數(shù)的組合問題,即已有方法把目標(biāo)在哪和目標(biāo)有多大綁在一個(gè)框里,通過局部分類器一次性判斷各種不同大小、不同比例的框是否為目標(biāo),這會(huì)造成超參數(shù)的組合問題.同時(shí),超參數(shù)通常與檢測(cè)任務(wù)和數(shù)據(jù)集相關(guān),難以調(diào)優(yōu)和通用.

而anchor free的目標(biāo)檢測(cè)可以消除框,改善錨框帶來的各種問題,進(jìn)行更快、更精細(xì)的檢測(cè).所謂基于關(guān)鍵點(diǎn)的anchor free的目標(biāo)檢測(cè),其實(shí)質(zhì)就是使用one stage 網(wǎng)絡(luò)將目標(biāo)邊界檢測(cè)為一對(duì)關(guān)鍵點(diǎn).通過將目標(biāo)檢測(cè)為成對(duì)關(guān)鍵點(diǎn),就可消除現(xiàn)有的one stage 檢測(cè)網(wǎng)絡(luò)中對(duì)一組anchor的需要.為進(jìn)一步了解近期anchor free的目標(biāo)檢測(cè)關(guān)鍵技術(shù)的發(fā)展進(jìn)程,本文首先綜述了基于CornerNet 模型、CenterNet 模型、FCOS 模型3 個(gè)不同方向的anchor free 目標(biāo)檢測(cè)的主要思想和網(wǎng)絡(luò)架構(gòu),其次對(duì)不同模型的優(yōu)點(diǎn)和不足進(jìn)行了詳細(xì)的說明和分析,最后對(duì)anchor free 目標(biāo)檢測(cè)的現(xiàn)有問題和未來發(fā)展趨勢(shì)進(jìn)行展望.

1 基于角點(diǎn)的anchor free 目標(biāo)檢測(cè)

基于角點(diǎn)的目標(biāo)檢測(cè)方法通過組合從特征圖中學(xué)習(xí)到的角點(diǎn)對(duì),來預(yù)測(cè)邊框.這種方法不需要設(shè)計(jì)錨框,減少了對(duì)錨框的各種計(jì)算,從而成為生成高質(zhì)量邊框的更有效的方法.基于角點(diǎn)的anchor free 目標(biāo)檢測(cè)模型主要有CornerNet和CornerNet的優(yōu)化CornerNet-Lite.

1.1 CornerNet

Law 等[4]提出了一個(gè)基于配對(duì)關(guān)鍵點(diǎn)(左上角和右下角)的目標(biāo)檢測(cè)方法,算法步驟:(1)使用單個(gè)卷積神經(jīng)網(wǎng)絡(luò)Hourglass-104[4,5]預(yù)測(cè)這兩個(gè)位置的熱圖集合來表示不同目標(biāo)種類的角點(diǎn)位置.在角點(diǎn)熱圖上使用非極大值抑制,選擇前k個(gè)左上角點(diǎn)和前k個(gè)右下角點(diǎn).該方法中還引入了角點(diǎn)池化,這是一種新型的池化層,其可以幫助網(wǎng)絡(luò)更好的定位角點(diǎn);(2)預(yù)測(cè)一個(gè)嵌入向量[6],對(duì)每一個(gè)檢測(cè)到的角點(diǎn),讓屬于同一類物體的對(duì)應(yīng)角點(diǎn)之間的嵌入向量距離最小;(3)為了產(chǎn)生更緊湊的目標(biāo)框,預(yù)測(cè)一個(gè)偏置L1 損失[7]來微調(diào)角點(diǎn)的位置.該方法的流程圖如圖1所示.

圖1 CornerNet 流程圖[4]

依據(jù)文獻(xiàn)[4]實(shí)驗(yàn)結(jié)果,該方法在MSCOCO 數(shù)據(jù)集上實(shí)現(xiàn)了42.2%的精確度,效果優(yōu)于其之前的所有單級(jí)檢測(cè)器,使mAP 有所提高,相較于框的目標(biāo)檢測(cè)其必有新穎之處,例如:角點(diǎn)池化,它可以幫助卷積網(wǎng)絡(luò)更好地定位邊界框的角點(diǎn);嵌入向量,它是對(duì)角點(diǎn)進(jìn)行分組,對(duì)于預(yù)測(cè)到的角點(diǎn)根據(jù)它們的嵌入向量之間的距離差異被分成不同的組;損失函數(shù),使用焦點(diǎn)損失函數(shù)[3],其重點(diǎn)學(xué)習(xí)難樣本和平衡正負(fù)樣本以幫助更好的訓(xùn)練網(wǎng)絡(luò).

但是在其他方面還有許多不足,例如:在速度上,每張圖像的處理時(shí)間為1.147 s,這對(duì)于需要實(shí)時(shí)或交互速率的視頻來說很慢;在精度上,盡管可以通過減少處理的像素?cái)?shù)量來加快處理時(shí)間,但是這樣會(huì)導(dǎo)致精度的大幅度下降;在全局性上,CornerNet 缺乏對(duì)物體全局信息的考慮,即因?yàn)槊總€(gè)目標(biāo)物都有兩個(gè)角點(diǎn),算法對(duì)識(shí)別目標(biāo)物的邊界框很敏感,同時(shí)又無法確定哪兩個(gè)角點(diǎn)屬于同一個(gè)物體,所以會(huì)產(chǎn)生一些錯(cuò)誤的邊框.因此,對(duì)于這些問題,Law 等[8]提出CornerNet-Lite的高效目標(biāo)檢測(cè)和Duan 等[9]提出CenterNet的關(guān)鍵點(diǎn)三元組進(jìn)行解決.

1.2 CornerNet-Lite

CornerNet-Lite的高效目標(biāo)檢測(cè)是在CornerNet的基礎(chǔ)上進(jìn)行的優(yōu)化,是Cornernet的兩個(gè)高效變體的組合,優(yōu)化包括兩點(diǎn):(1)CornerNet-Saccade 使用類似于人眼的注意力機(jī)制消除了對(duì)圖像的所有像素進(jìn)行處理的需要,通過減少像素個(gè)數(shù)來提高檢測(cè)速度.CornerNet-Saccade 可以用于線下處理,不用犧牲精度也可提升速度.CornerNet-Saccade是第一個(gè)在基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)方法中使用Saccade的;(2)引入了新的緊湊骨干架構(gòu)CornerNet-Squeeze,通過減少每個(gè)像素的處理量來加速圖像處理.它融合了SqueezeNet[10]和MobileNet[11]的思想,并引入了一種新的緊湊型沙漏骨干(54 層,CornerNet的沙漏骨干104 層),廣泛使用1×1 卷積,瓶頸層和深度可分離卷積[12].CornerNet-Squeeze 可用于實(shí)時(shí)處理,提升精確度而無需犧牲速度,是第一篇把Squeeze和沙漏網(wǎng)絡(luò)組合用于目標(biāo)檢測(cè)的文章.

CornerNet-Saccade的算法步驟:第一步是獲取圖像中可能的目標(biāo)位置.(1)先把原圖進(jìn)行縮小和裁剪;(2)將縮小的完整圖像輸入到骨架網(wǎng)絡(luò)(沙漏網(wǎng)絡(luò):卷積、下采樣和卷積、上采樣)中預(yù)測(cè)attention maps和檢測(cè)縮小后的圖像中的目標(biāo)并生成粗邊框(兩者都提出可能的對(duì)象位置).通過使用不同尺度的特征圖來預(yù)測(cè)3 個(gè)attention maps,用于小、中、大物體;(3)從預(yù)測(cè)的attention maps和粗邊框中得到可能的目標(biāo)位置.第二步是檢測(cè)目標(biāo).(1)對(duì)第一步(3)的可能位置中選取前k個(gè)位置,把這k個(gè)位置與對(duì)原圖裁剪得到的圖片進(jìn)行對(duì)應(yīng),得到在可能的位置處檢測(cè)到目標(biāo);(2)對(duì)檢測(cè)的結(jié)果基于soft-NMS 進(jìn)行處理,處理方式與CornerNet[4]一樣,從而得到目標(biāo)物的邊界框;(3)利用得到的邊界框的尺寸來確定目標(biāo)所在圖像的縮放大小,進(jìn)行目標(biāo)的合并且大小與原圖一致.在訓(xùn)練時(shí),采用與CornerNet 相似的訓(xùn)練損失來訓(xùn)練網(wǎng)絡(luò)以預(yù)測(cè)角點(diǎn)熱圖、嵌入和偏置.CornerNet-Saccade的流程圖如圖2所示.

圖2 CornerNet-Saccade的流程圖[8]

CornerNet-Squeeze是CornerNet-Lite 研究的另一個(gè)方案,降低每個(gè)像素點(diǎn)上處理成本.在CornerNet中,大多數(shù)的計(jì)算都耗費(fèi)在Hourglass-104[4,5]上,非常耗時(shí).為了降低Hourglass-104 網(wǎng)絡(luò)的復(fù)雜度,引入Squeeze和MobileNet的思想[10,11],設(shè)計(jì)了一個(gè)輕量級(jí)的Hourglass-52.訓(xùn)練CornerNet-Squeeze 使用了與CornerNet 中一樣的損失函數(shù)和超參數(shù),唯一不同的是batch size.

Squeeze 提出了3 種降低網(wǎng)絡(luò)復(fù)雜策略:(1)用1×1 卷積替換3×3 卷積,減少輸入通道的數(shù)量;(2)減少3×3 卷積的輸入通道;(3)下采樣后延(此文沒用到),沙漏網(wǎng)絡(luò)是對(duì)稱的,延遲下采樣會(huì)在上采樣期間產(chǎn)生更高分辨率的特征圖,再執(zhí)行卷積,會(huì)增加計(jì)算量.

由文獻(xiàn)[6]實(shí)驗(yàn)結(jié)果可知:(1)在COCO 數(shù)據(jù)集上CornerNet-Saccade的計(jì)算速度比CornerNet 提升了6 倍,且精度提高了1.0%,這說明CornerNet-Saccade在追求高準(zhǔn)確率的同時(shí),速度也得到了很大的提高;(2)在COCO 數(shù)據(jù)集上CornerNet-Squeeze的34 ms 時(shí)有34.4%的準(zhǔn)確度,而YOLOv3的33 ms 時(shí)有33.0%的準(zhǔn)確度,提高了當(dāng)前流行的實(shí)時(shí)檢測(cè)器YOLOv3的速度和準(zhǔn)確度.

2 基于中心點(diǎn)的anchor free 目標(biāo)檢測(cè)算法

基于中心點(diǎn)的目標(biāo)檢測(cè)方法是對(duì)特征圖的每個(gè)位置預(yù)測(cè)它是目標(biāo)中心點(diǎn)的概率,并且在沒有錨框先驗(yàn)的情況下進(jìn)行邊框的預(yù)測(cè).基于中心點(diǎn)的Anchor free目標(biāo)檢測(cè)模型主要有CenterNet (中心點(diǎn)和角點(diǎn))和CenterNet (中心點(diǎn)).

2.1 CenterNet (使用中心點(diǎn)和角點(diǎn))

由于CornerNet 缺乏對(duì)物體全局信息的考慮,通常會(huì)遭受大量不正確的目標(biāo)邊框的困擾,為解決該問題,Duan 等[9]提出了CenterNet的用于目標(biāo)檢測(cè)的關(guān)鍵點(diǎn)三元組方法,即在CornerNet的基礎(chǔ)上加入一個(gè)中心關(guān)鍵點(diǎn)的熱圖,并預(yù)測(cè)了中心點(diǎn)的偏置.相較于CornerNet,CenterNet 關(guān)鍵點(diǎn)三元組方法進(jìn)行了如下優(yōu)化:(1)確定中心區(qū)域的大小,能更準(zhǔn)確的定位目標(biāo);(2)為了增強(qiáng)中心點(diǎn)和角點(diǎn)信息,提出了中心池化和級(jí)聯(lián)角點(diǎn)池化(豐富了邊界和內(nèi)部信息,而CornerNet的角點(diǎn)池化只有邊界信息).該方法提高了準(zhǔn)確性和查全率.在COCO數(shù)據(jù)集上,CenterNet的AP 達(dá)到了47.0%,比現(xiàn)有的一級(jí)檢測(cè)器至少好4.9%.

算法步驟:該方法的檢測(cè)步驟與CornerNet[4]的步驟類似,(1)在CornerNet的步驟(1)中再預(yù)測(cè)一個(gè)中心熱圖,在熱圖上采用非極大值抑制,選擇前k個(gè)中心點(diǎn).該方法中引入的是級(jí)聯(lián)角點(diǎn)池化和中心點(diǎn)池化;(2)在CornerNet的步驟(2)中添加一個(gè)中心偏置;(3)兩個(gè)角點(diǎn)用來檢測(cè)潛在的目標(biāo)框,然后用中心區(qū)域判斷中心點(diǎn)是否在中心區(qū)域內(nèi),最后確定最終的邊界框的位置.CenterNet的流程圖如圖3所示.

由文獻(xiàn)[9] 實(shí)驗(yàn)結(jié)果可知,該算法的AP 相較于CornerNet 有很大的提高.但是,基本上所有的目標(biāo)檢測(cè)器都會(huì)把潛在的目標(biāo)位置列舉出來,并對(duì)每一個(gè)物體進(jìn)行分類.這樣做是非常浪費(fèi)時(shí)間、低效的,而且還需要額外的后處理,如非極大值抑制等,使網(wǎng)絡(luò)變得很復(fù)雜.而Zhou 等提出的CenterNet[13],即將目標(biāo)當(dāng)作中心點(diǎn)來檢測(cè)不需要這些步驟,極大提高了檢測(cè)速度.雖然不需要進(jìn)行非極大抑制等操作,但CornerNet 在完成關(guān)鍵點(diǎn)檢測(cè)后,還需要將左下角關(guān)鍵點(diǎn)和右上角關(guān)鍵點(diǎn)進(jìn)行兩兩匹配,導(dǎo)致檢測(cè)速度有所下降.

2.2 CenterNet (只使用中心點(diǎn))

Zhou 等[13]提出的基于CenterNet的將目標(biāo)作為點(diǎn)的方法規(guī)避了低效和額外的后處理等缺點(diǎn).該方法通過其邊界框中心的單個(gè)點(diǎn)來表示所檢測(cè)的目標(biāo),然后可以直接從中心位置的圖像特征回歸其他屬性,如目標(biāo)大小、尺寸、3D 位置、方向甚至姿勢(shì).因此,基于中心點(diǎn)的方法相對(duì)于其他基于邊界框的目標(biāo)檢測(cè)器來說,其具有更簡(jiǎn)單、速度更快和準(zhǔn)確度更高的特點(diǎn).圖4所示為在COCO 數(shù)據(jù)集上該方法與基于框的幾種方法在速度和準(zhǔn)確度上的比較.

圖4 幾種方法比較[13]

該算法的流程如下:首先,將圖像輸入完全卷積網(wǎng)絡(luò)生成熱圖,該熱圖中的峰值對(duì)應(yīng)于目標(biāo)中心.其次,將輸出的熱圖中每個(gè)類別的峰值點(diǎn)單獨(dú)提取出來,即熱圖上的所有點(diǎn)與其相連的8的臨近點(diǎn)比較,若該點(diǎn)的值不小于其8 個(gè)臨近點(diǎn),則該點(diǎn)保留,最后保留滿足所有要求的前100 個(gè)峰值點(diǎn).最后,對(duì)每個(gè)峰值處的圖像特征預(yù)測(cè)得到目標(biāo)框的高度和寬度信息(根據(jù)不同的任務(wù)預(yù)測(cè)不同的屬性,如對(duì)于3D 邊框估計(jì),需要預(yù)測(cè)目標(biāo)絕對(duì)深度、邊框尺寸和方向[14]).該訓(xùn)練網(wǎng)絡(luò)是單個(gè)網(wǎng)絡(luò)前向傳遞的,因?yàn)槊總€(gè)目標(biāo)僅有一個(gè)中心點(diǎn),所以沒有非極大值抑制等后處理.

將目標(biāo)作為點(diǎn)的方法對(duì)于上述幾個(gè)基于關(guān)鍵點(diǎn)估計(jì)[15]的目標(biāo)檢測(cè)器來說,不同之處在于:(1)該方法不需要在關(guān)鍵點(diǎn)檢測(cè)之后進(jìn)行組合分組,這明顯提高了算法的計(jì)算速度;(2)該方法僅僅需要為每個(gè)目標(biāo)預(yù)測(cè)單個(gè)中心點(diǎn),而不需要進(jìn)行非極大值抑制后處理;(3)損失函數(shù)中不僅有關(guān)鍵點(diǎn)損失(焦點(diǎn)損失[3])和偏置損失,還加入了目標(biāo)大小損失,這樣可以提高算法的準(zhǔn)確度.

由文獻(xiàn)[8]實(shí)驗(yàn)可得,該方法在COCO[16]數(shù)據(jù)集上實(shí)現(xiàn)了速度與準(zhǔn)確度的權(quán)衡,其中AP為28.1%的模型處理速度達(dá)到了142 FPS,AP為37.4%的的模型處理速度達(dá)到了52 FPS,AP為45.1%的模型處理速度達(dá)到了1.4 FPS.該方法通過預(yù)測(cè)一個(gè)中心點(diǎn)解決了2D和3D 目標(biāo)檢測(cè),以及姿態(tài)估計(jì),把這3 個(gè)任務(wù)很完美的統(tǒng)一到了一起(在這里主要綜述了2D 目標(biāo)檢測(cè)).雖然該方法簡(jiǎn)單、快速、準(zhǔn)確,但是在訓(xùn)練過程中,如果兩個(gè)不同的目標(biāo)重疊了,共享同一個(gè)中心點(diǎn),在這種情況下,CenterNet 會(huì)把這兩個(gè)目標(biāo)當(dāng)成一個(gè)目標(biāo)來訓(xùn)練,只會(huì)檢測(cè)其中一個(gè),這樣就會(huì)存在大量的誤檢,這是該方法的一個(gè)不足.

3 基于全卷積的anchor free 目標(biāo)檢測(cè)

Tian 等[17]提出的FCOS是一種基于全卷積的單級(jí)目標(biāo)檢測(cè)器,是像素級(jí)別的目標(biāo)檢測(cè),其主要思想類似于語義分割.該方法不需要錨框,因此其完全避開了錨框的缺點(diǎn).FOCS 僅憑借后處理非極大值抑制,該方法優(yōu)于之前的基于錨框的一級(jí)探測(cè)器,其優(yōu)勢(shì)在于更簡(jiǎn)單、靈活,可以提高檢測(cè)的精度.算法步驟如下:首先,對(duì)輸入的原始圖像進(jìn)行預(yù)處理操作;然后將預(yù)處理之后的數(shù)據(jù)送入主干網(wǎng)絡(luò)中獲取輸入數(shù)據(jù)的feature map,對(duì)獲得的feature map 上的每一像素點(diǎn)進(jìn)行回歸操作,對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以獲得網(wǎng)絡(luò)模型;再將得到的模型用于測(cè)試,利用特征金字塔網(wǎng)絡(luò)進(jìn)行多級(jí)預(yù)測(cè),從而得到多個(gè)head,從多個(gè)head 中可以獲得預(yù)測(cè)的結(jié)果;最后使用非極大值抑制后處理獲得最終的檢測(cè)結(jié)果.FCOS的流程圖如圖5所示.

圖5 FCOS的流程圖[17]

FCOS的新穎之處:(1)在遠(yuǎn)離目標(biāo)中心的位置上會(huì)產(chǎn)生一些不好的框,FCOS 中為了降低這些不好的結(jié)果,引入了Center-ness 分支,即利用中心分支來抑制低質(zhì)量預(yù)測(cè)邊界框;(2)在網(wǎng)絡(luò)中,除了最后的預(yù)測(cè)層,在卷積層中加入了組標(biāo)準(zhǔn)化GN,使得訓(xùn)練更加穩(wěn)定;(3)FCOS 中,特征金字塔網(wǎng)絡(luò)中利用P5 生成P6和P7,而不是用骨干網(wǎng)絡(luò)的C5,這使得網(wǎng)絡(luò)的性能得到略微的提高.

根據(jù)文獻(xiàn)[10]實(shí)驗(yàn)結(jié)果可知,相比于CornerNet[4],FCOS[17]在mAP 上有0.5%的提高.雖然FCOS 性能有略微的提高,但是相對(duì)于CornerNet 來說是有優(yōu)勢(shì)的,如其主干網(wǎng)絡(luò)是ResNet-101 而不是Hourglass-104[5],該網(wǎng)絡(luò)更快更簡(jiǎn)單;除了非極大值抑制,不需要其他的后處理,而CornerNet 還需要將具有嵌入向量的角點(diǎn)分組等.實(shí)驗(yàn)也表明了,FCOS 可以檢測(cè)到各種各樣的物體,包括擁擠、遮擋、高度重疊、極小和極大的物體.

4 算法性能比較

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法可分為兩大類:基于錨框的目標(biāo)檢測(cè)和基于Anchor free的目標(biāo)檢測(cè).目標(biāo)檢測(cè)中非常重要的兩個(gè)性能:精度和速度.本文在VOC2007和COCO 數(shù)據(jù)集上,分別對(duì)這兩類目標(biāo)檢測(cè)算法進(jìn)行了性能上的比較和分析.

4.1 基于錨框的目標(biāo)檢測(cè)算法比較

基于錨框的目標(biāo)檢測(cè)算法分為兩種:two stage 檢測(cè)算法和one stage 檢測(cè)算法.two stage 檢測(cè)算法中典型的目標(biāo)檢測(cè)算法有:R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN 等.從R-CNN 算法到Mask RCNN 算法,它們依次不斷地在檢測(cè)的準(zhǔn)確度和速度上進(jìn)行改進(jìn).但是,這些算法的實(shí)時(shí)性很差,難以滿足實(shí)際的需求.表1總結(jié)了two stage的目標(biāo)檢測(cè)算法在VOC2007和COCO 數(shù)據(jù)集上的性能,“—”表示沒有相關(guān)的數(shù)據(jù).

表1 Two stage的目標(biāo)檢測(cè)算法性能比較

由表1數(shù)據(jù)可以得出,在two stage 目標(biāo)檢測(cè)算法中,每個(gè)算法在精確度上都是從前往后不斷地提高,而檢測(cè)的速度沒有達(dá)到這樣的特性,也就是說在保證精度的前提下,實(shí)時(shí)性沒有得到顯著提高.因此,研究者們提出了基于回歸的目標(biāo)檢測(cè)算法,即one stage 目標(biāo)檢測(cè)算法.

One stage 檢測(cè)算法中典型的算法有YOLO 系列、SSD 及RetinaNet 等.該類算法雖然在實(shí)際中的應(yīng)用成為可能,但是實(shí)時(shí)性和準(zhǔn)確度還有待提高.表2羅列了one stage 算法在VOC2007和COCO 數(shù)據(jù)集上的性能,“—”表示沒有相關(guān)的數(shù)據(jù).

表2 One stage的目標(biāo)檢測(cè)算法性能比較

從表2的數(shù)據(jù)可以得到,one stage 算法不但在精確度上有所提高,而且檢測(cè)的速度也有明顯的提升.由此可見,相比于two stage 算法,其更有實(shí)用性.但是,在實(shí)際應(yīng)用中,one stage 模型的實(shí)時(shí)性還滿足不了需求.因此,研究者們提出了基于anchor free的目標(biāo)檢測(cè),此種方法的提出,極大的滿足了目標(biāo)檢測(cè)在實(shí)際應(yīng)用中的實(shí)時(shí)性需求.

4.2 基于關(guān)鍵點(diǎn)的anchor free 目標(biāo)檢測(cè)算法比較

第1～3 節(jié)介紹的算法是基于關(guān)鍵點(diǎn)的anchor free的目標(biāo)檢測(cè)算法,其基本思路是輸入圖像、提取關(guān)鍵點(diǎn)、尺度預(yù)測(cè)及位置回歸的所有過程在一個(gè)卷積神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn),不需要提前設(shè)置錨框,極大地改善了檢測(cè)的實(shí)時(shí)性,在很大程度上滿足實(shí)際應(yīng)用的需求.表3對(duì)本文中所列舉的各類目標(biāo)檢測(cè)模型的機(jī)制、優(yōu)點(diǎn)、缺點(diǎn)、適用范圍及實(shí)現(xiàn)成本進(jìn)行了總結(jié).表4總結(jié)了各個(gè)算法在COCO 數(shù)據(jù)集上的性能.

從表4各個(gè)基于關(guān)鍵點(diǎn)的anchor free 目標(biāo)檢測(cè)算法的性能比較可見,通過逐步改進(jìn)網(wǎng)絡(luò),相比于基于錨框的目標(biāo)檢測(cè)算法,由表1和表2所示,anchor free 目標(biāo)檢測(cè)算法不僅在精確度上有很大提升,檢測(cè)速度也得到明顯提高.例如CornerNet 模型,該算法在COCO 數(shù)據(jù)集上準(zhǔn)確度達(dá)到42.1%,超過所有基于錨框的檢測(cè)算法.在CornerNet 上改進(jìn)的CornerNet-Lite 模型中引入Saccade、Squeeze 來減少像素個(gè)數(shù)和降低網(wǎng)絡(luò)復(fù)雜度,因此精確度提高了1%和運(yùn)算速度提高了6 倍.而CenterNet 模型中,為更好的檢測(cè)中心點(diǎn)和角點(diǎn),該算法中提出中心點(diǎn)池化(center pooling)和級(jí)聯(lián)角點(diǎn)池化(cascade corner pooling),使得在COCO 數(shù)據(jù)集上達(dá)到47% mAP,超過目前所有的one stage 檢測(cè)算法,并大幅度領(lǐng)先于基于關(guān)鍵點(diǎn)的anchor free 檢測(cè)模型,其領(lǐng)先幅度至少為4.9%,但是檢測(cè)時(shí)間略慢.基于CenterNet的將目標(biāo)作為點(diǎn)的模型,相比于其他模型來說,由于沒有額外的后處理,使得該模型更簡(jiǎn)單,在COCO 數(shù)據(jù)集上mAP 達(dá)到45.1%,高于YOLO、SSD、RetinaNet 等基于錨框的one stage模型.FCOS 模型通過對(duì)不同特征級(jí)別的像素點(diǎn)進(jìn)行回歸,共享不同特征層之間信息,后處理僅用非極大值抑制,使得該模型參數(shù)效率更高、更靈活,相比于錨框的檢測(cè),檢測(cè)精度有很大提高,其mAP 高達(dá)44.7%.由此可見,基于關(guān)鍵點(diǎn)的anchor free 目標(biāo)檢測(cè)算法具有更高的檢測(cè)精確度和檢測(cè)速度,因此其更具有實(shí)用性.

表3 各類目標(biāo)檢測(cè)模型總結(jié)

表4 基于關(guān)鍵點(diǎn)的anchor free 目標(biāo)檢測(cè)性能比較

5 總結(jié)與展望

近年來,卷積神經(jīng)網(wǎng)絡(luò)正在不斷的被運(yùn)用到計(jì)算機(jī)視覺領(lǐng)域,尤其是在目標(biāo)檢測(cè)方向已經(jīng)有很多基于卷積神經(jīng)的目標(biāo)檢測(cè)模型,極大地提高了檢測(cè)的精度和運(yùn)算時(shí)間.本文主要對(duì)基于關(guān)鍵點(diǎn)的anchor free 目標(biāo)檢測(cè)方法進(jìn)行了綜述,根據(jù)檢測(cè)關(guān)鍵點(diǎn)個(gè)數(shù)的不同,將基于關(guān)鍵點(diǎn)的anchor free 目標(biāo)檢測(cè)模型進(jìn)一步分為基于角點(diǎn)的目標(biāo)檢測(cè)模型、基于中心點(diǎn)的目標(biāo)檢測(cè)模型以及基于全卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型.對(duì)每類模型的方法進(jìn)行了研究、分析和對(duì)比,總結(jié)了每類模型的思路及其優(yōu)缺點(diǎn),并對(duì)基于關(guān)鍵點(diǎn)的anchor free目標(biāo)檢測(cè)算法與基于錨框的檢測(cè)算法性能做了對(duì)比,由此可以看出anchor free 目標(biāo)檢測(cè)算法不論是在速度還是精度上都有非常大的改善.

目前,在交通等各領(lǐng)域的發(fā)展中,目標(biāo)檢測(cè)是一大研究課題,速度和精度檢測(cè)仍是重中之重,在現(xiàn)有研究的基礎(chǔ)上,我認(rèn)為該領(lǐng)域中研究熱點(diǎn)及發(fā)展趨勢(shì)如下:

(1)從專注精度的CornerNet、CenterNet、FCOS和專注速度的CornerNet-Squeeze,anchor free 目標(biāo)檢測(cè)未來的方向更加專注于精度和速度的結(jié)合.同時(shí)為了提高目標(biāo)的檢測(cè)精度,目前大多算法只是對(duì)單一時(shí)間、單一空間的信息進(jìn)行融合,研究者可以從多維度,對(duì)多層級(jí)的信息進(jìn)行融合以提升算法的準(zhǔn)確度與魯棒性.

(2)目標(biāo)檢測(cè)依賴大量的訓(xùn)練樣本,在數(shù)據(jù)標(biāo)注上消費(fèi)很大成本,anchor free 目標(biāo)檢測(cè)在精度上已經(jīng)有所提升,那么如何對(duì)小規(guī)模數(shù)據(jù)的監(jiān)督學(xué)習(xí)進(jìn)行更有效的訓(xùn)練,使其檢測(cè)精度大幅度提高將會(huì)促進(jìn)目標(biāo)檢測(cè)檢測(cè)領(lǐng)域的進(jìn)一步發(fā)展.

(3)Anchor free 目標(biāo)檢測(cè)對(duì)已知類的檢測(cè)已日趨成熟,如何實(shí)現(xiàn)未知目標(biāo)類的檢測(cè),即從已知類別遷移到對(duì)未知類別的目標(biāo)進(jìn)行檢測(cè)也將成為未來研究的熱點(diǎn).