多層卷積特征的真實場景下行人檢測研究

伍鵬瑛，張建明，彭建，陸朝銓

（1. 長沙理工大學(xué) 綜合交通運輸大數(shù)據(jù)智能處理湖南省重點實驗室，湖南 長沙 410114; 2. 長沙理工大學(xué) 計算機與通信工程學(xué)院，湖南 長沙 410114）

行人檢測是判斷輸入的圖像或視頻中是否含有行人，并準(zhǔn)確的找出行人的具體位置。行人檢測作為目標(biāo)檢測的一個子方向，在視頻監(jiān)控、行人識別[1]、圖像檢索以及先進的駕駛員輔助系統(tǒng)等領(lǐng)域有著廣泛的應(yīng)用[2]。由于行人具有非剛性屬性，決定了行人檢測不同于普通的目標(biāo)檢測，另外存在著許多制約行人檢測的因素，如現(xiàn)實場景中背景的復(fù)雜多樣性、光照變化、行人遮擋、姿態(tài)變化、拍攝角度多樣化、實時性要求、小目標(biāo)行人等。這些因素給行人檢測帶來了巨大的挑戰(zhàn)，因此行人檢測一直是計算機視覺領(lǐng)域中的研究熱點和難點。

傳統(tǒng)的行人檢測的效果依賴于特征的選取以及分類器的學(xué)習(xí)。一個好的特征即使結(jié)合簡單的分類器仍能夠取得不錯的檢測效果，所以傳統(tǒng)的行人檢測研究重點在于行人的特征提取及分類。盡管傳統(tǒng)的行人檢測算法取得了不少的研究成果，但是在實際生活場景的檢測效果依然不理想。近年來深度學(xué)習(xí)的方法在目標(biāo)檢測、語音識別、圖像分類等方面取得了突破性的進展，與傳統(tǒng)檢測算法相比，卷積神經(jīng)網(wǎng)絡(luò)(CNN)通過權(quán)值共享，大大減少了網(wǎng)絡(luò)的參數(shù)，進而降低了算法復(fù)雜度。CNN的卷積運算以及下采樣能很好的學(xué)習(xí)到圖像的顏色、紋理等特征，使之對圖像的縮放、平移具有很好的魯棒性。因此，深度學(xué)習(xí)算法在行人檢測領(lǐng)域里的檢測精度以及實時性都優(yōu)于傳統(tǒng)算法。

針對真實場景下的行人檢測精度不高，小目標(biāo)行人的漏檢率較高的問題，本文對目前優(yōu)秀的深度模型進行了改進。通過引出SSD[3]網(wǎng)絡(luò)模型中更底層特征做檢測以及增加輸入圖像大小來增加深度模型的分辨率，提高了對小目標(biāo)行人的檢測性能。卷積網(wǎng)絡(luò)中的底層特征能檢測到尺寸較小的目標(biāo)，而深層特征可以檢測到尺寸較大的目標(biāo)，因此引出SSD網(wǎng)絡(luò)中多層輸出特征圖，將檢測結(jié)果綜合后確定目標(biāo)位置。此外，訓(xùn)練數(shù)據(jù)集的數(shù)量跟數(shù)據(jù)集樣本的多樣性也是深度學(xué)習(xí)算法取得優(yōu)秀成果的主要原因。因此本文采用車載攝像頭拍攝了各種場合、光照、遮擋、姿態(tài)等復(fù)雜的背景下的行人視頻，在INRIA[4]行人數(shù)據(jù)集上，擴增了一個復(fù)雜場景下的行人數(shù)據(jù)集CSUSTPD。

1 相關(guān)工作

傳統(tǒng)的行人檢測流程主要由行人圖像輸入、行人的特征提取、分類與定位、檢測結(jié)果等幾個模塊組成[5]，其研究重點在于行人的特征提取及分類，比較常見的特征提取算子有SIFT[6]、Haar[7]、梯度方向直方圖HOG[4]等；代表性的分類器有神經(jīng)網(wǎng)絡(luò)、Adaboost[8]、支持向量機SVM[9]、隨機森林RF[10]等。基于HOG特征的提取極大地推動了行人檢測的發(fā)展，并隨后出現(xiàn)了在HOG特征上融合顏色特征、紋理特征等諸多算法；2005年Dalal等[4]提出了HOG結(jié)合分類器SVM的算法，取得了較好的效果，并陸續(xù)提出的ACF(aggregated channel features)[11]、LDCF[12]等算法都具有很好的檢測效果。2015年Zhang等[13]把HOG特征結(jié)合光流特征進一步提高了行人檢測性能。針對在同一張圖像有不同尺寸的目標(biāo)時，傳統(tǒng)方法主要有兩種處理方法：1)將原始圖像轉(zhuǎn)換成不同尺寸大小的圖像輸入固定尺寸的滑動窗口分別提取特征，該方法的檢測精度較好，但是計算復(fù)雜，其流程如圖1所示；2)用固定大小不變的圖像輸入多尺度縮放的滑動窗進行特征提取。方法2)避免了測試圖像的多尺度計算，檢測速度較快但其精度比較差。

2012年Krizhevsky等[14]在ImageNet競賽上訓(xùn)練出一個8層的卷積神經(jīng)網(wǎng)絡(luò)，取得了視覺領(lǐng)域競賽ILSVRC 2012的冠軍。在此之后，深度學(xué)習(xí)算法層出不窮，典型的算法有VGG-Net[15]、RCNN[16]、Faster R-CNN[17]；Redmon 等[18]提出的YOLO直接在輸出層回歸目標(biāo)位置與類別，加快了目標(biāo)檢測速度及精度；Liu等[3]提出了SSD融合卷積層的多層輸出特征做檢測，進一步提高了目標(biāo)檢測精度。由于CNN提取的特征比傳統(tǒng)特征更具魯棒性，其良好的特征表達能力提高了行人檢測性能，因此許多研究學(xué)者將深度學(xué)習(xí)算法應(yīng)用于行人檢測領(lǐng)域。文獻[19]引入級聯(lián)CNN網(wǎng)絡(luò)在擁擠場景中準(zhǔn)確地檢測行人；Hosang等[20]利用SquaresChnFtrs[21]產(chǎn)生行人候選窗口用于訓(xùn)練AlexNet[14]。文獻[22]利用光流卷積神經(jīng)網(wǎng)絡(luò)對光流圖序列中提取行人特征，該特征具有較強的全局描述能力；Tian等[23]利用深度學(xué)習(xí)結(jié)合部件模型解決行人檢測中的遮擋問題。文獻[24]采用級聯(lián)的Adaboost檢測器對行人目標(biāo)進行初步篩選，再用遷移學(xué)習(xí)技術(shù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)來提高檢測精度；Zhang等[25]利用級聯(lián)的決策森林來分類RPN網(wǎng)絡(luò)(region proposal network)產(chǎn)生的行人候選窗口。

訓(xùn)練深度CNN模型時，數(shù)據(jù)集的數(shù)量跟數(shù)據(jù)集樣本的多樣性能增強算法檢測的泛化能力。現(xiàn)有的行人數(shù)據(jù)集如Daimler行人數(shù)據(jù)集[26]含訓(xùn)練樣本集有正樣本大小為18×36和48×96的圖像。較早公開的MIT行人數(shù)據(jù)集[27]含924張寬高為64×128行人圖像，肩到腳的距離約80像素。該數(shù)據(jù)庫只含正面和背面兩個視角，無負樣本，并且未區(qū)分訓(xùn)練集和測試集。NICTA行人數(shù)據(jù)集[28]標(biāo)注要求行人高度至少要大于40個像素。這些數(shù)據(jù)集訓(xùn)練樣本存在從大圖像中剪切出的單個行人圖像、分辨率偏低、對小目標(biāo)行人無標(biāo)注的問題，且行人數(shù)據(jù)集訓(xùn)練樣本背景單一。因此，這些數(shù)據(jù)集不適合用于訓(xùn)練深度卷積網(wǎng)絡(luò)模型。

2 SSD網(wǎng)絡(luò)

SSD算法是一種直接預(yù)測目標(biāo)邊界框的坐標(biāo)和類別的檢測算法，整個網(wǎng)絡(luò)沒有生成候選窗口的過程。SSD算法的骨干網(wǎng)絡(luò)結(jié)構(gòu)是VGG16[15]，將VGG16最后兩個全連接層改成卷積層再增加4個卷積層構(gòu)造網(wǎng)絡(luò)結(jié)構(gòu)。表1展示了整個SSD網(wǎng)絡(luò)中每個卷積層中卷積核的大小、數(shù)目，卷積的步長，特征圖有無填充以及每層輸出特征圖的大小。圖2為SSD算法的目標(biāo)檢測流程圖，SSD檢測算法分別把conv4_3、fc7、conv6_2、conv7_2、conv8_2和conv9_2等6個不同卷積層的特征圖引出做檢測，其特征圖與兩個3×3的卷積核卷積后得到兩個輸出，分別作為分類時使用的置信度以及回歸時使用的位置信息。將每層計算結(jié)果合并后傳遞給損失層，該層對所有層的檢測結(jié)果進行綜合，通過非極大值抑制輸出目標(biāo)的檢測結(jié)果。

表1 SSD網(wǎng)絡(luò)參數(shù)表Table1 Parameters of SSD Network

圖2 SSD目標(biāo)檢測流程圖Fig.2 Detection flowchart for SSD object algorithm

SSD算法關(guān)鍵核心點是同時采用底層和頂層的特征圖做檢測。在不同層卷積輸出的若干特征圖中的每個位置處評估不同縱橫比的默認框。默認框是指在特征圖的每個網(wǎng)格上都有一系列固定大小的框。每個網(wǎng)格有k個默認框，每個默認框預(yù)測c個目標(biāo)類別的分數(shù)和4個偏移。若特征圖的大小為mn，即有mn個特征圖網(wǎng)格，則該特征圖共有(c+4)×k×m×n個輸出。在訓(xùn)練階段，將默認框和真實框(ground truth box)進行匹配，一旦匹配成功，則默認框即為正樣本，反之則為負樣本。根據(jù)置信度的損失值對負樣本進行排序，得到靠前的負訓(xùn)練樣本，使得正負樣本的比例保持在3：1。在預(yù)測階段，得到默認框的偏移及目標(biāo)類別相應(yīng)的置信度。

SSD網(wǎng)絡(luò)的目標(biāo)損失函數(shù)表示為式中：N為匹配到的默認框個數(shù)；l為預(yù)測框；g為真實框；c為多類別目標(biāo)的置信度；Lloc為位置損失；Lconf為置信度損失；α通過交叉驗證設(shè)為1。

位置損失是預(yù)測框l和真實框g之間的smoothL1損失[29]，如式(2)所示，通過對邊界框的坐標(biāo)中心點(x，y)以及寬度w和高度h的偏移進行回歸，使得位置損失最小。

式 中 ： gcx=(-)/，=(-)/，=log(/)，=log(/)；、分別表示第j個真實框中心點(x，y)；、分別表示第i個默認框的中心點(x，y)；、分別表示第j個真實框?qū)挾雀叨龋弧⒎謩e表示第i個默認框的寬度跟高度。

置信度損失是多類別置信度c的softmax損失如式(3)所示。

相比現(xiàn)有的目標(biāo)檢測方法，SSD算法不管是在檢測速度還是檢測精度上都取得了非常優(yōu)秀的效果，但受卷積神經(jīng)網(wǎng)絡(luò)中特定特征層感受野大小限制，單獨一層的特征無法應(yīng)對多姿態(tài)多尺度的行人[30]。因此，本文提出了改進的SSD模型用于行人檢測。

3 多層卷積特征的行人檢測算法

3.1 基于改進SSD的行人檢測算法

隨著深度學(xué)習(xí)的快速發(fā)展，CNN已經(jīng)廣泛地應(yīng)用于目標(biāo)檢測中，在實時性和準(zhǔn)確性上都優(yōu)于傳統(tǒng)算法的性能。SSD算法是以VGG16網(wǎng)絡(luò)模型為基礎(chǔ)的前向傳播的深度卷積網(wǎng)絡(luò)模型，對卷積后得到的特征圖分別預(yù)判目標(biāo)位置跟類別置信度，實現(xiàn)快速且精準(zhǔn)目標(biāo)檢測效果。但原始SSD算法對同一張圖像中小尺寸目標(biāo)檢測效果較差，主要原因有兩點：1)輸入圖像在深度卷積神經(jīng)網(wǎng)絡(luò)中經(jīng)過網(wǎng)絡(luò)的卷積、池化后特征圖變小，原始SSD算法conv4_3輸出的特征圖與原始輸入圖像相比縮小至原來的1/8，特征圖的變小導(dǎo)致檢測的目標(biāo)丟失了大部分的細節(jié)信息，在訓(xùn)練階段嚴重的影響了算法對各項參數(shù)的學(xué)習(xí)，且后續(xù)的fc7、conv6_2等層輸出的特征圖縮小更多，對算法的訓(xùn)練影響更大；2)輸入圖像分辨率的大小對SSD算法的影響。訓(xùn)練的圖像較小，卷積池化后得到的特征圖會對應(yīng)地減小，使得訓(xùn)練階段SSD網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)不完全造成過擬合；若輸入圖像較大，網(wǎng)絡(luò)學(xué)習(xí)的參數(shù)大量增加，使得算法計算復(fù)雜度增加，速度減慢。

本文在權(quán)衡算法的精準(zhǔn)度及實時性的基礎(chǔ)上，對SSD模型更底層的輸出特征圖進行特征提取，獲取更多特征圖的紋理、邊緣等細節(jié)信息，增強了SSD模型對行人目標(biāo)的檢測性能，提升對小目標(biāo)行人的檢測能力。圖3為本文基于改進SSD模型的行人檢測(pedestrian detection based on improved SSD，PDIS)框架，行人圖像通過改進SSD卷積網(wǎng)絡(luò)中的各卷積層輸出多層次特征圖，并在多層次的特征圖上提取特征做檢測，將多層特征圖的檢測結(jié)果進行綜合實現(xiàn)行人檢測。由圖3的特征圖可視化結(jié)果可知，底層卷積conv3_3輸出的特征圖比較大，且紋理、輪廓信息明確，因此該層的特征圖可以提取到小目標(biāo)行人的細節(jié)信息。conv9_2卷積層輸出的特征圖變得很小，原始圖像的大部分信息丟失，尤其小物體信息丟失嚴重，因此該層只能獲取較大目標(biāo)的行人信息。隨著網(wǎng)絡(luò)層數(shù)增加，原始圖像的信息會隨著輸出特征的尺寸變小而減少。底層輸出特征圖可以檢測較小的行人目標(biāo)，深層輸出的特征可以檢測較大的行人目標(biāo)，因此PDIS通過結(jié)合多層特征圖檢測結(jié)果，提升了多尺寸行人的檢測性能。

圖3 PDIS框架Fig.3 PDIS framework

PDIS模型通過引出SSD卷積網(wǎng)絡(luò)中更底層conv3_3輸出的特征圖做檢測。圖4為本文改進之一的PDIS流程圖，應(yīng)用SSD算法卷積層conv3_3、conv4_3、conv7、conv6_2、conv7_2、conv8_2和conv9_2等7個輸出層的特征圖做檢測，圖中可以看出不同卷積層輸出的特征圖可以檢測圖像中不同尺度的行人，conv3_3輸出的特征圖能檢測到圖像中尺度很小的行人，但對尺寸大的行人檢測效果很差；卷積層conv9_2輸出的特征圖可以檢測圖像中的尺寸較大的行人，但對小尺寸行人檢測效果不理想。因此PDIS模型把網(wǎng)絡(luò)中各層次輸出的特征圖由底層到深層依次引出做檢測，檢測到行人目標(biāo)尺寸越來越大。盡管每一層對圖像整體的檢測效果不理想，但綜合所有層的檢測達到了精準(zhǔn)的行人檢測結(jié)果。因此，本文通過修改后的SSD網(wǎng)絡(luò)，應(yīng)用多個卷積層輸出的特征圖做檢測，實現(xiàn)了圖像中多尺度的行人檢測問題，增加了算法的行人檢測分辨率，提升了對圖像中尺寸相對較小行人的檢測效果。

圖4 PDIS流程Fig.4 PDIS flowchart

PDIS在每層輸出特征圖上的每個特征圖網(wǎng)格預(yù)設(shè)有4個默認框，在不同輸出層的特征圖上有不同尺寸大小的默認框，在同一個特征圖上又有不同縱橫比的默認框，實現(xiàn)了圖像中各種形狀和尺寸大小的目標(biāo)檢測。行人的高度跟寬度之比一般在 1∶1、2∶1、3∶1、1∶2 這些比例內(nèi)，不同于原始SSD算法，本文將默認框的縱橫比ar設(shè)置為符合行人的4種比例分別為 1∶1、2∶1、3∶1、1∶2，加速了行人區(qū)域定位。且默認框的尺度定義為

PDIS模型融合多層特征圖的特征做檢測，解決了同一張圖像中不同尺度的目標(biāo)檢測問題。通過研究用不同層輸出特征圖以及網(wǎng)絡(luò)輸出層的數(shù)量對算法行人性能的影響，本文在原始SSD的基礎(chǔ)上引出更底層卷積conv3_3的特征圖做檢測，在該層的特征圖上提取特征獲得了原始輸入行人圖像的更多細節(jié)信息。實驗表明引出卷積conv3_3的輸出特征圖做檢測，特征維度的計算復(fù)雜度相應(yīng)的增加，實時性相比原始SSD算法有所下降，但依然能滿足行人檢測實時性的要求，并相比原始SSD算法對小尺寸行人檢測性能提升很高。同時，研究了融合不同卷層基輸出的特征圖對算法的影響。在引出底層conv3_3的輸出特征圖做檢測的基礎(chǔ)上，訓(xùn)練了多個組合不同輸出特征圖的網(wǎng)絡(luò)模型：模型2引出conv3_3、conv4_3、fc7、conv6_2、conv7_2、conv8_2和conv9_2等7個卷積層的特征圖做檢測，模型3引出 conv3_3、fc7、conv6_2、conv7_2、conv8_2和conv9_2等6個卷積層的特征圖做檢測，模型4引出 conv3_3、conv5_3、conv6_2、conv7_2、conv8_2和conv9_2等6個卷積層的特征圖做檢測，模型 5引出 conv3_3、conv5_3、conv6_2、conv8_2和conv9_2等5個卷積層的特征圖做檢測。在擴增的行人數(shù)據(jù)集分別訓(xùn)練各個PDIS網(wǎng)絡(luò)模型，利用INRIA行人數(shù)據(jù)集的測試集分別對模型進行測試。實驗表明：不同的網(wǎng)絡(luò)模型在引出不同的特征層以及引出不同層的數(shù)目直接影響網(wǎng)絡(luò)模型的檢測效果，改進的模型2取得了最好的檢測性能。

此外，為了進一步提升PDIS模型對小目標(biāo)的檢測能力，通過增加輸入圖像的分辨率提升算法檢測性能的魯棒性。原始的SSD算法輸入圖像大小為300×300。在CNN中經(jīng)過卷積、池化特征圖不斷減小，原始SSD算法最底層conv4_3引出特征圖大小為38×38,相比原始圖像縮小至原來的1/8，在原始圖像中一個8×8的目標(biāo)在conv4輸出的特征圖表現(xiàn)為一個像素點，該目標(biāo)的細節(jié)信息完全丟失。卷積輸出的特征圖會隨網(wǎng)絡(luò)層數(shù)的增加而減小。導(dǎo)致訓(xùn)練階幾乎無法學(xué)習(xí)到小目標(biāo)物體的信息。因此，數(shù)據(jù)集的訓(xùn)練圖像分辨率大小很大程度影響了卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，訓(xùn)練圖像分辨率太小，訓(xùn)練時模型很難收斂，檢測精度低。本文把訓(xùn)練預(yù)設(shè)輸入圖像尺寸大小從300×300變大到512×512，增加卷積后輸出特征圖的分辨率，能獲得原圖像中更加豐富、更加細節(jié)的信息。測試結(jié)果表明：用放大的行人圖像訓(xùn)練PDIS模型能夠檢測到同一張圖像中更小尺寸的行人，進一步提升了行人小目標(biāo)檢測效果。

3.2 數(shù)據(jù)集擴增

增加數(shù)據(jù)集的多樣性來訓(xùn)練PDIS模型可以增強算法檢測的泛化能力。一般使用單一的行人數(shù)據(jù)集訓(xùn)練卷積網(wǎng)絡(luò)模型時，在其本身數(shù)據(jù)集上測試的效果會很理想，然而在其他數(shù)據(jù)集上測試時效果往往不好。因此，行人數(shù)據(jù)集所包含的樣本的數(shù)量、樣本背景的多樣性以及樣本中有無對小尺寸行人目標(biāo)的標(biāo)注等因素，在訓(xùn)練CNN的過程中會嚴重影響算法的學(xué)習(xí)。在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時，深度模型學(xué)習(xí)的參數(shù)往往比較多，用于訓(xùn)練的樣本數(shù)據(jù)量太少，容易造成網(wǎng)絡(luò)過擬合。此外，現(xiàn)有的行人數(shù)據(jù)集公布時間較早，而且訓(xùn)練樣本基本是從較大圖像中剪切出的單個行人圖像，背景單一，像素分辨率普遍偏低，因此不適合用于訓(xùn)練深度卷積網(wǎng)絡(luò)模型。

為了增強PDIS模型在行人檢測領(lǐng)域的泛化能力，本文對已有的INRIA行人數(shù)據(jù)集進行了擴增。首先，INRIA行人數(shù)據(jù)集的選取：INRIA行人數(shù)據(jù)集是目前使用最多的靜態(tài)行人檢測數(shù)據(jù)集。其中包含沙灘、機場、城市、山等復(fù)雜的場景，且拍攝條件多樣，存在光線變化、人體遮擋等情形，符合本文所需求的行人樣本的背景多樣性。其次，擴增INRIA行人數(shù)據(jù)集：INRIA行人數(shù)據(jù)集中訓(xùn)練集的正樣本只包含614張圖像(包含2 416個行人)，用于訓(xùn)練CNN模型的數(shù)量遠遠不夠。本文在各種天氣、場景、光照下采集了數(shù)萬張圖像，并對圖像進行人工篩選標(biāo)注，目前已有5 000多張圖像用于訓(xùn)練。部分數(shù)據(jù)如圖5所示，擴增的行人數(shù)據(jù)集中包含學(xué)校、街道、車站等不同場景下的樣本，組合成一個復(fù)雜背景下的真實場景行人數(shù)據(jù)集，并對訓(xùn)練樣本中姿態(tài)變化、遮擋、小目標(biāo)的行人都進行了標(biāo)注，如：騎自行車、打傘、擁擠，圖像中像素很小的行人等。擴增的數(shù)據(jù)集圖像使得行人數(shù)據(jù)集樣本背景復(fù)雜化、多樣化，并大大增加了對小目標(biāo)行人標(biāo)注數(shù)目。實驗表明：采用本文擴充的行人數(shù)據(jù)集訓(xùn)練PDIS模型，不管在真實場景下還是小目標(biāo)行人檢測PDIS都取得了非常優(yōu)秀的效果。

圖5 真實場景下的訓(xùn)練樣本Fig.5 Training samples in real scenes

4 實驗結(jié)果與分析

4.1 性能評價指標(biāo)

本文應(yīng)用漏檢率、準(zhǔn)確率來衡量檢測算法的性能，通過在INRIA行人數(shù)據(jù)集的測試集上測試訓(xùn)練好的模型，記錄每張圖像檢測窗口，計算檢測框跟真實框的IOU值。假設(shè)檢測框為 B Bdt，真實框為 B Bgt， 若IOU值大于閾 值 時，則 B Bdt與 BBgt是匹配的。本文IOU設(shè)定的閾值為0.5，如(5)式所示：

在 B Bdt與 B Bgt匹配過程中 ， 未匹配到的 B Bdt是誤檢的行人框(false positive,FP)，未匹配的 B Bgt是漏檢的行人框(false negative,FN),漏檢率統(tǒng)計用到的標(biāo)準(zhǔn)如表2所示

表2 行人統(tǒng)計量Table2 Pedestrian statistics

漏檢率RM(Miss Rate)定義為

準(zhǔn)確率RP(Precision Rate)定義為

式中：TP、FP、FN分別表示將行人樣本分類成行人樣本數(shù)、將非行人樣本分類為行人樣本數(shù)、將行人樣本分類成非行人樣本數(shù)。

4.2 實驗環(huán)境與模型對比

本文的實驗環(huán)境為Ubuntu14.04系統(tǒng)，處理器型號為 Intel? Xeon(R) CPU E5-2670 v3 @ 2.30 GHz×24，顯卡型號為GeForce GTX TITAN X，顯存12 GB，內(nèi)存32 GB。

本文在INRIA行人數(shù)據(jù)集上，擴增成一個5 000多張圖像的數(shù)據(jù)集，在該數(shù)據(jù)集上訓(xùn)練了的6個不同的模型，如表3所示，輸入圖像的大小會直接影響算法的精度和實時性，SSD 300×300比SSD 512×512輸入圖像小，在INRIA的測試集上測試，一張圖像的平均測試時間快了一倍多，但檢測精度有所下降；將原始的SSD網(wǎng)絡(luò)模型conv3_3的特征圖引出做檢測，并在此基礎(chǔ)上融合多個卷基層的特征圖做檢測，提出了表3的4個檢測模型。實驗表明引出conv3_3的特征圖的模型，相比原始SSD模型在每張圖像的平均檢測速度有所下降，但測試一張圖像最慢速度依然達到0.16s，滿足行人檢測的實時性要求，并相比原來的SSD算法，本文算法準(zhǔn)確率達到了93.8%，漏檢率下降至7.4%。

表3 不同模型的檢測率Table3 Detection rates of different models

6種模型在INRIA的測試集上RM-FPPI曲線如圖6所示，模型2在INRIA的測試集上取得了最好的檢測效果。

在訓(xùn)練過程中采用本文擴增的數(shù)據(jù)集，分別用300×300與512×512的圖像訓(xùn)練原始的SSD模型及本文改進的模型2，如圖7所示，使用300×300的圖像訓(xùn)練原始模型時，無法學(xué)習(xí)到擴增數(shù)據(jù)集中的小尺寸行人，導(dǎo)致訓(xùn)練loss曲線收斂效果最差，而增加輸入圖像大小能有效提高收斂效果，利用大小相同的圖像分別訓(xùn)練SSD模型與PDIS模型，PDIS的Loss曲線收斂效果較好。因此，本文增加圖像大小來訓(xùn)練PDIS模型，能夠得到最好的檢測模型。

圖6 6種模型在INRIA數(shù)據(jù)集上RM-FPPI曲線Fig.6 Miss Rate-FPPI curves of6models on INRIA dataset

圖7 不同算法的loss下降曲線Fig.7 Loss curves of different algorithms

4.3 與現(xiàn)有流行算法性能對比

利用當(dāng)前流行的多個算法在INRIA的測試集上進行測試，實驗表明：在擴增的INRIA行人數(shù)據(jù)集訓(xùn)練PDIS模型的測試漏檢率比現(xiàn)有的比較流行的算法都要低，如表4所示，本文的算法取得了最好的效果。

表4 不同算法在INRIA行人數(shù)據(jù)集的漏檢率Table4 Miss rates of different algorithms in the INRIA pedestrian dataset %

不同算法在INRIA的測試集上Miss Rate-FPPI曲線如圖8所示，可以看出本文算法在INRIA的測試集上取得了最好的檢測效果。

圖8 不同算法在INRIA數(shù)據(jù)集上RM-FPPI曲線Fig.8 Miss Rate-FPPI curves of different algorithms on INRIA dataset

本文對真實場景中拍攝的200張圖像進行了測試，從中挑選了3張代表性的圖像在2個不同的模型上分別檢測，其結(jié)果如圖9所示，可以看出，針對圖像中的大目標(biāo)行人，PDIS與SSD相比具有同等的檢測能力甚至更優(yōu)；而對圖像中的小目標(biāo)行人，SSD檢測性能很差，但PDIS在小目標(biāo)檢測上達到了非常好的性能，漏檢率更低。

圖9 不同算法的行人檢測結(jié)果Fig.9 Pedestrian detection results for different algorithms

5 結(jié)束語

本文通過引出SSD網(wǎng)絡(luò)模型中更底層特征圖做檢測以及增加輸入圖像大小來增加深度模型的分辨率，相比原始的SSD算法，改進的SSD模型提高了對小目標(biāo)行人的檢測性能。另外增加INRIA數(shù)據(jù)集的數(shù)量跟多樣性也是本文算法檢測性能提升的主要原因。盡管通過擴增的INRIA數(shù)據(jù)集訓(xùn)練改進的SSD模型取得較好的檢測效果，但檢測性能還有待優(yōu)化。下一步研究工作主要針對兩點：1）應(yīng)用本文算法在多個基準(zhǔn)行人數(shù)據(jù)集（如Caltech行人數(shù)據(jù)集等）上進行實驗，針對每個數(shù)據(jù)集的測試結(jié)果進行統(tǒng)計分析，優(yōu)化本文算法的檢測性能；2）繼續(xù)擴充行人數(shù)據(jù)集的數(shù)量跟多樣性能夠進一步的提升算法的檢測性能。