結合語義和多層特征融合的行人檢測

儲 珺 束 雯 周子博 繆 君 冷 璐

行人檢測是目標檢測領域研究最廣泛的任務之一,也一直是計算機視覺任務中的熱點和難點.行人檢測任務是給出圖像或視頻中所有行人的位置和大小,一般用矩形框標注.行人檢測技術可以與目標跟蹤[1]、行人重識別[2]等技術結合,應用于汽車無人駕駛系統[3]、智能視頻監控[4]、人體行為分析[5]等領域.在實際場景中,由于行人與物體、行人間互相遮擋以及交通標志、櫥窗中的模特等相似信息的干擾,行人檢測任務仍然存在很大的挑戰[6].

行人檢測是目標檢測中的一種特例,現階段的很多行人檢測算法都以目標檢測框架為基礎.快速區域卷積神經網絡[7](Fast region convolutional neural network,Fast R-CNN)和更快速區域卷積神經網絡[8](Faster region convolutional neural network,Faster R-CNN)是目標檢測[9?11]和行人檢測[12?14]中被廣泛采用的基礎框架,目前在Caltech[15]行人檢測數據集上效果較好的算法大多是基于這兩個框架.如多尺度卷積神經網絡[10](Multi-scale convolutional neural network,MS-CNN)和尺度感知的快速卷積神經網絡[12](Scale-aware fast region convolutional neural network,SAFastRCNN)分別基于Faster R-CNN 和Fast RCNN 框架強調了尺度問題,針對不同尺寸的行人特征設計了不同尺度的子網絡.

Zhang 等[13]證明了Faster R-CNN 的候選區域網絡(Region proposal network,RPN)對提取行人候選區域的有效性.但同時也指出基于區域的卷積神經網絡(Region-based convolutional neural network,R-CNN)在分類階段,由于高層卷積特征圖分辨率降低,小尺寸的行人無法得到有效的描述,會降低檢測的總體性能.因此提出一種結合候選區域網絡與決策森林(Region proposal network +boosted forests,RPN+BF)的算法.該算法用RPN 提取候選區域,然后用決策森林對候選區域進行分類,有效緩解了上述問題.同樣,針對Faster RCNN 中小尺寸行人檢測效果不佳的問題,Zhang 等[14]提出自適應更快速區域卷積神經網絡 (AdaptFasterRCNN),通過量化RPN 尺度、增大上采樣因子、微調特征步幅、處理被忽略區域和調整損失函數的方式,進一步提升了檢測效果.Yun 等[16]提出一種基于顯著性和邊界框對齊的部分卷積神經網絡(Part-level convolutional neural network,PLCNN),其用RPN 提取候選區域,對特征圖中前景和背景設置不同的權重來消除背景干擾引起的誤檢,有效解決了行人檢測中遮擋和復雜背景干擾等問題.

目標檢測算法的設計是為了更好地定位不同的對象,檢測過程中只用矩形框標注目標的位置,通常不提供目標的邊界信息.語義分割能逐像素地定位目標的邊界,將檢測和分割聯合,使用基于區域的分割方法提取特征,自上而下地聚類計算候選區域,能有效改進目標檢測的性能[17].Hariharan 等[18]首次提出將分割與檢測同時用于行人檢測,與文獻[17]一樣采用自上而下的分割方法,不同的是使用多尺度組合分組[19](Multi-scale combinatorial grouping,MCG)作為分割的候選區域.Wang 等[20]提出一種基于卷積神經網絡的結合部件與上下文信息(Part and context information with convolutional neural network,PCN)的算法,部件分支利用行人的語義信息來精準分類,對被嚴重遮擋的行人具有良好的檢測效果.Du 等[21]提出深層神經網絡融合(Fused deep neural network,F-DNN)的架構,主要由行人候選區域生成器、分類網絡和像素級別語義分割網絡組成.該算法在語義分割網絡中使用掩膜增強行人特征,降低行人檢測的漏檢率(Miss rate,MR),缺點是架構結構復雜,提高了精度,但犧牲了速度.

上述行人檢測方法雖然添加了語義分割以解決遮擋及背景干擾等問題,但把語義分割作為一個獨立的任務來設計額外的分割網絡,計算復雜.并且在檢測過程中沒有針對漏檢和誤檢問題設計獨立模塊.因此,本文提出一種新的利用語義分割來增強檢測效果的行人檢測框架,將語義分割掩膜融合到共享層,增強行人特征,解決行人的漏檢和誤檢問題.由于不增加單獨的語義分割網絡,因此基本不增加模型的計算復雜度.在RPN 的回歸分支中用VGG-16[22]構建一個輕量的二次檢測模塊,解決前一模塊初步檢測的誤檢問題,并且對前一次檢測的結果進行二次回歸.

本文的主要創新點包括:

1) 提出一種新的結合語義和多層特征融合(Combining semantics with multi-level feature fusion,CSMFF)的行人檢測算法.增加了行人特征增強模塊(Pedestrian feature enhancement module,PFEM)和行人二次檢測模塊(Pedestrian secondary detection module,PSDM),將語義分割掩膜融合到共享層,有效抑制背景信息的干擾和解決不同程度的遮擋問題,并在此基礎上通過二次檢測和回歸減少誤檢,提高定位精度.

2)在多層特征融合的基礎上結合語義分割,將骨干網絡的淺層特征像素信息與深層特征語義信息進行融合,有效提高了小尺寸行人的檢測性能.

3)行人特征增強模塊可以很方便地嵌入到已有檢測框架,基本不增加運算復雜度.

1 本文算法

提出的CSMFF 行人檢測算法除骨干網絡外由兩個關鍵部分組成:行人特征增強模塊和行人二次檢測模塊.

行人特征增強模塊在Faster R-CNN 的RPN之前添加語義分割分支,得到以目標框為邊界的分割掩膜.即對骨干網絡采用多層特征融合,在此基礎上用1 × 1 卷積實現分割.分割時逐像素遍歷圖像中每個像素點,并對每個像素點單獨預測和分類,形成語義分割掩膜.分割掩膜通過編碼得到語義信息,映射到骨干網絡的深層特征作為RPN 的輸入.

行人二次檢測模塊添加在RPN 的回歸分支上,同樣對多層特征融合后添加語義分割分支,用來解決PFEM 初步檢測的誤檢問題,并對初次檢測結果進行二次回歸.CSMFF 框架的流程如圖1 所示.

圖1 本文算法框架Fig.1 Overview of our proposed framework

1.1 行人特征增強模塊

淺層卷積產生的特征圖包含更多像素信息,有較高的空間分辨率,行人的輪廓更加清晰,用來定位行人會更準確.深層卷積產生的特征圖則包含更多的語義信息,用于行人的檢測會更精確.所以文中在分割時把多個卷積特征的融合特征作為分割的輸入特征.

行人特征增強模塊采用的骨干網絡是VGG-16,用卷積的前5 層來提取特征.不同卷積層生成的特征圖表示不同尺度的行人,卷積層越深,特征圖的尺寸就越小,因此,需要對不同的卷積層采用不同的采樣策略.具體做法為:保持Conv2_2 層的特征圖尺寸不變(112 × 112 像素),在Conv3_3 層和Conv4_3 層上分別添加一個2 × 2 和4 × 4 的反卷積對特征圖進行上采樣,記為Dconv3_3 和Dconv4_3.然后將Dconv3_3、Dconv4_3 與Conv2 輸出的特征圖進行級聯,生成多層特征融合層,記為融合1 層.為獲得較好的語義特征映射,在融合1 層上添加由1 × 1 的卷積構成的語義分割分支,用于預測輸入圖像在采樣分辨率上每個像素的類別,記為分割1 層.語義分割層形成的行人掩膜有效抑制了背景信息的干擾,并且網絡加深時,語義信息會隨之進入到卷積層.利用分割的掩膜獲取語義特征映射后,將其與相應的卷積特征圖連接作為行人分類的最終特征.具體為分割1 層與Conv5_3 層特征映射相加連接,記為融合2 層,最終輸入RPN 網絡.

現階段的行人檢測數據集大都缺乏基于物體輪廓為邊界的逐像素語義標注,無法正常對其進行訓練.而且隨著卷積網絡的加深,圖像的尺寸在經過多個池化層后越變越小,對于被嚴重遮擋的行人和小目標來說,使用物體輪廓和目標框作為邊界的逐像素標注的差異已經微乎其微.圖2 比較了在Conv5_3 層后分別采用基于物體輪廓和目標框為邊界的逐像素分割結果.從圖2 (b)和圖2 (c)來看,兩者相差不大.并且我們的分割只是用來輔助檢測,無需分割出行人的精確形狀,所以文中選擇基于目標框為邊界的逐像素分割方式.訓練時利用訓練數據集中行人的標注信息(坐標、寬、高)形成基于目標框式的分割區域,作為行人分割的標注.

圖2 基于目標框和物體輪廓為邊界的逐像素分割結果Fig.2 The pixel-by-pixel segmentation results based on object box boundary and object contour boundary

隨著卷積網絡的加深,網絡訓練越來越困難,收斂也越來越慢.前期有很多方法可以解決該問題,如修正線性單元激活函數[23](Rectified linear unit,ReLU)、殘差網絡[24](Residual network,ResNet)以及梯度下降法[25](Gradient descent,GD).盡管這些方法訓練神經網絡非常簡單高效,但是需要人為地選擇參數,如學習率、參數初始化、權重衰減系數等,而且這些參數的選擇對于訓練結果至關重要,需要花費很多時間在參數調整上.本文使用Batch-Norm 層[26]來解決該問題,具體是在Conv2～Conv5 每一個卷積層中添加BatchNorm 層,采用的BatchNorm 層位于卷積層和激活層中間.

圖3 是行人特征增強模塊在添加語義分割前后Conv5_3 層的特征可視化對比,圖中差異明顯的地方用矩形方框做了相應的標記.第1 行是Caltech 數據集部分測試圖像結果,第2 行是骨干網絡Conv5_3 層的特征圖,第3 行是在Conv5_3 層上添加本文語義分割分支的特征圖,第4 行是融合多層特征后添加語義分割分支的特征圖.通過對比可以看出,受背景和行人較為相似、行人被遮擋等因素影響,行人在骨干網絡Conv5_3 層的特征不明顯.添加了本文的語義分割分支后,行人特征增強,但當目標比較小時,增強效果不太明顯(第3 行方框).在提出的融合語義和多層卷積特征后,行人特征增強更加明顯(第4 行方框).驗證了CSMFF 可以更好地區分行人與背景區域.

圖3 添加語義分割前后Conv5_3 層的特征可視化對比Fig.3 Visual comparison of features of Conv5_3 layer before and after adding semantic segmentation

1.2 PFEM 損失函數

PFEM 模塊訓練時的損失函數包含三個部分:分類損失、回歸損失和分割損失.分類損失和回歸損失與一般的目標檢測器一致.分割在本文是一個二分類的輔助檢測工作,與一般的分割方法不同,此處分割損失也采用與分類損失一樣的損失函數.PFEM 的總損失函數如下:

式中,α是PFEM 模塊中回歸的損失權重,在實驗中,α=5.

1)Lcls為分類損失函數:

式中,pi表示分類時第i個錨(anchor)框為行人的概率,表示第i個標記框為行人的概率.當第i個anchor框與標記框的交并比大于等于0.5時,說明預測的是正樣本,即是行人,,否則=0.

2)Lreg為回歸損失函數:

3)Lseg為分割損失函數:

1.3 行人二次檢測模塊

PFEM 模塊增加了分割分支,將分割得到的語義信息和骨干網絡Conv5_3 層特征融合,通過RPN網絡提取候選區域,再經過分類和回歸得到初步的檢測結果.其中,分割語義信息增強行人特征,抑制背景信息,可以減少相似背景干擾,同時提高小目標的檢測率.但當圖像中存在與行人特征相似的目標,如停車牌、樹木等,也會出現誤檢.因此在后端提出PSDM 以進一步提高被遮擋、小尺寸等行人的分數,提高整體的檢測性能.

在二階段目標檢測框架中,大多數后端的分類和回歸采用Faster R-CNN 后端R-CNN 的分類部分,但是文獻[13]指出Faster R-CNN 的后端會降低行人檢測的精度.通過Caltech 數據集進行驗證,前端使用提出的PFEM,后端用R-CNN 與提出的PSDM 模塊對比分類和回歸的效果,實驗結果也說明后端采用R-CNN 的結果不如PSDM 模塊.其主要原因有兩個:1)行人在數據集中的尺寸較小,在行人檢測Caltech 數據集中,大約有88 %的行人低于112 × 112 像素.對于小尺寸的行人來說,若后端感興趣區域池化層的輸入分辨率小于其輸出分辨率,會降低提取特征的辨別力.2)行人檢測和目標檢測兩者誤檢的針對性不同.行人檢測誤檢是指將背景中的相似物預測為行人,而傳統目標檢測中存在多個類別,其誤檢是指將一個正確的目標錯誤地預測為另一個目標.而且基于目標檢測中的RCNN 缺乏挖掘難負樣本的機制,將這樣的R-CNN直接用于行人檢測時對于被遮擋嚴重或者尺寸較小的行人檢測效果不佳.

行人檢測是一個二分類問題,與文獻[13]不同,本文使用VGG-16 中的Conv1～ Conv5 層作為骨干網絡構建一個單獨的識別網絡,減少了計算量.為解決感興趣區域池化層的輸入分辨率小于輸出分辨率問題,去除Conv5_3 層后的池化層,將輸入PFEM之前的圖像尺寸調整為112 × 112 像素.PSDM 中仍然增加了多層特征融合層和語義信息來提高識別率.Conv4 層和Conv5 層的深層語義特征有助于分類,Conv3 層是中間層,存在邊緣信息,可以更好地回歸,使行人定位更精準.因此,行人二次檢測模塊分別在Conv4_3 層、Conv5_3 層上添加一個步長為2 的2 × 2 卷積核和步長為4 的4×4 卷積核進行反卷積上采樣,然后與Conv3 層輸出的特征級聯,生成多層特征融合層,記為融合3 層.在此基礎上添加語義分割分支,記為分割2 層.獲得的語義特征映射后與Conv5_3 層特征映射相加融合,記為融合4 層,作為行人分類的特征.PSDM 的損失函數可表示為:

其中,分類損失、回歸損失與PFEM 一致.β是PSDM 模塊中回歸的損失權重,在實驗中,β=5.

2 實驗與結果分析

本文采用基于ImageNet[27]上預訓練的VGG-16 網絡作為骨干網絡.實驗均是在MATLAB 2016b 環境下進行,操作系統為64 位的Ubuntu 16.04,深度學習框架為Caffe[28];硬件配置為CPU Intel Xeon(R) E5-2 678 v3 @ 2.50 GHz 十二核;內存32 GB;GPU NVIDIA GeForce GTX 1080Ti.

2.1 實驗數據

在Caltech 和CityPersons 數據集上進行實驗,它們是近幾年使用規模最廣的行人檢測數據集.文獻[14]比較了Caltech 和CityPersons 不同遮擋水平下的行人分布.從文獻[14]可知,CityPersons 數據集行人被遮擋程度更大,Caltech 完全可見的行人超過60 %,而CityPersons 則不到30 %.

Caltech 數據集是目前規模較大的行人數據庫,采用車載攝像頭拍攝10 個小時左右,背景主要是公路或街道,視頻的分辨率為640 × 480 像素.其中標注了350 000 個矩形框,2 300 個行人,超過70 %的行人至少在一幀內出現了遮擋.該數據集分為11 個視頻組set00～ set10,其中set00～ set05為訓練集,根據Caltech10 ×[29]的標準對訓練集中42 782 張圖像訓練,對剩余的set06～ set10 中4 024張圖像進行測試.

CityPersons 數據集是基于語義分割Cityscapes 數據集[30]的一個行人檢測數據集,其數據是從德國的18 個城市,在三個不同的季節和不同的天氣條件下收集的.該數據集總共包括5 000 張圖像 (2 975 張用于訓練,500 張用于驗證,1 525 張用于測試),總共約有35 000 人,另外還有約13 000個未標注的區域,圖像分辨率為2 048 × 1 024 像素.本文對該數據集的訓練和測試都是在其訓練和驗證集上進行.

2.2 評估標準

為驗證實驗的全面性,根據官方提供的數據集評估標準,Caltech 和CityPersons 的數據依據行人高度和被遮擋比例被劃分成很多子集.因為本文實驗主要驗證對被遮擋行人和小目標的檢測性能,所以只比較Caltech 數據集中的Reasonable、Partial、Heavy 子集和CityPersons 數據集中的Bare、Reasonable、Partial、Heavy 子集.表1、表2 分別給出了Caltech、CityPersons 數據集中不同遮擋情況下每個子集的劃分標準.

表1 Caltech 數據集中部分子集的劃分標準Table 1 Evaluation settings for partial subsets of the Caltech dataset

表2 CityPersons 數據集中部分子集的劃分標準Table 2 Evaluation settings for partial subsets of the CityPersons dataset

本文實驗中,采用行人檢測和目標檢測領域常用的漏檢率(Miss rate,MR)、漏檢率–每幀圖像誤檢率曲線(Miss rate-false positives per image,MRFPPI) 及對數平均漏檢率[31](Log-average miss rate,LAMR)作為評價指標.其中,漏檢率是指正樣本被模型預測為負樣本的數目與所有正樣本數目的比例;每幀圖像誤檢率(False positives per image,FPPI)是指負樣本被模型預測為正樣本的數目與所有樣本的比例;對數平均漏檢率是MRFPPI 曲線在對數空間[10?2～ 100]內均勻分布的九個點的平均值.

2.3 實驗結果分析

1) Caltech 數據集

為驗證本算法性能,選取了8 種在Caltech 數據集性能較好的、能解決不同程度遮擋行人的檢測算法與CSMFF 結果比較.其中AdaptFasterRCNN[14]、PCN[20]、PL-CNN[16]、MS-CNN[10]、F-DNN+SS[21]是基于目標檢測框架結合語義的算法;RPN +BF[13]采用決策森林代替Faster R-CNN 中的RCNN,對候選區域進行分類,有助于提升小尺寸行人的檢測效果;Faster R-CNN+ATT[32]增加了注意力機制,在被嚴重遮擋行人檢測上取得了最佳性能.總體性能和運行速度如表3 所示,因為PL-CNN、Faster R-CNN+ATT、AdaptFasterRCNN、PCN原論文中沒有比較檢測速度,所以表3 中沒有給出它們的檢測速度.

從表3 可以看出,CSMFF 算法在Reasonable和Partial 子集上都達到了最低的漏檢率,分別比效果第二的F-DNN+SS 算法降低了1.12 %和0.75 %.Caltech 數據集的檢測性能已接近飽和,因此在Reasonable 子集上性能的提升非常重要.但在Heavy子集上效果低于Faster R-CNN+ATT,排在第二位.主要原因是卷積通道特征分別對應行人身體的不同部位,其對行人定位非常有效.Faster R-CNN +ATT[32]在Faster R-CNN 中添加了一個額外的注意力機制網絡,以通道方式的注意力機制有效地利用行人身體部位與不同卷積通道的關系來處理嚴重遮擋模式下的行人.雖然文獻[32]未給出Faster RCNN+ATT 算法的運行速度,但是其注意力機制的復雜度可以從其論文的描述中體現出來.這些結果表明,行人出現不同程度的遮擋會減少行人的有效特征,本文設計的PFEM 和PSDM 可以在一定程度上增強行人的特征辨別性,因此CSMFF 在不同程度的遮擋情況下均具有良好的泛化能力.

表3 在Caltech 測試數據集上對比算法性能以及運行速度比較Table 3 Performance and runtime comparisons of our proposed CSMFF with state-of-the-art approaches on the Caltech test dataset

表3 也給出了各算法運行速度的比較,本文訓練和測試僅在一張1080Ti GPU 上進行.從表3 可以看出,所提出的CSMFF 算法的運行速度約為0.12 s/幀,在比較的算法中是最快的,F-DNN 排在第二位.

圖4 是CSMFF 與各種對比算法在Caltech 數據集Reasonable、Partial、Heavy 子集上MRFPPI 變化.橫坐標表示每幀圖像誤檢率,縱坐標表示漏檢率,MR-FPPI 曲線越低,表示行人檢測算法在測試集上測試效果越好.從圖中可以觀察到,CSMFF 算法的曲線在Reasonable 和Partial 子集上最低,且下降很快,取得了最佳的檢測性能.主要原因是:1)雖然一些算法結合了從CityPersons 數據集訓練的高精度像素級語義信息,但是語義分割模型是獨立于候選區域生成器進行訓練的,語義特征無法進入候選區域網絡;2)本文針對前端模塊產生的誤檢問題進行了二次檢測,提高了整體性能.

圖4 CSMFF 與各種對比算法在Caltech 測試數據集上MR-FPPI 變化Fig.4 The variations of MR-FPPI of our proposed CSMFF with state-of-the-art approaches on the Caltech test dataset

2) CityPersons 數據集

為驗證算法的魯棒性,在CityPersons 數據集的部分子集上也做了實驗.表4 比較了CityPersons 數據集上效果較好的幾種行人檢測方法與CSMFF 的檢測性能.從表4 中可以看出,CSMFF在大部分子集上都能實現最佳檢測性能,分別在Reasonable、Partial、Heavy 子集上實現了11.2 %、13.4 %和50.1 %的漏檢率,但在Bare 子集上弱于OR-CNN.因為Bare 子集的遮擋率不到10 %,在被輕度遮擋的情況下,人體的四肢軀干完全,人體結構信息比較清楚,OR-CNN 將人體分成5 個部分,利用人體結構先驗信息,所以OR-CNN 方法在這種情況下的漏檢率較低.

表4 在CityPersons 測試數據集上不同算法性能比較Table 4 Performance comparison of our proposed CSMFF with state-of-the-art approaches on the CityPersons test dataset

2.4 消融實驗

之前Zhang 等[6]已經揭示了多層特征融合對各種尺寸行人檢測的重要性,本文在PFEM 的VGG-16 網絡上訓練了幾種模型,以此來研究哪些卷積層融合會達到最佳效果.由于淺層的判別信息有限,所以選取Conv2_2 的輸出作為起點.表5 比較了PFEM 融合不同卷積層和完整CSMFF 算法的結果.結果表明較淺的特征圖對定位有幫助,Conv4 和Conv5 等較深卷積層的特征圖有豐富的語義特征,有利于小目標的檢測.最終采用Conv2_2、Conv3_3 和Conv4_3 層卷積融合生成多層特征層.

表5 在Caltech 測試數據集上融合不同卷積層的性能Table 5 Performance of fusing different convolutional layers on the Caltech test dataset

為證明模型的有效性,在Caltech 數據集上進行消融實驗.表6 比較了PFEM 中每個組件以及添加PSDM 后與完整算法的對比結果.從表6 可以看出,在VGG-16 上將各層特征融合以及在此基礎上添加語義分割分支時,漏檢率都有所下降,這表明提出的PFEM 是有效的.針對Faster R-CNN 的后端會降低行人檢測精度的問題,本文設計了PSDM.從實驗結果可以很明顯地看到,對前一模塊由于背景干擾和遮擋產生的誤檢,進行行人二次檢測和回歸后,可以提高算法整體的檢測性能.

表6 在Caltech 數據集上測試每個組件的消融實驗Table 6 Ablation experiments for testing each component on the Caltech dataset

3 結論

本文提出了一種基于Faster R-CNN 的結合語義和多層特征融合的行人檢測算法.在多層卷積特征融合基礎上添加語義分割分支,并將其結果作為行人目標特征信息,為行人檢測和背景的區分提供了更多的辨別信息.后端在初步檢測的基礎上增加行人二次檢測模塊,并對初步檢測結果進行二次回歸,解決了前一階段產生的誤檢問題.但由于行人被嚴重遮擋時的可見部分很少,造成用于訓練的有效特征少,加上行人周圍大量背景等無用信息的干擾,導致檢測性能下降.我們下一步工作擬在本文算法框架上提出一種新型壓縮激勵的注意力機制網絡,可以自動選擇卷積層通道中行人的語義以及有用信息,抑制無用信息,降低被嚴重遮擋行人的漏檢率.