基于改進RetinaNet的行人檢測算法

劉晉川，黎向鋒，葉磊，劉安旭，趙康，左敦穩(wěn)

(南京航空航天大學機電學院，南京 210016)

近年來，基于視覺的行人檢測技術逐漸引起關注，它是車輛輔助駕駛系統(tǒng)、智能監(jiān)控系統(tǒng)以及智能機器人等技術中的重要基礎[1-2]。其研究主要是將一張包含行人的圖片或視頻幀中的所有行人位置和大小檢測出來，屬于典型的目標檢測問題。行人檢測的難點主要體現(xiàn)在：場景復雜、存在干擾因素(如光照、雨天、雪天以及霧天)；行人與環(huán)境、行人間的相互遮擋；遠處行人在圖像中像素占比較小易造成漏檢等問題。

基于視覺的行人檢測研究經歷了傳統(tǒng)行人檢測方法(其核心內容就是特征的提取方法和分類器的設計)和近年來研究火熱的基于深度學習的行人檢測方法。基于深度學習的目標檢測算法通常分為二階段目標檢測算法和一階段目標檢測算法。其中，二階段目標檢測算法通過對卷積神經網絡所生成的建議框進行簡單的二分類，來判斷建議框內的區(qū)域為前景或背景，被判斷為背景的建議框將會被大量舍棄，從而降低了類別的不平衡；而一階段目標檢測算法則對生成的建議框不做任何處理直接統(tǒng)一進行后期的分類以及回歸計算。因此，二階段目標檢測算法的處理速度要比一階段的目標檢測算法慢出許多。Girshick等[3]提出的二階段目標檢測算法R-CNN(region with CNN features)對包括行人在內的多種目標進行檢測，但存在算法運算量過大、計算資源耗費過大等問題，而后提出的Fast R-CNN[4]解決了原來R-CNN中因重復提取子窗口重疊區(qū)域特征而導致的運算量過大問題，同年提出的Faster R-CNN[5]對Fast R-CNN中候選框的生成進行了優(yōu)化以提升其檢測準確率和檢測速度；Zhang等[6]提出的OR-CNN(occlusion-aware R-CNN)算法提高了有遮擋行人的檢測精度；Redmon等[7]提出的一階段目標檢測算法YOLO(You Only LookOnce)直接在輸出層上進行回歸和分類，有效提升了檢測速度；朱敏[8]提出了基于SSD(single short multibox detector)[9]的行人檢測方法，提高了小目標行人的檢測精度；Lin等[10]提出了RetinaNet算法，通過設計損失函數(shù)Focal Loss解決了一階段目標檢測算法中類別不平衡問題。

在實際應用場景中，遠處行人在圖片上的面積占比較小，易造成漏檢。針對小目標檢測的問題，Sun等[11]提出了對小目標物體特征更加敏感的卷積神經網絡HRNet，經此網絡可以輸出具有更強的位置信息和語義信息的特征圖，將其作為目標檢測算法的特征提取網絡可以有效提高算法對于小目標物體的檢測精度。

近年來，基于卷積神經網絡的目標檢測算法層出不窮，性能也在不斷提高。這些算法整體上可以分為兩類：基于錨點框架的目標檢測算法以及基于無錨點框架的目標檢測算法。其中基于錨點框架的目標檢測算法得到了廣泛使用；而基于無錨點框架的目標檢測算法目前沒有明顯的識別優(yōu)勢[12]。但基于錨點框架的目標檢測也存在一定缺陷，如錨框的尺度和長寬比需要預先定義，這是對檢測器性能影響較大的超參數(shù)，且對于不同的數(shù)據集以及檢測方法需要單獨進行調整；如果尺度和長寬比設置不合適，還可能導致召回率不夠高；同時錨框過多也會影響分類性能以及速度。基于此，Wang等[13]提出了一種新的錨框生成方法——Guided Anchoring(GA)機制，即通過圖像的特征來指導錨框的生成，通過此種方法可以得到稀疏、形狀根據位置可變的錨框。

為解決通用算法對小目標檢測率低，并設計出檢測精度和檢測速度均衡的行人檢測網絡，現(xiàn)對RetinaNet算法進行改進，提出引入高分辨率網絡作為特征提取網絡，通過在特征提取過程中保持目標分辨率的方法，提高網絡整體對于小尺寸行人的敏感度，從而提升召回率；此外，針對RetinaNet算法中錨點機制的缺陷，引入GA機制來對其進行優(yōu)化以進一步提高算法的檢測精度，同時降低對計算資源的消耗；最后，使用改進后的RetinaNet算法在Caltech數(shù)據集上進行行人檢測實驗。

1 Caltech行人數(shù)據集介紹

Caltech數(shù)據集[14]是目前規(guī)模比較大且應用最為廣泛的行人數(shù)據集，數(shù)據集中的圖片來源于車載攝像頭以分辨率為640×480、30幀/s拍攝得到的視頻中截取的視頻幀，視頻約10 h。其不僅標注了大約250 000幀(約137 min)圖片，350 000個矩形框，2 300個行人，還另外對矩形框之間的時間對應關系及其遮擋情況進行了標注。該數(shù)據集中的部分樣本圖片如圖1所示。

圖1 Caltech數(shù)據集圖片

由于Caltech行人數(shù)據集是由安裝在行駛的汽車上的車載攝像頭連續(xù)拍攝得到的視頻而來，相比其他的公共行人數(shù)據集更加符合行人檢測算法的實際應用場景，數(shù)據集中包含各類復雜場景下的行人目標，如遮擋目標、小目標等困難樣本。

2 RetinaNet算法

行人檢測中，一張待檢測圖片上可能只有一個小目標，大量的目標框并不包含目標，這會導致背景框和目標框類別的不平衡。Lin等[10]提出了一階段目標檢測算法RetinaNet，并針對一階段目標檢測算法中由于類別不平衡造成檢測精度低的問題，提出了新的損失函數(shù)Focal Loss，該損失函數(shù)在傳統(tǒng)的二分類交叉熵損失函數(shù)上進行改進得來，標準交叉熵函數(shù)的計算公式為

(1)

式(1)中：CE為交叉熵函數(shù)；y為框所屬的標簽類別；1表示前景類即目標類別；-1表示結果為背景類別；p為模型對于標簽類別y的預測概率。

為了方便計算，定義概率系數(shù)pt為

(2)

則原式可表達為CE(p,y)=CE(pt)=-lnpt。

背景(不包含行人)的分類對于模型而言屬于易分類的樣本，為了讓模型將關注點更多地集中在難分類的樣本上，在原來的損失函數(shù)上加上了一個權重參數(shù)來控制正負樣本對總損失的貢獻。綜合式(1)和式(2)，整合出Focal Loss的最終表達式為

FL(pt)=-(1-pt)γlnpt

(3)

式(3)中：γ為關注度參數(shù)，γ≥0。

圖2為γ取值為[0，5]時的損失曲線圖。由圖2可以看出，F(xiàn)ocal Loss使得易分類的樣本對總損失的貢獻有所降低，從而可以讓模型更加關注難分類的樣本。采用式(4)的表達式來進行實踐，系數(shù)αt的作用是平衡正負樣本。經實驗，當γ=2、αt=0.25時的表現(xiàn)最好。

loss總損失

FL(pt)=-αt(1-pt)γlnpt

(4)

RetinaNet算法的整個網絡結構清晰且設計簡單，其檢測結構如圖3所示，特征提取網絡由殘差網絡ResNet-101和特征金字塔網絡FPN構成,使用該算法在COCO數(shù)據集上進行實驗，結果表明：相較于經典的二階段目標檢測算法Faster R-CNN，RetinaNet算法具有更高的檢測精度。因此，主要在RetinaNet算法上來進行后續(xù)的優(yōu)化。

圖3 RetinaNet算法結構

3 改進RetinaNet算法的行人檢測

雖然一階段目標檢測算法RetinaNet具有更高的檢測精度，但是其仍然存在著一些問題：小尺寸行人的漏檢以及算法中錨點機制本身的缺陷。因此，將引入高分辨率特征提取網絡和Guided Anchoring機制對其進行改進優(yōu)化，使其性能表現(xiàn)更佳從而更加契合實際應用的場景。

3.1 特征提取網絡優(yōu)化

實際上，在低分辨率的特征圖上是看不見小目標物體的，這是因為當目標物體的尺寸小于卷積神經網絡的下采樣率時，該目標在此特征圖上便會消失。比如32×32大小的目標在采樣率為1/32時，該目標在特征圖上就變成了一個點，而小于32×32大小的目標則會消失，這便造成了高層的特征圖無法檢測到小目標。標準的RetinaNet算法中主要是通過引入特征金字塔網絡結構來提高網絡對于小目標物體的檢測精度，該網絡結構主要是采用淺層的大尺寸特征圖來檢測小目標，并且還將其與高層上采樣后的特征圖進行融合來豐富特征；然而高層特征圖中的小目標物體的語義信息在下采樣的過程中已經丟失，于是便造成了融合后特征圖中來自淺層大尺寸特征圖的語義信息不足，從而導致類別識別能力較弱。

針對這個問題，引入高分辨率特征提取網絡HRNet，該網絡的結構如圖4所示。

圖4 HRNet網絡結構

由圖4可以看出，HRNet采用的是并行連接的方式，特征圖在網絡的傳遞過程中，通過下采樣操作分離出低尺寸的特征圖，隨后以此作為輸入分離出一條卷積神經網絡，從而逐步的增加高分辨率到低分辨率的子網絡，形成更多的階段，并將多分辨率的子網絡并行連接，通過在并行的多分辨率子網絡上反復交換信息來進行多尺度的重復融合，從而不斷地提高每一條子網絡的高分辨率特征。當網絡傳遞到最后時，將所有網絡的特征圖進行融合，于是便獲得了信息更加全面的高分辨率特征，使得特征圖上目標的空間位置信息以及語義信息都變得更加完善。

3.2 錨點機制優(yōu)化

基于錨點機制的行人檢測算法在整體上可以分為兩個步驟，第一步是提取候選區(qū)域，第二步便是將提取出的候選區(qū)域送入后續(xù)的網絡中做進一步的分類以及定位。錨框機制的引入使目標檢測算法的性能有了較大的提高，但同時也帶來了一些問題。基于此，引入一種新的錨框生成方法——Guided Anchoring(GA)機制，即通過圖像的特征來指導錨框的生成。圖5為Guided Anchoring模塊的整個過程，共分為三個部分。

圖5 Guided Anchoring模塊

3.2.1 位置預測

位置預測的主要目的是預測哪些區(qū)域應該作為中心點來生成錨框，屬于二分類問題。與區(qū)域建議網絡的工作不同，這里并不是預測每個點是前景還是背景，而是預測其是否為物體的中心。首先，整個特征圖的區(qū)域被分為物體中心區(qū)域、外圍區(qū)域和忽略區(qū)域，然后將真實框的中心一小塊對應在特征圖上的區(qū)域標記為物體中心區(qū)域，訓練時將其作為正樣本，其余的區(qū)域按照離中心的距離標為忽略樣本或者負樣本，最后通過選擇對應概率值高于預定閾值的位置來確定可能存在對象活動的區(qū)域。對輸入尺寸為W×H×C(寬×高×通道數(shù))的特征圖FI使用1×1的卷積網絡NL，得到與FI具有相同分辨率、但是只有一個通道的輸出W×H×1，輸出的每個位置的值表示原圖上對應位置出現(xiàn)物體的可能性，也就是概率圖，最后通過選擇對應概率值高于預定閾值的位置來確定可能存在對象活動的區(qū)域。

通過位置預測，便可篩選出一小部分區(qū)域作為錨框的候選中心點位置，從而使得錨框數(shù)量大大降低，最后只需要針對有錨框的地方進行計算即可。

3.2.2 形狀預測

形狀預測分支的主要目標是根據給定錨框的中心點，預測出錨框最佳的長和寬，屬于回歸問題。將FI輸入1×1的卷積網絡NS，輸出與FI尺寸相同的雙通道的特征圖，兩個通道分別用dw和dh表示，表示每個位置可能的最好的錨框尺寸。雖然預測的目標是w和h，但是直接預測這兩個數(shù)字不穩(wěn)定，因為范圍會很大，所以將空間[0，1 000]近似映射到了[-1，1]中，計算公式為

w=σsedw

h=σsedh

(5)

式(5)中：s為步幅；σ為經驗因子。

對于錨框和真實框匹配的問題，傳統(tǒng)的區(qū)域建議網絡是直接計算錨框和所有的真實框的交并比(intersection of union，IoU)，然后將錨框匹配給IoU最大的那個真實框，但是經過改進后錨框的寬(w)和高(h)都是不確定的，而是需要預測的變量，定義預測的錨框為awh，真實框為gt，IoU(·,·)表示預測框與真實框的交并比，于是將這個錨框和某個真實框的交并比定義為vIoU，計算公式為

(6)

由于不可能將所有可能的w和h遍歷一遍來求IoU的最大值，所以只采用了9組可能的w和h作為樣本，經實驗發(fā)現(xiàn)近似效果已經足夠。通過對錨框的位置預測和形狀預測，便可以生成最終的錨框了，此時生成的錨框即為稀疏且每個位置不一樣的。

3.3.3 特征精調模塊(feature adaption)

由于每個位置錨框的形狀是不同的，大的錨框對應著較大的感受野，小的錨框則對應小的感受野，所以不能像傳統(tǒng)的基于錨框的方法那樣直接對特征圖進行卷積而進行預測，而是需要對特征圖進行精調。通過借鑒可變形卷積(deformable convolution)[15]的思想，根據形狀對各個位置單獨進行轉換。

特征精調的方法就是將錨框的形狀信息直接融入特征圖中，從而得到新的特征圖來適應每個位置錨框的形狀。主要通過3×3的可變形卷積NT對原特征圖進行修正，其中可變形卷積的變化量是由錨框的w和h經過一個1×1的卷積得到的。整個過程可以用式(7)來描述：

f′i=NT(fi,wi,hi)

(7)

式(7)中：i是對特征圖位置的枚舉；fi為第i個位置的特征；(wi，hi)為對應的錨框的形狀；f′i為精調后的第i個位置的特征。

NT通過一個3×3的變形卷積來實現(xiàn)，首先通過形狀預測分支預測偏移字段offset field，然后對帶偏移的原始特征圖做變形卷積獲得自適應特征F′I，之后再進一步做分類和回歸。通過這樣的操作，達到了讓特征的有效范圍和錨框形狀更加接近的目的。

經過上述三個步驟后，生成的錨框數(shù)量相對普通的錨框生成方法明顯減少，且與目標的匹配度更高。通過對RetinaNet進行上述改進，得到了如圖6所示的算法結構圖。

圖6 改進后的RetinaNet算法結構

4 實驗與結論

4.1 模型訓練

實驗共設置三組，分別為標準Faster R-CNN、Faster R-CNN+ResNet-101+FPN、RetinaNet算法以及本章提出的改進算法，對其分別進行訓練后測試，然后針對實驗結果進行分析。

4.1.1 訓練策略

按照1∶1比例劃分訓練集和驗證集，使用HRNet在ImageNet大型數(shù)據集上的模型的作為預訓練模型，同時采用遞增的學習率預熱策略，即先使用較低的學習率來對模型進行訓練，在訓練的過程中逐漸增加學習率，等模型逐漸穩(wěn)定后再增加到真正的初始學習率繼續(xù)進行訓練。

4.1.2 參數(shù)設置

算法采用的是隨機梯度下降(stochastic gradient descent，SGD)優(yōu)化算法來對模型進行求解，初始的學習率設為0.002，權重衰減設置為0.000 1，同樣的設置訓練學習的輪數(shù)為12輪，并在第8輪以及第11輪時調整學習率(分別在原有的學習率的基礎上下降0.1，也就是分別下降到0.000 2和0.000 02)，詳細的設置如表1所示。

表1 超參數(shù)的設置

4.2 實驗結果分析

實驗過程中采用的硬件平臺以及軟件環(huán)境如表2所示。本文提出的算法在實驗過程中的損失曲線圖如圖7所示。

iter為迭代次數(shù)；loss為每次迭代對應的損失值

表2 硬件及軟件環(huán)境配置

本次評價的技術指標為平均精度均值mAP。將本文的算法在Caltech行人數(shù)據集上進行實驗，得到的結果如表3所示，同時與其他的三種算法進行對比。從表3可見，本文提出的改進后的算法的檢測精度表現(xiàn)最好。圖8為使用本文算法對圖片的檢測效果的示例。從圖8可以看出，很多小尺度、模糊以及遮擋的行人都可以通過本文算法檢出。當場景同時存在大尺度行人和小尺度行人時，本文算法也可以很好地區(qū)分。

圖8 改進后算法檢測結果示例

表3 不同算法在Caltech數(shù)據集上的mAP

由于本文研究的行人檢測算法最終是要應用在輔助駕駛系統(tǒng)或自動駕駛系統(tǒng)中，因此對于算法的檢測速度即實時性有較高的要求。使用優(yōu)化后的算法模型對從行車記錄儀中截取的真實場景下的行車視頻片段進行檢測，計算檢測速度，在輸入的視頻分辨率為1 280×720時，各算法的每秒檢測幀數(shù)(frames per second，F(xiàn)PS)結果如表4所示。根據表4中數(shù)據可以看出，本文提出的改進后的算法在視頻檢測速度稍稍降低的條件下性能有所提升，實現(xiàn)了檢測速度與精度的均衡。

表4 視頻檢測結果

5 結論

通過對實際應用場景中行人檢測的難點問題進行分析，提出將原來的特征提取網絡替換為對小目標物體更加敏感的高分辨率網絡，以提高低層特征圖的語義信息以及高層特征圖中的位置信息；同時，對目標檢測算法中的anchor機制進行分析，發(fā)現(xiàn)該機制中存在的一些缺陷，并基于此而引入Guided Anchoring機制，從而使得anchor的位置以及形狀與目標更加接近，減少了anchor的數(shù)量，降低了計算量，使得模型的檢測精度得到提升；其次，將優(yōu)化后的算法在Caltech行人數(shù)據集上進行了實驗，最終得到mAP為0.905的檢測精度，相比于標準的RetinaNet算法提高約6%，證明了本文提出的優(yōu)化方案可以提高算法對行人的檢測能力；最后，將實驗結果與不同的行人檢測算法進行對比分析，證明了提出的改進算法的檢測精度達到了領先水平；并對該算法進行了符合應用場景的視頻檢測實驗，結果為19 FPS，證明了該算法在檢測速度上也有一定優(yōu)勢。