基于YOLOv3 的視頻場景行人檢測研究*

王明吉，張 政，倪子顏，張 勇，劉 斌

（東北石油大學，黑龍江 大慶 163000）

0 引言

目標檢測是計算機視覺的重要內容[1]，是圖像信息處理研究中至關重要一步。行人檢測作為目標檢測其一重要分支，結合目標跟蹤技術，在行為分析、交通監控、無人駕駛技術、智能服務領域有著廣泛的應用[2]。基于卷積神經網絡提取特征的檢測方法逐漸替代了傳統手工提取的檢測方法，依靠其強大的特征提取和自學能力成為檢測技術領域的主流方法，并取得了階段性突出的成果，尤其在稀疏大尺度目標上有很好的檢測效果。但當面向實際應用場景時，攝像頭與行人的距離較遠會導致尺度不均，且小目標居多，更易收到環境噪聲及遮擋影響，使得檢測效果并不理想，進一步針對小目標檢測進行深入研究具有重要的理論意義和實際的應用價值。

1 深度學習的目標檢測算法

主流的深度學習目標檢測算法結構均基于深度學習的卷積神經網絡構建，按流程主要分為twostage 和one-stage 兩個系列。two-stage 將檢測任務分為兩個階段，首先通過在圖片上遍歷滑框選取感興趣的候選區域框映射到特征圖（feature map）區域上，再重新輸入到全連階層分別進行分類和回歸處理得到檢測結果。該系列在2015 年發表的更快的基于區域的卷積神經網絡（Faster Region-Based Convolutional Network，Faster R-CNN）[3]通 過 引 入區域生成網絡（Region Proposal Network，RPN）[4]替代搜索框選擇，同時增加錨點機制應對目標形狀的變化，從而減小了空間消耗，實現了高精度，但遠遠達不到實時檢測。

為了滿足實際場景應用對目標檢測的要求，檢測的研究方向逐漸轉向速度為主的檢測網絡，以YOLO[5]系列，半離散矩陣分解（Semi-Discrete Matrix Decomposition，SDD）[6]為代表的基于回歸的單階段網絡應運而生。此系列主要將圖片網格劃分區域得到數據塊，每塊區域獨立預測一次性得到全部邊界框，同檢測任務統一視作回歸問題，形成了端對端的訓練流程，速度可達到45 fps，Faster-RCNN 只有7 fps。然而，由于取消了RPN 網絡使得網格定位模糊，降低了檢測目標精度。YOLOv2[7]引入二階段類似的anchor 機制動態的調整網絡使其能夠預測不同大小的圖片，一定程度上平衡了檢測的速度和精度。但面向目標密集的自然場景時，主要以大目標為主導神經網絡學習檢測機制對于分辨率較小的小目標特征不敏感，需要更細膩的特點進行特征學習，并且YOLO 對圖片的縮放操作與多次下采樣進一步縮小了小目標的分辨率導致了小目標檢測性能的不穩定。現有的通用檢測網絡無法避免小目標檢測效果相對大目標較差的問題，但仍可以結合網絡結構特點改進或優化。常通過引入注意力機制，上下文信息或者強化特征提取網絡等優化舉措提高小目標檢測性能。宦海[8]等人通過利用空洞卷積捕捉大感受野，并使用多卷積核尺寸和膨脹率的卷積，構建多層并行的空洞感受野模塊（Atrous Receptive Module，ARM），提高對小目標的檢測能力。任宇杰[9]等人基于單次多尺度檢測器（Single Shot MultiBox Detector，SSD）提出一種與MobileNet結合的輕量級深層神經網絡結構，并通過使用focal loss 損失函數動態調整交叉熵平衡正負樣本，提高檢測性能。

2 密集行人檢測網絡結構

2.1 YOLOv3

YOLOv3[10]是性能較好的代表性檢測網絡之一，其結構如圖所示，Yolov3 使用darknet53 作為主干網絡，并使用步幅為2 的卷積層替代了網絡中的池化層進行特征圖降采樣，有效地阻止了池化層帶來的低層級特征信息損失。其最主要的特點是擁有以Resnet 為靈感的5 個殘差模塊，能夠進行更深層次信息的傳播。YOLOv3 結構如圖1 所示，殘差模塊由殘差單元resX 和DBL 單元組成，X代表模塊中殘差單元的數量，每個DBL 都由一個卷積層、歸一化層和LeakyRelu 激活函數組成，除此之外YOLOv3 還使用了多個tricks 來提升檢測性能，比如在原始YOLO 基礎上增加了anchor 機制和類似于特征金字塔（Feature Pyramid Network，FPN）[11]的多尺度預測。

圖1 YOLOv3 網絡結構

YOLOv3 首先將特定尺寸的圖像數據輸入模型，通過卷積操作得到特征圖并劃分網格，特征圖的每一個網格需要預測3 個目標框，每個預測得到S×S×3 ×(5+C)維度的輸出，其中S 是劃分的網格數量。x、y、w、h、confidence5 個參數分別表示檢測框的橫、縱坐標，寬度和高度以及置信度，還包含一個類別概率C。YOLOv3 為了使檢測能夠適應大小不一的物體，分別使用步幅32、16 和8 進行下采樣操作，并為每種下采樣尺度設定3 種先驗框進行預測聚類分析，總共9 種尺寸的先驗框，得到三個不同檢測尺度的輸出。最后通過閾值篩選確定圖中目標最終的坐標信息和類別的預測值。

2.2 位置增強特征金字塔

卷積神經網絡中的大尺度特征圖由于經過較少的下采樣，感受野較小包含更多的細節位置信息；小尺度特征圖則感受野大包含更多的語義信息。因此，通過由淺及深地特征融合才能獲得更豐富的特征信息。原始的特征金字塔結構為，同一特征層級逐層進行步幅為2 的特征映射得到新特征圖，并將階段性最強信息作為輸出進行橫向連接，但同一層級傳播會壓縮細節位置信息，對小特征表達能力差的小目標不敏感，且傳播過程中仍存在細節的丟失。于是延續了多尺度融合特征的優越性，提出一種橫向拓展的位置特征增強金字塔模型FPLN（Feature Pyramid Location Network），通過全連接堆疊信息后再自適應特征創建特征信息流的方式，修復特征候選區域和特征層次之間的損壞路徑，使模型能夠學習到更多的有效特征，進一步提高小目標的檢測精度。

位置特征增強金字塔模型直接采用主干網絡后的預測分支的三個不同尺寸檢測頭{c1，c2，c3}作為第一階段的特征圖，將輸入608 尺寸的通過32、16、8 倍下采樣得到的76、38、19 尺寸特征圖的直接進行自下而上的采樣，再用1×1 的卷積核將三個尺度特征圖進行通道的緯度變化，接著較深層特征圖上采樣放大2 倍應對相鄰層級特征圖尺寸統一后像素級的加法迭代得到{d1，d2，d3}，實現第一階段底層語義信息的增強結構。為了最大化豐富D層特征，保留低語義層包含的位置細節信息，如圖2 左側對C 列YOLOv3 檢測頭的三個尺度特征圖譜與一次自上而下的特征圖D 列特征進行全連接（FC，Full Connect）操作，同樣通過采樣統一尺寸的方式再一次傳播原始信息并通過堆疊方式彌補傳播過程中丟失的信息。

圖2 FPLN 網絡結構

除此之外，如圖2 右側所示，以相同的融合策略又增加了一組二倍下采樣疊加，構建自下而上的位置特征增強，并與D 層通過1×1 融合得到{p1，p2，p3}，形成了特征圖的閉環結構，在尺度融合中豐富信息，融合特征圖譜信息和自頂向下傳達強語義特征堆疊，最后附加層則自底向上傳達強定位特征，綜合的提升了網絡對小目標的識別能力。

圖3 廣義交并比與DIoULoss 回歸對比流程

2.3 損失函數

為了使預測框與真實框之間的對齊程度實現更好的表征，獲得更精準邊框度量，以迎合更為密集行人框互相堆疊易發生漏檢的數據特征，針對YOLOv3 對預測框的中心及橫縱坐標使用LossDIoU為目標定位損失函數，進行計算偏移的優化，提升網絡對目標位置的定位的準確性。考慮重疊面積的廣義交并比原基礎上增加了基于中心點歸一化距離，在損失函數中引入懲罰項，提出了DIoU（Distance Intersection over Union）損失函數如下：

式中，B為檢測框，Bgt為真實框，d為計算兩者的歐式距離函數，c為覆蓋兩框間最小框中心的對角線距離。下圖回歸過程中可以看出廣義交并比損失會通過擴大預測盒與尋找目標框并與之重疊，相比交并比損失更關注中心點距離并逐步通過懲罰項縮小距離。兩者同時引導邊界框移動方向的過程中，相比優化的是兩個目標框間重疊面積的損失，DIoU 損失直接最小化兩個目標框中心點距離的回歸過程收斂更快且網絡更穩定，DIoU 還可以避免在兩框無交集時，廣義交并比損失退化為零的情況，更加符合目標框回歸的機制。

2.4 錨點框選擇

選擇尺寸合適的錨點框以及Anchor 個數更有利于提高檢測的準確率，并可以根據檢測數據集差異做出相應調整。原始YOLOv3 算法錨點框個數以及寬高比是基于包含行人在內的80 類的目標的COCO 數據集[12]上進行聚類得到的。獲得的聚類不能精準的代表單類行人框的特征，本文針對復雜場景下單類行人檢測，采用密集行人數據Human Crowd[13]，通過以IoU 為度量的K-mean 聚類[14]分析方法重新聚類，度量公式如下：

得到行人特征對應的三個尺度的9 組錨點框聚類結果：(19,12) (14,29) (30,26) (40,59) (55,78) (60,132) (122,178) (146,238) (303,340)。

3 模型訓練與實驗分析

3.1 實驗環境及訓練參數

實驗使用的硬件：CPU（處理器）型號為Inteli7，GPU 為英偉達2080Ti R，內存為11 GB。

實驗使用的軟件：操作系統為Ubuntu 16.04，深度學習框為PyTorch 1.6，另外安裝軟件環境Cuda 10.1+OpenCV。

實驗過程使用COCO 作為訓練集，輸入圖像并進行mix up 數據增強，平臺搭建網絡模型進行訓練。訓練過程中的batch尺寸設為64，權重衰減為0.000 5，動量值為0.9，學習率衰減策略采用指數衰減策略。首先采用初始化學習率0.01，保持此學習率到第40個epoch，從40 個epoch 使用gamma=0.9 來衰減學習率，一共訓練200 輪，訓練時間為兩天時間最終得到密集行人檢測模型。訓練過程中，使用自適應動量優化（Adaptive Moment Estimation，ADAM）算法[15]根據訓練數據迭代自主地完成神經網絡的權重更新，優化模型的參數。保存完整訓練模型后，以人流聚集視頻場景作為測試數據集，應用訓練好的模型測試本文網絡在面對遮擋以及攝像距離導致的尺度多樣性問題時，對行人目標的檢測性能。

3.2 評估標準

實驗中采用平均精度均值（mean Average Precision，mAP）和檢測速度（單位為fps）作為評價標準檢驗模型的有效性。其中Precision 表示正確預測數占總真實標簽數的比例，Recall 表示正確預測數占目標預測總數的比例，mAP 平均精度為計算兩者曲線下的面積的綜合指標。其中mAPs 指標代表目標尺度小于322的小目標。

3.3 實驗數據及分析

視頻場景下，同一幀檢測效果對比如圖4 和 圖5 所示。圖4 為原算法檢測結果圖，未檢測出被遮擋的行人，尤其是在遠處和背景相連的小行人處呈現了檢測空白。圖5 為本文視頻行人檢測算法結果圖，能夠成功檢測到被遮擋較大的行人和遠處的小目標。

圖4 YOLOv3 算法視頻幀檢測結果

圖5 本文算法密集行人檢測效果

實驗第一階段，將本文算法與SSD 以及YOLOv3 算法做對比實驗，相同算法的前提下，輸入的分辨率越大得到檢測的精度越高，證明了豐富圖片特征對目標檢測結果的重要性。結果如表1 所示，本文算法的小目標平均精度達到了92.25＆，較SDD 與原始YOLOv3 分別提高了8.89＆和4.25＆，證明了模型的有效性。

表1 本文算法與原算法性能對比

實驗第二階段基于YOLOv3 算法針對改進的每一步進行消融實驗的對比。驗證本文的位置增強網絡結構和損失函數的優化都能為算法爭取到精度的提高，結果如表2 所示，在數據預處理的基礎上，位置增強的金字塔網絡結構能有效獲取豐富特征，在尺寸小于322的情況下目標精度提高了2.15＆，增加的基于中心點距離的損失函數通過精細定位使精度提高了1.78＆，在多尺度目標上的平均精度達到了94.15＆。增添模型一定程度上增加了網絡的計算，但仍滿足實時性的要求，以上證明本文基于YOLOv3 的視頻場景網絡模型在密集行人場景下是行之有效的。

表2 本文算法增益實驗

4 結語

針對視頻中的密集人群檢測中小目標定位差精度較低的問題，提出了一種基于YOLOv3 的位置增強金字塔模塊行人檢測模型。在視頻數據集上的實驗結果表明，在保證了實時性的情況下，本文算法在面對小目標行人和普通尺度行人的檢測精度都有所提高，在智能檢測領域具有一定的前景。通過對YOLOv3 三個尺度特征圖下采樣后，與進行全連接再雙向的創建信息流進行特征融合，增強特征提取能力，同時結合DIoULoss縮近邊框偏移獲得更精準的預測框和符合行人特征的錨點框預選，提高了密集行人檢測性能。未來考慮使用更加輕量的網絡結構，降低復雜度，尋求更加高效精準的檢測思路。