基于深度學習的難分類樣本行人檢測方法*

朱玉華 陸建峰

（南京理工大學 南京 210094）

1 引言

隨著人工智能的快速發展，國內外不少研究學者都相信相關的人工智能技術將會改變人們的生活方式以及公共交通系統的發展［1～3］。目標檢測在人工智能領域有著廣泛的應用，行人檢測就是其中一個重要的子模塊，這項技術是步態分析，行為分析，行人身份識別，行人跟蹤等研究的基礎和前提，可應用于智能輔助駕駛，智能監控，行人分析和智能機器人等。目前，國內外學者針對行人、車輛等目標提出了多種檢測方法［4～5］，然而在行人衣著等紋理與圖像背景紋理極為相似、遮擋嚴重等情況下依舊存在目標檢測率較低、實時性差等問題。

基于圖像的目標檢測在深度學習的熱潮到來前主要依賴于手工特征構建，基本都是經過感興趣區域（Region of Interest，ROI）提取、提取特征、分類回歸來進行目標識別。2001 年，Paul Viola 和Mi?chael Jones 提出了Viola-Jones（VJ）檢測器［6］，使用多尺度的Haar 特征進行快速計算，通過級聯結構進行決策。2005 年，Dalal 提出使用方向梯度直方圖（Histogram of Oriented Gradient，HOG）配合SVM分類器進行行人檢測［7］，這也是最常見的傳統行人檢測方法。直到2012 年，Hinton 等在當年的Ima?geNet 圖像識別競賽中使用基于CNN 構建的AlexNet 奪冠，首次將深度卷積網絡引入了目標檢測流程［8］。2014 年，Girshick 等提出了區域卷積網絡目標檢測框架（Regions with CNN features，R-CNN）［9］，基于深度卷積網絡的目標檢測方法卷起了熱潮。同年，Kaiming He 等提出了SPPNet［10］，解決了CNN 網絡對于輸入圖像的尺寸要求。2015年，Girshick 等在R-CNN 和SPPNet 的基礎上提出了FastR-CNN 檢測器［11］，同年，Haoqing Ren、Kaim?ing He以及Girshick等很快又在FastR-CNN的基礎上提出了Faster-RCNN 算法［12］。這些都是經典的two-stage 檢測算法，即在檢測時首先產生候選區域，后對其進行分類，這類方法一般準確度較高，但不具備速度的優勢。2015 年，Joseph 和Girshick 等提出了第一個one-stage 卷積網絡檢測算法YOLO（You Only Look Once）［13］，徹底解決了基于深度學習不具備實時性的問題，該算法在GPU 上最快可達155幀/s（640×480像素）。2017年，Joseph等提出了YOLOv2［14］，在每個卷積層后加入了批歸一化，并去除全連接層，加入錨點機制對方框進行預測，提高了召回率。2018 年，Joseph 等在YOLOv2 的基礎上用Logistic 回歸對方框置信度進行回歸，并利用多個尺度進行預測，將特征圖上采樣后進行預測，使得檢測速度在精度不變的情況下提升了2倍［15］。

為了提高行人檢測率和實時性，本文針對衣著等紋理與背景紋理相似的行人構建了一個小型數據集并進行標注，基于COCO 數據集進行YOLOv3網絡模型訓練后，針對自構建數據集進行遷移學習，提高算法的泛化能力，并基于焦點損失（focal loss）將網絡聚焦于難分類樣本的訓練，進一步提高該方法的準確率。實驗結果表明，聚焦于難樣本的訓練方法能在保證算法速度的情況下顯著提高行人的準確率，具有良好的實用性。

2 改進的YOLOv3行人檢測方法

2.1 數據預處理

本文采用微軟COCO 公共數據集，包括圖像和標注信息json文件，通過編寫腳本僅提取其中包含行人分類的圖像及標注信息，以減少冗余數據。

同時通過相機拍攝，采集了不同背景下的行人及部分行人衣著等紋理與背景紋理十分相似的圖片，共10680 張，其中3560 張為灰度圖像，7120 張為彩色圖像，使用LabelImg對圖像中的行人進行標注，生成與之對應的類似VOC 數據標注的xml標文件，組成自構建數據集。

2.2 基于YOLOv3的行人檢測方法

YOLO 將輸入的圖片分為N×N 個單元格，一般為7×7，每個區域獨立檢測目標，經過24 個卷積層和2 個全連接層，得到B×5+C 維的數組，其中B 表示該單元格預測方框的位置偏移及其置信度（x，y，w，h，score），C 表示需要預測的類別數。由于輸出層為全連接層，因此在檢測時，YOLO 訓練模型只支持與訓練圖像相同的輸入分辨率。其它分辨率需要縮放。雖然每個格子可以預測B 個方框，但是最終只選擇交并比（Intersection over Union，IOU）最高的方框作為物體檢測輸出，即每個格子最多只預測出一個物體。當物體占畫面比例較小，如圖像中包含人群時，每個格子包含多個物體，但卻只能檢測出其中一個。

YOLOv2 共包含19 個卷積層和5 個最大池化層，在每個卷積層后加入了批歸一化處理來避免模型過擬合，使用高分辨率分類器，將YOLOv1 中使用的224×224 ImageNet 訓練分類器網絡擴大到448×448，并去除全連接層，使用錨點機制來預測方框，并在訓練時隨機選擇輸入圖像尺寸，以適應多尺度的圖像輸入。

YOLOv3 模型比前兩代復雜，共有53 個卷積層，但可以通過改變模型結構的大小來權衡速度與精度。在YOLOv3 模型結構中，去除了池化層和全連接層，通過改變卷積核的步長改變張量尺寸；用Logistic 回歸對方框置信度進行回歸，取IOU 最大的先驗作為結果；并鏈接不同的特征圖，同時對多個尺度進行預測。

2.3 遷移學習方法

表1 預訓練模型參數

每次都從頭開始訓練一個卷積神經網絡需要大量數據耗費幾天到幾周時間訓練成型，因此可以采用遷移學習的方法，通過預訓練網絡模型作為初始化依據或提取初始特征。遷移學習可以快速泛化網絡能力，常見的用于遷移學習的數據集有Ima?geNet、COCO等。

本文基于YOLOv3模型對COCO數據集進行訓練，得到預訓練模型權重，具體參數見表1。

基于自構建數據集對預訓練模型進行遷移學習，凍結參數，保留最后三層網絡，對自建數據集進行訓練，具體結構參數見表2。

表2 訓練模型參數

利用遷移學習，可以使模型對于難分類樣本的行人檢測更具準確性，具體提升如表3所示。

表3 遷移學習前后識別率對比

2.4 聚焦于難分類樣本的焦點損失方法

由于YOLO 系列網絡舍棄了對每個候選區域的分類過程，容易產生類別失衡。在行人檢測問題中，行人在圖像中的像素占比一般為1∶65 左右，模型過于注重訓練簡單的負樣本，導致迭代緩慢，精度有所損失。

基于焦點損失的損失函數主要用于解決分類問題中類別不平衡、分類難度有巨大差異的問題。

在YOLO 系列方法中，最開始的YOLOv1 方法用N2代表輸入圖片劃分的網格數，總方誤差（Sum-Squared Error，SSE）作為位置預測的損失函數，即：

基于YOLOv3 的目標檢測在YOLOv1 的基礎上，保留根號總方誤差代表寬度預測和高度預測時的損失，其余主要采用二元交叉熵估計位置預測時的損失、置信度的損失和類別預測損失。假設y={0 ，1} 為目標的檢測結果，p 表示目標歸類為y=1的概率，則二分類問題的標準交叉熵可表示為

為了方便，假設pt為

則式（1）可以表示為

本文針對衣著等紋理與背景紋理相似的行人檢測問題，將焦點損失引入交叉熵，在訓練時對樣本加入權重，對于一個正樣本，如果網絡預測其為正的概率越大，那么這個樣本對于網絡來說越簡單，權重越小，反之，如果網絡預測其為負的概率越大，那么這個樣本就越困難，應該增加權重。那么引入焦點損失機制后，為降低簡單樣本的權重，增加了難分類樣本權重，可表示為

其中，pt是不同類別的分類概率，無論是正負樣本，pt越大，權重(1 -pt)γ越小。-αt(1 -pt)γ為可調整的參數。αt取值在[0 ，1] 之間，用于調整正負樣本的比例，γ ≥0，用于調節簡單樣本權重降低的速率，γ 越大，影響越大，γ=0 時，可將焦點損失函數視為交叉熵函數。

3 實驗與分析

為驗證算法的適用性，基于COCO 數據集和自建數據集，對不同深度學習網絡模型的行人檢測結果和性能進行綜合分析與比較。

3.1 實驗數據集

本文使用COCO 2017數據集進行預訓練，該數據集由微軟發布，包含目標檢測，分割，人體關鍵點檢測等內容。僅使用數據集中含有行人樣本的64115張訓練圖片及2693張測試圖片。

同時，針對衣著等紋理與背景紋理相似的行人構建了一個小型數據集，共10680 張圖片。同時將這一自建數據集分為8544張訓練圖片及2136張測試圖片，比例為8：2。

3.2 焦點參數實驗

本文在引入焦點損失后針對難樣本分類問題在進行了多次實驗，調整α 和γ 的取值，具體可見表4。

表4 （a）γ=0，調整α 的值

表4 （b）調整α 和γ 的取值

實驗結果表明，當α 取0.25，γ 取2 時，會對難分類的行人檢測結果有顯著的提升。

3.3 實驗結果對比

在本文構建的難樣本行人檢測數據集上，分別使用YOLOv3、基于遷移學習的YOLOv3 以及改進的算法進行對比實驗。

圖1 YOLOv3、遷移學習以及進一步改進的算法測試結果

圖1 給出了三種方法對同一張圖片（來自自構建數據訓練集）的檢測結果。其中（a）為原圖，（b）為YOLOv3 算法的檢測結果，（c）為基于遷移學習的YOLOv3 檢測結果，（d）為進一步改進后的網絡識別結果。

其中，（b）僅識別出一個人的上半部分，另一人未識別出來；（c）識別出一個人；（d）成功地將與背景紋理十分相似的兩個人準確識別出來。實驗表明在進行改進后，針對難分類樣本的行人檢測識別率有效提高。

表5 給出了SSD、two-stage 代表方法的Fast?er-RCNN 、YOLOv3、基于遷移學習的YOLOv3、改進的算法四種方法在測試集上進行測試的AP（Av?erage Precision）和FPS（Frame Per Second）。當這四種方法都使用同一訓練集和測試集時，引入遷移學習的YOLOv3方法比YOLOv3和SSD 在行人衣著等紋理與背景紋理十分相似的情況下，檢測平均精度有所提升，但依舊不能準確地對行人進行識別，加入焦點損失機制后改進的算法在數據集上的平均精度進一步提升，但是由于損失函數調整，速度稍有影響。

表5 四種方法的測試結果

通過實驗結果分析，可以看出：基于焦點損失的機制將訓練時的權重影響主要分布于難樣本的分類中，優化了模型的訓練效果，改進的算法可以顯著提升YOLOv3 針對行人衣著等紋理與背景紋理十分相似的檢測效果。

4 結語

為了提高行人衣著等紋理與背景紋理十分相似情況下的行人識別率，本文提出了一種基于深度學習的難樣本行人檢測方法，使用公開的COCO 數據集以及針對衣著等紋理與背景紋理相似行人構建的一個小型數據集。在訓練過程中，首先使用COCO 數據集對模型進行預訓練，利用遷移學習的方法針對自建數據集進行進一步調整。對于訓練過程中產生的類別失衡問題引入基于焦點損失機制，提高難樣本的權重，進一步提高檢測率。本文提出的方法對自建數據集進行測試時，算法每秒計算幀數為32，比YOLOv3 算法降低了1 幀，算法平均精度為73.2，比YOLOv3 算法提高了2.3，實驗結果充分證明了本文提出的算法顯著提高了行人檢測中難分類樣本檢測的準確率，具有良好的時效性和實用性。