基于遷移學習的交通場景車輛實時檢測算法

商國軍　楊利紅　王列偉

摘要：為實現精確實時的車輛檢測，本文算法基于遷移學習思想，以深度學習實時檢測算法YOLOv2為基礎。使用在大規模數據集上預訓練得到的分類模型初始化YOLOv2卷積神經網絡，搜集交通場景車輛圖片并標注后輸入該網絡利用反向傳播進行微調，從而得到最終的車輛檢測模型。測試結果表明，本文算法在包含300張車輛圖片的測試集中MAP達到0.788，每幀檢測平均耗時15ms，滿足工程應用實時性要求。

關鍵詞：遷移學習；車輛檢測；卷積神經網絡；YOLOv2

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1007-9416（2018）04-0123-02

車輛檢測作為智能交通規劃中的關鍵基礎技術，一直以來都是國內外研究的熱點。近年來，伴隨著國內機動車數量的快速增長，我國道路交通狀況日趨復雜，實現精確實時車輛檢測的難度不斷增加。

傳統的車輛檢測方法基于機器學習，由于監控視頻中的車輛特征隨著光照、視角等因素的變化而變化，使用HOG、SIFT等常用特征泛化能力較差。因此工程應用中需要針對具體應用場景進行特征設計，為了獲取更高的準確率，特征維度越來越高，大大降低了算法實時性，因此傳統車輛檢測方法在實用中一直難以取得突破性進展。

近年來，隨著大規模數據集的不斷構建以及硬件計算能力的持續增強，深度學習理論和實踐得到迅速發展。2014年，R-CNN[1]首次將深度學習應用到檢測領域，后續出現了該類方法的改進，但均無法實時運行。在工程應用中，實時性非常重要，由此出現了基于回歸的深度學習目標檢測方法，典型代表為YOLO[2]、SSD[3]和YOLOv2[4]，能夠實現實時檢測。

根據交通場景中車輛檢測對準確率和實時性的要求，本文以YOLOv2算法作為基礎，結合大量交通場景車輛樣本數據，實現了基于遷移學習的車輛實時檢測算法。實驗結果表明每幀圖像檢測平均耗時15ms，不僅顯著提高了識別準確率，而且滿足工程應用的實時性需求。

1 YOLOv2算法簡介

YOLOv2是基于回歸的目標檢測方法，通過在圖像上運行一次深度卷積神經網絡前向計算，同時預測得到其中目標的位置和類別。由于將候選框提取、特征提取、目標分類、目標定位統一于同一個卷積神經網絡中，YOLOv2不僅訓練過程中能夠實現端到端的優化，而且檢測過程耗時少，能夠滿足實時處理需求。

2 實時車輛檢測算法

基于遷移學習的交通場景車輛實時檢測算法分為訓練階段和檢測階段。訓練階段基于遷移學習，首先使用在大規模數據集上預訓練得到的分類模型初始化YOLOv2卷積神經網絡，然后將車輛圖片數據及其標注信息輸入卷積神經網絡利用反向傳播對網絡參數進行微調，從而得到最終的車輛檢測模型。檢測階段輸入待檢測交通場景圖片，通過訓練階段得到的檢測模型計算其中包含的車輛位置及其類別概率，并輸出最終檢測到的車輛目標信息。整個算法流程圖如圖1所示。

2.1 遷移學習簡介

在深度學習領域，由于獲取并標注足量的訓練樣本用于從頭開始訓練整個卷積網絡成本十分昂貴，因此實踐中通常應用遷移學習的思想把已訓練好的模型參數遷移到新的模型來幫助新模型訓練。首先使用在開源的大規模數據集上預訓練得到模型初始化卷積神經網絡，然后使用特定場景的訓練樣本對卷積神經網絡進行微調，通過繼續反向傳播來優化卷積神經網絡參數，從而得到最終的深度學習模型。由于大部分數據或任務是存在相關性的，所以通過遷移學習可以將已經學到的模型參數分享給新模型從而加快并優化模型的學習效率。

2.2 檢測模型訓練

2.2.1 訓練集構建

訓練集是遷移學習能否取得良好效果極為重要的因素。本文收集了大量交通場景下的車輛圖片，對圖片中車輛出現的位置進行標注。所收集的圖片包含白天、夜間等不同的關照條件，涵蓋晴天、雨雪天等不同的天氣環境，覆蓋目標盡可能多的尺度和形狀變化，保證了訓練樣本的多樣性。

2.2.2 初始候選框選取

本文統計了訓練集中所有目標標注框的寬度和高度數據，通過k-means++算法對其進行聚類，得到最能表征訓練集中目標寬高比信息的候選框尺度。表1所示為各個初始候選框的尺度，其中寬度比和高度比是初始候選框尺寸與檢測區域尺寸的比值。交通場景中車輛圖片正面和背面位置框近似為正方形且像素占比較小，側面位置框近似于長方形且像素占比較大，與表1中初始候選框尺度數據一致。

2.3 車輛檢測

檢測階段流程圖如圖2所示，首先將需要車輛檢測的圖片縮放到416×416，并將其劃分為13×13的檢測區域，針對每個檢測區域預測得到5個目標候選框，采用非極大值抑制剔除無效候選框，最終得到圖片中包含車輛目標。

3 算法效果

3.1 運行環境

本文算法運行環境如：CPU：Inter Xeon CPU E5-2623；GPU：NVIDIA Geforce GTX1080Ti。

3.2 檢測指標

測試數據集包含300張不同光照和天氣環境下的交通場景車輛圖片，在上述測試條件下，檢測算法每幀平均耗時15ms。

YOLOv2算法通過VOC數據集訓練得到的檢測模型中包含車輛類型，并不適用于本文所述的交通場景，直接使用其檢測本文測試數據集，MAP僅為0.636；本文檢測模型達到的MAP為0.788，有較大提升。由此可見，針對具體應用場景，在已有的深度學習檢測模型基礎上應用遷移學習進行微調可以較大程度提升檢測準確率。

4 結語

相較于基于機器學習車輛檢測方法中的傳統特征，深度學習模擬人腦，自動從圖像中提取深度特征，不僅避免了復雜的特征設計過程，而且具有強大的泛化能力。本文以深度學習實時檢測算法YOLOv2為基礎，通過遷移學習，利用了大規模數據集上預訓練模型參數加快并優化了車輛檢測模型的學習效率，將檢測MAP從0.636提高到0.788；同時該算法每幀平均檢測耗時15ms，滿足工程應用實時性需求。

參考文獻

[1]Girshick R， Donahue J， Darrell T， et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]. IEEE Conf. Computer Vision and Pattern Recognition， 2014， 580-587.

[2]Redmon J， Divvala S， Girshick R， et al. You Only Look Once： Unified， Real-Time Object Detection[C]. IEEE Conf. Computer Vision and Pattern Recognition， 2016， 779-788.

[3]Liu W， Anguelov D， Erhan D， et al. SSD： Single Shot MultiBox Detector[C]. 14th European Conference. European Conference on Computer Vision， 2016， 21-37.

[4]Redmon J， Farhadi A， YOLO9000： Better， Faster， Stronger[C]. IEEE Conf. Computer Vision and Pattern Recognition 2017， 6517-6525.