基于YOLO和嵌入式系統的車流量檢測

馬永杰， 宋曉鳳

(西北師范大學 物理與電子工程學院，甘肅 蘭州 730070)

1 引 言

車流量檢測是智能交通系統的關鍵技術，目前熱門的檢測方法是基于大數據與機器學習的，但大數據需要經歷長期的數據收集，并需要車輛使用特定的軟件，如滴滴、快的、美國的優步等，而機器學習的檢測方法設備簡單、準確率高，因此成為一個主要的研究方向。

深度學習是一種特殊的機器學習方法，在目標檢測方面比傳統的檢測方法與淺層機器學習模型都有著更高的準確率與更好的檢測結果。深度學習應用深度卷積神經網絡進行大量的有監督訓練來獲取圖像中的車輛特征，從而檢測出車輛。2012年AlexNet模型[1]的出現使深度學習獲得了巨大的突破，該模型具有良好的分類優勢，但不適合目標檢測；Girshick等人在2013年提出R-CNN[2]方法，可以應用于目標檢測，但是檢測速度不夠快；Redmon等人在2016年提出You Only Look Once[3](YOLO)對象檢測方法，在高性能GPU上達到了實時檢測，但是準確度不高；2017年Redmon等人在改進YOLO后提出YOLO v2[4]，又在2018年在YOLO v2基礎上再次改進提出YOLO v3[5]。

由于嵌入式系統的便攜性和低功耗，基于嵌入式系統的車輛檢測應用也越來越廣泛，如自動駕駛、無人機、智能機器人、軍事等領域[6]。但大多數嵌入式設備可用的計算資源受限于低功率的嵌入式GPU或有限存儲器的嵌入式CPU，因此，要在嵌入式設備上實現車流量的實時檢測仍然是一個很大的挑戰[7]，而基于深度學習的嵌入式車流量檢測方法更具研究價值。

本文在RK3399嵌入式芯片上用深度學習算法YOLO v2檢測車輛，并用核相關濾波器(KCF)跟蹤車輛，提高了車輛自動統計的準確度，成功地實現了車流量的檢測。

2 YOLO v2檢測車流量算法與移植

雖然深度學習框架也可以移植到嵌入式上進行訓練，但是嵌入式的CPU與GPU不適合訓練模型，若能準確地檢測出目標才具有更大的應用價值。本文基于嵌入式的車流量檢測算法主要依賴OpenCV實現，由4部分組成：車輛檢測算法、感興趣區域、計數、跟蹤算法。檢測算法需要準確的檢測出車輛，并準確地對汽車與其它目標分類。本文通過OpenCV 3.4.3的函數使用YOLO v2，在每個車道單獨設置感興趣區域，只在感興趣區域中顯示出YOLO v2的檢測結果，并進行車輛的跟蹤與計數，在YOLO v2檢測出汽車時計數才會改變。而跟蹤算法能保證同一輛車在連續的幾幀內駛不出感興趣區域時，不會被重復計數，故準確地計數需要檢測的準確與跟蹤的準確。

2.1 YOLO v2

在獲取圖像后先進行圖像的灰度化處理，然后用YOLO v2進行檢測車輛。YOLO在輸入的圖像中回歸預測目標[8]，有效緩解了R-CNN的計算復雜度，并且比R-CNN有著更顯著的速度優勢，但檢測精度方面明顯低于R-CNN。YOLO v2與YOLO相比，網絡架構中沒有完全的連接層。YOLO v2在特征圖上用滑窗進行采樣，在每個滑窗中心應用k-means聚類訓練預測出不同比例的預測框，這樣提高了建模精度，也使得網絡的訓練過程更加容易。YOLO v2使用CNN網絡架構Darknet-19。Darknet-19包含19個卷積層和5個最大值池化層[9]，需要85.2億浮點運算，可以在Nvidia Titan-X GPU上以67 f/s進行物體檢測。

.

(1)

故在統計車輛數時，只需要統計出檢測出來的car類、bus類、truck類的個數就行，然后使用跟蹤算法避免同一輛車重復計數。跟蹤目標由YOLO v2的目標預測框框定。目標預測框b的中心點坐標用(bx,by)表示，寬高為bw、bh。對應圖像網格左上角坐標為(cx,cy)。σ(tx)、σ(ty)是預測框的中心相對柵格左上角的橫坐標、縱坐標，pw與ph是邊界框的寬度與高度，etw與eth為橫縱方向上的縮放因子[10]。bx、by、bw、bh如式(2)所示：

bx=σ(tx)+cx
by=σ(ty)+cy
bw=pwetw
bh=pheth

.

(2)

將目標預測框的左下頂點坐標(xlb,ylb)與右上頂點坐標(xrt,yrt)傳遞給跟蹤算法，頂點坐標的計算由式(3)給出：

(3)

2.2 感興趣區域與計數

根據車輛的速度與攝像機的角度，對每個車道單獨設置感興趣區域(ROI)。使目標的中心在經過ROI時正好落在ROI中，但感興趣區域又要足夠的狹窄，使目標在下一幀時盡可能地駛出ROI。設ROI左下頂點坐標為(xrlb,yrlb)，右上頂點坐標為(xrrt，yrrt)，在中心位置滿足式(4)時，YOLO v2在檢測出car類、bus類、truck類3類時計數加1：

(4)

2.3 核相關濾波器跟蹤算法

為了避免車速太慢行駛不出感興趣區域而重復計數，應用核相關濾波器(KCF)對車輛進行跟蹤。KCF跟蹤算法基于嶺回歸函數，利用循環矩陣在目標區域設置采樣窗口進行循環移位，使樣本具有循環特性，再使用循環矩陣訓練分類器，這樣可減少存儲與計算量[11-13]。但是KCF在跟蹤目標時在嚴重遮擋、尺度變化、相似目標干擾時會出現跟蹤失敗的情況，而不能進行長期目標跟蹤。本文將感興趣區域設置的更狹窄，從而也可避免長期跟蹤。在檢測車輛的中心進入感興趣區域前的一段位置時，對KCF進行初始化，即將前一輛目標的跟蹤信息去除，這個值kint根據視頻中的車速確定。初始化的區域如式(5)所示：

(5)

2.4 算法的移植

圖1是本文基于RK3399開發的檢測系統框圖。RK3399有6個內核，分別為2個ARM Cortex-A72核和4個ARM Cortex-A53核，GPU采用四核ARM高端圖像處理器Mali-T860。算法在ARM上的調用需求與PC一樣，需要操作系統與軟件，操作系統的搭建需移植U-boot、ARM-Linux內核、文件系統，軟件需要交叉編譯OpenCV與Qt。本文ARM平臺所用軟件為：交叉編譯器aarch64-linux-gnu、Qt 5.6.1、OpenCV 3.4.3。

圖1 檢測系統框圖Fig.1 Detection system block diagram

在OpenCV交叉編譯時，在cmake-gui中選擇dnn模塊才能調用YOLO v2。dnn模塊的編譯依賴protobuf。使用OpenCV的KCF等跟蹤算法需要opencv_contrib，在cmake-gui中需要設置OPENCV_EXTRA_MODULES_PATH。嵌入式的存儲空間有限，可以將不需要的模塊不進行編譯。本文在cmake-gui的WITH中勾選了FFMPEG、JPEG、PNG、PROTOBUF、V4L。

系統環境就緒后，進行算法程序的移植，根據車輛的數據特征設置網絡配置文件，先在PC機上訓練好網絡，之后將yolov2.cfg、coco.names、yolov2.weights文件移植到ARM上。

最后，將算法程序、圖形界面設計程序放在同一文件夾中，設置前面交叉編譯成功的共享庫路徑，交叉編譯生成RK3399上的可執行程序，并將可執行程序移植到RK3399上。

3 算法在嵌入式上的測試與分析

圖2是系統測試示意圖，液晶屏左側顯示的是檢測的情況，其中3個小矩形框為感興趣區域，2個大矩形框為YOLO v2的檢測結果，液晶屏右側是檢測的統計信息，分別為幀數、車輛數、日期。

圖2 系統測試Fig.2 System test

表1是各方法在RK3399上檢測一幀圖像所用的時間，其中YOLO v2檢測是將文獻[14]中的車輛檢測算法改成YOLO v2，跟蹤與計數方法不變。

表2所示是本文算法與文獻[14]中的算法在檢測相同視頻時的數據。漏檢是指有車輛目標卻沒有檢測出車輛，誤檢是指將其它物體檢測成車輛，多計是指將同輛車多次計數。

表1 RK3399上各方法檢測時間Tab.1 Real-time detection execution time

表2 兩種檢測算法的測試Tab.2 Test of two detection algorithms

實驗結果的分析表明，算法的漏檢來自YOLO v2會將車輛誤檢成其他物體或在ROI中無法檢測出車輛，而多計是因為跟蹤算法在攝像機的位置保持不變時，車輛靠近或遠離攝像機時，會造成目標的尺度變化而將目標跟丟，在再次檢測到同輛車時而被認為是不同車輛，造成重復計數。

圖3是本文算法檢測與跟蹤效果，在13 949幀時公共汽車還未進入分布在道路上窄矩形框的ROI中，在第13 951幀時公共汽車檢測到bus，并用白色矩形框出，計數加1，在后面的13 952到13 958幀bus被跟蹤，灰色方框表示跟蹤的結果，此時計數不變，到第13 959幀時bus駛出ROI。

圖3 本文算法檢測與跟蹤效果Fig.3 Algorithm detection and tracking effect

4 結 論

本文將深度學習算法YOLO v2引入混合交通的車流量檢測中，通過設置感興趣區域(ROI)、在車輛目標經過ROI時計數、用核相關濾波器(KCF)跟蹤車輛實現混合交通中的車流量檢測，并在嵌入式平臺RK3399上實現了該算法。實驗結果表明，采用本文方法在RK3399上YOLO v2能成功地檢測出車輛，KCF跟蹤算法能在ROI中跟蹤車輛保證計數的準確。雖然YOLO v2在Nvidia Titan-X GPU上可達到實時檢測，但在RK3399上算法還需要較長的檢測時間，未來需要進一步調高算法的檢測速度，以實現基于嵌入式和深度學習的車流量的實時檢測。