基于改進YOLO的公路路網視頻并發檢測及應用

成玉榮， 陳湘軍， 杜晨浩， 胡海洋

（江蘇理工學院計算機工程學院，江蘇常州213001）

0 引 言

公路是國家經濟動脈，通過信息化手段實時掌握公路網通行狀態，對于公路網日常養護管理與公眾出行信息發布都具有重要意義。

近年來，深度卷積神經網絡［1］在計算機視覺目標檢測任務上取得了巨大的成功，通過計算機視覺方法在現有監控網絡中實現公路網狀態的實時監測，可以充分挖掘利用已有視頻資源，具備操作簡易、維護方便等優勢。深度神經網絡經過不斷發展，網絡結構越來越復雜，從5 層的LeNet［2］，到8 層的AlexNet［3］，再到22 層的GoogleNet［4］，甚至到了上百層的ResNet［5］，不斷提升模型的準確率，然而隨著神經網絡參數數量不斷增大，深度學習面臨存儲和計算代價高、功耗高等弊端，限制了其在資源受限的平臺上使用。

本文提出一種基于網絡結構剪枝與模型融合實時并發視頻檢測方法，通過網絡模型壓縮，并結合模型量化［6］，在幾乎不影響精度的條件下，減少計算代價，提升算法推理速度，實現多路監控視頻實時并發檢測?；贒arknet-53［7］網絡剪枝設計改進的少參數網絡模型，通過交叉驗證訓練生成改進YOLO車輛檢測模型，在DeepSort［8］目標追蹤算法基礎上，通過攝像機與車道線的仿射變換，獲取像素運動與車流速度的映射關系，使用虛擬線圈方式，實現高速公路斷面流量及車速的統計，并生成道路通行狀態事件信息，應用于高速公路管理決策與公眾出行信息發布。

1 網絡剪枝與模型融合

1.1 YOLO目標檢測算法

YOLO系列算法是One-Stage 目標檢測算法代表之一，YOLOv1［9］提出通過網格劃分做檢測，通過目標中心點在網格的位置檢測目標，顯著提升檢測速度，YOLOv2［10］在網格約束的基礎上應用了anchor［11］機制，通過預設不同尺度的先驗框使檢測器專注于檢測與先驗框形狀相近的物體，同時采用了batch normalization［12］作為正則化、加速收斂和避免過擬合的方法。

YOLOv3［7］算法流程如圖1 所示，采用了ResNet中的殘差網絡思想設計了Darkent-53 作為特征提取的主干網絡，在YOLOv2 的基礎上，借鑒FPN［13］的多尺度思想，設計了3 個不同尺度的檢測層，并為每個檢測層分配3 個先驗框。YOLOv3 通過邊框回歸預測的方式預測物體位置，解決了先驗框機制線性回歸不穩定的問題。針對416 × 416 的圖像，3 個檢測層對應的特征映射尺度分別52 × 52、26 × 26、13 × 13，從而能夠檢測出各種尺度的目標。

圖1 YOLOv3算法流程

1.2 網絡剪枝

神經網絡模型剪枝是指在對模型檢測效果沒有太大影響的前提下剔除模型中不重要的參數，再重新微調模型以恢復模型性能的一種方式。本文針對實際工程應用中模型過大，難以實現并發實時檢測，提出對YOLOv3 算法的剪枝方案。

Darknet-53 分為5 個主要層次，如圖2 所示。本文在該網絡結構中間3 個層次中引入層次比例因子α，即通過減少部分網絡層次深度減少網絡參數。在最后一個層次的神經網絡層中引入寬度因子β實現通道剪枝調整模型大小，即使用寬度因子β 控制輸出的通道數，使輸出通道數由C轉變βC。

圖2 利用比例因子實現層次與通道裁剪

本文采用SCUT-HEAD-B公開數據集在剪枝后的網絡中進行試驗，該數據集包含2 300 張圖片，將其以7∶3的比例隨機分為訓練樣本與測試樣本。在英偉達TITAN X 上以層次比例因子α = 50% 與β 分別為100%、75%、50%與25%進行訓練，以IoU = 0.5 作為評測指標在不同尺度圖片輸入的情況下進行驗證，記模型格式為S-［α］-［β］-［ImgSize］，其中S表示使用的是SCUT-HEAD-B數據集，α與β分別代表層次比例因子與通道寬度因子，ImgSize 代表輸入圖片的寬高，通常為32 的倍數，模型S-50%-25%-416 訓練273 個epoch過程如圖3 所示，其中召回率（Recall）為正確被檢測到的數量與應該被檢測到的數量的比值，由圖3可以看出在迭代100 個epoch 后，召回率與平均精準率（mAP）均穩定保持在80%左右。

圖3 訓練過程

表1 給出的是SCUT-HEAD-B 數據集在不同比例因子與檢測尺寸下的檢測效果，其中Size 為模型權重文件大小，Inference為單張圖片推理所需時間。

表1 SCUT-HEAD-B數據集訓練結果

實驗結果表明，深度卷積神經網絡適當地壓縮網絡結構，能取得相當的性能，同時有效地減少推理時間，滿足實際場景中的應用。

1.3 模型融合

GoogleNet的Inception［4］模塊如圖4 所示。該模塊使用密集結構來近似一個稀疏的卷積結構，通過采用不同大小的卷積獲得不同大小的感受野，卷積核大小分別采用1、3 和5，步長設置為1，padding 分別設定為0、1 和2，便于獲得相同維度的特征，最終拼接實現不同尺度特征的融合。此外，為了減少計算量，利用1 × 1 卷積實現降維。

圖4 Inception模塊

在網絡剪枝的基礎上，本文將YOLOv3 第1 個檢測層中用于深層特征提取的DBL 模塊替換為Inception模塊，提高特征層間的空間信息交互的同時，也減少了部分網絡參數，從而提高模型整體的魯棒性與推理速度，改進后的網絡結構如圖5 所示。

圖5 模型融合

使用伯克利數據集中提取出的車輛目標數據對模型進行預訓練，該數據集包含70 000 張圖片用于訓練，10 000 張圖片用于驗證，數據樣本如圖6 所示。結合交叉驗證機制訓練車輛檢測模型，選取驗證效果最好的權重作為訓練COCO數據集中車輛數據的初始權重并進行finetune［14］訓練，記模型格式為C-［α］-［β］-［ImgSize］-［DT］，其中C 表示使用的是COCO 數據集，α 與β 分別代表層次比例因子與通道寬度因子，ImgSize為輸入圖片寬高，DT（data type）為模型參數的數據類型，分別在模型參數為32 位浮點數和16 位浮點數的情況下測試模型，實驗結果如表2 所示。

圖6 伯克利數據集樣本

表2 模型量化結果對比

實驗結果表明，在不影響檢測精度前提下，模型量化能夠有效提高推理速度。

2 系統設計與實現

2.1 系統實現流程

高速公路視頻分析系統實現流程如圖7 所示，具體步驟如下：讀取高速公路監控視頻；提取車道線，根據車道線標準物理長度進行透視變換計算，生成變換矩陣，獲得垂直俯視視角下像素與物理距離的對應關系；基于車輛目標檢測，實現車輛跟蹤；基于車輛目標跟蹤與像素距離位移，實現車輛計數與測速，并判斷道路是否發生擁堵、車輛超速等事件，并自動生成預警信息和取證錄像。

圖7 高速公路視頻分析系統實現流程

2.2 透視變換

透視變換是將圖像投影到一個新的視平面，也稱作投影映射。透視變換通過二維空間到三維空間的轉換，獲得新的二維空間的映射，相對于仿射變換，它提供了更大的靈活性，可將斜視角的四邊形區域映射到垂直視角的矩形區域。透視變換通過矩陣乘法實現，一般使用3 × 3 矩陣實現，如下式所示（矩陣的前兩列實現了線性變換和平移，第3 列用于實現透視變換）：

式中：（x，y，z）為中間變量；（u，v）為變換前的坐標；（x′，y′）為變換后的坐標。透視變換有8 個未知數，因此透視變換矩陣只需待變換四邊形區域與目標四邊形區域對應頂點的四組點便可求解。我國高速公路標準車道線相鄰間距為15 m，選取間距為15 m 方向與車道線垂直的兩條線與邊界線的交點作為待變換區域的頂點坐標，選?。?，0）（220，0）（220，96）（0，96）作為透視變換后平面上對應的各頂點坐標，即長為220 個像素點寬為96 個像素點的矩形區域，計算獲得透視變換矩陣，并將透視變換矩陣應用于原圖像上目標區域，效果如圖8 所示。根據跟蹤與像素對應關系，目標在變換后的垂直俯視圖中移動1 個像素單位對應的實際距離為0.156 25 m。

圖8 透視變換效果

2.3 車輛目標檢測

從高速公路攝像頭讀取監控視頻流作為加載完權重網絡的輸入，逐幀進行檢測，將3 個尺度預測的張量拼接生成一個維度為（1，10 647，8）的張量，其中1 表示當前batch為一張圖片，10 647 代表3 個尺度預測框的總個數，8 代表中心點坐標、寬高、目標置信度得分、三類車輛（小汽車、卡車、公交車）的可能性得分，10 647 個框中存在大量冗余框，通過設置置信度閾值與交并比閾值，基于非極大值抑制算法去除無效的檢測框［15］。首先將目標置信度得分低于閾值的框全部去除，在剩余的框中取出置信度最高的框，此框為檢測到的一個目標，計算它與其他所有框的交并比，去除交并比大于交并比閾值的框，重復上述操作，非極大值抑制算法如下所示：

輸入 B，S，Nt

輸出 D，S

1.B =｛b1，b2，…，bN｝，S =｛s1，s2，…，sN｝

2.begin

3.D ←｛｝

4.while B ≠empty do

5. m ←argmax S

6. M ←bm

7. D ←D∪M；B ←B - M

8. for biin B do

9. if iou（M，bi）≥Ntthen

10. B ←B-bi；S←S-si

11. end

12.end

13.return D，S

14.end

其中：B 為檢測框的集合；S 為對應框置信度的集合；D 為符合要求框的集合；Nt為交并比閾值。首先獲取目標框中置信度最高的框的索引，取出該框并將該框納入集合D，將剩余目標框與其依次計算交并比，若高于交并比閾值則將當前目標框剔除，重復上述操作，直至B為空集，抑制前后效果如圖9 所示。

圖9 非極大值抑制算法檢測效果

2.4 車輛目標追蹤

通過射線法判斷視頻流中每1 幀圖片檢測到的目標中心點坐標（x，y）是否在標定區域內，射線法即以該點為頂點做一條射線若射線穿越多邊形邊界的次數為偶數時，則在多邊形外部，若穿越多邊形邊界次數為奇數時，則在多邊形內部，從而篩選出標定區域內的車輛目標。將標定區域內檢測到的車輛目標圖像塊作為一個重識別卷積神經網絡輸入，最終輸出一個128 維的特征向量，計算與跟蹤物體之間的馬氏距離，當兩者距離小于特定閾值時則表示兩者關聯，

式中：bi與yi分別是當前幀檢測到的目標與關聯幀中追蹤目標對應的特征向量；t為閾值，當兩者的馬氏距離≤t時則表示兩者為同一目標，將同一目標在通過該區域過程中中心點坐標存儲在各自的列表［（x1，y1），（x2，y2），…，（xn，yn）］中。

2.5 車輛計數與測速

當區域內出現新目標時，計數器自動加1。利用上述求得的透視變換矩陣將原圖片中追蹤到目標的中心點（x，y）映射到透視變換后的平面中（x′，y′），通過變換后的目標中心點橫坐標值所在區間判斷其屬于哪個車道，當變換后的目標中心點接近虛擬檢測線時，通過該目標對應列表中坐標的個數獲取幀數N，監控攝像頭設定的幀率為25 f/ s，計算通過該區域所需的時間，利用列表中縱坐標的最大差值獲取該目標經過的像素距離Sp，單位像素的實際距離0.156 25 m，計算得出當前目標速度為

通過截面斷點車道平均車速計算，可實時獲取道路通行狀態，實現緩行或擁堵事件檢測，也可實現個體車輛超速取證，系統自動生成事件錄像和超速取證圖像，通過Web系統發布實現自動事件檢測功能。

3 試驗效果

基于本文改進后的YOLOv3 構建了高速公路視頻分析系統，系統在江蘇沿海高速連云港與南通路段進行試運行測試，實驗條件如下：

軟件環境 Ubuntu 18.04，Python3.6.8，OpenCV3.4.1，Pytorch1.1。

硬件環境 CPU：Intel Xeon E5-2620 v3 @ 2.40 GHz六核；內存：DDR4 64 GB；GPU：Nvidia GeForce GTX TITAN X。

實際場景應用效果如圖10 所示。

圖10 高速公路境景應用效果圖

傳統的基于監控視頻的車輛測速與計數方法有背景差分法與Harris角點法［16］，背景差分法利用序列圖像中的當前幀與背景圖像做差分檢測運動車輛目標，Harris角點法利用Harris算子對車輛目標進行角點特征檢測。截取1 h高速公路監控視頻進行車輛測速與計數檢測效果對比實驗，實驗結果如表3 所示，本文基于改進YOLOv3 構建的車輛測速計數方法相較于傳統視頻測速計數方法具有更好的測速精度與計數準確率。

表3 改進YOLOv3 車輛測速計數方法與其他方法比較

取一段高速公路監控視頻對改進前后的YOLOv3模型檢測性能進行測試，實驗結果如表4 所示。本文基于改進后YOLOv3 實現的高速公路視頻并發檢測應用，在幾乎不影響精度的條件下，并發量與檢測幀率大大提高，完全能滿足實際運用的需求。

表4 模型改進前后性能比較

YOLOv3 具有一個輕量化模型Tiny-YOLOv3，該模型參數量少檢測幀數高，但由于檢測精度較低，不能夠滿足實際場景中工程應用的需求。

4 結 語

實際應用中，能夠精準地檢測出車輛目標、車流量與速度檢測準確率高，能夠滿足現實應用場景需求。但也表現出一些問題：較小目標檢測效果一般，模型的計算量仍然高于移動端以及部分嵌入式設備的算力。后期將進一步進行網絡剪枝、模型量化，以及使用深度可分離卷積替換標準卷積模塊的實驗，希望能夠在對精度影響不大的條件下，減少模型計算量，提高推理速度，使模型的整體性能能夠滿足實際工程中并發的需求。