基于行為分析的路口建模方案

邱祺 李杰

摘? 要：2020年，中國的汽車保有量已經(jīng)突破3.7億輛，基于非智能傳感器輔助的人工管理模式受到的挑戰(zhàn)越來越大。基于此，許多城市開始建設(shè)自己的智能交通系統(tǒng)，在這些工作中，對一些復(fù)雜場景，如十字路口，的建模是一個繞不開的難題。文章提出了一種通過分析車輛行駛軌跡等信息進行建模的新方案，與以往基于語義分割網(wǎng)絡(luò)的建模方案相比，該方案具有穩(wěn)定性更高、適用性更廣、需要配置更低、速度更快的優(yōu)勢。

關(guān)鍵詞：場景建模;檢測跟蹤;K-Means聚類;曲線擬合

中圖分類號：月的TP391.9? ? ? ?文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2020）24-0089-04

Intersection Modeling Scheme Based on Behavior Analysis

QIU Qi，LI Jie

（University of South China，Hengyang? 421001，China）

Abstract：In 2020，Chinas car ownership has exceeded 370 million，and the artificial management mode based on non-intelligent sensor is facing more and more challenges. Based on this，many cities have started to build their own intelligent transportation systems. In these works，the modeling of some complex scenes，such as intersections，is a difficult problem. In this paper，a new modeling scheme is proposed by analyzing the vehicle trajectory and other information. Compared with the previous modeling scheme based on semantic segmentation network，this scheme has the advantages of higher stability，wider applicability，lower configuration and faster speed.

Keywords：scene modeling;detection and tracking;K-Means clustering;curve fitting

0? 引? 言

隨著計算機視覺技術(shù)的發(fā)展和成熟，智能交通、自動駕駛等技術(shù)開始興起，其中，通過圖片信息對道路狀況進行建模，作為這些熱點研究中繞不開的一環(huán)，一直是學(xué)者研究的熱點[1-3]。

在自動駕駛中，我們需要通過攝像頭獲取前方道路中車道線位置等信息指導(dǎo)車輛前進，在智慧交通系統(tǒng)中，我們也需要獲取斑馬線位置、轉(zhuǎn)向標(biāo)志等信息，來完成“車輛違規(guī)判定”等交通管理任務(wù)。本文將整理圖片中的道路信息的過程，稱為交通場景建模。交通場景建模大致可以分為兩類：

（1）通過車載攝像頭進行場景建模;

（2）通過定點攝像頭進行場景建模。

第一類主要應(yīng)用于自動駕駛領(lǐng)域，其任務(wù)特點是：輸入畫面為司機視角、場景不斷變動;第二類主要應(yīng)用于智能交通管理中，輸入畫面為路口、街頭的交通管理攝像頭，場景基本不變，相較于第一類，第二類具有明顯特點：

（1）場景基本不變;

（2）不需要實時更新;

（3）目的是完成諸如“闖紅燈檢測”等交通管理任務(wù)而不是指導(dǎo)車輛駕駛。

目前學(xué)界對第一類任務(wù)的研究較多，但對第二類任務(wù)的研究相對較少，且人們在解決第二類任務(wù)時常常也在使用第一類任務(wù)的解決方案，即通過語義分割提取圖片中的重要信息進行建模。

在2020年到2021年的湖南省創(chuàng)新訓(xùn)練計劃中，筆者的《基于計算機視覺的智能交通管理系統(tǒng)》項目被選入國家級項目立項，在解決道路建模技術(shù)的過程中，筆者自主研發(fā)了一種新的建模技術(shù)路線，取得了良好的效果。

在該路線中，我們提出了一種基于行為分析的路口交通建模方案：通過分析一段視頻中通過路口的車輛的行為，來提取路口中每個區(qū)域的語義信息，如：停止線、斑馬線的位置，每個車道允許的行進方向等，并希望可以通過這些信息完成闖紅燈檢測、違規(guī)轉(zhuǎn)向檢測等常見的交通任務(wù)。

在本文中我們需要對一段路口交通監(jiān)控做的處理有：

（1）提取該路口有多少個車道;

（2）每個車道的行進方向;

（3）停止線位置;

（4）斑馬線位置。

在該方案中，我們假設(shè)大多數(shù)司機都是遵守交通規(guī)則的，那么，我們可以通過車輛的行進軌跡判斷哪些駕駛方式在當(dāng)前場景中是合乎規(guī)范的，基于上述原理，我們通過檢測跟蹤算法得到車輛的行進軌跡，然后對這些軌跡進行聚類，獲得車道數(shù)量和每個車道的行進方向，通過車輛等紅燈時的暫停，我們可以得到停止線的位置，通過收收集行人的運動軌跡，我們可以知道斑馬線的位置。從而建立模型如圖1、圖2所示。

在接來的部分：第1部分我們將介紹該論文中需要用到的核心算法，第2部分將重點介紹路口建模的具體過程，第3部分將總結(jié)該建模方案的特性和可能的擴展空間，最后一部分為參考文獻(xiàn)索引。

1? 檢測跟蹤算法

檢測跟蹤算法是指將檢測網(wǎng)絡(luò)和跟蹤算法相結(jié)合提取視頻中物體運動軌跡的方法。由多目標(biāo)檢測和多目標(biāo)跟蹤算法組成。

多目標(biāo)檢測檢測一般是指多目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)，多目標(biāo)檢測網(wǎng)絡(luò)大致可分為“兩階段檢測模型”和“單階段檢測模型”兩種。我們選用的是單階段檢測模型中的YOLO系列最新成果YOLOv4[4]，相較于之前的版本，其有更快的速度和更高的準(zhǔn)確率。

多目標(biāo)跟蹤主要任務(wù)是在給定視頻中同時對多個感興趣的目標(biāo)進行定位，并維持他們的ID，記錄他們的軌跡。常見的多目標(biāo)跟蹤算法有，SORT[5]、DeepSORT、JDE算法、FAIRMOT算法等，本文中使用的是SORT算法。

通過YOLOv4+SORT算法，就可以實現(xiàn)車輛和行人行為的提取。

2? 路口建模方案

2.1? 方案原理

在現(xiàn)有的建模方案中，大都是以單幀圖片作為原始信息建模的，但實際上以視頻為單位可以得到的信息量要比圖片大得多，得到的信息越多，往往意味著后續(xù)的處理可以更加簡單。基于行為分析的路口建模采用的就是以視頻為輸入的方式提取數(shù)據(jù)的。

我們將提取一段視頻中車輛和行人的運動軌跡，用這些運動軌跡來判斷場景中重要標(biāo)志的位置：

（1）利用車輛等紅綠燈的停止位置來判斷停止線的位置;

（2）通過車流分散成多少股來判斷有多少個車道;

（3）通過車輛的行進方向來判斷每個車道的行進方向;

（4）通過行人行進方向來判斷斑馬線位置。

2.2? 建模過程

該方案的一次建模過程可以分為檢測跟蹤、路徑過濾、提取路徑特征、停止線預(yù)測、斑馬線預(yù)測共五個步驟，具體方案為：

（1）檢測跟蹤：采用檢測跟蹤算法，對該視頻進行逐幀的多目標(biāo)探測，并每檢測一幀就將檢測到的目標(biāo)放入SORT算法進行跟蹤，對于跟蹤結(jié)束的物體，我們將保存其路徑。用檢測跟蹤提取到的路徑可視化后如圖3所示。

（2）路徑過濾：在路徑被剛剛提取出來的時候，不乏一些長度極短的?；蛘吲c監(jiān)測區(qū)域完全無關(guān)的路徑（例如橫向路徑），我們通過限定路徑的長短和方向，去除不需要的路徑，處理結(jié)果如圖4所示。

從圖中我們已經(jīng)可以看到：這些路徑分為兩股，分別流向三個方向，其中第一個車道為左轉(zhuǎn)/直行車道，而第二個車道為右轉(zhuǎn)/直行車道，但如果要讓機器理解這些問題則還需要一些其他的手段。

值得注意的是，我們將在該步驟統(tǒng)計過濾后的路徑中的小轎車在剛進入圖像時的寬度的平均值W，作為接下來步驟的一個比例尺。

（3）提取路徑特征：為了對上圖的路徑進行聚類，我們需要對這些路徑進行一次特征提取，首先，我們用以圖片的左下角為原點，水平方向為x軸建立直角坐標(biāo)系，將圖片中的路徑表達(dá)成一個以時間路徑s為參數(shù)的方程組，當(dāng)s等于0時，實數(shù)對（x，y）為車輛進入畫面的位置，當(dāng)s=1時，（x，y）則表示車輛在畫面中行駛了一個單位長度后的車輛的位置。

其中：

X（s）=a1·s4+a2·s3+a3·s2+a4·s+a5

Y（s）=b1·s4+b2·s3+b3·s2+b4·s+b5

我們通過線性擬合確定（a1，a2，a3，a4，a5，b1，b2，b3，b4，b5），記該10維行向量為V擬合之后，x-s，y-s的函數(shù)關(guān)系可視化之后如圖5所示。

縱坐標(biāo)為0的直線之下為（y-s）曲線，之上為（x-s）曲線，對于（y-s）曲線可以看到，所有車輛都是朝遠(yuǎn)離攝像頭區(qū)域運行的，且沒有先升后降得曲線，說明沒有掉頭車輛。

從（x-s）曲線來看，從起點看，這些曲線明顯被分為兩簇，對應(yīng)圖中的兩個車道，曲線的終點對應(yīng)的縱坐標(biāo)被分為三個層次，對應(yīng)左轉(zhuǎn)、右轉(zhuǎn)、直行三個方向，如圖6所示。

我們以（x-s）曲線的起始部分，也就是曲線的截距a5為值進行聚類，記所有曲線的截距的集合設(shè)為{a5}，記a5i為第i條曲線的截距。

取N為{a5}的極差除W的k倍并向上取整，通過觀察一般取k=1.5。

然后分別以[N，N-1，N+1，N-2，N+2]為聚類核數(shù)，對{a5}進行K-Means聚類，將聚類結(jié)果記為{lane}，lanei表示第i個曲線在這次分類中的標(biāo)簽，也就是此次分類中曲線i所屬車道的編號，將聚類結(jié)果帶入罰函數(shù)L：

其中，abs為絕對值函數(shù)。

選擇可以使得L最小的核聚類數(shù)。將該方案獲得K-Means分類器作為車道分類器，按車道分類后，曲線分類結(jié)果可視化后如圖7，圖8所示。

（4）停止線檢測：在步驟（2）中過濾后的路徑中找到因為汽車等紅燈時產(chǎn)生的暫停點，然后選擇每個車道最靠前的那一個，記{xi，yi}為第i個車道上最靠前的停止點，根據(jù){xi，yi}擬合出直線l，將該直線沿y軸方向上移W/2，得到停止線如圖9所示。

（5）斑馬線提?。侯愃朴谝陨系乃悸?，首先收集行人過馬路的路徑，篩選出方向與停止線方向相差不大且行進距離大于等于{a5}極差的一半的行人路徑，可視化后如圖10所示。

生成一個與視頻幀長寬相等的矩陣，對每一條行人路徑上的任意一個點做大小為[W/5，W/2]的膨脹處理，得到斑馬線的范圍如圖11所示。

由此確定出斑馬線的位置，從圖中可以看出，我們得到的斑馬線位置較真實位置略微偏上，但這將使得之后判斷行人是否在斑馬線上更準(zhǔn)確，因為其將透視問題一并考慮在模型之中。

3? 結(jié)? 論

該方案以監(jiān)控視頻中車輛和行人的行為為建模材料，通過檢測跟蹤算法（YOLOv4+SORT）提取車輛和人的行為特征，對當(dāng)前攝像頭下的路徑進行建模，相較于原來基于語義分割網(wǎng)絡(luò)的建模方案，我們在建模過程中引入了人的行為信息，改變了在單張圖片中提取信息的方案，而采用在視頻中提取信息，取得的改進有：

（1）由于其避免了使用容易被遮擋、磨損的地面標(biāo)識等信息，使得該方案相較于以往的方案更加具有魯棒性;避開了一標(biāo)多義或多標(biāo)同義的問題，方案的普適性更高。

（2）由于其沒有使用到大型的神經(jīng)網(wǎng)絡(luò)，所以對計算機配置很低，可以節(jié)約經(jīng)費。

（3）該方案的思維可以有更多擴展，例如：統(tǒng)計車道上行駛車輛的類型，可以猜測該車道的類型（如公交車專用道、非機動車道等），還可以檢測停車區(qū)域等等諸多擴展。

（4）該方案選擇了一個大小較為穩(wěn)定的車型（小轎車）的寬度，作為比例尺，實現(xiàn)了許多參數(shù)的自適應(yīng)，所以方案中需要手動設(shè)置的參數(shù)很少，使用方便。

該方案在多個路口視頻上進行測試，獲得了良好的效果，但還有一些問題有待解決：比如，該建模技術(shù)暫時只涉及了路口交通建模，并不能覆蓋全部交通場景;且在開始使用之前，建模程序需要進行10分鐘左右的預(yù)熱等。在未來的版本中，我們將致力于將行為分析應(yīng)用于更廣泛的交通場景，通過新的技術(shù)縮短預(yù)熱時間，優(yōu)化建模過程，提高算法的實用性。

參考文獻(xiàn)：

[1] LV Z H，ZHANG S B，XIU W Q. Solving the Security Problem of Intelligent Transportation System With Deep Learning [J/OL].IEEE Transactions on Intelligent Transportation Systems，2020（99）：1-10.[2020-03-20].https：//ieeexplore.ieee.org/document/9043888.DOI：10.1109/TITS.2020.2980864

[2] WAN S H，XU X L，WANG T，et al. An Intelligent Video Analysis Method for Abnormal Event Detection in Intelligent Transportation Systems [J/OL].IEEE Transactions on Intelligent Transportation Systems，2020：1-9.[2020-09-09].https：//ieeexplore.ieee.org/document/9190063.DOI：10.1109/TITS.2020.3017505.

[3] HAYDARI A，YILMAZ Y. Deep Reinforcement Learning for Intelligent Transportation Systems：A Survey [J/OL].arXiv：2005.00935 [cs.LG].（2020-05-02）.https：//arxiv.org/abs/2005.00935v1.

[4] BOCHKOVSKIY A，WANG C Y，LIAO H Y M. YOLOv4：Optimal Speed and Accuracy of Object Detection [J/OL].arXiv：2004.10934 [cs.CV].（2020-04-23）.https：//arxiv.org/abs/2004.10934.

[5] WOJKE N，BEWLEY A，PAULUS D. Simple Online and Realtime Tracking with a Deep Association Metric [C]//2017 IEEE International Conference on Image Processing.Beijing：IEEE，2017：3645-3649.

作者簡介：邱祺（1999—），男，漢族，湖南益陽人，本科在讀，研究方向：計算機視覺、群體智能;李杰（2000—），男，漢族，湖南婁底人，本科在讀，研究方向：軟件工程、計算機視覺。