基于車載視頻的壓線檢測與車道偏移預警

邱 康，王子磊

(中國科學技術大學 信息科學與技術學院自動化系,安徽 合肥 230027)

0 引言

車輛壓線檢測是指針對車輛運行過程中發生的壓線行為進行檢測，可以在車輛發生車道偏移或壓線行駛時對司機做出警告，避免由于司機的疏忽大意、疲勞駕駛、駕駛陋習等原因造成交通事故，是輔助駕駛的一個重要功能。

已有基于視覺的方法大都基于車載視頻實現。文獻[1]針對車輛直行情況下的車道偏移進行研究，在車輛較傾斜的情況下可能失效。文獻[2]利用扇形投影法對車道偏移進行檢測，但是其基于消失點的本車道識別比較復雜和耗時。文獻[3]利用車輛變道過程中涉及的兩條車道的三條車道線之間夾角變化進行車輛壓線變道檢測，但實際情況中車道數目多變，常導致這三條線難以確定。文獻[4]利用基于人工魚群算法進行車道線檢測，利用SAE算法進行車道偏離檢測，整體實時性不足。文獻[5]利用單目成像原理對車輛變道行為進行分析，但是算法整體過程較繁雜，實時性不足。文獻[6]將攝像機固定在車輪上方，檢測車輪邊緣切線和車道邊緣線，根據兩線是否相交來判斷車輛是否壓線，由于涉及多個攝像機的處理，系統較為復雜。

事實上，基于車載視頻的車輛壓線檢測研究主要存在以下幾個問題：(1)基于監督學習的車輛壓線變道檢測方法需要大量標注數據進行訓練，但是車輛壓線變道數據的獲取與標注需要耗費大量人力物力，且一些危險行為在現實中難以采集；(2)已有的車輛壓線變道檢測方法往往涉及大量復雜的計算，算法實時性不足，并且未給出車輛在當前車道的語義信息如朝向、位置等，不能及時給出車身修正建議。對此，本文從數據和方法兩方面開展研究。數據方面，采用虛擬交通道路場景構建、數據自動采集和標注，生成大量車載視頻及其單幀圖像標注，得到豐富多樣的壓線檢測數據集。方法方面，結合圖像語義分割完成車道線檢測，通過簡單的車道線夾角變化及其在圖像中的位置比較進行車輛壓線檢測，并對車道偏移做出預警，同時給出車輛的位置和朝向，便于修正。

1 壓線檢測數據集

真實的壓線檢測數據需要車輛在道路上運行采集，等待各種天氣與時間條件，且需人工標注。數據獲取難度大且多樣性不易滿足。對此，利用合成數據是一種較好的解決方案。文獻[7-8]使用3D引擎構建了若干場景，在其中自動采集并標注數據，以此構建虛擬交通數據集，用于目標檢測、跟蹤、語義分割等任務，證明了深度學習算法在合成數據中具有較好的效果。

本文基于Unreal Engine 4構建多種交通場景，利用Airsim[9]開發數據采集器和數據標注器。為逼近真實情況，在各環境條件上進行多樣化設置。考慮到輔助駕駛的重點應用場景，構造了普通城市道路、城市快速路、高架橋、隧道等場景，如圖1所示。

圖1 不同場景

為觀察不同光照和天氣對任務的影響，構造了多個時間點：中午(noon)、傍晚(evening)和深夜(night)；同時構造了晴天(sunny)、小雨天(lightRain)、大雨天(heavyRain)、小霧天(lightFog)、小雪天(lightSnow)等天氣，如圖2所示。

圖2 不同光照與天氣

利用安裝在車頭正中的攝像機進行視頻采集，以單幀圖像形式保存，對每幀圖像進行標注。最終構建的數據集分布情況如表1所示，采集了更多的常見情況下的數據：白天的數據較多，傍晚的數據相對較少；壓線數據少于不壓線數據。如表1中天氣為sunny、時間為noon的數據有2 625條，其中壓線數據占比38.6%。此外，每種條件下都在場景中設置3條線路進行采集，分別以值為0、1和2的routeID標識，不同線路的視頻幀數大致相同。

表1 壓線檢測數據集分布情況

1幀圖像數據對應3個文件：原圖、分割圖、標注文件。其中，分割圖是原圖的像素級標注，標記著原圖中每個像素所屬的類別如車輛、車道線等；標注文件包含overlap(車輛是否壓線)、vehicleScale(車輛尺寸)、vehicleVelocity(車輛速度矢量)、lineScale(車輛碾壓的車道線在3D場景中的尺寸)、linePos2D(車輛碾壓的車道線的起點在圖中投影的位置)等信息，可用于判斷車輛壓線與否、計算車輛變道程度等。

2 方法

2.1 壓線檢測總體流程

首先對當前幀中的車道線區域進行檢測，然后對車道線輪廓進行擬合并識別當前車道，由左右兩條車道線表示，計算這兩條線的幾何參數，據此進行壓線判斷，具體流程如圖3所示。

圖3 壓線檢測方法流程圖

下面對流程圖中的相關步驟進行闡述。

(1)車道線區域檢測。利用圖像語義分割[10]的方式檢測出車道線區域。

(2)車道線擬合。考慮到曲線擬合的復雜性和主要應用場景的道路線特點，可使用直線模型對車道線進行擬合。本文利用Hough變換檢測圖像中多條車道對應的車道線。經典的Hough比較耗時，對此從幾個方面進行改進：對車道線區域進行邊緣檢測，減少搜索點數量；場景中有許多虛線，許多不同路段的直線實際上屬于同一條直線，故可以設置兩條直線之間的最大間隔，小于該間隔的直線認為是同一條直線；車道線區域有許多噪點，對此設置形成一條直線需要的最少的點的數量，避免噪聲干擾。

(3)當前車道識別。當前車道定義為車頭中點所在車道。在車載視頻圖像中，車頭中點對應圖像底部水平線段L的中點O。故當前車道計算方法為：計算所有車道直線Li與L所在直線的交點Di,計算線段ODi的長度di，O左右兩側分別最小的dl和dr對應直線即為當前車道線Ll和Lr，如圖4所示。特殊情況下O位于某一條車道線中，此時車輛壓線程度較大，不定義當前車道，僅給出該車道線的左右兩邊輪廓對應直線。

圖4 當前車道識別

2.2 壓線判斷

觀察當前車道線與車輛的位置關系，如圖5所示。

圖5 不同位置的車輛與車道線的幾何關系

當車輛正常居中行駛時，左右兩條車道線與L分別形成的較小角(即不取大于90°的另一個角)θl與θr幾乎相等，且都較小；當車輛向一側如右側偏移時，θr開始增大，直至壓線過程接近90°。據此簡化地定義車輛壓線行為：max(θl,θr)>θt。其中θt是閾值，與車載攝像機高度、視場角(FOV)和車道寬度有關。大部分的小汽車車頭高度在80 cm左右，數據集中使用的車載攝像機的FOV為90°，中國主流車道寬度為3.5 m，據此可得較好的閾值θt為49°。

顯然，當車輛靠近車道右側時θr大于θl，反之θl大于θr，據此可得車輛在當前車道的位置，定義為position，其取值為-1、0、1，分別意味著車輛在當前車道左側、中間、右側。

車輛方向在圖像中投影為的L中垂線Lm，如圖6所示。定義車輛在當前車道的方向為direction，其取值為-1、0、1，分別意味著車輛在當前車道向左、向中、向右。顯然，Ll和Lr都分別與Lm相交，交點為Pl和Pr。在圖像坐標系下，當Pr的y值較大時，車輛向右，反之向左。特殊情況下，Pl和Pr有一個不在圖像中，如圖6中第三幅圖，此時Pl不在圖中，雖然其y值較大，但是車輛向右。

圖6 車輛在當前車道方向

事實上，依據position和direction可以進一步優化壓線判斷方法。只考慮車輛向前行駛的情況下，當position和direction同號，車輛即將或已開始壓線，車頭更靠近車道線，此時θt應較大；當position和direction異號，車輛即將或已結束壓線，車頭較車尾離車道線更遠，此時θt應較小，據此，分別設閾值θt1和θt2，其中θt1>θt2，依據先驗知識將θt分別增加和減少5°得到θt1和θt2分別為54°和44°。

2.3 車道偏離預警

通過適當減小壓線判斷閾值θt1，可以在車輛還未壓線時就觸發壓線的判斷，當連續T1幀未壓線后連續T1幀壓線則觸發警告，起到車道偏離預警的作用。同樣依據先驗知識，減小θt1至50°，設T1為2。

3 實驗與分析

3.1 實驗內容

為驗證所提方法的有效性，在數據集上進行不同環境條件的對比實驗，主要有以下三個方面的目的：

(1)壓線判斷方法驗證：利用數據集的ground truth分割圖進行壓線判斷，可得理想情況下(車道線檢測完全準確)壓線判斷方法的總體效果，準確率記為Accuracy1。

(2)壓線檢測方法驗證：以語義分割結果進行壓線判斷，可得實際情況下壓線檢測方法有效性，準確率記為Accuracy2，并以mIoU作為車道線檢測準確率。

(3)車道偏離預警驗證：基于語義分割結果，利用壓線檢測方法進行車道偏離預警測試。設車道偏離預警的幀數為f，若[f-2,f+2]共5幀范圍內存在壓線行為且[f-7,f-3]共5幀范圍內存在非壓線行為則本次預警準確，這里非壓線行為的范圍要求是防止持續壓線過程中的警告，此時已壓線許久，預警無意義，不算正確預警；若發生車道偏移而未預警則定義為漏警，設預警準確次數為TP，漏警次數為FN，則可以定義召回率為：

R=TP/(TP+FN)

(1)

以召回率作為車道偏離預警評價指標。

此外，采取用一個簡單的做法對數據進行劃分：每種條件下routeID=0的數據作為測試數據，其余數據作為訓練數據，壓線判斷和車道偏離預警都在測試數據上進行。不同數據條件設置如表2所示。

表2 實驗設置

3.2 結果分析

依據表3的結果，對上述3個實驗內容進行分析并得出相應結論：

(1)Accuracy1都在93.5%以上，說明壓線判斷方法是有效的。實驗表明，錯誤原因主要是臨界數據，即車輛恰好壓線，此時僅利用車道線夾角是無法準確判斷的，但這種數據較少。

(2)由于語義分割類別較少，只有背景和車道線兩類，故整體mIoU較高。相應的Accuracy2雖然相對于Accuracy1有所降低，但是整體水平仍然較高。

(3)預警召回率整體較高，將第4組結果可視化，如圖7所示，其中“點線”的值為1和0，代表車輛實際壓線與否；“點虛線”值為2和0，代表方法判斷車輛壓線與否；“實線”值為4和0，代表車道偏離警告與否。可見車道偏離預警基本可及時在壓線開始之時做出警告，漏警的原因是存在單幀壓線檢測失敗現象，可以通過幀間平滑來解決。事實上，θt1越小越能提前預警，但是也更有可能誤警，所以適中選擇閾值。

表3 實驗結果(%)

圖7 車道偏移預警結果可視化

3.3 性能分析

實驗均在GPU服務器完成，配置為：Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10 GHz；DDR3 64 GB；GTX 1080Ti單點運算能力9TFLOPS。實驗中，單張圖像平均處理時間為78 ms，其中語義分割耗時25 ms，實時性較好。

4 結論

本文提出利用車道線夾角的方式對車輛壓線行為進行檢測并據此做出車道偏離預警，實現較簡單且檢測準確率高，實時性較好，具備一定的實際應用價值。后續可通過壓線檢測幀間平滑處理進一步提升車道偏離預警準確率。