光度魯棒的違章壓線檢測系統

于潤潤， 朱凱贏， 蔣光好， 吳 益， 周 偉

（上海工程技術大學 電子電氣工程學院， 上海 201620）

0 引 言

車輛壓線檢測是指使用攝像機采集道路視頻數據，并針對視頻中車輛壓線的行為進行檢測。 已有的壓線檢測研究使用的大部分方法為傳統檢測方法，并且只能適用于固定攝像頭的靜止場景。 文獻［1］使用一定先驗知識劃定感興趣區，使用邊緣檢測和Hough 變換擬合出車道線，用判斷車道線區域是否有車輛來判定是否壓線。 文獻［2］使用連續圖像幀間的灰度平均差計算得到黃線殘缺信息，并設置殘缺長度閾值來判斷是否有車輛違章壓線。 文獻［3］提出了使用黃線區域多角度拍攝，使用小波變換分割算法，對比相鄰幀圖像對應像素的方法來辨別是否有壓線行為。 這類方法應對不同天氣，光照等，都會出現較大誤差。

實際場景中經常會出現光照變化的情況，比如相機與點光源的相對位置發生了變化，相機不斷地調整自身的曝光時間，光源本身的亮度發生變化。針對光照變化的問題，常見的解決方法有2 個方向，分別是：相機參數的標定和調整圖像的亮度。 其中，相機參數的標定主要針對相機曝光時間不固定的情況，需要在線標定相機的曝光時間，這種方法常見于機器人自主定位導航中［4-5］。 但這種方法并不適用于基于深度學習構建的方法，因此在本文提出的違章壓線檢測系統中，本文使用圖像亮度調整方法對輸入的圖像進行預處理，保證連續圖像之間亮度始終保持相對一致。 最后，使用空間卷積模塊和像素統計的方法對存在遮擋下的車道線分割結果進行補全，優化了車道線分割結果。 本文創新點總結如下：

（1）在基于視覺的深度學習方法中加入圖像亮度調整方法，使前后圖像的亮度始終保持一致。

（2）使用深度神經網絡進行車道線語義分割和車輛目標檢測，并設計了感興趣區域以及像素統計方法用來提高車道線分割在遮擋情況下的魯棒性。

1 圖像亮度調整

對于圖像中景物差異不大的情況，適合用直方圖匹配法對圖像進行亮度調整。 首先計算參考圖像的像素直方圖H ＝｛h0，h1，…，hl-1｝，其中l表示圖像的灰度值范圍，對于本文中所用的灰度圖像，l ＝255。hi表示像素值等于i的像素的數量，其中i∈［0，l -1］。 再對需要調整亮度的圖像的所有像素根據各自的像素值大小進行排序。 最后按照參考圖像的直方圖對排好序的像素進行分組。 為排序后的像素重新分配像素值的過程見圖1。 由圖1 可知，按從小到大排列的像素中最小的前h0個像素被分為第一組，并對這一組中所有像素分配像素值0，接著再從序列中取后h2個像素分為第二組，并對第二組中的每個像素分配像素值1。 依次類推，排好序的像素最終都會根據參考的像素直方圖被分配到相對應所屬的組，并被重新分配像素值。

圖1 圖像像素值重分配過程Fig.1 Image pixel value redistribution process

為了對具有相同像素值的像素進行嚴格的排序，對于這些像素值相同的像素，去計算這些像素鄰域的像素值的均值，再用相對應的均值進行比較。當存在一些像素的鄰域均值也相等時，擴大鄰域選取范圍，再次計算均值進行比較，反復上述比較步驟，直至每個像素都被嚴格地排序。 基于直方圖的圖像亮度調整效果如圖2 所示。

圖2 基于直方圖的圖像亮度調整效果Fig.2 Image brightness adjustment effect based on histogram

2 壓線檢測模型

2.1 車輛檢測和車道線分割

常用的目標檢測算法可分為：一階段法［6-9］和兩階段法［10-12］。 其中，一階段法讓檢測任務集成在一個模型中，模型直接估計目標的檢測概率和位置坐標，檢測速度更快。 本文選用一階段法中的YOLOv3［13］來進行車輛目標檢測。 在預測過程中不需要候選區域的選擇，模型根據提取的高維特征進行目標位置和類別的判定，相比兩階段法、如Faster R-CNN［12］快100 倍。 研究中使用大量車輛數據對預訓練好的YOLOv3 模型的參數進行微調，讓模型進一步學習車輛數據的特征。

基于深度學習的車道線分割方法中，SCNN［14］使用一種空間卷積層模塊，通過對每個特征層上特征點間的信息進行交互加強空間特征的提取。 該方法使用4 種卷積核分別對上、下、左、右四個方向的信息進行提取和融合，使模型加深，但訓練預測速度下降，并且多卷積核的累加，有概率丟失重要特征信息，導致車道線分割中細節部分效果差。 針對這個問題，本文設計了更輕量的空間卷積結構，不再使用4 個方向的卷積核，而只使用向下和向左的卷積核進行特征加強。 并且本文提出的方法將該輕量化的空間卷積模塊變為一種注意力機制，讓模型使用空間卷積模塊對提取的特征進行自我校正。 輕量級空間卷積結構如圖3 所示。

圖3 輕量級空間卷積結構Fig.3 Light-weight spatial convolution structure

在空間卷積模塊中，大小為H*W*C的輸入特征圖被分割成為H個1*W*C的特征圖，使用1*w*c的卷積核對該特征進行計算，其中則滿足w ＜W，在本次的實驗中將w設為9。 同時也對該輸入特征從上到下以相似的方式進行卷積運算。 此后，將2 次卷積運算的結果直接堆疊成一組特征圖，再進行1*1*2C的卷積運算，提取出結構注意力圖。 最后將原始的特征圖和得到的結構注意力圖進行一一對應地相乘，得到特征的自校正量，并將自校正量累加到原始特征上，得到具有強注意力機制的高維特征。 經過結構注意力機制的空間信息加強，模型中提取的特征就會具有足夠的結構信息來幫助提高車道線檢測的結果。

2.2 車輛壓線判斷模型

得到車輛檢測圖和車道線分割圖后，進行車輛壓線判斷。 如果車輛的特定位置出現在車道線分割結果上，就判斷為出現壓線行為［15］。 在對車輛進行目標檢測時，被檢測出的車輛會在圖像上有一個二維的矩形框，研究中設定該矩形框的底邊的左側區域和右側區域為2 個感興趣區域， 在檢測車輛是否壓線的同時判斷是左轉壓線、還是右轉壓線。 并且，為了適用于任何尺寸的輸入圖像，感興趣區域的大小設置成輸入圖像尺寸的20%。

3 實驗

為了驗證本文設計的系統的有效性，通過車載行車記錄儀采集車輛行駛視頻，共計12 000張圖像，用于實驗，為保證實驗數據的多樣性，額外加入了10 段網絡上違章壓線視頻來擴充測試數據集。

對于車輛壓線檢測方法，文獻［15］使用圖像分割技術進行判斷。 本文對此方法和本文所提出的方法進行了對比實驗。 具體結果見表1。 由于文獻［15］使用較深的神經網絡模型來分割車道線，所以推斷時間更長；又由于在真實場景中，由于光照影響和實際照片成片中存在成像模糊的問題，導致在進行車道線分割時，車道線分割的邊緣比較模糊，最終使檢測效果下降。 本文采用的圖像亮度調整、目標檢測和語義分割技術相結合的方法，在復雜的場景下也可以保持目標檢測和車道線分割的準確性。 本文設計的方法對于車輛壓線檢測的準確率達到了96%以上，滿足實際需求。 具體壓線檢測結果如圖4 所示。

表1 移動端車輛壓線檢測對比結果Tab.1 Comparison results of vehicle lane-crossing detection at mobile end

圖4 壓線檢測結果Fig.4 Results of vehicle lane-crossing detection

4 結束語

本文提出了一種車輛壓線檢測系統，利用深度學習算法和傳統算法相結合，能夠在不同光照條件下檢測車輛壓線行為。 設計了輕量級的空間卷積模塊使得車道線分割網絡能夠準確地提取到車道線特征。 最終的實驗表明本文提出的方法能夠在復雜場景中準確地檢測出車輛壓線行為。 然而，由于車道線檢測和車輛檢測沒有進一步整合到一個模型中，系統的計算效率還沒有達到最高。 未來，希望將車輛檢測任務和車道線分割任務融合進一個模型中，使得整個系統的訓練過程更加容易，計算效率進一步提高。