基于深度學習的車道線檢測方法綜述

楊榮錦，張秀峰，龔莉娜，牛選兵，王 偉，馬天翼

(大連民族大學 機電工程學院，遼寧 大連 116605)

車道線檢測是智能輔助駕駛系統和自動駕駛的重要組成部分。在實際的車道線檢測任務中，需要面對各種復雜的道路場景，如車道線破損、光照影響、雨天、霧天等造成車道線被部分遮擋或完全遮擋。傳統的車道線檢測方法難以解決以上問題，隨著深度學習在圖像分類任務中取得的巨大進步，在車道線檢測任務中基于深度學習的研究方法逐漸占據主導地位。車道線檢測的實現大致由三部分組成：圖像預處理、特征提取、車道線擬合，其中特征提取是車道線檢測任務的核心部分。目前基于視覺的車道線檢測任務的特征提取方法主要有兩種，一種是利用車道線的顏色、梯度、紋理、視覺消失點等特征將車道線從圖像中分離出來，這種方法依賴于人工設計的特征，是傳統的車道線特征提取方法[1-9]；另一種是利用自動學習特征的深度學習技術進行特征提取，與傳統方法相比基于深度學習的提取特征方法檢測精度高、魯棒性好。因此，本文將主要綜述基于深度學習的車道線檢測方法。

目前綜述性的車道線檢測論文較少，文獻[10]對車道線檢測系統進行了說明，對邊緣特征提取和車道線擬合兩方面進行了總結，僅列舉了部分基于語義分割的算法；文獻[11]對車道線檢測各個步驟的實現方法進行了詳細的總結分析，由于涉及的范圍較廣，對每個步驟中使用的各類方法不能做到詳細地描述。本文總結了近幾年學者們的研究成果，在此基礎上分析車道線檢測算法目前存在的難點，并對其未來發展進行展望。

1 車道線檢測技術的應用和發展

車道線檢測的實現是將視覺傳感器采集的車道圖像信息作為輸入，對輸入信息進行處理，實時檢測車道線位置，檢測結果作為指導自動駕駛的決策信息。車道線檢測任務主要應用于自動駕駛中的導航、定位、車道偏離預警等自動駕駛汽車的路徑規劃，對自動駕駛的發展具有重要影響。

國外對于車道線檢測技術的研究起步較早，早在20世紀90年代車道線檢測就成為輔助駕駛系統中必不可少的一部分。意大利帕爾馬大學的學者提出的GOLD系統[12]實現了對車道線和障礙物的檢測，采用逆透視變換的方法將車道線轉換為平行的方式，然后使用模板匹配技術對車道線進行檢測并確定車道線的位置。Feng You等[5]提出一種夜間檢測車道線的算法，使用圖像處理的方法對CCD相機采集的數字圖像進行處理，采用多方向搜索方法消除車道線邊界的噪聲，利用自適應的霍夫變換檢測車道線信息。算法在車道線夜間檢測中具有較好的可靠性和魯棒性。杜克大學的研究人員提出了一種基于深度神經網絡的車道檢測方法LaneNet[13]，將車道檢測分為兩個階段：車道邊緣提取和車道線定位，算法大大降低了誤檢率，取得了很好的檢測效果。

國內關于車道線檢測的研究較晚，但發展迅速。2002年寧波大學蔣毅剛等[14]發表了關于車道標線檢測和汽車前方道路估計的文章。此后，國內許多高校和科研機構也相繼展開了對車道線檢測的研究。2009年西北工業大學雷濤等[15]提出基于形態學結構元素建模的車道線檢測算法，該算法簡單、魯棒性強，在多種復雜環境下都能夠檢測出車道線，但針對彎曲的車道檢測效果不佳。文獻[16-18]首先對圖像進行灰度化預處理，在此基礎上使用Canny、Sobel等算子進行邊緣檢測提取車道線邊緣信息，最后使用Hough變換檢測車道線。該方法對環境要求較高，僅在車道線清晰的條件下檢測效果較好。2020年劉彬等[19]提出了基于改進Enet網絡的車道線檢測算法，該算法在標準路面檢測的準確率達到了96.3%，在公開數據集上取得了實時性的檢測結果，與傳統算法相比該算法能夠滿足實際駕駛環境和實時性需求。車道線檢測技術隨著計算機視覺的進步，由最開始利用圖像處理、邊緣檢測算子、Hough變換、IPM圖霍夫變換，到現在的PointLaneNet、LaneNet、Enet、Spinnet，準確率有了大幅提升[20-22]，在自動駕駛領域具有廣闊的應用前景。

2 車道線特征提取方法

根據車道線提取的方式不同，車道線檢測的特征提取方法分為兩種：基于傳統方法和基于深度學習方法。傳統的車道線檢測方法依賴于高度專業化、手工制作的特征和啟發式的組合來識別車道線。特征提取根據圖像的灰度梯度變化、顏色、紋理、視覺消失點等特征進行分析并設計特征。這些算法對光照、天氣等變化較為敏感，當行駛環境發生明顯變化時，車道線檢測的效果不佳。隨著計算機計算能力的提升，GPU的快速發展，深度學習技術在計算機視覺、圖像處理等領域都有著廣泛的應用。研究者提出將車道線檢測看作分割問題進行研究，使用圖像分割模型提取車道線特征。該模型從大量具有標注信息的圖像中提取特征信息，依據這些信息推理出原始圖像中對應的像素點標簽，在這種端到端的訓練下能夠較好地提取車道線的語義信息并對各個像素分類。與邊緣特征提取、閾值分割、分水嶺等手工設計特征的傳統方法相比，基于深度學習的圖像分割方法能夠提取更加豐富的車道線信息，在車道線檢測技術中得到了廣泛的應用[23-28]。

傳統方法先對圖像進行預處理，使用人工設計的特征提取方法和Hough變換、最小二乘法擬合車道線。基于深度學習方法主要有目標檢測和圖像分割，這兩種方法都是利用卷積神經網絡進行訓練，自主檢測車道線信息。但目標檢測方法不能精確地表達車道線的邊界信息。目前流行的車道線檢測是基于圖像分割的方法[29-32]，該方法能夠進行端到端的學習，對圖像中的像素點進行分類，可較好地提取車道線的類別和位置信息。

2.1 傳統車道線檢測方法

傳統的車道線檢測方法先對圖像進行平滑去噪等預處理獲取感興趣區域，然后對預處理后的圖像使用人工設計的特征提取車道線的邊緣信息，最后擬合提取的車道線特征得到車道線信息。車道線具有特征簡單、與路面有明顯梯度、灰度變化較大、多種線形和顏色等特點，因此，能夠通過這些特點人工設計特征檢測車道線。吳彬等[33]調整攝像頭獲取較好的視野，基于圖像中的消失點檢測和車道線位置信息設定動態ROI，然后結合形態學運算獲取較好的邊緣信息，能較好地避免其他車道的干擾。何旭光等[34]提出基于Hough變換的車道線檢測算法，首先對道路圖像平滑去噪，Canny算子邊緣檢測和自適應算法提取車道線特征信息，然后使用改進的Hough算法得到車道線信息，該方法在多種環境下檢測效果良好，但在彎曲的車道線上表現不理想，魯棒性差。馬泉鈞等[35]針對長距離車道線檢測，結合霍夫變換和滑塊法提取車道線，保障了車道線的完整性，但該算法在復雜環境下的檢測效果有待提升。

使用人工設計的特征進行車道線檢測的方法原理簡單且相對成熟，依賴于車道邊界的梯度信息，對特征明顯的圖像表現較好，在車道線磨損或被遮擋導致車道線不完整的情況下，車道線的檢測效果會受到影響，在復雜環境下魯棒性差。

2.2 基于深度學習的車道線檢測

基于深度學習的方法與傳統方法相比魯棒性和泛化能力更好，主要有目標檢測和圖像分割兩種。

2.2.1 目標檢測

隨著深度學習的迅速發展和公開數據集的增多，目標檢測網絡的檢測精度得到了極大提升。R-CNN、Faster R-CNN、YOLO等網絡在公開的數據集和實際應用中，檢測精度和效率逐漸得到提升[36-39]，目標檢測引入自動駕駛領域獲得了巨大的發展。崔文靚等[40]提出改進的YOLOv3算法對公路車道線進行檢測，該方法在YOLOv3算法的基礎上，特征提取部分選擇Darknet-53網絡結構，通過加深網絡層數的方式提高特征提取的能力，同時為降低漏檢風險，對YOLOv3進行簡化處理，該方法實現了端到端的檢測，平均準確率達到95%，但對傾斜車道線檢測存在局限性，目標檢測采用邊界框將目標框選出來，在車道線邊界信息的表達上不夠精細，結合語義分割方法后效果會更好。

2.2.2 圖像分割

圖像分割是將圖像中的各個像素標注所屬的類別，把圖像分割成幾個具有一定語義類別的部分。基于圖像分割的車道線檢測能夠對圖像進行像素級的分類，與傳統的方法相比檢測效果比較理想，通過端到端的學習魯棒性更好。

目前深度學習模型進行車道線檢測僅局限于預測固定數量的車道線，對變化數量的車道線不能很好地應對。文獻[13]將車道線檢測看作一個實例分割問題，同時提出了LaneNet模型，該模型由語義分割模型和實例模型構成，語義分割模型將圖像進行逐像素的二值分類，實例分割模型將圖像按像素區域分成不同的車道線實例，然后對分割結果進行處理得到車道線的數量和類別，最終輸出實例分割的車道線圖像。

空間CNN[41](SCNN)將傳統的逐層卷積推廣到特征映射中的逐層卷積進行車道線檢測，增強了像素之間的信息傳遞，特別適合車道線這種長距離連續形狀的目標檢測，該算法在TuSimple基準車道檢測數據集上準確率達到了96.53%。文獻[42]從節省計算資源的角度對SCNN進行改進，提出了稀疏空間卷積神經網絡，稀疏空間CNN是由SCNN改進而來，是一個更輕量的模型，將SCNN特征映射內的逐層卷積進行分組卷積，提高了模型處理時間上的性能，但是計算精度較低。

文獻[43]提出一種用于車道線檢測的注意DNN(改進的大視野)，該模型由兩個并行的子模塊組成，通道注意力模塊和自注意力模塊。自注意力在車道線被遮擋，局部上下文無法推斷像素所屬類別時，能夠提供一個全局上下文搜索；通道注意力在推斷像素所屬類別時，提供一個根據通道重要性添加不同權重的方法。該方法在推斷車道線分類時強調關鍵通道，并可在惡劣環境下進行車道線檢測。

采用圖像分割的方法進行車道線檢測在檢測結果上更加精細，處理耗時較少，算法的檢測速度更快。但對訓練的數據集要求較高，需要進行像素級的標注，工作量大。

3 車道線檢測的難點

車道線具有明顯的線性特征，但是同一目標的尺度變化明顯，近寬遠窄，復雜環境下車道線目標容易被遮擋，線型種類較多且不易區分。傳統方法中常使用逆透視變換[44-45]的方法將拍攝的圖像轉換為鳥瞰圖，從而解決車道線近寬遠窄的問題。深度學習引入車道線檢測中能夠通過端到端的學習提取更豐富的車道線特征，泛化性和魯棒性更好，但仍存在以下難點：

(1)車道線易被遮擋，汽車、陰影、道路破損等導致車道邊界局部特征不明顯，檢測時易出現誤檢、漏檢的情況。文獻[46-47]從全局的角度搭建網絡模型對車道線進行檢測，模型可實現端到端的檢測，能有效檢測擁擠場景下的車道線，但被汽車完全遮擋的車道線依舊較難檢測。宏明佳等[48]提出基于FCN的車道線檢測算法，通過一系列卷積、池化及反卷積操作后，經過條件隨機場處理，最終得到精細的檢測結果，算法僅準確地識別了車道線的位置，不能識別車道線的顏色和虛實。

(2)線型種類多，在確定車道線位置信息的同時，較難有效區分黃、白、虛、實線。如文獻[43]使用CNN對不同顏色的車道線(黃、白線)進行檢測，只能處理較小的32×32圖像。文獻[49]采用Sobel算子對圖像進行邊緣檢測與語義分割網絡進行特征融合和跨連接，優化了車道線的邊緣和細節，能夠準確識別車道線的位置和類別，但在實時車道線檢測中需要足夠大的計算資源。修宇璇[50]提出了新的數據標注方式，在編碼器和解碼器之間增加跨連接結構，對不同的特征進行特征融合，能夠在準確檢測車道線位置的同時區分車道線的顏色和虛實，但對設備的計算資源有較高要求。

(3)基于圖像分割的車道線檢測算法較傳統方法檢測效果更好，但訓練模型所需的訓練數據要進行像素級的標注，標注難度大，工作量大。

4 結 語

深度學習的引入使得車道線檢測的性能有了巨大的提升，加快了車道線檢測和輔助駕駛技術的發展。但仍有一些未能解決的問題：深度學習模型可解釋性較差，模型種類單一；訓練所需的樣本標注要求高，樣本數據成本大。深度學習為車道線檢測的魯棒性和實時性帶來了巨大的提升，相信在未來的研究中會開發出魯棒性更優的車道線檢測方法。