基于DSA－UFLD 模型的車道線檢測算法

程國建， 馮亭亭

（西安石油大學 計算機學院， 西安 710065）

0 引 言

隨著國內社會經濟的快速發展，汽車的保有量逐年增加，而汽車為人們出行提供便利的同時也增加了發生交通事故的可能性，因此如何避免交通事故的發生、保證安全駕駛，已成為業界研究的重點［1］。 與此同時，人工智能（Artificial Intelligence，AI）、深度學習（Deep Learning，DL）的研究正日趨深入，智能交通與自動駕駛技術相繼被提出并廣泛用于交通行業。 自動駕駛技術通過感知系統獲取道路信息，依靠決策系統分析信息、規劃行駛路徑，最后利用控制系統保證車輛的安全行駛［2］。 該技術的應用不僅改善了交通狀況、提高了交通效率，并在一定程度上推動了工業研究的發展。

車道線檢測［3］作為輔助自動駕駛的關鍵技術，能夠精確識別道路，從而幫助自動駕駛汽車做出決策，保證車輛行駛在正確的區域內。 其基本步驟包括圖像采集、圖像預處理、特征提取和車道線擬合，這里的圖像采集是檢測任務的基礎，而特征提取是檢測任務的核心［4］。 依據特征提取方法的不同，可以將目前已經采用的車道線檢測算法分為2 類:傳統車道線檢測、基于深度學習的車道線檢測［5］。 對此可給出闡釋分述如下。

（1） 傳統車道線檢測算法。 傳統車道線檢測有基于特征和基于模型等2 種方法。 其中，基于特征的檢測方法利用車道線的顏色、紋理、邊緣等物理特征，根據車道線與道路周圍環境的差異，對車道線進行分割與處理［6］。 Danilo 等學者［7］提出一種道路特征融合方法進行車道線檢測，通過融合顏色、邊緣和速度等特征，能夠有效消除車道線檢測中的道路障礙。 Lee 等學者［8］融合了車道線的顏色信息和梯度信息，并結合掃描技術，改善了夜間環境的車道檢測效果。 而基于模型的車道線檢測是利用道路的先驗知識，針對道路結構的幾何特征，結合數學知識建立車道線模型，通過Hough 變換、RANSAC 算法和最小二乘法［9］求解模型參數，擬合車道線［10］。 宋銳等學者［11］使用幾何矩陣采樣模型檢測車道線，有效緩解了圖像噪聲的干擾。 Xu 等學者［12］采用劃分道路區域和RANSAC 算法實現了車道線的識別。

傳統的車道線檢測方法原理簡單，易于實現，在簡單場景下的檢測效果較好，但傳統方法的適應性較差，局限于特定環境下，在遮擋、壓線、磨損、陰雨等復雜環境中，算法的運算成本較高、魯棒性較差，達不到預期效果［13］。

（2）基于深度學習的車道線檢測。 基于深度學習的車道線檢測算法利用深度神經網絡模型自動獲取車道線特征，通過在訓練中不斷修正模型參數，提高了復雜環境下的車道檢測效果［14］。 宋揚等學者［15］提出一種基于深度圖像增強的車道線檢測方法，使用生成對抗網絡進行圖像增強，采用LaneNet提取圖像特征，改善了夜間車道線檢測的效果。 Liu等學者［16］設計出基于單目視覺的車道線檢測模型，通過使用全卷積神經網絡、殘差結構和金字塔池化，提高了在陰影遮擋情況下車道線的檢測精度。 Qin等學者［17］提出了一種基于結構感知的快速車道線檢測方法（Ultra Fast Structure-aware Deep Lane Detection，UFLD），該算法基于圖像的全局特征，將圖像網格化，在每個預定義行上選擇車道位置，并進行分類，提高了檢測速度，同時也解決了無視覺線索問題。

UFLD 算法雖然提高了檢測速度，但準確率不高，在彎道場景下的效果欠佳。 借鑒UFLD 的算法思想，提出了一種帶注意力機制的稠密神經網絡（DenseNet with Spatial Attention Mechanism based on UFLD，DSA-UFLD）用于車道線檢測。 相比UFLD算法，DSA-UFLD 網絡在檢測精度和效果上有明顯改善。

1 基于DSA－UFLD 的車道線檢測原理及方法

DSA-UFLD 算法在訓練前使用自適應圖像亮度增強提高圖像的清晰度；利用預訓練模型DenseNet-121 進行特征提取，通過DenseNet-121 的密集連接結構最大化前后層間的信息交流，采用預訓練模型的權重在訓練中通過微調取得了較好的效果，降低了訓練成本；將提取的特征圖經過空間注意力機制重新分配權重，實現了信息增強；通過改進結構損失函數，改善了彎道檢測效果。

1．1 圖像增強

圖像增強能夠提高圖像的質量、改善圖像的視覺效果、增強圖像清晰度和豐富圖像信息。 在本文中，除了使用隨機翻轉和平移進行圖像增強外，還采用了一種圖像亮度自適應增強算法，用于緩解圖像光線不足對車道線檢測的干擾。 圖1 為亮度增強的流程，對輸入圖像先判斷亮度值，若亮度值大于給定閾值，說明圖像亮度足夠，直接輸出圖像；若小于給定閾值，則利用所給分位點計算分位值區間，并去掉圖像分位值區間以外較大或較小的像素值，接著將改變后圖像的像素值調整到一定區間范圍內，再將其輸出。

圖1 圖像亮度自適應增強算法流程

圖2（b）為使用亮度增強后的效果圖。 顯而易見，校正后的圖像中，車道線與周圍環境的對比度增強，改善了圖像低灰度區域集中的現象，提升了整個圖像的視覺效果。

圖2 圖像亮度自適應增強算法的效果Fig． 2 Effect of images brightness adaptive enhancement algorithm

1．2 DSA－UFLD 網絡結構

DSA-UFLD 算法采用遷移學習模型DenseNet-121 提取圖像特征，相比ResNet18［18］，預訓練的DenseNet-121 網絡，加強了特征重用、減少了參數量和訓練成本。 網絡結構如圖3 所示，輸入圖像為3 通道RGB 圖，大小為288×800，利用DenseNet-121網絡進行特征提取得到1 024×9×25 大小的特征圖，再將特征圖輸入到空間注意力機制模塊，通過空間維度的變換提取圖像的關鍵信息。

圖3 DSA－UFLD 網絡結構Fig． 3 Network structure of DSA－UFLD

DSA-UFLD 網絡包括2 個分支:輔助分割分支和分類分支。 在輔助分割分支中，使用上采樣模塊對特征圖進行2 次上采樣，再經過卷積核為3×3、擴張率為2 的空洞卷積，得到實例分割結果，輔助分割分支的輸出主要用于訓練過程的實例分割和交叉熵損失計算，在測試環節，此分支可去掉。 在分類分支中，對特征圖進行池化、扁平化處理，再經過2 個全連接層，輸出對車道線的預測結果:

其中，c＝4，表示最大車道線數；h＝56，表示行錨數；X為提取的特征圖；fij為分類器。 將每張圖像劃分為包括56 個行錨、每個行錨包含101 個網格的網格圖，最后一個網格表示道路背景，將車道線的檢測看作一種基于行的分類問題。 則Pi，j，:表示第j行的每個網格屬于第i條車道線的概率，該值主要用于分類分支損失函數的計算和預測車道線的位置。

1.2.1 特征提取網絡

特征提取使用遷移學習模型DenseNet-121，DenseNet 網絡由Huang 等學者［19］在2017 年提出，包括DenseNet-121、DenseNet-161、DenseNet-169及DenseNet-201 等4 種結構。 該網絡是一種基于密集連接（dense connection） 的卷積神經網絡（Convolutional Neural Networks， CNN）［20］，如圖4 所示，每層的輸入包含前面所有層的輸出，不需要消耗多余時間就可訪問前面層的低級特征，有效地實現了特征重用［21］。 DenseNet 每層網絡輸入與輸出的關系式為:

圖4 DenseNet 的密集連接機制Fig． 4 DenseNet's dense connection mechanism

其中，［x0，x1，…，xL-1］ 表示將前L -1 層的特征圖進行拼接，作為第L層的輸入；HL（·） 表示非線性變換函數，由BN＋ReLU＋3×3 Conv 組成；xL表示第L層的輸出。

DSA-UFLD 算法使用預訓練的DenseNet-121密集連接網絡進行特征提取，通過復用DenseNet-121 訓練好的權重參數，根據訓練結果不斷進行微調，加快了網絡的學習速度，并降低了訓練過程的時間成本。

1.2.2 注意力機制

注意力機制是研究人員根據人類注意力的合理有效分配機制，提出的一種高效實現信息資源分配的方式，最早被用于機器翻譯領域，經過不斷發展已被廣泛應用于圖像處理領域［22-23］。 在目標檢測任務中，注意力機制能夠根據任務需求對特征圖分配不同的權重，達到聚焦關鍵信息而弱化其他信息的目的，使整個網絡提取到更有價值的信息。

圖5 為本文采用的空間注意力機制模塊，將輸入的特征圖xinput沿通道軸分別進行最大池化（max pooling）和平均池化（average pooling），得到通道數為1 的xave和xmax，并將二者拼接形成有效特征。 接著，通過3×3 的過濾器f3×3得到空間注意映射，然后對空間注意映射進行Sigmoid激活獲取注意力權重圖，最后利用權重圖對xinput重新賦予權重。 具體實現過程可由式（3）進行描述:

圖5 空間注意力機制Fig． 5 Spatial attention mechanism

1.2.3 上采樣模塊

DSA-UFLD 網絡在輔助分割階段采用圖6 中的上采樣模塊實現解碼，其核心是使用3×3 的卷積進行特征再提取，獲取更豐富的圖像信息；并在通道維度上采用批量標準化將輸出數據歸一化為相同的分布；同時經過ReLU激活函數增強非線性，更好地擬合訓練數據；再采用轉置卷積代替雙線性插值進行二倍上采樣，相比UFLD 算法中使用的雙線性插值法，轉置卷積通過在訓練過程中學習模型參數，使上采樣達到最優。

圖6 上采樣模塊Fig． 6 Upsampling module

1．3 損失函數設計

基于UFLD 的算法思想，DSA-UFLD 算法采用4 種損失函數，分別是:輔助分割分支使用交叉熵損失Lseg、分類分支使用分類損失Lcls、相似度損失Lsim以及形狀損失Lshp。 文中擬做研究表述如下。

（1）交叉熵損失。 具體公式為:

其中，m為批量大小；y為真實標簽值；a為預測的類分布；Lseg表示一個批量樣本的損失值。

（2）分類損失。 具體公式為:

其中，Pi，j，:由式（1）計算所得，為第j行的每個網格屬于第i條車道線的概率；Ti，j，:表示真實標簽；LCE表示交叉熵損失函數。

（3）相似度損失。 用于描述相鄰行間的平滑性，具體公式為:

（4）結構損失。 用于約束車道線的形狀，在UFLD 算法中，使用二階差分與0 的差值將車道線約束為直線，但在彎道場景下表現不佳。 因此在本文中將車道線定義為二次曲線，利用相鄰行間的二階差分約束車道線形狀，即二階差分與二階差分的差值，則結構損失可表示為:

其中，Li，j表示第i條車道在第j個行錨上的位置，該位置由公式（8） 確定:

其中，w＝100，表示網格數，probi，j，k是對公式（1）的預測值做softmax處理，得出的第i條車道出現在第j個行錨、第k個網格上的概率。

經過反復實驗得出，通過對結構損失分配較小的權重，可以達到在不影響直線車道檢測效果的同時，提高彎道場景下車道線檢測的準確率。 因此總損失可表示為:

2 實驗

2．1 實驗環境與數據集

DSA-UFLD 算法采用Python 作為開發語言，網絡搭建基于PyTorch 框架，實驗所使用的服務器配置為Tesla P100 16 G，模型的訓練與測試均采用GPU 加速器進行。

實驗數據集采用圖森公司（TuSimple）于2018年公開的TuSimple 車道線數據集［24］。 該數據集采集于美國的加利福尼亞州，包括中等天氣條件、不同時間段和不同交通狀況下的城市交通公路場景，每個場景包括20 幀圖像，前19 幀主要用于車道線視頻檢測，因此在實驗中使用第20 幀圖像。 TuSimple車道線檢測數據集有訓練集3 626 張、測試集2 782張，每張圖像的分辨率為1280×720，車道線總數不超過5 條，圖7 為數據樣本與標簽。 為測試DSAUFLD 算法在彎道處的效果，在訓練結束后，通過對測試集進行人工挑選，得到300 張彎道數據集，該數據集同樣包括不同時間段和交通狀況下的道路場景。

圖7 原始數據樣本與標簽Fig． 7 Raw data samples and labels

2．2 評估標準

本文采用目標檢測領域常用的準確率Acc（Accuracy）、漏檢率FN（False Negative）和誤檢率FP（False Positive）作為車道線檢測的評價指標。對此內容可做剖析闡述如下。

（1）準確率。 用于衡量模型正確預測的能力。推得公式如下:

其中，Cclip表示模型正確預測的車道線點數，Sslip表示相應的groud-truth 中的車道線點數。

（2）漏檢率。 該值為模型在預測中將車道線點識別為非車道線點的比例。 推得公式如下:

其中，Mpred表示模型在預測中漏檢的車道線點數，Ngt表示標簽中所有的車道線點數。

（3）誤檢率。 該值為模型將非車道線點預測為車道線點的比例。 推得公式如下:

其中，Fpred表示預測時誤檢的車道線點數，Npred表示預測結果中車道線點總數。

2．3 實驗結果

使用TuSimple 訓練集在DSA-UFLD 模型上進行訓練，原始圖像像素為1280×720，為提升檢測速度，將圖像像素壓縮至288×800。 訓練過程中，迭代周期設為200，batchsize為8，初始學習率為0.000 1，為避免陷入局部最優，在訓練中根據訓練步數采用余弦退火方法調整學習率。 優化器采用收斂速度較快的Adam，權重衰減因子為0.000 1。保存訓練中的最優模型，并將模型用于TuSimple 測試集和彎道測試集以測試性能，并與UFLD 算法進行對比。

（1）主觀檢測性能分析。 圖8 為2 種算法在直線車道和彎道場景下的部分測試效果，前兩列為DSA-UFLD 的檢測結果，后兩列為UFLD 的檢測結果。 由圖8 可知，2 種算法均可檢測出較為完整的車道線，但通過仔細對比可以發現，DSA-UFLD 算法無論在直線車道、還是彎道，都能檢測出較平滑的車道線，不僅具有良好的延伸性，而且在彎道處預測車道線與真實車道線的貼合程度也高于UFLD 算法。

圖8 測試結果Fig． 8 Test results

（2）量化檢測性能分析。 依據上文提到的評價指標，分別計算準確率、漏檢率和誤檢率，其結果見表1 和表2。 這里，表1 是UFLD 和DSA-UFLD 在TuSimple 測試集上的表現，表2 為二者在彎道測試集上的結果。 由表1、表2 中數據可知，DSA-UFLD算法無論是在TuSimple 測試集、還是在彎道測試集上，準確率都高于UFLD 算法，且漏檢率和誤檢率均有所下降。

表1 TuSimple 測試集評估結果對比Tab． 1 Comparison of TuSimple test set evaluation results

表2 彎道測試集評估結果對比Tab． 2 Comparison of evaluation results of curve test set

3 結束語

本文通過改進UFLD 算法，提出一種DSAUFLD 模型實現車道線檢測。 該方法通過使用圖像亮度自適應增強，提高了訓練圖像的清晰度和車道線的辨識度；將UFLD 模型的編碼器ResNet18 替換為預訓練網絡DenseNet-121，利用密集連接最大化了前后層間的信息交流，實現了特征重用；并使用空間注意力機制提取車道線的關鍵信息，抑制了無用信息；對結構損失函數進行改進，將車道線約束為二次曲線，通過為結構損失分配較小的權重，提高了直線車道的識別準確率，并改善了彎道場景的檢測效果。 從主觀檢測和量化檢測兩方面分析實驗結果可知，DSA-UFLD 算法在準確率和檢測效果上都明顯優于UFLD 算法，因此，本文提出的算法具有一定的可行性和應用前景。