基于深度學習的車道線與綠植分割算法

劉艷洋 張沛綱

（1.智慧互通科技有限公司 河北省張家口市 075000 2.張家口鐵建交通有限公司 河北省張家口市 075000）

近年來，關于車道線檢測的研究逐步在發展，檢測出車道線的位置，對之后識別違停車輛有著重要作用。實際道路場景中路面狀況較復雜性，車道線線型多樣，使得車道線檢測問題較難解決。當前，基于圖像的傳統車道線檢測方法通過利用車道線的顏色、亮度、形狀等信息，設定圖像中的感興趣區域，可以實現簡單背景下對車道線的粗略檢測[1]。但是，這類方法并不適用于復雜道路環境下的車道線定位與識別，尤其是針對受到車輛或者陰影遮擋，或者是因綠植存在對攝像頭造成遮擋的情況。隨著深度學習的快速發展，尤其是圖像語義分割技術逐步成熟，使得車道線檢測中的遇到的難題有望得到解決。

基于深度學習的檢測方法，在訓練過程中需要先對樣本進行標注，再通過訓練標注過的樣本進行深度自學習，來得到車道線的深度特征。經過深度學習訓練好的模型對于復雜路況下的車道線和綠植的識別與定位是較為精準的。宋揚[2]等人為提高基于深度學習的車道線檢測方法在夜間低曝光場景下的車道線檢測的查全率，提出了一種深度圖像增強網絡和車道線檢測網絡( Lane Net) 相結合的車道線檢測方法，實驗結果表明，該方法有著良好的檢測車道線的能力。li[3]提出了一種將卷積神經網絡( Convolutional Neural Network，CNN) 和循環神經網絡( Recurrent Neural Network，RNN) 相結合的車道線檢測網絡，其中卷積神經網絡用于確定車道線的位置，循環神經網絡則用于獲取待檢測車道線的整體結構特征，實驗結果表明該方法有著良好的檢測車道線的能力。LEE[4]等人提出了一種集車道線檢測、車道線位置預測、路面標志檢測識別于一體的多任務網絡VPGNet( Vanishing Point Guided Network),該網絡在光照條件下都有著良好的檢測能力，在惡劣天氣狀況下仍能保持較高的車道線檢測精度。

基于深度學習的車道線檢測方法能夠提取到復雜路況中的車道線特征，在特征提取上具有很大的優勢。以往的車道線檢測方法只探討了檢測車道線的位置和方向，沒有考慮綠植會遮擋攝像頭。本文針對車道線檢測中因圖片質量不高存在的車道線模糊，或因行人機動車遮擋，以及綠植遮擋導致車道線檢測精度不高的問題，提出了一種將增強后的圖像與實例分割網絡Deeplabv3 相結合的車道線和綠植檢測方法。首先，使用圖像增強網絡對待檢測圖像進行圖像增強，提高圖像對比度和清晰度，然后，使用一個基于編碼器、解碼器架構的實例分割網絡Deeplabv3 進行車道線和綠植檢測并進行實例分割。實驗結果表明，該算法提出的方法在道路環境多變和夜晚中能很好的將車道線和綠植的分割。

圖1：圖像增強網絡

1 圖像增強網絡

1.1 網絡結構

用生成對抗網絡[5]做圖像增強網絡主要包含兩部分：生成網絡和判別網絡。訓練時同時使用生成網絡和判別網絡，而在圖像增強時只使用生成網絡。增強網絡經過自主學習，可以通過白天的圖像信息來生成晚上的圖像信息，通過夏天的圖像信息生成冬天的圖像信息，通過晴天的圖像信息生成霧霾的圖像信息。因此，原始的圖像信息在經過圖像增強網絡后，訓練數據量得以大大增加。生成網絡結構如圖 1 所示。

輸入的原始圖片首先經過卷積核為9×9 的卷積層，接著著4 個殘差塊與之前的卷積層同樣結構，每個殘差塊包括 兩個卷積核為3×3 的卷積層和 1 個批量歸一化層。值得注意的是，該生成網絡中所有卷積層的深度都是64。在激活函數的選取上，中間層的激活函數為線性激活函數，而輸出層的為激活函數為tanh。

1.2 損失函數

損失函數由四部分組成：顏色損失、紋理損失、內容損失和總變差損失。顏色損失的原理公式如式（1）：

其中：Xb和 Yb分別為圖像 X 和 Y 經過高斯濾波后的圖像。

紋理損失的形式如式（2）：

其中：Fw和D 分別表示生成網絡和判別網絡，Is和 It分別表示輸入圖像和目標圖像( 均為灰度圖）。

內容損失通過輸入圖像和目標圖像之間的特征差異描述，該特征通過卷積網絡提取，損失函數的形式如式（3）：

總變差損失的形式如（4）：

其中：C、H、W 表示增強圖像的維度。通過最小化增強圖像的梯度，總變差損失可以在不影響增強圖像的高頻成分同時減少椒鹽噪聲。最終的損失由上述 4 個損失加權而成，即：

2 車道線和綠植分割網絡

2.1 分割網絡結構

本文提出的算法是將原始包含車道線和綠植的圖片增強后，再將增強后的圖像輸入到分割網絡Deeplabv3[6]，是一種相結合的車道線和綠植檢測方法。首先，使用圖像增強網絡對待檢測圖像進行圖像增強，提高圖像對比度和清晰度，然后，使用一個基于編碼器、解碼器架構的實例分割網絡Deeplabv3 進行車道線和綠植檢測并進行實例分割。DeeplabV3 采用空洞卷積的上采樣濾波器提取稠密特征映射和去捕獲大范圍的上下文信息，引入語義分割常用的編碼器和解碼器架構。在編碼器和解碼器的架構中，通過空洞卷積平衡精度和耗時。圖3 為本文方法分割的整體流程。

2.2 實驗環境與數據集

為了驗證本文所提出的車道線和綠植的分割網絡的有效性，分別在白天和夜晚場景下對其進行了驗證，其中四種場景下的驗證使用了自建數據集，所有的圖像數據由智慧互通科技有限公司于2019年6月~11月在北京市昌平區拍攝。該數據集涵蓋了四種類型場景的圖像：白天無綠植、夜晚無綠植、白天有綠植、夜晚有綠植四種類型的數據集。共拍攝照片14400 張，其中四種場景的圖片各有3600 張。其中訓練集和測試集按3：1 的比例劃分，故每種場景包含10800 張訓練集圖片、3600 張測試集圖片。

數據集中的部分圖片如圖4 所示，實驗在PC 上進行，PC 的硬件配置如下：CPU Core-i7，GeForce RTX2080，內存16 GB。環境配置為：Tеnsorflow1.10.0，python 3.5，Linux Ubuntu 18。

3 實驗結果對比

圖2：綠植和車道線分割的總體流程圖

圖3：Deeplabv3 網絡結構圖

為驗證本文提出的方法的有效性，評測車道線和綠植的分割網絡性能，將本方法分別與直接使用U-Net 網絡的車道線分割方法和直接使用DeeplabV3 的車道線的分割方法相對比，從圖 5 中可以看出，無論在白天光照較好的條件下，或者是夜間照明不良的情況下，后兩種方法分割出的車道線邊緣不完整，甚至在夜間條件下只能檢出車道線的一小部分，而本文提出的方法則能夠有效地檢出所有車道線，而在低曝光的夜晚條件下，U-Net[7]和DeeplabV3 網絡均出現了不同程度的漏檢和誤檢現象現象，U-Net 網絡不能檢測全局特征，全局特征包含高層次的信息，如場景分類、主題類型、全局亮度等，本文方法因在分割前引入了圖像增強網絡，故在各種復雜環境下依然能夠有效地分割出車道線和綠植，各方法車道線和綠植的檢測結果對比如表2 所示。為了判斷是否能成功分割出車道線和綠植，計算出車道線真值（T）與預測值（H）之間的重疊部分占真值的百分比（IoU）。IoU 大于某個閾值的預測，被視為準確檢測到了車道線。本文以 IoU 大于或等于0.5 作為檢測標準。

表1：測試集中四種場景下車道線和綠植的數量

表2：三種類型算法測試集上的檢測精度對比

圖5：車道線和綠植部分的分割結果

IoU 的計算如式（5）所示。

各類型算法的檢測精度對比如表2 所示。其中，車道線總數=數據集總幀數×每幀圖片中的車道線數，正確檢出數為被檢測出車道線與車道線實際位置相符的車道線數。綠植數同理。從表2 中可以看出，在四種場景下，3 種方法均存在不同程度的漏檢數，這是由于不同光照環境下的車道線模糊不清，特征難以提取。但是本文所提出的方法較另外兩種方法檢測率有所提升。

圖5 為不同方法分割出的車道線和綠植的結果。

4 結論與展望

本文針對夜間場景下車道線模糊不清、燈光干擾嚴重的問題，提出了一種將增強后的圖像與實例分割網絡Deeplabv3 相結合的車道線和綠植檢測方法，并在白天和夜晚條件下的多個數據集上進行了驗證，實驗結果表明，在使用相同數據集時，本文提出的方法用于車道線檢測時，正檢率大大高于直接采用U-Net 網絡和Deeplabv3 網絡的檢測方法，同時綠植正檢率也比另外兩種方法高，該方法在夜間場景下表現穩定，具有較高的魯棒性。在未來的研究過程中，本研究將對增強網絡結合分割網絡的方法進一步的進行改進，以降低漏檢數，提高檢測的精準度。