基于語義分割的高速公路天氣識別算法

劉 電 張秀杰

（廣州國交潤萬交通信息有限公司,廣東 廣州 510640）

隨著高速公路的發展，公路行駛安全問題越來越受到關注。統計數據表明，由惡劣天氣，如雨天、雪天、霧天等導致的高速公路事故占比約20%，且惡劣天氣發生重大交通事故的概率比晴天高出5倍[1]。因此，實時準確地識別天氣、發現惡劣天氣是預防交通事故的重要任務。傳統的基于圖像的天氣識別方法以先驗知識為基礎，基于圖像本身的淺層表征特征[2]，如色彩飽和度、邊緣和形狀特征等進行識別。為了更完整地表達出圖像中的天氣特征，侯慧蓉（2017）采用多種圖像表征特征提取方法，包括LBP、HSV、HOG等提取圖像特征，融合這些特征后輸入分類器識別天氣圖像[3]。但高速公路圖像中，道路普遍占據圖像面積一半以上，天氣表征不明顯，圖像的天氣特征更多地表現在路面上，如晴天路面陰影、雨天路面反光等。因此，基于高速公路圖像的天氣識別研究需要著重關注道路區域天氣特征。目前的道路分割算法大多是基于深度學習，如ENet[4]是借鑒U-Net[5]提出的一種基于編碼器-解碼器結構的語義分割模型，在公開數據集Cityscapes[6]中取得了較好的道路分割效果，XU等人在BiSeNetV2的基礎上提出了一種更快的雙邊分割網絡Faster BiSeNet，以更緊湊的結構促進空間和語義分支的特征融合，從而提高實時性[7]。

上述現有的道路分割模型在高速公路道路分割中表現較差，因此本文針對高速公路場景構建了高速公路天氣圖像數據集，搭建了基于語義分割模型的天氣識別網絡，使用道路分割模型分割出道路區域，并設計了提取天氣特征的卷積網絡WFCN（Weather Feature-Extraction Convolution Network）分別對原始圖像和道路區域進行特征提取，在關注全局天氣特征的同時，重點關注道路區域天氣特征，實現了基于道路分割的高速公路天氣識別算法。

1 算法框架

針對高速公路圖像天氣識別任務，本文提出一種基于語義分割的天氣識別算法，算法流程如圖1所示。原始圖像首先會進入道路提取階段，道路分割模型負責對原始圖像進行像素分類，輸出圖像的道路區域，隨后道路區域將被送入WFCN網絡，經過特征提取得到道路區域天氣特征。同時原始圖像將直接輸入WFCN網絡進行全局天氣特征提取。然后將全局天氣特征和道路天氣特征融合輸入分類層進行分類。

圖1 基于語義分割的天氣識別算法流程圖

2 道路提取

針對語義分割精度不高、高速公路場景的道路分割研究較少的問題，本文提出一種結合DeepLabv3+和DASPP的高速公路道路分割算法，并在本文構建的高速公路語義分割數據集上進行實驗，為基于高速公路圖像的天氣識別算法打下基礎。

2.1 算法設計

道路分割模型流程如圖2所示，原始圖像輸入語義分割模型后，先經過編碼器中的深度卷積神經網絡完成深層語義信息提取，然后提取多尺度特征輸入解碼器，解碼器將不同尺度的特征進行上采樣，并進行拼接，最后將拼接得到的特征送入像素分類模塊輸出語義分割結果。

圖2 道路分割模型流程圖

2.2 基于語義分割的道路提取網絡

2.2.1 DeepLabv3+模型簡介

DeepLabv3+首次將編碼器-解碼器的結構引入到了DeepLab系列中，并將DeepLabv3模型中的ResNet50[8]替換為層數更多、感受野更大的Xception[9]，在不影響模型分割精度的同時，減少了模型的運算量。

2.2.2 DASPP

為進一步減少在下采樣過程中各層次的局部特征丟失，并提取到更具表征力的多尺度特征，本文將對DeepLabv3+中的多尺度特征提取模塊進行優化，使用DASPP（DenseASPP，密集空洞空間金字塔池化模塊）替代ASPP完成多尺度特征提取和融合。

ASPP由Chen等于2016年在DeepLabv2[10]模型中提出，空洞卷積的引入使ASPP能夠在多尺度特征提取過程中擁有范圍更廣的感受野的同時，特征圖分辨率不會降低。DASPP[11]由Yang等在DenseNet的啟發之下于2018年提出，旨在增大ASPP在尺度軸上的特征分辨率密集程度，加大特征圖在不同維度的感受野。受DenseNet[12]啟發，DASPP采用級聯融合的方式將不同膨脹率的空洞卷積層的輸出融合在一起，如圖3所示，DASPP從左到右每一層的空洞卷積層膨脹率依次增大，每一層空洞卷積層都會將輸入和上一層的輸出進行級聯操作，然后將結果輸入本層，從原始圖像中提取到的特征圖經過DASPP之后會得到包含更加豐富的和更大范圍感受野的多尺度特征圖。

圖3 DASPP網絡結構圖

2.3 對比試驗

2.3.1 高速公路語義分割數據集的構建

本文構建的高速公路語義分割數據集共包含2 562張來自廣東、江西、山西和遼寧4個省內多條高速公路的道路監控攝像頭數據，獲取攝像頭實時視頻流通過腳本程序獲取固定的時間間隔視頻幀，對每張圖像中的車輛、車道和車道線進行標注，圖4為高速公路語義分割數據集的分割示例圖。

圖4 高速公路語義分割數據集分割示例

2.3.2 試驗結果分析

將本文提出的結合DASPP的道路分割算法與其他經典語義分割模型在本文構建的高速公路語義分割數據集上進行對比實驗，結果如表1所示。從表1中可以看出，本文的語義分割算法的mIOU和mPA分別高達85.13%和90.63%，說明了道路分割算法的有效性。

表1 不同語義分割模型對比實驗結果

3 特征提取

本文基于語義分割進行天氣識別，特征提取階段包含兩個部分：重點關注道路區域天氣特征和全局天氣特征，結合深度可分離卷積和Xception設計天氣識別網絡，并對提取的特征進行融合。

3.1 深度可分離卷積

2017年提出的Xception輕量型網絡對Inceptionv3[14]進一步改進，通過引入深度可分離卷積替換原先的常規卷積，在不影響Inceptionv3模型精度的同時極大地提高了網絡的性能，在圖像分類公開數據集ImageNet驗證集上取得了Top1上79%的準確率。Xception網絡的核心在于深度可分離卷積模塊（Depthwise Separable Convolution），其操作示意圖如圖5所示。深度可分離卷積操作將不同通道相關性的學習與單個通道不同維度的相關性學習分開進行，相較于常規的卷積操作，深度可分離卷積操作極大地減少了參數量和運算量。

圖5 深度可分離卷積操作示意圖

3.2 天氣特征提取網絡WFCN

Xception網絡分為Entry Flow、Middle Flow、Exit Flow三個模塊，共有36個卷積層，分為14個特征提取模塊，不同特征提取模塊之間通過線性殘差連接方式連接。高速公路圖像中的天氣特征比較抽象，為更好地提取圖像中隱含的天氣特征，本文基于Xception網絡和深度可分離卷積模塊設計了新的網絡WFCN：第一，增加網絡的層數，在Middle Flow中，將原先重復8次的迭代學習增至16次，使用更深層的網絡能夠獲得更加高級的特征；第二，將所有的最大池化層替換成步長為2的深度可分離卷積層（Depthwise Separable Convolutional Layer），顯著降低模型參數量和運算量，提高模型的性能。WFCN網絡結構如圖6所示。

圖6 WFCN網絡結構圖

在天氣特征提取階段，原始圖像通過語義分割提取出道路區域，然后將原始圖像和道路區域圖像輸入天氣特征提取網絡WFCN，依次經過WFCN中的Entry Flow、Middle Flow和Exit Flow模塊，提取出全局天氣特征和相應的道路天氣特征，再將兩者融合輸入分類層。總體來說，在天氣特征提取階段，通過改進Xception網絡中一系列卷積操作，將原始圖像全局和道路區域的像素特征映射到深層隱含特征空間。

4 分類階段

分類階段包含全連接層和邏輯回歸層。首先將提取的全局天氣特征和道路天氣特征進行融合，受U-Net啟發，本文采用逐點相加融合的方式進行特征融合，將得到的綜合特征輸入分類層。分類層主要負責將融合之后的天氣特征進行整理和匯總，并將匯總后的特征通過全連接層進行表達，最終通過邏輯回歸層輸出模型預測的天氣類別。

在天氣特征提取階段得到的由全局天氣特征和道路天氣特征融合而來的綜合特征為維度為2048的特征向量，分類層收到特征向量之后，首先會將其輸入全連接層，全連接層負責將前面天氣提取階段學習到的深層隱含特征空間的綜合特征映射到樣本標記空間，即將維度為2048的綜合特征降維至5，也就是本文天氣樣本標記的類別數。經過全連接層之后，得到維度為5的預測分數向量，預測分數向量中的每一個元素對應著原始圖像在一種天氣類別上的得分。邏輯回歸層將使用分類函數softmax將預測分數向量轉換成預測概率向量，預測概率向量中的每一個元素代表原始圖像屬于這個類別的概率，預測概率向量k的計算過程如公式（1）所示，分類函數softmax的表達式為公式（2）。

式（2）中，ki為預測概率向量k中的第i個分量，zi為預測分數向量z中的第i個分量，e為自然常數，n為類別總數，j為類別索引；最終分類層將根據預測概率向量輸出原始圖像對應的天氣類別標簽L(k)，如公式（3）所示。

5 實驗結果

5.1 高速公路天氣數據集的構建

經過數據采集、篩選與標注之后，本文高速公路天氣圖像數據集包含來自多個省份不同高速公路路段的36 381張天氣圖像，并分為晴天、陰天、雨天、雪天、霧天五種天氣類別，各天氣類別圖像數量統計如表2所示。

表2 高速公路天氣數據集圖像數據統計

5.2 實驗配置詳情

實驗硬件配置和軟件環境如表3所示。

表3 軟/硬件配置詳情

5.3 消融實驗

為驗證本文WFCN網絡在天氣識別任務中的有效性，在構建的高速公路天氣數據集上設置多組對照實驗。對照實驗的模型設置和實驗結果如表4所示。通過調整Middle Flow特征提取模塊重復次數和Separable Conv替換池化操作，本文設計的WFCN模型在取得較高準確率的同時具有更少的參數量和運算量，模型性能是綜合最強的，證明了本文設計的天氣特征提取網絡的有效性。

表4 不同網絡結構的Xception模型性能對比

5.4 對比實驗

為驗證本文基于道路分割的天氣識別算法的優越性，本文在構建的高速公路天氣數據集上設置了多組對比實驗，選擇VGG16、ResNet50和GoogLeNet分別進行訓練，與本文提出的基于道路分割的天氣識別算法進行對比，對比實驗結果如表5所示。由表5可知，本文提出的基于道路分割模型的天氣識別算法的天氣識別準確率最高，且參數量和運算量較少，驗證了本文基于道路分割模型的天氣識別算法的優越性。

表5 不同模型天氣識別效果對比

6 結語

本文基于高速公路圖像天氣特征分布設計了一種基于道路分割的天氣識別算法，并在構建的高速公路天氣識別數據集上進行了消融實驗和對比實驗，取得較高的準確率，并具有性能優越性和魯棒性。但仍有一定的改進空間，首先在道路天氣特征和全局天氣特征的融合上可以考慮采用注意力機制，提升不同特征的融合效果；其次在網絡結構上可以結合其他輕量級的網絡例如ShuffleNet進行網絡結構的優化，進一步提升算法的性能和準確率。