基于ResNet50的惡劣天氣識別研究

劉奧強，張 旭

（上海工程技術大學 機械與汽車工程學院，上海 201620）

0 引 言

機器視覺在惡劣的天氣條件，特別是在霧、雪和雨天，大大降低了能見度，從而常常影響了圖像和視頻的清晰度。迄今為止，對智能交通管理與天氣識別的關系的研究仍然比較少見，因此，惡劣天氣分類識別值得學界去研究并應用。機器視覺有助于更好地了解天氣。

近年來，對自動駕駛的研究已經逐步展開，但在惡劣天氣下仍然沒法安全駕駛。對惡劣天氣進行實時的檢測，并及時反饋給駕駛員，則可以進一步提高駕駛安全性。本研究旨在針對單幅圖像（如雨、霧、雪、雷）進行惡劣天氣識別，鑒于此擬將建立一個更好、更準確的模型。

分析可知，從單一的圖像中理解天氣的研究仍亟待完善。雖然文獻［2-3］提出了車輛的天氣識別，但卻依賴于車輛的特定先驗。場景理解方法依賴于結構信息將場景分為不同的類別。結構信息基于光照不變的特征，如SIFT或HOG。天氣線索更加復雜，而且不是特定場景的，使得傳統的天氣分類方法不適用。由于缺乏天氣預報，無監督的視覺學習方法也不適合這項任務。近年來，有許多人關注與提取天氣特征的分類研究，如Roser等人基于灰度圖片提取了圖像特定區域的顏色及飽和度等表面特征來進行分類；Zhang等人利用相似的框架針對不同天氣下的特定區域來構建天氣特征，例如天空、陰影、雨條紋和雪花區域等，來實現4類天氣分類；如Elhoseiny等人使用AlexNet解決晴天和多云分類問題；Zhu等人使用GoogleNet進行惡劣天氣識別。

在現如今的天氣分類中，大部分學者還是通過利用人工設計特征去識別天氣數據集。本次研究將在卷積神經網絡中加入HDA分層深度聚合。HDA聚合了不同層級特征信息，不僅僅在軸方向上從淺到深聚合特征，還增加了軸方向的層級聚合。因此本文提出一種卷積神經網絡模型，并在自建的惡劣天氣數據集上進行實驗研究。結果表明，本文提出的模型進一步提高了識別精度。

1 方法

1.1 算法概述

本文的研究工作是受到這些年來深度學習在圖像分類領域不斷成功的啟發，采用了ResNet50來解決惡劣天氣分類識別任務，如圖1所示。由圖1可知，模型中主要包括卷積層、池化層、全連接層。其中，輸入尺寸是224×224，輸出層是4個類別，包括雨天、霧天、雪天、雷電。

圖1 ResNet50天氣分類模型的基礎示意圖Fig.1 Schematic of the basis of the ResNet50 model for weather classification

1.2 損失函數

本文的損失函數選用的是交叉熵（），這是從KL散度中引出，用于衡量2個分布之間差異的大小，其值總是大于等于0。2個分布越相似，其值越接近于0，與函數結合用于此天氣分類模型，此處需用到如下數學公式：

其中，［，，…，p］是一個概率分布，每個元素p表示樣本屬于第類的概率，而［，，…，y］是樣本標簽的one-hot表示，當樣本屬于第類別時y＝1，否則y＝0，是樣本標簽。

1.3 訓練技巧

圖像分類的常用數據增強方法是人工設計的，然而最好的增強方法是根據任務數據集特定的。研究中常見的模型使用旋轉、縮放、平移、隨機裁剪、圖像鏡像和色彩漂移／白化，由于這些方法是手動設計的，因此需要專業知識和時間。本文中采取了數據自動增強方法，該方法創建一個數據增強策略的搜索空間，每一個策略都是為數據集中的單一圖像隨機選擇的，表示一些可能的增強運算選擇和順序。每個運算都是前文提到的圖像增強方法，還有使用該方法的概率。此后將利用搜索算法選取適合多類天氣數據集的最佳策略，使模型有很好的準確率，同時又使用了強化學習作為搜索策略。最后，文中還使用了正則化，這有助于提升訓練效果。

2 HDA分層深度聚合

即使在卷積網絡中有深度的特征，一個孤立的層也是不夠的，分層深度聚合（Hierarchical Deep Aggregation，HDA）這些表示可以改進對內容和位置的推斷。聚合，就像深度和寬度一樣，是架構的一個關鍵維度。在該項工作中，本文研究了如何聚合層來更好地融合語義和空間信息以進行識別和定位。擴展當前方法的“淺層”跳過連接，文中得到的聚合體系結構為分層深度聚合（HDA），如圖2所示。這些結構通過獨立于主干框架表示，以與當前ResNet50網絡模型兼容。HDA組裝自己的樹結構連接層次結構，這些樹結構連接跨越和合并階段，以聚合不同級別的表示。

圖2 聚合體系結構Fig.2 Aggregation architecture

分層深度聚合將塊和階段合并到樹中，用來保留和組合特征通道。通過HDA，可以將較淺和較深的層結合起來，以了解跨越更多特征層次，創建更豐富的組合。建立了HDA的總體結構后，就可以提高其深度和效率。這將傳播所有先前塊的聚合，而不是僅傳播前一個塊，從而能更好地保留特征。深度為的分層深度聚合函數T表示如下：

其中，是聚合節點，和定義如下：

其中，表示卷積塊。

3 實驗結果與分析

3.1 實驗平臺及數據集

本文是在Windows 7（x64）操作系統下進行仿真實驗，仿真開發軟件平臺為Python 3.6.3，Pytorch 1.1.0，采取了一些訓練技巧，惡劣天氣數據集的特征學習較高，達到了不錯的準確率。

實驗的流程圖如圖3所示，本文天氣狀態數據采用自建的惡劣天氣數據集，按天氣狀態分類為霧天、雨天、雪天、雷電共4個種類，每類均為1 000張，天氣狀態分類如圖4所示。經過圖像預處理后，文中提供10次隨機訓練／測試。在每次實驗中，將從每個天氣類別中隨機選擇80%的數據用于訓練，其余的用于測試，與此同時記錄了仿真得到的分類準確率和方差。

圖3 提出的天氣狀況分類系統的流程圖Fig.3 Flow chart of the proposed weather condition classification system

圖4 數據集中每類的例子Fig.4 Examples of each class in the dataset

3.2 不同方法實驗對比分析

4種天氣類型不同學習模型的實驗精度比較如圖5所示。各模型實驗平均準確度分類結果詳見表1。實驗中，主要與其他廣泛使用的分類方法AlexNet、VGG16、ResNet50進行比較。同時也注意到，基于ResNet的網絡模型在圖像分類上具有不錯的識別效果，本文的方法比原先的基礎網絡提高了識別結果，因為本文的方法利用了預先訓練好的神經網絡模型的優勢。

圖5 4種天氣類型不同學習模型的實驗精度比較Fig.5 Comparison of the experimental accuracies of different learning models for the four weather types

表1 各模型實驗平均準確度分類結果Tab.1 Classification results of average accuracy of each experimental model %

4 結束語

深度學習在解決各類圖像問題上都有不錯的表現。本文選用深度學習的方法，結合HDA分層深度聚合，對常見的4類天氣狀態進行分類識別。結果顯示：HDA分層深度聚合模型與調整的ResNet50結合具有較高的識別準確率，在本文的數據集中平均識別準確率達到95.1%，且該模型具有較好的泛化能力。通過實驗發現，提出的深度學習模型在參數和架構上仍然具有提升的空間，所以將來在提高識別準確率的圖像識別處理工作中，完善天氣狀態數據集、改善網絡結構和參數，提高計算效率是下一個研究目標。