基于AOD-Net和SSD的霧天車輛和行人檢測

陳瓊紅，冀 杰，種一帆，宮銘錢

（西南大學 工程技術學院，重慶 400715）

車輛和行人檢測是實現智能交通以及自動駕駛的必經之路。在霧霾天氣下，通過相機拍攝的圖片對比度下降、可辨識度較低［1］，嚴重影響城市道路上車輛和行人的檢測。因此，利用霧天環境下的車輛和行人檢測，精確感知道路前方的交通信息，對降低交通事故的發生率和保障駕乘人員的人身安全有重要意義。

霧天環境下的車輛與行人檢測分為2個階段，去霧階段和車輛與行人檢測階段［2］。目前，霧天圖片的去霧處理主要分為圖像增強［3］和圖像復原［4-8］兩大類。He等［4］提出基于暗通道先驗知識統計的去霧算法，該方法往往高估霧氣濃度，導致去霧過度；Tang等［9］利用隨機森林法對霧天圖片中的特征進行學習，從而得到最優傳播圖；Cai等［10］提出DehazeNet，利用卷積網絡［11-12］提取圖片特征并得到圖片傳輸圖。該方法在某些特殊場景，會造成該環境下的傳播圖估計不準確，導致去霧效果不理想。綜上所述，目前的去霧算法主要是根據大氣散射模型原理，分別對傳輸圖和全局大氣光值進行估計，最終得到恢復的真實圖片。本文選用AOD-Net（All-in-One Dehazing Network）算法［13］，利用卷積網絡對全局大氣光值和傳輸圖進行聯合估計，從而得到恢復的真實場景圖片，使得重建誤差更小［14］。

在圖像目標檢測領域，利用深度學習進行目標檢測的算法主要分為雙階段［15-17］和單階段［18-19］兩大類。“雙階段”是指先對圖片生成建議候選區域，再進行預測識別，以Girshick R等提出的R-CNN系列為代表，其中Faster R-CNN對目標檢測的影響較為深遠；“單階段”則不需要生成建議區域，直接進行預測識別，以Redmon J提出的YOLO系列和Liu W等提出的SSD（Single Shot MultiBox Detector）［19］為代表。其中，SSD網絡延續了YOLOv1網絡直接對檢測對象回歸出預測框和分類概率的特點，又借鑒了Faster R-CNN網絡中利用RPN層產生大量的anchor的特點。除此之外，SSD的網絡訓練框架相對簡潔，因此SSD與Faster R-CNN相比檢測速度更快且檢測精度與Faster R-CNN相媲美；SSD框架與YOLOv1框架相比，其檢測精度和檢測速度更高。本文選用SSD網絡實現車輛和行人檢測，其流程如圖1所示。

圖1 算法流程框圖

1 霧天圖片處理

在霧霾天氣下，導致相機拍攝到的圖片質量降低有2個方面，一方面是大氣中懸浮粒子對入射光的散射作用，造成入射光從景物點傳播到成像設備觀測點的過程中出現削弱衰減現象；另一方面是大氣中的大氣微粒偏離原來的傳播方向融入到成像光路中，并與目標物體的反射光一起參與成像。

McCartney提出大氣散射模型理論［20］揭示霧天圖片顏色衰退以及對比度下降的原因。大氣散射模型由入射光衰減模型和大氣光成像模型兩部分組成。其中，入射光衰減模型描述場景反射光線傳播到觀測點的能量變化；大氣光主要由同樣直射光、天空散射光和地面反射光組成，因此傳播距離越大，大氣光在成像模型中的影響越大。

根據大氣散射模型理論，得到霧天圖像退化模型的公式如下所示。

式中：I（x）為帶霧圖片；J（x）為恢復的真實場景圖片；A為全局大氣光值，表示觀測方向上大氣環境中其他光路在觀測方向上的影響，一般為全局常量；t（x）為透射率，即傳輸圖，描述光線對霧氣的穿透能力，一般取值0～1之間。

當大氣同質時，透射率可以表示為

式中：β為散射率，當大氣均勻時，在一定時刻對于整幅圖像來說β是一個定值；d（x）為場景對象到傳感器的距離，即場景深度。

對式（1）進行整理，得到恢復的真實場景圖片表達式為

AOD-Net算法由K值估計模型和清晰圖片生成模型2個部分組成，AOD-Net算法的模型如圖2所示。

圖2 AOD-Net模型

K值估計模型對輸入圖片的傳輸圖和全局大氣光值進行聯合估計，如式（4）所示。

式中，b為常數偏置，默認值為1。

從式（4）可以看出，K（x）除了與透射率t（x）和全局大氣光值A有關，還與輸入圖像I（x）有關，K（x）隨著輸入圖像I（x）變化而變化，從而建立了一個輸入自適應模型。通過最小化輸出圖像J（x）與清晰圖像之間的重構誤差來訓練模型，使輸出J（x）與清晰圖像的誤差最小，從而輸出恢復的真實場景圖片J（x）。

K值估計模型的結構如圖3所示，由5個卷積層和3個連接層組成。卷積層分別采用不同大小的卷積核來提取不同尺度的特征，且每個卷積層僅使用3個卷積核。為了將不同卷積層提取到的特征相結合，在卷積層之間加入Concat層。其中Concat1將Conv1和Conv2提取到的特征連接在一起；Concat2將Conv2和Conv3提取到的特征連接在一起；Concat3將Conv1、Conv2、Conv3和Conv4提取到的特征連接在一起。利用Concat層既可以結合多種特征，實現從低層特征到高層特征的平滑轉換；又可以補償在卷積過程中的信息損失。

圖3 K值估計模型

根據大氣散射模型原理，將估計得到的K（x）代入式（3），得到清晰圖片生成模型的公式如下。

利用AOD-Net算法對圖片的透射率t（x）和全局大氣光值A進行聯合估算，得到恢復的真實場景圖片J（x），為后續SSD網絡的模型訓練奠定基礎。

2 車輛和行人檢測

本文采用SSD算法作為霧天車輛和行人的檢測網絡。在SSD網絡中將提取到的多級特征圖作為車輛和行人分類及其預測框回歸的依據，在SSD網絡中，靠前的卷積層提取到的特征圖（大特征圖）用于檢測圖片中遠處的車輛和行人以及近處的小目標行人；靠后卷積層提取到的特征圖（小特征圖）用于檢測近處的車輛和行人，從而達到多尺度特征的檢測效果。SSD網絡框架由基礎網絡層和輔助網絡層2個部分組成，如圖4所示。

1）基礎網絡層：本文選取VGG16作為車輛和行人檢測的基礎網絡，將原VGG16中的FC6和FC7 2個全連接層分別改為卷積層Conv6和Conv7，然后去掉dropout層和FC8層。其中Conv6采用空洞卷積，使得網絡在不增加參數及模型復雜度的情況下卷積視野指數級擴大。

2）輔助網絡層：由位于基礎網絡層之后的4個卷積層組成，分別提取不同的特征圖用于車輛和行人檢測的分類和預測框回歸。

圖4 SSD網絡結構圖

由圖4可知，最后用于車輛和行人目標分類及預測框坐標回歸的特征圖由Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2等提供，利用不同的特征圖進行分類回歸能夠提升模型對車輛和行人的檢測精度，且在每一層特征圖上的每一個單元產生先驗框的過程如下。

式中：m為特征圖個數；sk為第k個特征圖的尺度；smin為先驗框的最小值，smin=0.2；smax為先驗框的最大值，smax=0.9。

Conv4_3、Conv10_2、Conv11_2等卷積層提取特征圖的每一個單元產生4個先驗框，其高寬比ar1有2種尺寸，一般取ar1=｛1，2，1/2｝；對于Conv7、Conv8_2、Conv9_2等卷積層則產生6個先驗框，其高寬比ar2有3種尺寸，一般取ar2=｛1，2，3，1/2，1/3｝。

在形成先驗框時，針對特定卷積層的特定高寬比，得到先驗框的寬和高計算公式如下：

式中：ari取ar1或ar2內的數值。

當高寬比ari=1時，除了特定尺寸sk的先驗框外，還會另設一個先驗框，其尺寸為：

圖片中生成的每個先驗框都會預測一個邊界框，因此一張圖片共產生8 732個邊界框。遵循一個先驗框只能與一個真實框匹配，一個真實框可以與多個先驗框匹配的原則。首先對霧天城市道路圖片中每一個車輛和行人的真實框找到與其交并比（IOU）最大的先驗框進行匹配；對于未匹配的先驗框，若存在真實框與某個先驗框的交并比大于0.5，則該先驗框與真實框匹配。若一個先驗框與多個真實框的交并比均大于0.5，則選擇交并比最大的那個真實框與先驗框進行匹配。其中與真實框進行匹配的先驗框為正樣本，反之為負樣本。為了保證正負樣本相對均衡，故對負樣本進行抽樣，并按照置信度誤差進行降序排列，選取損失最大的前k個作為訓練負樣本，使得正負樣本比例約為1∶3。根據SSD網絡的匹配原則，訓練得到車輛和行人檢測模型的總損失（L）為位置損失（Lloc）和置信度損失（Lconf）的加權和，如式（10）所示。

式中：α為權重系數，設置為1；N為邊界框的數量，當N=0時，總損失為零。

車輛和行人檢測的位置損失是預測框l和真實框g參數之間的Smooth L1損失，如式（11）所示。

真實預測值是先驗框d的中心（cx，cy）、寬度w和高度h相對于真實框的轉換值，如下所示。

車輛和行人檢測模型的置信度損失為Softmax Loss，其定義如式（17）。

3 實驗與結果分析

3.1 實驗配置

本文實驗的操作系統為Ubuntu 18.04.2，運行內存為64 GB，雙NVIDIA RTX 2080Ti型GPU，Intel?Xeon（R）Gold 6242 CPU@2.80GHz處理器，并行計算框架版本為CUDA 10.1，深度神經網絡加速庫為CUDNNv 7.6.1.34。采用Python編程語言在Pytorch 1.1.0深度學習框架上完成模型的訓練與測試過程。

3.2 去霧處理的結果分析

本文利用NYU2數據集［21］對AOD-Net網絡進行訓練，其中訓練參數學習率為0.000 1，權重衰減為0.000 1，batch_size為8，epoch為10。利用訓練好的去霧模型對真實場景下的霧天圖片數據集RTTS［22］進行去霧處理，得到不同霧氣濃度下，去霧處理前后的圖片對比結果，如圖5～7所示，其中（a）為原始帶霧圖片，（b）為去霧處理后的圖片。

圖5 薄霧的處理結果

圖6 中霧的處理結果

圖7 濃霧的處理結果

對圖5～7中不同程度霧氣濃度的處理結果進行對比分析知，霧天復雜交通環境下，經過去霧處理后的圖片中被霧氣遮擋的車輛和行人輪廓能夠凸顯，細節信息都更為豐富，顏色更加飽和，目標的可辨識度、對比度更高。

采用平均峰值信噪比（PSNR）和平均結構相似度（SSIM）對去霧處理前后的圖片質量進行評價。其中PSNR為基于對應像素點間的誤差，即基于誤差敏感的圖像質量評價，對一張H×W的圖片，其公式如下所示。

平均結構相似度分別從亮度、對比度、結構3個方面度量圖像的相似性，其表達式如下：

式中：uX、uY為圖像X和Y的均值；σX、σY分別為圖像X和Y的方差；σXY表示圖像X和Y的的協方差；C1、C2、C3為常數項。

PNSR和SSIM值越大，表示圖像失真越小。RTTS數據集去霧處理前后的PSNR和SSIM對比如表1所示。

表1 去霧處理前后的客觀評價

通過表1可知，經過去霧處理后，圖片的平均峰值信噪比和平均結構相似度分別提高了0.325 5、0.020 2。因此，去霧處理后的圖片失真更小，噪音更少，對比度更高，圖像更加明亮且目標物體的邊緣信息更加豐富。

3.3 SSD網絡訓練

由于同時獲取霧天圖片和與之相對應的清晰圖片在現實生活中較難，故在以往的去霧算法中均采用人工合成霧天圖片進行模型訓練。一般情況下，人工合成霧天圖片的霧氣濃度較低且分布相對均勻，與真實場景下的霧天圖片有較大差距，因此利用人工合成霧天圖片訓練出的模型在真實霧天場景下的泛化能力和魯棒性較差，因此本文采用真實場景下的霧天城市道路數據集RTTS進行模型訓練。該數據集包含了不同場景和不同霧氣濃度下豐富的車輛和行人圖片，對RTTS數據集進行修改，將圖片隨機分為訓練集、驗證集和測試集3個部分，且訓練集、驗證集和測試集的比值為6∶1∶1，得到訓練集圖片共3 242張，驗證集和測試集圖片分別540張。對訓練集中的圖片分別進行水平翻轉、旋轉、拉伸、明暗變化以及添加高斯噪聲等操作，得到更加豐富的數據集。訓練的目標有“汽車”“自行車”“摩托車”和“行人”4種，數據集的示例如圖8所示。

圖8 RTTS數據集圖片

為了驗證將AOD-Net和SSD算法結合起來的優越性，利用RTTS數據集的原始帶霧圖片和經過AOD-Net去霧處理后的圖片訓練了2種不同的模型［2］分別用于車輛和行人檢測。2種模型的基本訓練參數均一致，batch_size設為64，學習率設為10-4，權重衰減設為5×10-4，betas設為（0.9，0.99），共訓練560個epoch。采用Adam梯度優化器使2種模型的總損失快速收斂，具體訓練過程如下。

模型1：將RTTS訓練集的帶霧圖片進行AOD-Net去霧處理，然后將經過去霧處理后的圖片作為目標檢測網絡SSD的輸入，并依據上述的模型訓練參數進行訓練，得到車輛和行人的檢測模型1，訓練過程中的損失曲線如圖9所示。

圖9 模型1的訓練損失曲線

模型2：將RTTS訓練集的帶霧圖片直接作為目標檢測網絡SSD的輸入圖片。并根據上述的訓練模型參數進行訓練，得到車輛和行人的檢測模型2，其訓練過程中的損失曲線如圖10所示。

圖10 模型2的訓練損失曲線

由圖分析可知，模型1和模型2的總損失值分別由最初的21.34、21.75下降至1.42、1.56；置信度損失分別由最初的17.46、17.83下降至1.00、1.11；位置損失由最初的3.88、3.92下降至0.42、0.45。因此模型1和模型2的訓練過程收斂均較好。

3.4 模型評估

目前，主流的目標檢測模型評價指標有交并比（IOU）、精確率（precision）、召回率（recall）、AP（Average Precision）值和mAP（Mean Average Precision）值，其中精確率和召回率的公式如下。

式中：TP為正樣本被識別為正樣本；FP為負樣本被錯誤識別為正樣本；FN為正樣本被識別為負樣本。

AP值為PR曲線（即以precision和recall分別作為橫坐標和縱坐標的二維曲線）下的面積，利用AP值可以對訓練的模型在某個目標類別上的檢測結果進行評價。mAP值則表示訓練的模型對所有目標類別上的檢測結果進行評價，即所有類別對應AP值的均值，其表達式如下。

式中，N為目標種類數。

本文采用交并比、召回率、AP值和mAP值對訓練得到的2個模型進行全面評價。將RTTS測試集的帶霧圖片分別在模型1和模型2上測試，得到模型1和模型2的交并比、召回率、AP值及mAP值如表2～4所示。

表2 模型1和模型2的交并比 %

表3 模型1和模型2的召回率 %

表4 模型1和模型2的AP值及mAP值 %

由表2可知，模型1的交并比高于模型2，表明模型1的目標框和標定框相似度高于模型2，各類目標的交并比分別高7.44%、3.72%、4.66%和6.61%。由表3可知，模型1的召回率高于模型2，各類目標檢測的召回率分別高5.63%、11.83%、11.29%和10.47%，即模型1中被正確檢測識別的目標高于模型2。由表4可知，模型1的mAP值比模型2高4.1%；在單個目標檢測中，模型1中汽車的AP值比模型2高3.8%；自行車的AP值相比模型2高3.83%；行人的AP值相比模型2高3.17%；摩托車的AP值比模型2高5.57%。綜上所述，加入去霧處理的模型1對車輛和行人的檢測精度比模型2更高。

3.5 檢測結果分析

利用數據集RTTS測試集的帶霧圖片，分別在模型1和模型2上進行測試，選取薄霧、中霧和濃霧3種不同等級的霧氣濃度圖片進行車輛和行人的檢測精度分析，每個霧氣濃度等級選取4張作為示例，如圖11～13。

圖11 薄霧環境下的檢測結果

圖12 中霧環境下的檢測結果

圖13 濃霧環境下檢測結果

由圖11～13知，在薄霧、中霧及濃霧3種不同等級的霧濃度下，模型1對目標漏檢及誤檢的情況明顯低于模型2；對車輛和行人的定位精度相比模型2較高且檢測到的目標置信度更高。

將本文的霧天車輛和行人檢測算法與MSCNN+Faster R-CNN、DehazeNet+Faster R-CNN和DCP+Faster R-CNN等霧天目標檢測算法進行比較，得到各類算法的mAP值如表5所示，表中“F”表示Faster R-CNN。

表5 各種霧天檢測算法的mAP值 %

從表5中得出，與其他算法相比，本文算法在霧天環境下檢測的mAP值最高，比MSCNN+F算法高12.3%；比DehazeNet+F算法高11.5%；比DCP+F算法高10.3%；綜上所述，AOD-Net網絡與SSD網絡相結合有效地提高了訓練模型的mAP值，改善了霧天車輛和行人的檢測精度；除此之外，由于訓練的數據集為真實霧天圖片，故本文的模型在真實霧天場景中相比其他算法泛化能力更好。

4 結論

本文將AOD-Net去霧算法和SSD目標檢測算法進行結合，針對城市道路下，霧天的車輛和行人進行檢測。該方法在真實帶霧圖片上進行車輛和行人檢測的mAP值可達75.8%，相比其他算法，提高了霧天環境下的目標檢測精度。當霧天環境下的霧濃度發生變化時，仍然能很好地對車輛和行人進行檢測，使得其泛化能力更好。由于本文的數據集圖片數量相對Pascal voc、COCO等大型數據集而言較少，學習到的霧天場景下車輛和行人的特征有限，下一步將繼續增加數據集的圖片數量和不同的霧天場景，從而為未來自動駕駛和智能輔助駕駛感知霧天環境下的車輛和行人奠定環境感知基礎。