一種雨霧背景的DeRF-YOLOv3-X目標檢測方法*

楊坤志，閆瀟寧，孫 健，許能華，陳曉艷*

(1.天津科技大學電子信息與自動化學院，天津 300222；2.深圳市安軟科技股份有限公司，廣東 深圳 518131)

目標檢測作為圖像處理和計算機視覺領域的主要應用研究方向，是解決圖像分割、場景理解、目標跟蹤等高級視覺任務的基礎。目標檢測需要對檢測圖像的前景和背景都理解并處理，然而在實際應用中，目標大多都不是在一個清晰明快的環境下出現，采集的圖片質量往往非常容易受到天氣狀況的影響。如果將這些惡劣天氣下采集到的圖片直接進行算法檢測，效果會大打折扣，很容易出現誤識別或識別失敗的情況。目前對于目標檢測算法的關注點主要是在優化算法性能上，所用的研究數據多是采集于晴朗天氣下的高質量圖像，沒有考慮現實應用中的各類突發不良天氣的影響，在實際使用時，檢測效果往往不理想。因此，對于復雜環境下的目標檢測，改進目標檢測網絡，并消除惡劣天氣帶來的負面影響，對于算法適應性的提升是十分必要的。

目前，在已有的去雨算法研究中，基于深度學習的方法發揮著主導作用，比如:Eigen等[1]提出利用卷積神經網絡來解決圖像去雨問題；Yang等[2-3]通過建立循環結構的卷積神經網絡來去雨。

去霧的主流算法原理是大氣散射原理，根據數學模型實現去霧的處理，如:He等[4]提出通過DCP算法定位霧氣位置，并計算出大氣光的值，然后將霧氣圖和大氣散射模型聯結，得到去霧圖像；Cai等[5]在卷積神經網絡的基礎上設計了層數更深的網絡DehazeNet；Li等[6]提出了一個基于CNN的去霧算法AODNet。

基于深度學習的目標檢測算法大多分為兩種思路，一種是兩階段(Two Stage)法，先生成候選框，再對候選框內的物體用算法進行檢測；另一種是一階段(One Stage)法，將整個檢測過程融合在一起，直接給出檢測結果，如YOLO(You Only Look Once)系列[7-9]、SSD(Single Shot MultiBox Detector)系列[10]。YOLO系列檢測算法自2016年發展至今，檢測精度顯著提高，但對雨霧背景的復雜場景目標檢測性能會顯著降低。

對此，提出一種新的目標檢測模型DeRFYOLOv3-X(Derain and Defog-YOLOv3-Xception)。在YOLOv3的基礎上，引入最新提出的Xception網絡[11]，改進基礎特征提取網絡，提升小目標檢測能力，降低參數量，同時改進其回歸損失函數，使得目標框回歸更加穩定；同時通過添加融合殘差網絡和負映射深度細節DDN網絡進行去雨處理，添加端到端的多尺度GridDehazeNet網絡進行去霧處理。

1 方法

本文提出的目標檢測模型DeRF-YOLOv3-X主要分為兩個部分:圖像預處理模塊和目標檢測網絡，其流程圖如1所示。

圖1 DeRF-YOLOv3-X目標檢測模型流程圖

1.1 去雨方法

本文采用深度細節網絡(Deep Detail Network，DDN)[12]進行雨背景的濾除。圖像建模為:

式中:Xdetail表示細節層，Xbase表示基礎層。

隨后對有雨圖像進行引導濾波處理，使得圖像中基礎層被去掉，只留下了包含雨線和物體形狀的細節層。

訓練網絡采用殘差網絡和負映射(Negative Residual Mapping，Neg-Mapping)相結合，這種結構保證了輸入信息可以通過所有的參數層傳播，有助于訓練網絡。與干凈圖像相比，雨天圖像的殘差像素值區間明顯縮小，這意味著可以將殘差引入網絡來幫助學習映射，因此將殘差作為網絡的輸出。所以將負映射定義為清晰圖和雨圖之間的差異，負映射通過Skip Connection把輸入直接加到輸出，跳過中間的參數層，直接在整個網絡中傳播無損信息，使得傳播更深，特征更多。殘差網絡能夠縮小輸入和輸出之間的映射長度，讓結構更深的網絡訓練起來比較簡單。同時，采用殘差網絡也能夠生成更深一層次的特征。將圖片的細節層作為殘差網絡的輸入，細節層的稀疏性不僅可以使得參數量減少，也能提高去雨的質量。

1.2 去霧方法

本文采用GridDehazeNet[13]網絡進行霧背景的濾除，該網絡由三個模塊構成，分別是預處理模塊、主干模塊和后處理模塊。預處理模塊是可訓練的，經過訓練的預處理模塊能夠更能有適應性輸入，同時多樣性也能好；針對以往多尺度預估策略中出現頻率很高的瓶頸困難，主干部分在網格網絡上實現了一種在注意力基礎上的多尺度估計；后處理模塊可以減少最終輸出中的參數量。

同時考慮到各個特征圖重要程度不完全一致，為了準確地利用各個尺度得到的特征圖，引入了Channel-Wise Attention，在特征融合的過程中準確地調節各個尺度的權值，其表達形式為:

式中:表示第i個信道的融合特征，Fir和Fic分別表示第i個通道，第r行和第c列的特征圖，air和aic分別表示相應的注意力權重。

損失函數采用Smooth L1 Loss和感知損失(Perceptual Loss)[14]。

Smooth L1 Loss的表達形式為:

感知損失的表達形式為:

式中:?j()表示與處理后無霧圖像聯系的特征圖，Cj，Hj，Wj代表?j()的尺寸。

網絡總的損失函數由Smooth L1 Loss和Perceptual Loss聯合而成:

式中:λ是調節兩個不同損失的相對權值參數，這里設置為0.04。

1.3 YOLOv3-X網絡

1.3.1 特征提取網絡

為了提高復雜環境目標檢測中的特征提取能力，減少模型的參數，提升模型的泛化能力，本文對YOLOv3算法的特征提取網絡(Backbone)進行改進，將原模型中的骨干網絡Darknet-53替換為Xception網絡，名為YOLOv3-X，如圖2所示。

圖2 YOLOv3-X網絡結構圖

Xception由36個卷積層構成了網絡主體部分，并將所有的卷積層劃分成14個模塊，除了Block1和Block14，其他12個模塊都添加了殘差連接，這就讓網絡結構定義和修改起來十分便捷。數據首先輸入至Entry flow，然后重復8次Middle flow里的操作，最終通過Exit flow。Conv代表標準卷積，Separable Conv代表深度可分離卷積，每一個卷積層和深度可分離卷積層后面都跟有一個BN層。網絡采用最大池化，激活函數選擇ReLU。

Xception的獨特之處在于采取深度可分離卷積(Depthwise Separable Convolution)來更替原網絡中的卷積層，這么做的好處是可以在損失精度不多的情況下大幅度降低參數量和計算量，同時各個操作之間減少耦合，充分利用計算力，用較小的尺寸達到了很好的效果。

圖2中，CBL即Conv2D_BN_Leaky；RSB和RBS分別為激活函數層(ReLU)、深度可分離卷積層(Separable Conv)和批歸一化層(BN)的不同組合。Concat是張量拼接，將Xception中間層和后面上采樣進行拼接，拼接會擴充張量的維度。不同于Darknet-53，YOLOv3-X網絡是在Block14層之后經過CBL和卷積得到13×13特征圖，感受野較大，適合檢測較大目標；在Block13層中最大池化層之前輸出并處理得到26×26特征圖，感受野中等，適合檢測中等尺度的目標；在Block4層中輸出并處理得到52×52特征圖，感受野最小，適合檢測小尺寸的圖像。另外，深層特征通過上采樣并利用Concat層與淺層特征進行拼接，因此26×26特征圖同時也包括著13×13特征的語義信息。類似地，52×52尺寸的特征圖之中也有26×26、13×13特征圖的語義信息。

2 實驗驗證

2.1 訓練數據集

由于本文要解決的是雨霧天氣下目標檢測帶來不利影響這一問題，本文數據集來源于某科技股份有限公司部署監控攝像頭的采集，包括城市道路、鄉村道路、居民區和學校等復雜場景，總共采集了26 946張圖片，其中23 846張用作訓練集，2 600張用作驗證集，500張用作測試集，圖片分辨率為1 920×1 080，數據集命名為IFC2。采集到的所有圖片都手動標記行人(Person)和車輛(Vehicle)。

2.2 實驗環境

本文的實驗環境如下:服務器硬件配置為Intel Xeon CPU E5-2630 V4＠2.20GHz、NVIDIA GeForce GTX 1080Ti 11GB以及128GB內存，網絡采用Python實現，版本為3.6.8，深度學習框架Pytorch版本為1.8.1，CUDA版本為11.4。

2.3 實驗結果

本實驗分為3個部分，第一部分將本文提出的改進后的目標檢測模型YOLOv3-X與原始YOLOv3進行檢測性能對比，分析改進的有效性。第二部分對去雨、去霧算法處理前后的圖片分別進行檢測，主要驗證這兩種圖像處理算法的有效性。第三部分是DeRF-Yolov-X網絡測試，并與YOLOv3原型進行比較，從總體上評價本文方法的有效性。

2.3.1 網絡結構改進對比

在ImageNet數據集上，與常見的網絡Darknet系列、ResNet系列進行比較，比較結果如表1所示，網絡后面的數字代表結構層數。

表1 特征提取網絡準確率比較

表中Top-1 Accuracy代表預測結果和實際結果進行對比的準確率，Top-5 Accuracy是把預測結果中概率最大的前五個與實際結果進行對比的準確率。由表可見，無論是Top-1還是Top-5，Xception表現最佳。

為了證明改進特征提取網絡與改進損失函數方法在檢測算法YOLOv3上的有效性，本部分進行了改進后的YOLOv3-X模型與原始YOLOv3模型在同一測試集上的對比實驗，測試集為數據集IFC2的500張測試圖片。測試結果如表2所示。

表2 YOLOv3-X與YOLOv3在測試集上結果

從表中數據可以看出，無論是單獨的行人和車輛各類AP值還是總體的mAP值，本文所提出的改進后的YOLOv3-X都優于YOLOv3。YOLOv3-X模型mAP達73.17%，高于相同訓練集訓練得到的YOLOv3 mAP值70.95%。具體到每一類的平均精度也有不同程度的提升，特別是對于車輛的檢測上，由改進前的80.82%提升到85.00%，相比增加了4.18個百分點。此外，在提升檢測能力的同時，檢測模型大小也有一定的優化。YOLOv3-X的模型大小為166 MB，比YOLOv3的235 MB降低了30%，節省了一定的存儲空間，有利于后續模型部署。

圖3展示了YOLOv3和改進后YOLOv3-X兩個模型對同一張圖片的檢測效果，圖3(a)是原始YOLOv3的檢測結果圖，圖3(b)是本文提出方法所得到的檢測結果圖。從圖中可以看出，兩個模型對于距離較近、輪廓清晰的行人和車輛都能夠準確地識別，但是當行人和車輛距離攝像頭較遠，目標較小或者存在遮擋現象時，例如圖3(a)和3(b)中道路上行駛的和左側樹后被遮擋的車輛，本文提出的方法都能夠有效地識別出來，而YOLOv3則會出現漏檢問題，造成檢測精度的下降，影響后續的應用。

圖3 YOLOv3和YOLOv3-X檢測效果圖

2.3.2 雨霧處理方法前后實驗對比

本部分在上一節對于結構改進對比實驗的基礎上，分別對待檢測圖片應用去雨、去霧方法前后進行對比實驗，驗證這兩種方法對于檢測性能提高的有效性。

①去雨方法

為了準確評估去雨方法的效果，本文從RS數據集中選擇了34張不同場景下包含行人和車輛的圖片，在對圖片進行標注后作為本部分測試集。

表3列舉了去雨前后分別使用YOLOv3和本文YOLOv3-X方法的檢測mAP值。在應用了去雨方法之后，無論是YOLOv3還是本文提出的YOLOv3-X檢測模型，mAP值都有一定的提高。YOLOv3的mAP值由49.07%提升至52.98%，YOLOv3-X方法的mAP值由50.43%提升至54.99%，證明了去雨方法的有效性。

表3 去雨前后圖片的mAP對比

②去霧方法

由于訓練數據集所對應的測試集沒有霧天氣下的圖像數據，所以，為了準確評估去霧方法的能力，本文從網上多個公開數據集和網絡圖片中選擇了39張不同場景下包含行人和車輛的圖片，在對圖片進行標注后作為本部分測試集。

表4列舉的是YOLOv3和本文YOLOv3-X方法分別應用去霧方法前后的檢測mAP值，從表中可以看出，無論是將去霧方法應用在YOLOv3上還是本文改進的YOLOv3-X方法上，檢測mAP值都有一定程度的提高。對于YOLOv3方法，在對去霧之前的圖片直接進行檢測時，mAP值為40.23%，然而對去霧之后的同一張圖片進行檢測時，mAP值提升到了42.07%，有著一定程度的提升。同樣，用本文改進的YOLOv3-X模型檢測去霧前后的圖像，mAP值同樣有提高，從41.43%提升至44.45%。

表4 去霧前后圖片的mAP對比

2.3.3 DeRF-YOLOv3-X

上述兩小節分別比較了YOLOv3算法模型改進前后的檢測效果，以及去雨、去霧算法對于檢測能力的提升，本節將改進后的算法YOLOv3-X和雨霧處理方法相結合構成DeRF-YOLOv3-X網絡，探討DeRF-YOLOv3-X網絡對于雨霧天氣下目標檢測能力的提升作用。圖4直觀展示了DeRF-YOLOv3-X的網絡檢測mAP值比較圖。其中，圖中左側條柱的mAP值是由YOLOv3直接對有雨和有霧圖像進行檢測所得到的，右側條柱的mAP值則是由DeRFYOLOv3-X直接對有雨和有霧圖像進行檢測得到的。從圖可以看出，無論是針對霧天還是雨天，本文提出的DeRF-YOLOv3-X對于檢測性能均有一定的提升作用。

圖4 DeRF-YOLOv3-X與YOLOv3的mAP值比較

圖5則展示了雨天DeRF-YOLOv3-X與YOLOv3的檢測效果。圖5第一列是YOLOv3的檢測結果，第二列是DeRF-YOLOv3-X的檢測結果?？梢钥闯觯珼eRF-YOLOv3-X成功地減小了雨對于檢測的影響，大大提升了目標的可見度。在第一行圖片對比中，在雨的影響下，畫面正中央停放的車輛未能準確檢測出來，造成很嚴重的漏檢。同樣，第二行圖像中的行人及第三行圖像中停放的車輛也都受雨的影響未能檢出，大大影響了使用。然而在應用DeRFYOLOv3-X之后，上述受雨天氣影響的未被檢出的目標都被成功檢測到。

圖5 雨天DeRF-YOLOv3-X與YOLOv3檢測結果比較

圖6則展示了霧天DeRF-YOLOv3-X與YOLOv3的檢測效果圖。圖6第一列是YOLOv3的檢測結果，第二列是DeRF-YOLOv3-X的檢測結果。在霧的干擾下，小目標會更難被檢測到，例如霧的存在使得圖6(a)中道路遠端的兩輛車沒有被檢出，而在去霧后的圖6(b)中被成功檢出。霧的存在也會在目標很多的情況下導致一定程度的漏檢，具體如圖6(c)、圖6(d)、圖6(e)、圖6(f)兩個場景下的檢測結果所示。

圖6 霧天DeRF-YOLOv3-X與YOLOv3檢測結果比較

3 結論

本文針對雨霧天氣場景下的目標檢測，通過添加基于殘差網絡和負映射結合的深度細節網絡DDN和基于注意力機制的多尺度去霧網絡GridDehazeNet，對圖片進行去雨去霧，有效地減少雨霧天氣帶來的不利影響；然后，將YOLOv3算法的特征提取網絡改進為Xception，解決現有的YOLOv3算法在雨霧天氣下存在部分目標漏檢的問題，而且模型的參數量也有一定程度的減小，同時將回歸損失函數改進為DIoU[16]，解決了IoU對預測框和真實框的重疊程度反映不夠精細的問題。