基于改進門控上下文聚合網絡的霧天實時行人檢測方法*

吳 桐，王宇寧，4，關藝搏，田韶鵬，4

（1.武漢理工大學，現代汽車零部件技術湖北省重點實驗室，武漢 430070；2.武漢理工大學，汽車零部件技術湖北省協同創新中心，武漢 430070；3.武漢理工大學，湖北省新能源與智能網聯車工程技術研究中心，武漢 430070；4.先進能源科學與技術廣東省實驗室，佛山仙湖實驗室，佛山 528200）

前言

在復雜的交通場景中，行人檢測技術對智能駕駛汽車起著至關重要的作用，它能時刻檢測道路中的行人并確定方位，幫助智能駕駛汽車做出更優的駕駛決策。然而在霧天場景中，霧氣的存在往往會嚴重降低車載相機采集圖像的可見度，從而影響行人的檢測精度。因此，提升霧天場景下的行人檢測精度對降低交通事故的發生率有重要意義。

傳統的行人檢測方法利用HOG（histogram of oriented gradient）［1］、SIFT（scale-invariant feature transform）［2］等特征提取算子提取行人輪廓和紋理等，然后通過訓練特征分類器（支持向量機（SVM）［3］、Adaboost［4］等）來執行檢測任務。該類方法魯棒性差，計算量大，無法滿足實際應用中對實時性和準確性的要求?；谏疃葘W習的方法已在行人檢測中占領主導地位，其根據檢測步驟可分為兩大類：一類是基于區域建議的two-stage 檢測方法（包括Faster-RCNN［5］、Cascade-RCNN［6］等），另一類是基于回歸的one-stage 檢測算法（包括YOLO［7］、SSD［8］）。前者存在精度高但實時性差的特點，后者提高了檢測速度，卻犧牲了檢測精度。這是由于RCNN 系列、YOLO 系列和SSD 系列等算法均引入了錨框（Anchor）機制，導致了正負樣本不均衡，超參數多，計算復雜等問題。而由Zhou 等［9］提出的基于無錨框（Anchor-free）的CenterNet 算法，旨在將檢測任務歸納為中心點預測+基于中心的寬高屬性偏移問題，超參數少，達到了速度與精度的平衡。

過去的行人檢測研究通常在良好的光照和天氣下進行，然而對于霧天條件下的研究較少。基于深度學習的檢測算法，能在清晰圖像上表現出優良的檢測性能，然而一旦轉移到霧天條件下，其檢測精度就會嚴重退化。為解決霧天場景下行人檢測性能差的問題，Hu 等［10］將圖像增強建模為一組可微濾波器，結合GAN［11］結構實現端到端的圖像增強；Guo等［12］設計弱光圖像增強網絡Zero-DCE，通過一組像素級曲線參數改善圖像光線暗的問題；Liu 等［13］提出了圖像自適應檢測框架IA-YOLO，利用完全可微的圖像處理模塊去除圖像中特定的天氣信息并增強潛在信息。此外，部分研究者使用除霧算法來改善霧天的檢測性能。基于大氣散射模型［14］，早期提出了暗通道先驗［15］、最大對比度［16］、顏色衰減先驗［17］等方法。鑒于CNN 的成功，Cai 等［18］提出名為DehazeNet 的端到端可訓練系統，以模糊圖像為輸入，生成其中間投射圖，隨后通過大氣散射模型輸出清晰圖像；Li等［19］重新定義大氣散射模型，設計了可直接生成清晰圖像的AOD-Net；然而依賴于先驗知識的除霧算法應用于真實霧天圖像時，會產生固有的性能損失，生成質量低下的除霧圖像［20］；因此GridDe-hazeNet［21］、GCANet［22］等提出了不依賴于先驗的端到端除霧算法，試驗證明其在合成霧天和自然霧天數據集上的除霧效果均優于前者。Chen等［23］將不同天氣下采集的數據集差異視為域偏移，并基于Faster-RCNN 分別從圖像層面和實例層面增設域適應組件，以減少域差異；Zhang 等［24］在此基礎上設計DA-YOLO，使算法對不同尺度實例的域偏移具有魯棒性。總結相關文獻可知，現有改善霧天檢測性能的方法主要有：（1）對霧天圖片采取自適應增強，以揭示目標潛在信息；（2）使用除霧算法來改善圖像清晰度；（3）利用域適應提高目標檢測算法的跨域魯棒性。然而將圖像處理置于檢測任務前，雖然可以明顯提高檢測精度，但額外的預處理操作增加了時間成本，無法滿足實時性［25］。因此，如何在不影響檢測效率的同時提高霧天場景下檢測算法的泛化性能成為難點。

針對上述問題，本文中首先以具有優良除霧效果的端到端除霧網絡——門控上下文聚合網絡（gated context aggregation network，GCANet）為基礎，設計一種復合損失函數以優化去霧圖像的結構信息，獲得更加自然清晰的圖像，幫助檢測網絡學習更準確的目標特征。其次，為獲得優秀的檢測性能，選擇Anchor-free 的CenterNet 作為檢測網絡；最后將經過改進的GCANet 網絡應用于霧天訓練數據集的預處理中，送入CenterNet 網絡訓練。在推理時，直接使用預訓練好的CenterNet 網絡處理原始帶霧圖像，得到行人檢測結果，并依次在合成霧天數據集Foggy Citypersons 和真實霧天數據集RTTS［26］上進行對比試驗，算法流程圖如圖1所示。

圖1 算法流程圖

1 改進的GCANet去霧算法

1.1 GCANet概述

以往的去霧算法中，圖像預處理方法是基于回歸并加上人為設計的先驗條件（如大氣散射模型、暗通道先驗等），通過估計中間傳輸映射圖間接生成清晰圖像。本文中采用的GCANet網絡不依賴于先驗知識，而是采用端到端的方式回歸清晰圖像和霧天圖像之間的殘差，最終累加到霧天圖像上以生成清晰圖像。

GCANet網絡主要由編碼器、解碼器和特征融合3個部分組成，算法的模型結構如圖2所示。

圖2 GCANet網絡結構圖

其中解碼器和編碼器各包含3 個卷積層，且成對稱結構。編碼器用來提取霧天圖像的特征，最后一層卷積對特征圖進行一次下采樣；相應地，解碼器使用一個反卷積層將特征圖上采樣到原始分辨率，末端兩個卷積層將特征圖映射到原始圖像空間上，以獲得清晰圖像與霧天圖像之間的殘差，最終將殘差加到霧天圖像上得到清晰圖像。特征融合部分主要用來聚合更多的上下文信息，并應用門控子網絡自適應地將不同深度的特征圖進行融合，這些特征圖涵蓋了豐富的色彩和結構信息，能有效提高清晰圖像的視覺效果。其結構上使用了包含分離共享卷積的平滑空洞［27］殘差塊，能夠融合輸入特征圖中每個單元的相鄰信息，緩解傳統空洞卷積網格偽影化的情況。

門控子網絡G融合不同深度的特征圖信息。分別從高、中、低不同深度提取特征圖Fl、Fm、Fh，將其作為門控子網的輸入，根據學習到的重要性權重Ml、Mm、Mh將特征進行線性組合，如式（1）和式（2）所示。

融合特征圖FO最終被送入解碼器以獲得目標殘差。門控子網由一個卷積核大小3×3 的卷積層組成，輸入通道數為3。其結構原理如圖3所示。

圖3 門控子網絡結構原理圖

1.2 改進的損失函數

針對原始GCANet 算法僅考慮去霧圖的像素級特征，忽略了圖像內容的整體性，而導致結構信息丟失嚴重及圖像失真的問題，本文中設計一種包含圖像重構損失和圖像結構相似損失的復合損失函數，同時考慮了高層細節信息（內容特征與全局結構）及底層像素信息。其中圖像重構損失采用smooth L1 損失函數，用來反映底層像素信息，其函數表達式為

式中：N為像素點總數；n為像素點位置；i為通道數；γi(n)和分別對應第i通道上像素點n處真實情況和預測到的霧天圖像和清晰圖像之間的殘差；Ei為無霧圖像和霧天圖像之間的真實殘差及模型推理得到的除霧圖像和霧天圖像之間殘差的差距。

圖像結構相似損失采用感知損失［28］（perceptual loss）反映圖像的高層特征信息，其目的是使圖像視覺效果更貼近人眼直觀感受。具體做法是將真實清晰圖像卷積得到的特征圖與預測清晰圖像卷積得到的特征圖作比較，使模型預測圖與真實清晰圖在語義上更加相似。其表達式為

該損失函數采用在ImageNet 上預訓練好的VGG-16［29］網絡，取前3 層的特征激活值進行損失計算。式（5）中：j表示輸出的特征層位置；Cj、Hj、Wj分別表示第j層特征圖的通道數以及高寬和Fj(y)分別對應預測清晰圖和真實清晰圖在VGG-16的第j個卷積層后得到的特征圖。

綜上所述，本文采用的復合損失函數公式為

式中：LsmoothL1代表smooth L1 損失；LP代表感知損失；W1和W2表示損失的權重系數，本文均取0.5。

本文設計的復合損失函數相較原始的均方差（MSE）損失函數提升了去霧圖與清晰圖像間的結構相似性，進一步減少紋理、對比度、色彩保真度以及明暗程度差異。

2 行人檢測算法

采用CenterNet 算法作為霧天行人的檢測網絡。該算法將目標檢測任務轉化為中心點估計和基于中心點的寬高屬性偏移回歸問題。結構上，CenterNet網絡由特征提取網絡、反卷積模塊（DeConvolution）和預測網絡3個部分組成，如圖4所示。

圖4 CenterNet網絡結構

（1）特征提取網絡 本文采用輕量的ResNet-18［30］（Residual Network-18）作為特征提取網絡。為提升收斂速度，訓練過程中所有BN 層均參與訓練。提取特征前對輸入圖片進行resize處理，獲得通道數為3、尺寸大小為512×512 的圖片。然后送進ResNet-18 輸出下采樣32 倍的特征圖，通道數變為2 048，尺寸大小為16×16。

（2）反卷積模塊 由3 個反卷積組構成，每組包含一個可變形卷積（deformable convolution v2，DCN v2）和一個反卷積。該模塊利用3次上采樣，最終輸出大小為128×128、通道數為64 的高分辨率特征圖。該特征圖將整張圖片劃分為128×128 個區域，每個區域對應一個特征點，用來確定物體中心是否落在該區域。

（3）預測網絡 預測網絡擁有3 個分支，分別輸出中心點熱圖（heatmap）、物體寬高（size）及中心點與熱力點的偏移情況（offset）。

根據CenterNet 網絡的檢測原理，訓練得到行人檢測模型的總損失Ldet，是熱圖損失Lk、中心點偏移損失Loff和尺寸損失Lsize的加權和，如式（7）所示。

式中行人檢測的熱圖損失函數參考Focal Loss［31］構造而成，以緩解正負樣本不均衡。中心點偏移損失使用L1 Loss 構造，以彌補輸入圖像真實框中心點映射到低分辨率圖像過程中坐標位置向下取整導致的位置偏移。尺寸損失函數同樣使用L1 Loss構造。

在預測階段中，按類別在熱圖上提取峰值點。峰值點的具體篩選是采用一個3×3 的最大池化層獲取熱圖中的中心點，并保留前100 個點值大于（或等于）其8 個相鄰點值的中心點。每個中心點記為整形坐標(xi，yi)，根據檢測到的置信度Y^xiyic篩選最終結果?；貧w產生的預測框如下：

3 試驗

3.1 試驗配置

本文提出模型的訓練及測試均在Ubuntu20.04系統下，運行內存為16 GB，使用NVIDIA GeForce RTX 3060型GPU，并行計算架構版本為CUDA11.1。采用python3.7 和基于PyTorch1.8.0 的深度學習框架。

3.2 數據集

除霧算法和檢測算法分別對應低級圖像處理任務和高級檢測任務，兩種算法訓練時所用到的數據集及標注信息存在較大差異。考慮到收集大量成對的真實世界霧天圖像和無霧圖像的不實際性，且交通場景下的行人檢測是在室外條件下進行，本文中使用大規模合成數據集RESIDE［31］中的戶外訓練集（OTS）訓練去霧網絡，以適應室外條件的去霧任務。

針對霧天條件下行人檢測算法的訓練和測試，分別采用合成的霧霾城市行人數據集Foggy Citypersons和真實世界任務驅動測試集RTTS。

本文中將Foggy Cityscapes［32］數據集圖片和Citypersons［33］標注文件得到的組合數據集命名為Foggy Citypersons。Foggy Cityscapes 數據集是基于Cityscapes［34］生成的合成霧天駕駛場景數據集，合成數據集包含5種版本，對應不同的模擬衰減系數β以產生不同的霧氣濃度。本文選取β∈｛0.005，0.01，0.02｝3 種版本，并從中隨機取樣，獲得一組混合的濃霧、中霧、薄霧圖像，包含訓練圖2 975 張，驗證圖500 張。由于檢測類別專注于行人，注釋信息采用COCO 格式的Cityscapes 子集Citypersons 的標注文件，該標注文件中僅包含人類的類別，Citypersons 按照行人遮擋情況將數據集進一步分割成3 個子集，分別是Reasonable、Smaller、Heavy，本文不考慮行人的遮擋情況，訓練時只使用Reasonable。

RTTS［26］是一個真實的霧天數據集，可用于檢測任務。其包含4 322 張從網絡上收集的自然霧天圖像，圖像視角主要以行人及駕駛員等交通參與者的第一視角為主，涵蓋豐富的交通場景，且每張圖像都對目標類別及位置進行了標注。標注類別包括行人、汽車、摩托車等5 種類別，這里只采用行人一種類別。

3.3 GCANet網絡訓練及去霧結果分析

利用OTS戶外訓練集訓練改進的GCANet網絡，參數設置如下：輸入圖像尺寸調整為512×512。整個網絡采用Adam 優化器訓練，批次訓練大?。╞atch size）為12，衰減系數β1、β2默認值為0.9 和0.999。學習率設置為0.001，epoch 為10，每兩個epoch 學習率衰減為原來的一半。

將訓練好的模型分別應用于合成的霧天數據集Foggy Citypersons 和真實霧天數據集RTTS，以適應后續的行人檢測任務。圖5 展示了兩組數據集處理前后的圖像對比情況（左上方3 組圖像為RTTS，分別對應RTTS 數據集的薄霧、中霧、濃霧不同除霧效果；另兩組為Foggy Citypersons）。

圖5 除霧示例圖

從視覺比較看，不同濃度霧氣的交通場景圖像經過改進GCANet 處理后，均生成了質量較好的去霧圖像，減弱了霧氣對行人特征的遮擋，產生了自然曝光且清晰的細節，行人特征的識別度提高。其中，薄霧情況下的除霧效果更加徹底；針對霧氣較大的中霧及濃霧情況，近處的除霧效果較好，遠處霧氣存留較為明顯。

考慮自然霧天圖像沒有作為參照的清晰圖像，本文通過合成霧天圖像的處理情況客觀驗證改良模型的有效性，因此使用Foggy Citypersons 數據集進行測試目的之一是以便將改進的去霧算法與基線進行定量比較。使用峰值信噪比（peak signal-to-noise ratio，PSNR）和結構相似性（structural similarity，SSIM）來定量評估處理前后的圖像質量。其中PSNR 是基于像素誤差衡量霧天圖像與處理圖像之間的相似性，PSNR 越大，則表示圖像質量越好。給定一組大小為M×N的帶霧圖像I和處理圖像J，PSNR的計算公式為

式中MSE表示霧天圖像與處理圖像之間的均方誤差，即

SSIM 是基于亮度、對比度和結構3 個方面衡量圖片的失真程度以及兩張圖像的相似性的指標，該值越大，則表明圖像越相似。對于一組圖像M和K，SSIM的計算公式為

式中：α、β、γ代表亮度、對比度和結構在SSIM 衡量中的占比；μM、μK分別為M、K均值分別為M、K方差；σMK為M、K的協方差。

對比過程中以合成霧天數據集合成前對應的原始清晰圖像作為基準圖像，從Foggy Citypersons 數據集中分別選取500 張薄霧、中霧、濃霧圖像，并依次在改進前后的除霧模型上進行除霧處理。在不同霧天濃度圖像的數據集中，計算單張去霧圖像與對應基準圖像間的SSIM 及PSNR，并計算其平均值，以分析不同霧天濃度下的除霧效果；同時，計算Foggy Citypersons 數據集的平均SSIM 及PSNR 值以反映除霧模型的整體除霧效果。改進前后的GCANet 模型在Foggy Citypersons 數據集上的除霧圖像質量評估見表1。

表1 圖像質量評估對比

通過表1 可知，用改進GCANet 模型處理的Foggy Citypersons 數據集圖像的PSNR 和SSIM 值相比原始GCANet模型整體上提高了1.87和0.11。對于不同濃度霧天圖像的除霧效果，改進GCANet 模型在薄霧、中霧、濃霧上的SSIM值分別提升了0.06、0.07 和0.06，PSNR 值分別提升了2.63、0.63 和0.37。綜上，改進后的除霧模型針對不同濃度霧天圖像的除霧效果均得到提升，去霧圖像的失真情況得到改善，處理圖像的對比度、色彩保真度以及明暗程度都獲得了改善，揭示了更多目標信息。

3.4 CenterNet訓練與檢測結果分析

3.4.1 合成霧圖訓練與消融試驗

用于惡劣天氣條件下行人檢測的數據集較少，目前許多相關研究使用合成數據集作為參考。本節采用Foggy Citypersons 數據集訓練模型，進一步分析改良去霧模型對于后續行人檢測任務的影響。

為驗證改良GCANet 算法和CenterNet 算法結合起來的有效性，分別使用原始霧天圖像、原始GCANet算法處理后圖像和改良GCANet算法處理后圖像對CenterNet進行訓練，獲得3種不同模型，并在霧天圖像上進行行人檢測，訓練過程參數設置一致。具體的模型設置如表2所示。

表2 模型具體設置

訓練策略：本文將微調的方法用于CenterNet 網絡。首先，在ImageNet 上訓練特征提取的主干算法ResNet-18；然后在COCO 數據集上對檢測網絡進行訓練。這些工作無須從頭訓練，而是使用CenterNet中預訓練好的模型來完成。下一步，將預訓練模型的完全訓練權重從80 個類別抽樣到單個類別（行人）在Foggy Citypersons 的2 975 張訓練圖上進行微調。訓練輪次為140，批次訓練大?。╞atch size）為8，學習率設為5×10-4，在第90 和120 個輪次時，學習率依次下降為5×10-5和5×10-6。

行人檢測算法常用AP50（Average Precision）、MR-2（log-average miss rate）和召回率（Recall）中的一個或多個作為性能評價標準。其中MR-2值越小，反映檢測精度越高；AP50和Recall 值越大，反映檢測精度越高。本節以MR-2值作為Foggy Citypersons 數據集上的評價指標。霧天圖像中的行人檢測性能使用Foggy Citypersons 的500 張驗證集分別在3 個模型上進行測試，獲得的MR-2值如表3所示。

表3 基于合成霧天圖像的模型性能對比

由表3 可知，在Foggy Citypersons 數據集上，模型C 的行人檢測的MR-2值相對模型A 和模型B 分別降低了3.17 和0.31。可得出結論，加入改進GCANet 算法去霧處理的模型C 在合成霧天數據集上的行人檢測性能高于模型A和模型B。

圖6～圖8 為Foggy Citypersons 驗證集樣本分別在模型A、模型B 和模型C 上的檢測結果。觀察圖6和圖7 可知，模型B 對于行人的漏檢情況要少于模型A。同時對比圖7 和圖8 可知，模型C 相比模型B進一步改善了漏檢情況，且檢測到的行人置信度更高。

圖6 模型A檢測結果展示

圖7 模型B檢測結果展示

圖8 模型C檢測結果展示

3.4.2 真實霧圖訓練與消融試驗

使用合成霧天圖像訓練的模型應用于真實霧天環境檢測的過程中，存在跨域不適應性，因此在真實霧圖上進行對比試驗能進一步驗證將改良GCANet算法和CenterNet 算法結合起來的有效性?；诖?，本節分別使用真實霧天數據集RTTS 的霧天圖像和經改良GCANet 算法處理后的無霧圖像對CenterNet進行訓練。隨機將RTTS 中帶標注的4 322 張圖像按6∶1∶1 的比例分為訓練集、驗證集與測試集，圖片數量分別為3 242、540 和540，訓練類別僅為“行人”。

訓練參數設置及訓練策略參照3.4.1 節，具體模型設置同表2。本節采用AP50作為評價指標，即IOU 值取0.5 時計算平均精度。使用RTTS 的540 張測試集分別在3 個模型上進行測試，得到的模型AP50值如表4所示。

表4 基于真實霧天圖像的模型性能對比

由表4 可知，模型C 在RTTS 數據集上行人檢測的AP50值相對模型A 和模型B 分別提高了6.03和0.55。

圖9～圖11 分別為模型A、模型B 和模型C 在真實霧天測試集樣本上的檢測結果。對比可知，模型C 在真實霧天場景下仍能有效減少漏檢，提升目標置信度。因此，加入改進GCANet 算法去霧處理的模型C 在真實霧天數據集上的行人檢測性能高于模型A和模型B。

圖9 模型A檢測結果展示

圖10 模型B檢測結果展示

圖11 模型C檢測結果展示

3.4.3 檢測算法對比試驗

選 取Faster-RCNN［5］、YOLOX［35］、RetinaNet［31］3種主流行人檢測模型分別與改進GCANet 除霧網絡相結合，并依次在Foggy Citypersons 和RTTS 數據集上進行對比試驗。3 種模型的訓練及測試過程與所提方法一致，分別以“G+F”“G+Y”“G+R”表示上述3種模型。試驗結果見表5。

表5 不同霧天行人檢測模型的測試結果

從表5 可知，在Foggy Citypersons 數據集的對比試驗中，本文方法的MR-2相比G+F 和G+R 分別降低了6.05 和1.75，比G+Y 高0.25；在RTTS 數據集上，本文方法的AP50相比G+F 和G+R 分別提高10.42和4.21，比G+Y 低2.48；因此本文方法的檢測精度較高，僅次于改進GCANet 與YOLOX 的去霧方法。從檢測速度方面看，本文方法的檢測速度最快，實時性最佳。綜上，改進的GCANet 除霧網絡和CenterNet 相結合的方法在霧天條件下具有較好的檢測性能。

4 結論

針對霧霾天氣下行人檢測算法性能嚴重降低的情況，提出將改進的GCANet 除霧網絡和CenterNet相結合的方法。首先，對端到端的GCANet 除霧網絡的損失函數進行改良，優化除霧圖像的結構細節及圖像質量以幫助CenterNet 學習更準確的目標特征。然后基于改進的GCANet 除霧網絡和CenterNet相結合的方法訓練得到行人檢測模型，并應用于霧天的行人檢測。經試驗，該方法在合成霧天數據集Foggy Citypersons 和真實霧天數據集RTTS 上的MR-2和AP50值分別達到了9.65 和86.11，提高了檢測算法在惡劣天氣下的泛化性能，更好地發揮了CenterNet檢測模型的優勢。