面向暗光場景的目標偏振/可見光融合檢測方法

馬如鉞，王晨光，曹慧亮，申 沖，唐 軍，劉 俊

(1.中北大學 信息與通信工程學院，太原 030051；2.中北大學 儀器與電子學院，太原 030051)

0 引言

偏振是光的重要物理特性，它可以表征場景中任何物體反射的光波，即使在弱光照或強反射的情況下，偏振也能夠描述物體的重要物理特性，包括其表面幾何結構、材料性質及其粗糙度。反射光的偏振態與物體的強度、形狀和反射特性等物理特性高度相關[1]。偏振成像技術是通過獲取線偏振度(DoLP，degree of linear polarization)圖像和偏振角(AoP，angle of linear polarization)圖像來獲得目標的內在屬性，作為一種先進的技術，它不僅能獲得目標的偏振信息，還能提供二維空間的光強分布特征，在許多領域都有廣泛的潛在應用，包括目標探測[2-3]、通信[4]、水下探測[5]和醫療成像[6]等領域。

然而光的偏振特性容易受到環境(如霧霾、陰雨、弱光)的影響，使得偏振圖像質量難以達到適用水平。由于可見光圖像和偏振圖像往往具有互補特性，研究人員通常采用將DoLP圖像與 AOP 圖像融合或將DoLP圖像與可見光圖像融合等方法來增加圖像信息，從而提高單幅偏振圖像的多維細節信息。偏振圖像融合方法主要分為傳統融合方法和神經網絡融合方法兩類，目前較為常見且應用廣泛的為神經網絡融合方法。2021年，文獻[7]提出了一種新型的自學習策略深度神經網絡，實驗驗證該方法在視覺質量和定量測量方面均優于幾種最先進的方法；2022年，文獻[8]利用改進的小波模式最大值算法提取光強圖像和偏振度圖像的邊緣，然后對兩個邊緣進行細化和融合得到最終的邊緣信息，最終可獲得邊緣更清晰的融合圖像；文獻[9]提出了一種基于 Transformer 的深度神經網絡，對紅外偏振圖像的長程特征進行編碼，利用自注意機制獲取全局上下文信息，以提高紅外偏振圖像融合的性能；文獻[10]通過像素信息引導和注意力機制提出了一種新型無監督偏振和可見光圖像融合網絡，設計了損失函數來執行融合圖像與源圖像之間的像素分布約束，展現出更豐富的偏振信息和更優良的亮度。這些融合方法都為后期偏振成像在目標檢測等領域打下堅實的基礎。

目標檢測是計算機視覺領域內的熱門研究課題，其目的是在圖像中定位出目標的位置并識別出目標物的類別，近年來深度學習算法在目標檢測中的廣泛應用足以證明其優越性，不僅可以高精度檢測物體，還在處理速率上達到質的飛躍。目前基于深度學習網絡的目標檢測算法主要分為兩類：第一類是兩階段目標檢測算法，例如Fast R-CNN(Region-convolutional Neural Network)[11]、Faster R-CNN[12]、Mask R-CNN[13]等，這類算法將檢測任務分為兩步，相比傳統目標檢測算法能夠提取到更加豐富、深層的圖像特征信息，同時檢測精度和檢測速度都得到了大幅的提升，但兩階段算法仍然難以滿足實時目標檢測的要求；因此第二類單階段目標檢測算法應運而生，例如SSD(Single Shot MultiboxDetector)[14]、YOLO(You Only Look Once)系列算法[15-18]等，此類算法直接將圖像輸入檢測網絡，能夠達到實時檢測的要求，因此單階段算法成為目前熱門的研究方向，應用領域也更加廣泛。文獻[19]針對小目標物體提出了一種特征金字塔結構RetinaNet，有效提升了小目標的檢測精度；文獻[20]提出了基于中心點的方法CenterNet，使用關鍵點估算來尋找中心點，并對所有其他物體屬性進行回歸，如大小、三維位置、方向甚至姿態等；文獻[21]使用單個卷積神經網絡將物體邊界框檢測為一對關鍵點，將目標檢測分為圖像分類和目標定位兩個子任務，并且引用了新型池化層，解決遮擋和多目標問題。文獻[22]將卷積模塊替換為基于自注意力機制的swinblock結構，將注意力機制計算限制在非重疊的局部窗口，同時允許跨窗口連接，獲得較好的檢測效果。

盡管目前的圖像融合算法和目標檢測算法已經取得了較好的性能，但針對偏振目標的檢測，尤其是極端天氣下的目標檢測研究還不夠充分，同時目前也沒有公開使用的偏振數據集，這對偏振成像下的目標檢測的研究有一定阻礙。為研究暗光條件下的目標檢測，提高基于偏振成像的目標檢測精度，本文首先構建了暗光場景下的偏振數據集，提出了一種基于卷積神經網絡的可見光圖像與偏振圖像融合網絡，對損失函數進行了優化，以更大程度地還原偏振圖像細節信息。還引入了一種基于拉普拉斯算子的圖像增強方法，利用待測目標灰度與偏振圖像中背景噪聲灰度之間的差值來提高偏振圖像的質量，最終得到同時具有偏振信息和可見光信息的待測目標。在偏振圖像增強的基礎上，基于YOLOv5s提出了一種輕量化自注意力機制的目標檢測模型。通過引入CA(Coordinate Attention)注意力機制，不僅同時引入空間注意力和通道注意力，還考慮到長程依賴的問題，有效實現了檢測精度的提升。最后，我們使用主觀和客觀的評估標準對融合算法以及目標檢測算法進行評估，并將提出的目標檢測算法與幾種經典目標檢測算法進行比較，使用多個評價指標來評估所提出的網絡的可靠性和可用性。

1 圖像融合網絡

本文所提出的圖像融合網絡總體架構如圖1所示，旨在實現更好的圖像融合效果。該模型基于卷積神經網絡(CNN，convolutional neural network)，主要由3部分組成：編碼器、融合模塊和解碼器。首先，將可見光圖像S0和偏振度圖像DoLP同時輸入編碼器，分別提取其圖像特征，然后由圖像融合模塊進行融合，最后，融合后的特征圖進入解碼器，以便解碼器重建最終的融合圖像。在該網絡結構中，濾波器和步長分別為 3×3 和 1。在整個過程中，圖像大小不會改變，并使用零填充操作來確保圖像大小的一致性。表1為具體的網絡配置參數表。接下來將詳細介紹這3部分的結構與作用。

表1 網絡配置參數

圖1 本文提出的圖像融合網絡架構

1.1 網絡結構介紹

圖2 Dense Block網絡架構

融合網絡部分：將兩個特征圖進行物理拼接，得到一個包含128個通道的融合特征圖，然后將其作為解碼器的輸入。其中活動水平測量和融合規則在隨后的卷積層中自主學習，無需人工設計。

在數字圖像處理領域，拉普拉斯算子[26]常用于圖像增強、邊緣檢測和模糊判定等任務。它也是工程數學中常見的積分變換，具有旋轉不變性，即無論圖像如何旋轉，得到的響應都是不變的。當圖像灰度發生劇烈變化時，對其進行一階微分會形成局部極值，而對其進行二階微分則會形成過零點，這個零點的一邊會產生波峰，另一邊會產生波谷，因此可以設置一個閾值來檢測這個過零點。函數的一階微分和二階微分如圖3所示。

圖3 函數的一階微分和二階微分表示

二維圖像的拉普拉斯變換是每個同相項的二階導數，其定義如下：

(1)

在數字圖像處理中，平面圖像可以看作是像素點在x和y兩個方向上的集合排列，在分布上是離散的，因此拉普拉斯算子一般使用微分近似，如下式所示：

▽2(f)=f(x+1，y)+f(x-1，y)+

f(x，y+1)+f(x，y-1)-4f(x，y)

(2)

拉普拉斯算子對原始圖像進行變換時，保留了圖像的高頻成分，抑制了圖像的低頻成分，從而增強了圖像灰度跳變處的對比度，增強了圖像的細小細節部分，保留了圖像的背景色調，使圖像的細節比原始圖像更加清晰。

1.2 損失函數

損失函數用于評估模型預測值與真實值之間的差異程度[27]，差異值越小則表明模型的效果越好，因此損失函數的選擇在卷積神經網絡訓練中非常重要。結構相似度(SSIM，structure similarity)的概念于2004年提出[28]，它從圖像中提取3個主要特征：結構、亮度和對比度，然后根據這3個特征比較兩幅圖像的相似度，其定義為：

(3)

(4)

(5)

∑w(βw·SSIM(IS0，IF；w)+(1-βw)·SSIM(IDOP，IF；w))

(6)

其中：w∈{3，5，7，9，11}表示不同的窗口，同時用不同的窗口提取不同尺度的特征信息，SSIM(x，y；w)表示窗口w下兩幅圖像的結構相似度，βw為權重系數，計算公式如下：

(7)

LossMWSSIM主要從3個方面比較源圖像和融合圖像的結構相似性，但忽略了一些細節信息，如像素信息、邊緣信息等。然而，細節信息在圖像應用中至關重要。為了更好地訓練模型，減少源圖像和融合圖像之間的細節信息差異，我們在圖像邊緣損失函數中引入了多尺度加權融合質量指標QW[29]，定義如下：

QO{(x，f；w)+[[1-λ(w)]·QO(y，f；w)]}

(8)

(9)

(10)

(11)

其中：s(x；w)反映了窗口w中圖像x的局部相關性，它一般取決于對比度、清晰度或熵等因素。由于本算法中的圖像增強更側重于圖像邊緣，因此我們選擇對比度來表示圖像特征。λ(w)表示圖像x相對于圖像y的相對重要性，其取值介于0和1之間。給相對于輸入圖像具有較高顯著性的窗口分配更多權重，如公式 (9) 所示，c(w)為窗口的總體顯著性權重。此外，QO(x，y；w)是窗口w中x和y的相似度度量，取值在-1和1之間，當圖像x和y相等時，最大值為 1。

最終的損失函數表示如下：

Loss=LossMWSSIM+αLossQW

(12)

其中：α是平衡參數，用于平衡損失函數的數量級，在實驗中設定為α=0.1。

2 目標檢測網絡

2.1 YOLOv5網絡框架

YOLO算法最初是由Redmon等人[15]提出的一種目標檢測算法，區別于傳統目標檢測算法，該框架直接根據檢測性能進行端到端的優化，并且達到了實時處理圖像的要求，優于領域內其他檢測方法。隨著研究人員的深入研究拓展，YOLO系列算法已經發展到v8模型。YOLOv5在YOLO系列中是當前使用最廣泛也是效果最好的目標檢測模型之一，本文通過對其改進以實現對暗光條件下偏振成像的目標檢測。

如圖4所示，YOLOv5主要由4個部分構成：Input(輸入端)、Backbone(主干網)、Neck(頸部)和Head(頭部)。輸入端采用了Mosaic數據增強，一般使用4張圖片按照一定比例進行拼接，從而縮小目標識別范圍；采用自適應錨框計算，不同于前YOLO系列的模型使用單獨腳本進行錨框計算，YOLOv5在訓練前會根據不同數據集來自適應地計算錨框；采用自適應圖片縮放，自動計算圖片縮放比例并縮短黑邊以提高檢測速度。Backbone模塊采用Focus結構和CSP結構提高了計算力，且不會丟失有用信息。Neck模塊中采用了CSPNet設計的CSP2結構，加強網絡的圖像特征融合能力。最后在Head結構中采用了Boundingbox損失函數和NMS非極大值抑制，NMS主要用來消除檢測時冗余的框，提高檢測效率。YOLOv5算法通過靈活的參數配置和超參優化策略，達到優異性能的同時體量相比后YOLO系列算法更小，適合應用于實時偏振目標檢測場景。

圖4 YOLOv5網絡結構

2.2 引入CA注意力機制

一般的注意力機制在求取通道注意力的時候，通道的處理一般是采用全局最大池化或者平均池化，而這樣會損失掉物體的空間信息，因此引用CA(Coordinate Attention)注意力機制[30]，CA通過獲取精確的位置信息對通道關系和長期依賴性進行編碼，將位置信息嵌入到了通道注意力中，也就是引入了空間注意力機制。CA注意力機制的算法流程圖5所示，具體操作主要為Coordinate信息嵌入和Coordinate Attention生成。

圖5 CA注意力機制流程圖

1)首先對全局平均池化進行分解，獲取具有精準位置信息的遠程空間交互信息。Input為輸入的特征圖像，尺寸為C×H×W，然后對Input分別進行X方向與Y方向的池化操作，從而生成尺寸為C×H×1和C×1×W的特征圖，通過這種方法產生的特征圖可以使CA注意力在一個通道內捕獲長距離的依賴關系，并且有助于保留精確的位置信息，從而使網絡能夠更加準確地定位對象，圖6展示了特征圖的平均池化過程。

圖6 特征圖的平均池化過程

2)將生成的尺寸為C×1×W的特征圖zh和zw進行Concat操作，即按空間維度進行拼接：

(13)

(14)

f=δ{F1[(zh，zw)]}

(15)

拼接后得到特征圖f∈RC/r×(H+W)×1，其中r用于控制塊的減小率。再將特征圖經過F1卷積變換函數(1×1卷積)和非線性激活函數產生中間特征圖f。

3)基于空間維度，將中間特征圖f進行split操作拆分成兩個張量，分別表示為fh∈RC/r×H×1和fw∈RC/r×1×W，然后利用Fh和Fw卷積變換函數(1×1卷積)升維度，再結合sigmoid激活函數得到最終的坐標注意力向量gh∈RC×H×1和gw∈RC×1×W：

gh=σ[Fh(fh)]

(16)

gw=σ[Fw(fw)]

(17)

4)將gh∈RC×H×1和gw∈RC×1×W與源輸入相乘，即CA注意力機制的輸出公式為：

(18)

CA不僅同時引入空間注意力和通道注意力，解算二者之間的關系，還考慮到長程依賴的問題，有效實現了檢測精度的提升；同時其參數量、計算量相比其他注意力機制也較少，這種足夠輕量與靈活的特點使其能夠更便捷地插入到輕量級網絡的模塊中。

3 實驗結果與分析

3.1 網絡訓練與參數設置

由于沒有足夠成熟且龐大的公開偏振圖像數據集，本文自制了偏振數據集用于訓練與測試網絡。數據集來自 Lucid 的 Phoenix PHX050S-PC 偏振相機，Phoenix 相機傳感器芯片集成了4個方向的納米級陣列偏振片，可以同時獲取4個方向的偏振圖像。共獲取了500 幅大小為 1 224×1 024 的偏振圖像，主要場景包括陰天暗光環境下建筑物、汽車、行人與單車等，圖7展示了數據集中的一些代表性圖像。偏振圖像按照相鄰的4個像素進行分解，得到 0、45、90和135°共4個不同偏振方向的圖像，分解后的圖像大小為 612×512，同時進行歸一化處理，以便統一像素范圍。用于訓練和測試的計算機配置為Intel(R) Core(TM) i5-7300HQ CPU @2.50 GHz和(NVIDIA)GeForce GTX 1050。

圖7 部分數據集中的圖像

對于圖像融合網絡：在網絡模型的訓練階段，選取了200對圖像作為融合網絡數據集，其中150對圖像用于訓練圖像融合網絡，40對圖像用于檢驗網絡，剩余的圖像則用于測試網絡性能，在訓練之前先對可將光圖像與偏振度圖像的像素范圍規范在[1，0]內以便模型處理。在訓練、驗證和測試過程中均不對源圖像進行任何變動，直接輸入模型。在參數設置方面，學習率設為 0.000 1，訓練輪數設為 30，批次大小設為 128，并在 TensorFlow 平臺上實現網絡模型，使用Adam優化器訓練模型。

對于目標檢測網絡：由于數據集的數量相對較少，不足以充分訓練改進的YOLOv5模型，本文對數據集進行增強處理，通過水平翻轉、垂直翻轉、裁剪拼接、改變亮度等方式將原有的500幅圖像增強到3 273張，達到了充足訓練網絡的水平。在訓練前先將數據集以7∶2∶1的比例分成3部分，分別作為訓練集、測試集和驗證集用于模型中，選取汽車、行人與單車3個標簽作為目標檢測類別。權重衰減率為0.000 5，初始學習率設為 0.01，訓練輪數設為100，批次大小為16，動量因子設置為0.937，在Pytorch平臺上實現網絡模型。

3.2 結果與分析

首先使用主觀方法對圖像融合網絡的效果進行評估，圖8展示了兩個場景下的圖像融合結果，其中S0為可見光圖像，DolP為偏振度圖像，AoP為偏振角圖像，Ave為S0和DolP的平均圖像，Our則為S0和DolP的平均圖像。從主觀上來看，本文所提出的圖像融合方法可以將可見光圖像的目標信息與偏振度圖像的偏振細節信息有效融合，并且融合后的圖像呈現出較好的視覺效果，對比度增強且邊緣清晰，融合后的圖像可以應用到目標檢測場景中。

圖8 圖像融合網絡效果圖

使用主觀方法對圖像融合網絡的效果進行評估，本文建立了不同的驗證集：可見光圖像驗證集、偏振度圖像驗證集和融合圖像驗證集，使用改進的YOLOv5目標檢測算法在不同驗證集下的檢測結果對比如圖9所示。第一組圖像為室內光照不足條件下的人像圖，由于圖像融合后獲得清晰的邊緣信息，因此對人像的檢測有一定提升效果；第二組圖像中，由于左下角車輛玻璃的材質以及反光影響，產生一定的偏振噪聲，導致融合后的精度降低，但其他目標的精度均有提升，尤其是對于小弱目標的檢測精度；第三組圖像中最左側的車輛在可見光圖像下未識別出，待測目標有一定遮擋且尺度較小，肉眼也很難觀測到，而融合后的圖像具有更多特征信息，能夠被有效檢測；在第四組圖像中，拍攝場景在多云陰天，有較多環境干擾信息，經過圖像融合后有效抑制了環境造成的冗余特征，將關注點更多地放在有用區域。

圖9 不同驗證集下的檢測結果對比圖

接下來對改進的YOLOv5模型進行可行性分析，改進模型的損失函數曲線如圖10所示，其中box_loss為目標錨框的定位面向暗光場景的目標偏振可見光融合檢測方法損失，obj_loss是置信度損失，loss為總損失。觀察圖中曲線可看出3種損失均在訓練過程中逐漸收斂，最終達到一個穩定值，總損失loss在前15輪迅速下降到0.03以下，在之后的輪次也逐漸趨于穩定，最終達到0.000 5左右，說明了模型的穩定性與有效性。

圖10 損失函數曲線

為更好地驗證本文改進的YOLOv5模型的優勢，選取幾種目前主流的目標檢測算法：Faster-R-CNN[11]、YOLOv4[18]、YOLOv5s、YOLOv5m和YOLOv5l，在相同數據集下進行對比實驗，并且使用針對目標檢測的評價標準進行客觀性評價，評價標準主要有以下幾個：召回率μR，表示模型預測的正樣本數占實際正樣本數的比例，也稱為查全率；精確率μP，表示預測正確樣本數占所有識別為正樣本的樣本比例；均值平均精度mAP@0.5，代表模型在IOU閾值為0.5時的平均精度，其中IOU是交并比，表示模型預測的目標框和人工標定目標框的交并集之間的比例；均值平均精度mAP@0.5∶0.95，代表IOU閾值從0.5～0.95，步長為0.05時的平均精度；推理時間t，表示模型檢測一張圖像所需要的時間；平均精度AP，指P-R曲線的面積，代表平均精度，計算公式如下：

(19)

(20)

(21)

其中：P(R)表示P-R曲線；FN表示樣本的真實類別是正樣本，但是模型將其預測為負樣本；TP表示樣本的真實類別是正樣本，模型將其預測的結果也是正樣本；FP表示樣本的真實類別是負樣本，但是模型將其預測為正樣本。

不同算法的性能指標對比結果如表2所示，可以看出本文算法與其他經典算法相比，精確率和召回率都更高，分別為89.3%和82.5%；mAP@0.5只有本文算法和YOLOv5s達到了90%以上，但本文算法效果更好，相比YOLOv5s提高了2.6%；mAP@0.5∶0.95達到70%的有4種算法，本文算法略高與其他3種，相比于第二優秀的YOLOv5s提高了1.8%；在檢測速率方面YOLOv5s算法的速度最快，由于本文算法引入了CA注意力機制，使檢測速率平均慢了2.9 ms，但在幾種算法中仍然具有一定優勢，能夠滿足實時監測的要求。整體來看，本文改進的YOLOv5算法兼顧了實時性與檢測精度，通過引入注意力機制，有效抑制了陰天暗光等環境因素對目標檢測的影響，將更多的注意力集中在待測目標上，從而提升微小目標的檢測精度與準確度。

表2 不同算法的性能指標對比結果

4 結束語

為了提高陰天暗光場景下的偏振目標檢測效果，首先從改善可見光和偏振圖像的融合效果入手，提出了一種基于 CNN 的有效融合網絡，該網絡以無監督的方式進行訓練，無需手動設計復雜的融合規則和活動水平指標，而是可以在卷積層中自主學習。還引入了DenseBlock來充分提取圖像特征，設計了一個新的損失函數來確保網絡的融合性能，在更大程度上縮小了融合圖像與源圖像之間的差距，引入拉普拉斯算子來增強融合圖像的對比度和邊緣強度，最終得到同時具有偏振信息與可見光信息的待測目標。然后提出了一種基于改進的YOLOv5s模型，通過添加CA注意力機制將空間注意力機制與通道注意力機制相結合，使網絡更容易捕捉到待檢測目標物，提升模型檢測精度，并且該模型足夠輕量，實時性高，全局感知能力強。

為驗證所提算法的有效性，從主觀和客觀兩個方面評估了融合算法的有效性，通過與5種經典目標檢測算法進行對比實驗，使用5種評估指標對目標檢測網絡進行評估。實驗結果表明，本文所提出的偏振目標檢測網絡相比最優的YOLOv5s模型，精確率和召回率分別達到了89.3%和82.5%，mAP@0.5和mAP@0.5∶0.95分別提高了2.6%和1.8%，因此本文提出的圖像融合算法與目標檢測算法解決了暗光條件下目標信息缺失難以被檢測到的問題，先通過融合網絡將目標的偏振信息與可見光信息相融合，構成信息豐富的融合圖像，然后通過改進的目標檢測網絡將注意力集中在目標物區域，從而提升目標檢測的準度與速度。相比于YOLOv5和其他主流目標檢測模型在檢測精度、檢測時間等方面有較大提升，適合一些極端條件下的目標檢測場景。本文在檢測速率以及模型輕量化方面仍有繼續提升的空間，也缺少對更多極端場景下的目標檢測研究，這也是后續算法的進一步優化方向。