基于跨模態特征增強的RGB-T行人檢測算法研究

王留洋，芮 挺，鄭 南，胡睿哲，蔣群艷

(陸軍工程大學， 南京 210007)

1 引言

圖像是自然景物的客觀反映，也是環境感知的關鍵數據，隨著深度學習技術的進步，基于自然圖像的目標檢測技術得到了快速的發展，在自動駕駛、環境探測等領域得到了廣泛的應用，但當前的目標檢測算法大多是基于可見光圖像，原因在于可見光圖像分辨率高，具有豐富的顏色和紋理特征，運用深度卷積網絡可以較為準確地提取到通用場景中的目標特征，并進行目標的識別分類。然而，在一些特殊的場景下，如光線昏暗、目標受到遮擋以及背景雜亂且顏色與目標相近的環境中，依靠顏色、紋理等特征的單模態可見光圖像并不能很好地表示出目標的特征信息，以至于目標大量丟失，導致檢測算法性能不佳。

針對以上問題，本文提出將可見光圖像與紅外熱圖像進行特征級的信息增強融合，改善特殊場景下目標丟失率高的問題。由于輻射成像的原理，紅外圖像雖然存在對比度低、細節模糊問題，但可以全天候獲取場景圖像信息，且其中的目標表現出高亮的形狀特征，可以對特殊場景下可見光圖像做出有效的信息補充。因此，本文首先構建出可見光和紅外雙模態特征提取網絡，用于提取可見光紅外圖像的特征信息，然后在空間和通道2種模式下分別對可見光和熱紅外圖像信息進行特征增強，并在特征層次上對2種模態特征圖進行信息互補，使得即使在背景雜亂、遮擋和光線昏暗情況下，也可大大降低了目標的檢測丟失率，有效改善了算法的檢測性能。

2 相關工作

目標檢測作為計算機視覺領域的重要組成部分，多年來一直備受研究界的關注，尤其是針對于可見光圖像中的行人、車輛等目標。由于自然環境和背景信息的限制，存在于可見光圖像中特殊目標特征表示能力較差，尤其是在有遮擋或光線條件差的環境中，Wang等設計一種排斥力損失函數，通過判定目標與周圍環境的吸引排斥關系，對目標進行定位; 楊鈞智等則是通過在卷積神經網絡中加入注意力機制，利用特征圖相乘融合策略自適應的學習目標特征，有效地改善了遮擋目標的誤檢問題，增加了遮擋檢測準確率，但對于光線昏暗、目標能見度不高情況，檢測性能依然不夠理想。針對此種情況，當前的一些研究將可見光與紅外圖像相融合，以提高目標識別能力，文獻[8]通過運用多尺度變換的策略對不同尺度的可見光和紅外特征進行融合，但易受抖動和噪聲的影響；Song等從一種魯棒的多光譜特征融合網絡中提取出多尺度可見光和紅外圖像的語義信息，用于行人目標識別；文獻[10]提出將增強決策樹應用于區域建議網絡，重新對建議區域評分以減少潛在誤檢率，但在推理速度上稍有不足；文獻[11]組合不同模態檢測模式的概率，并通過通道加權融合，來有選擇地使用2種模態特征，以提高多譜融合檢測的效果；李秋華等設計針對不同特征的分類器，并決策級融合策略對多個分類器分類結果進行融合處理，使檢測精度有了提升，但對特征圖信息利用不夠充分，鑒于以上檢測方法有的易受干擾、有的推理速度較慢的問題，本文提出跨模態特征增強網絡，旨在于通過對可見光和紅外2種模態的圖像特征在空間和通道上進行特征增強，通過逐像素相加的方法對2種模態圖像進行特征級融合，以減少受遮擋、光線等復雜條件影響的目標的誤檢丟失率。

3 本文算法

YOLOv5s算法作為單階段端到端的檢測算法，其融合跨階段局部網絡(cross stage paritial network,CSPNet)和Darknet53，用于提取圖像特征信息，又結合特征金字塔(feature pyramid network,FPN)和路徑聚合網絡(path aggregation network,PANet)，進行圖像特征信息融合，在檢測速度和檢測精度方面具有較大的競爭力。針對檢測中目標受光照變化和遮擋等不利情況導致檢測效果不好的問題，結合當前目標檢測領域最新研究，利用可見光和紅外圖像信息互補的優勢，提出以YOLOv5s為基準的跨模態特征增強的目標檢測算法。

3.1 雙模態特征提取網絡

考慮可見光圖像與紅外圖像特征信息的特點，本文采用靈活高效的CSPDarknet53作為特征提取網絡。該網絡融合了殘差和跨層思想，能夠有效緩解梯度消失問題，從輸入圖像中提取豐富的圖像特征信息。本文將可見光和紅外2種模態的圖像同時輸入到特征提取網絡中，一路輸入可見光圖像，另一路輸入熱紅外圖像，利用深度卷積神經網絡強大的特征提取能力，快速高效地提取出紅外圖像的高亮輪廓和可見光圖像的顏色紋理等特征信息。在特征提取網絡中，將第2、3、4個CSP后的3個尺度圖作為檢測輸出，其包含了檢測圖像淺層的紋理輪廓信息和深層的圖像語義信息，在輸入圖像尺寸為608時，分別形成76×76、38×38、19×19尺度的特征圖，網絡結構如圖1所示。

圖1 雙模態特征提取網絡示意圖

3.2 跨模態特征增強網絡

圖2 跨模態特征增強網絡結構示意圖

3.2.1 空間特征增強

圖2中的空間特征增強機制可以將特征圖中廣泛的上下文信息編碼為局部特征，并在其上建立豐富的上下文關系，從而增強其特征表示能力。首先通過卷積對每個尺度的特征圖進行降維，然后通過和支路的圖像特征信息，利用矩陣變換運算，建立起表征特征圖任意2個像素之間空間關系的空間矩陣，計算式如式(1)所示，將該矩陣與支路特征進行矩陣乘法操作，再將乘的結果矩陣與原始特征逐元素求和，最終得到能夠表示特征圖中上下文關系的輸出結果，數學表達為：

(1)

3.2.2 通道特征增強

如圖2所示，為了更好地保留每個通道之間特征的關聯性，通道特征增強模塊不需要進行卷積降維。首先，將原始特征圖分為4個支路，然后，將第三、四支路特征圖分別做矩陣變換，并將2個矩陣做乘法運算，以得到可以表征2個通道相關性的通道矩陣；再利用得到的通道矩陣與第二支路特征圖變換矩陣作乘法，乘法結果再與第一支路特征圖逐元素相加，得到可以表示特征圖之間語義關系依賴的通道增強特征圖，計算公式為：

(2)

式(2)中：、為通道標識；表示尺度系數，初始化為0；表示增強結果。通過對特征圖進行通道特征增強，提高了目標特征在每個通道上的關聯程度，增強了紅外圖像中目標的語義表示，同時也增加了可見光圖像中目標顏色、紋理等特征的信息表達能力，糾正一些錯誤分類的類別。

3.2.3 特征信息融合

=+

(3)

式(3)中，、、分別代表增強后可見光、熱紅外以及融合后圖像在通道中(,)位置的元素值。通過利用可見光和紅外圖像2種不同的信息表達特性，將可見光中的顏色紋理等信息與紅外圖像中的高亮位置輪廓信息相融合，使得受限于微小且被遮擋的外觀、雜亂的背景以及夜間的不良能見度條件下圖像目標表示較差的情況得到了有效改善。

圖3 特征融合示意圖

4 實驗與分析

為了驗證雙模態特征提取和跨模態特征增強網絡的有效性，在KAIST多譜行人檢測數據集上與其他主流算法進行對比，并進行消融實驗，驗證各個模塊的有效性，最后對檢測結果進行可視化。

4.1 實驗設置

實驗在PyTorch-1.4.0深度學習框架下進行，配置一塊GeForce RTX 2080Ti GPU，使用隨機梯度下降法(SGD)對網絡進行訓練，動量參數為0.9，衰變值為0.005，共訓練100個周期，基準學習率為0.001，訓練過程中每次迭代訓練包括1次前向傳播和1次反向傳播，前向傳播過程預測結果，反向傳播過程更新權重參數。

算法在KAIST數據集上進行訓練與測試，KAIST是利用可見光相機、紅外熱成像相機采集大規模雙模態行人數據集，包含95 328可見光和熱紅外圖像。本文選取7 373幅圖像作為訓練集，2 252幅圖像作為測試集，其中，測試集與訓練集圖像不重合，且包含合理比例下白天、黑夜、遮擋的情況。本文通過固定參數對算法進行測試，并利用平均每幅圖像的錯誤率作為評價指標，通過一系列實驗來評估所提算法的有效性。

4.2 消融實驗

本文通過多尺度提取可見光和紅外圖像特征，并對2種模態的圖像特征進行增強，通過將增強策略應用于不同尺度的特征層，在相同測試集下以不同的場景數據對算法進行測試評估，以尋求具有高效率的最佳檢測方法組合，消融實驗設置如下：

1) 不使用特征強網絡對圖像特征進行處理，直接將網絡提取的2種模態特征信息進行特征融合。以No-enhance表示。

2) 分別只對提取出的76×76、38×38、19×19尺度的特征圖信息進行特征增強，以評測增強不同網絡深度下的圖像特征，對檢測結果的影響。其方法設置以76-enhance、38-enhance、19-enhance表示。

3) 對2種不同尺度的圖像特征進行組合增強，以檢驗綜合不同尺度的圖像特征信息對檢測準確度和推理速度的影響。其組合名稱以76&38-enhance、76&19-enhance、38&19-enhance表示。

4) All-enhance則表示將雙模態特征提取網絡所提取的所有尺度的可見光和熱紅外圖像特征，都送入特征增強網絡進行處理，以獲得檢測準確率和推理速度。

在相同的配置下，利用不同組合方法對網絡進行訓練，并在具有不同遮擋程度的圖像和合理范圍內不同光線下的圖像組成的相同測試集上進行評測，得到的實驗結果如表1所示。

表1顯示了不同方法在測試集圖像上的平均錯誤率以及推理速度。由表1可知，在不對2種模態圖像進行特征增強的情況下，白天、晚上和全天的檢測錯誤率分別高達18.46%、10.11%、15.90，而且在無遮擋、部分遮擋和嚴重遮擋的情況下，檢測錯誤率也高達33.53%、45.61%、62.69%；對單尺度特征圖進行特征增強后，檢測效果稍有提升，其中“38-enhance”情況下白天、晚上和全天的檢測錯誤率分別為14.59%、7.25%、12.16%，無遮擋、部分遮擋和嚴重遮擋的檢測錯誤率為30.73%、38.30%、61.26%；對2種尺度特征圖組合增強后，“38&19-enhance”條件下，白天、晚上和全天的檢測錯誤率分別降至15.47%、5.38%、11.50%，無遮擋、部分遮擋和嚴重遮擋的檢測錯誤率也降為27.79%、33.94%、54.71%，推理速度為0.019 s;而對所有尺度特征圖增強后，白天、晚上和全天的檢測錯誤率分別只有12.79%、5.17%、10.26%，無遮擋、部分遮擋和嚴重遮擋的檢測錯誤率也僅為27.15%、33.35%、53.31%，檢測速度稍有增加，為0.021 s。

表1 消融實驗結果

由實驗結果可知，在對抗光線影響方面，隨著光照條件的弱化，可見光中目標的能見特征信息逐漸減少，目標識別能力受到挑戰，而通過對紅外圖像目標特征信息的提取，能夠有效利用到目標所表現出來的高亮輪廓信息，并對可見光圖像信息進行了有力的補充。另外，淺層網絡具有較強圖像顏色紋理信息，而隨著網絡深度的增加，圖像語義信息表達能力增強，通過在不同網絡深度提取的不同尺度特征圖上進行特征增強，使得圖像在各個尺度上的信息表示能力有了充分的提高，最終在白天、晚上和全天的檢測失敗率上相對于沒有特征增強的情況分別降低了5.67%、4.94%和5.64%，大大提高了檢測性能。

而通過對不同尺度特征圖在空間層次和通道層次上進行相關矩陣運算，使得算法能夠充分整合圖像目標的不同特征，更加有效地利用圖像的深層語義信息，對目標的分類提供了較大的幫助，在處理遮擋情況時，能夠使得圖像中目標的位置特征更加突出，圖像的語義信息更加豐富，最后將2種模態圖像在特征級別上實現像素融合，互補了可見光和紅外圖像各自的特征信息，令受遮擋的目標能夠更清晰地表達出自己的位置和類別特征，最終使得算法對不同程度遮擋目標的檢測錯誤率分別達到了27.15%、33.35%和53.31%這一較低水平。

另外，本文通過不同組合方式對目標特征進行深層次高水平的增強，而隨著特征圖數量的增加，計算復雜度也有所提高，使得推理速度有所增加，但仍然實現了0.021s的高速實時性，使得算法在整體性能上表現良好。

4.3 對比試驗

本文通過雙模態特征提取網絡提取紅外可見光圖像特征，并利用消融實驗得到的特征增強模塊的最佳組合，對RGB-T雙模態特征進行空間和通道上的增強，實現了圖像目標檢測性能的提高。為了證明本文所提算法的有效性，本節利用上文所述的訓練集對網絡進行訓練，并選取合理范圍內的白天、晚上和全天的測試子集上對網絡性能進行評測，將評測結果與其他主流算法結果列表如表2。

表2中，第1列為當前已有的可見光紅外圖像融合檢測算法，表格數據表示在相同測試子集上的測試結果，由表2可知，本文所提算法在合理范圍內白天、晚上和全天的檢測錯誤率分別為12.79%、5.17%和10.26，在光線條件不好的晚上場景，本文算法超越了其他的算法，取得了最優的結果。本文通過將紅外特征和可見光特征通過跨模態特征增強網絡進行目標特征信息增強，又在特征層次上進行了2種模態特征圖的逐像素相加操作，使網絡能夠更加充分利用2種模態圖像信息，在目標層面上實現了2種特征信息的優勢互補，極大增強了圖像目標的特征表達能力，使得所提算法在合理范圍內晚上測試子集上的檢測結果優于其他算法，在晚上光線較差的情況下，通過信息互補之后，檢測效果顯著，以較低的丟失率證明了本文算法的有效性。

表2 不同算法漏檢率實驗結果

4.4 檢測結果

本節利用訓練好的網絡對受到不同情況影響的目標進行可視化顯示，圖4、圖5分別表示在合理范圍內白天和晚上的檢測結果，圖6、圖7分別表示目標在受到輕微遮擋和嚴重遮擋情況下的檢測結果。

圖4 Reasonable-day測試效果圖

圖5 Reasonable-night測試效果圖

圖6 Occlusion-partial檢測效果圖

圖7 Occlusion-heavy檢測效果圖

圖4～圖7中，第1列為檢測原圖，第2列為其對應的紅外圖像，第3列為本文算法檢測結果在可見光圖像上的顯示。圖4、圖5分別代表白天和晚上的檢測情況；圖6表示目標受到輕微遮擋，其中第1組表示目標受到大樹遮擋，第2組表示目標受到同類目標遮擋的情況；圖7表示目標受到嚴重遮擋的情況，其中第1組表示受到同類目標嚴重遮擋，第2組表示受到車輛遮擋。由檢測結果可知，目標在受到環境光線和物體遮擋情況下，在單獨的可見光圖像或紅外圖像中，目標特征表達能力較弱，類別特征和位置特征共存能力不足，但是，通過對2種模態圖像特征增強融合之后，綜合了目標的位置和類別特征信息，使得算法能夠較好地對目標進行檢測，檢測效果顯著。

5 結論

本文提出了一種跨模態特征增強網絡，用于RGB-T圖像行人目標檢測。在輕型特征提取網絡YOLOv5s上加入注意力機制模塊，用來在空間與通道層次上進行多尺度特征增強，以提高不同特征層的目標特征表征能力。通過研究發現，特征增強網絡能夠將提取的不同模態不同尺度特征信息在空間和通道層次上進行特征增強，提高目標特征的表達能力。大量的實驗結果表明，跨模態特征增強算法能夠有效融合可見光與紅外特征，降低行人檢測算法在背景光照變化及遮擋情況下檢測的丟失率，算法具有較高實時性。未來，通過加入更加合理的注意力機制，可使雙模態特征能更加有效的融合，進一步提高多譜行人檢測的性能。