紅外可見光圖像協同的弱光場景語義分割方法

陳誠 丁亞杰 高輝 胥崢

摘要：針對在昏暗條件下傳統的基于可見光的語義分割方法精度較差的問題，本文提出了一種紅外可見光圖像協同的弱光場景語義分割方法。首先在多源特征自適應融合的編碼器中提取可見光與紅外圖像的對應特征，并輸入到自適應特征融合模塊中進行增強與融合。接著將多源特征分別饋送入解碼器進行處理，輸出可見光與紅外圖像的獨立語義分割結果。最后將自適應融合多源特征的數據送入多源特征聚合模塊，并與不同模態的特征進行聚合解碼，輸出融合多源特征的語義分割結果。實驗結果表明，在弱光場景下，該方法具有良好的分割效果，并在PST900數據集下較其他方法有較為優異的性能。

關鍵詞：語義分割;可見光圖像;紅外圖像;特征融合;弱光場景

1 語義分割方法

為了結合可見光圖像與熱紅外圖像的特征，本文提出了一種基于編碼器—解碼器結構的紅外可見光圖像協同的弱光場景語義分割方法。網絡的整體架構如圖1所示，由三個部分組成：

1.1.兩條用于提取對應模態特征的編碼器網絡及其對應的解碼器網絡。采用預訓練完畢的Res2Net-50[5]網絡作為主干網絡，兩條對應模態的編碼器子網具有相同的主干網絡，因此在五個卷積層上都能生成對應的特征。解碼器網絡結構與層級相同的編碼器子網相對應，并能輸出可見光與紅外圖像獨立的語義分割結果。

1.2.一個包含集成各卷積層對應模態特征的自適應特征融合模塊。本模塊采用剩余連接的方式對多源特征進行增強，并自適應地將增強后的特征與前一模塊的輸出進行充分地融合，以獲得較為光滑且最大化結合多源互補信息的特征圖。

1.3.一個多源特征聚合的解碼器子網。本文設計了一個位于特征接收模塊與級聯操作之間且結合多源特征的特征聚合模塊，通過集成來自多源的不同解碼特征與上層解碼輸出，充分利用多源特征信息的特異性，大大提高語義分割的精準度。

2 實驗結果分析

為了評估本文提出算法的有效性，本文將所提出的方法與表1中所示的5種先進的方法進行了比較。上述所有方法都在PST900數據集上進行訓練。

實驗結果表明，在地下礦洞這種黑暗狹小的場景中，本文由于充分結合可見光與紅外圖像的特征，其分割結果更加完整與精確。從表1可以看出，本文所提出的方法在所有網絡的平均精度與平均交并比指標方面都取得了最好的結果。根據圖2，本文所提的紅外可見光圖像協同的弱光場景語義分割方法較其他網絡與標定結果匹配度最好，分割后的目標邊緣更為清晰與完整，且不會出現對目標的漏檢、錯檢等情況。因此與目前的最佳方法相比，我們的語義分割方法在此數據集上具有更高的效率以及精度。

結論

本文提出了一種紅外可見光圖像協同的弱光場景語義分割方法，包括兩條用于提取對應模態特征的子網和一條用于集成多源信息的子網，三條子網均采用編碼器—解碼器結構，其中集成多源信息的子網包含自適應特征融合模塊與多源特征聚合模塊。自適應特征融合模塊根據可見光與熱紅外圖像之間的互補性，可自適應地讓特定模態的特征進行融合，多源特征聚合模塊能將自適應特征融合模塊的輸出與特定模態特征相結合，充分利用可見光與熱紅外圖像的特異性。在PST900數據集下的實驗結果表明，在弱光場景下本文所提的方法較于其他先進的分割網絡，在精度以及效率方面有顯著的提高。

參考文獻

[1]秦飛巍， 沈希樂， 彭勇，等. 無人駕駛中的場景實時語義分割方法[J]. 計算機輔助設計與圖形學學報， 2021， 33（7）：12.