紅外和可見光圖像融合的隧道火源深度估計技術

關鍵詞：隧道火源識別；火源深度估計；多模態融合；兩階段訓練；紅外圖像；可見光圖像

中圖分類號：TD67 文獻標志碼：A

0引言

我國地下礦井巷道和長大交通隧道數量眾多，其安全性長期受火災威脅。若能在火災發生初期及時準確識別火源位置，將大幅提高火災救援響應速度和救援效率，甚至將火災撲滅在萌芽狀態。礦井巷道、公路隧道等場景環境復雜，在火源強光和濃煙的影響下，僅靠視頻監控系統往往無法有效識別火源[1]。隨著人工智能技術的興起與快速發展，基于圖像的火災探測方法展現出巨大潛力。

在智能火災探測領域，端到端單目深度估計方法受到廣泛關注。現有研究主要集中在通過改進特征提取方法來提高深度估計的精度和魯棒性，如劉逸穎[2]引入多尺度特征提取器， 邵浩杰等[3]改進Wasserstein 距離損失，溫靜等[4]提出基于卷積神經網絡的特征提取和加權深度遷移方法，均在不同程度上提升了單目圖像深度估計的性能。此外，研究者發現特征融合技術可恢復準確、有效的深度信息，如王泉德等[5]采用多尺度特征融合的卷積神經網絡算法，程德強等[6]提出一種基于層級特征融合的自監督單目深度估計網絡模型，解決了復雜場景中預測深度信息不精確的問題。其中自監督單目深度估計網絡對于數據集的限制更小，其訓練方法一般分為基于立體像和基于視頻序列影像2 種。基于立體像的訓練方法需確定相機間的基線長度及相機焦距，且需要2 個視角下的圖像，限制了可用于訓練的數據集范圍。為了進一步減少限制條件，基于視頻序列影像的訓練方法得到更大關注。Zhou Tinghui等[7]利用單目視頻序列訓練深度估計模型，采用2 個網絡分別估計單幀圖像的深度和視頻序列中相機的姿態變化。C. Godard 等[8]提出每像素最小重投影損失和多尺度損失來解決遮擋和局部梯度問題。WangLijun 等[9]在文獻[8]基礎上，利用特征度量損失、時間幾何一致性進一步提高了單目深度估計精度。Luo Xuan等[10]采用從運動中恢復結構（Structure fromMotion，SFM）技術結合學習的先驗知識，通過聯合優化每幀的深度和相機姿態，實現了對遮擋和動態場景的魯棒處理。劉香凝等[11]提出了一種新型多階段網絡結構，通過自注意力機制和精細化損失函數，解決了深度估計中細節丟失問題。陳瑩等[12]設計了密集特征融合的編解碼網絡結構，引入一種新的損失函數，改善了邊界清晰度，并減少了偽影。C. Godard等[13]采用左右圖像一致性作為訓練信號，提出一種自監督單目深度估計方法。吳壽川等[14]采用雙向遞歸卷積神經網絡來提高單目紅外視頻深度估計精度。杜立嬋等[15]采用單目雙焦距圖像及尺度不變特征轉換（Scale-invariant Feature" Transform，SIFT）特征匹配方法，實現了單目相機深度估計。李旭等[16]采用基于深度學習的單目紅外圖像深度估計方法，解決了視覺輔助駕駛系統在夜間低能見度場景下的前視深度感知問題。曲熠等[17]采用基于邊緣強化的無監督單目深度估計網絡模型，解決了邊緣深度估計不準確的問題。Xian Ke 等[18]通過數據增強技術解決了單目深度估計模型在圖像受到干擾時性能下降的問題。Bi Hongbo 等[19]將深度圖與RGB 圖像結合，解決了偽裝物體檢測中的準確率問題。

盡管現有文獻已在火源深度智能估計方面取得了較大進展，但這些方法面臨時間序列一致性的挑戰，且對相機姿態變化具有高度敏感性，在復雜動態環境中的識別性能下降，難以應對礦井巷道和隧道復雜紋理區域的火源深度估計任務。對此，本文提出一種紅外（Infrared，IR）和可見光（RGB）圖像融合的隧道火源深度估計方法，引入自監督學習框架的位姿網絡構建單目深度估計網絡模型，學習火災圖像時間序列上的運動模式和變化規律，提升深度估計的連續性和魯棒性，同時引入相機高度損失，進一步提高復雜動態環境中火源探測的準確性和可靠性。

1隧道火源自監督單目深度估計網絡模型

隧道火源自監督單目深度估計網絡模型如圖1所示。

模型采用深度估計網絡和位姿網絡相結合的方式進行自監督訓練。位姿網絡僅用于預測相鄰幀間的位姿變化，深度信息的準確性主要受深度估計網絡的影響。深度估計網絡包括基于UNet[21]的IR和RGB特征編碼器、IR?RGB特征融合模塊、深度估計解碼器。IR和RGB源視圖經編碼器提取特征，兩模式特征由IR?RGB特征融合模塊融合，再經深度估計解碼器輸出初步的深度圖。位姿網絡預測相機的位姿變化，經投影函數處理，將深度信息與源視圖對齊。通過比較重建視圖與源視圖的一致性，得到用于自監督訓練的損失值，進而優化網絡性能，提高深度估計的準確性。

深度估計網絡采用兩階段訓練方法，如圖2 所示。這種分階段和多模態的訓練方法可充分利用不同傳感器的信息，提高深度估計的準確性和可靠性。

在第1 階段， 依次使用RGB， IR 視頻幀訓練RGB?UNet 和IR?UNet。特別地，IR?UNet 訓練過程中采用有效通道注意力（Efficient Channel Attention，ECA） 模塊[20]提取RGB 圖像的注意力圖并注入IR 特征，此時凍結了RGB?UNet 參數，以確保穩定地學習IR 圖像特征。

在第2 階段， IR?RGB 特征融合模塊將IR 和RGB 2種模態的圖像特征進行融合，通過深度估計解碼器進行深度估計。與傳統的融合方法[22]不同，考慮不同模態圖像在空間的信息分布具有差異性，采用非對稱UNet 架構，根據中心核對齊（CenteredKernel Alignment，CKA）相似性結果來指導不同模態特征的有效融合，確保特征空間分布的一致性。具體地，第1 階段RGB?UNet 提取的前4 層特征與IR?UNet 提取的后4 層特征交叉融合，形成4 組融合特征圖輸入IR?RGB 特征融合模塊。該模塊先對RGB特征圖進行下采樣，以匹配IR 特征圖的維度，再通過特征加法和通道注意力機制對融合后的特征進行處理，以增強重要特征并抑制噪聲。在解碼器階段，采用卷積和像素Shuffle 操作對特征圖進行上采樣，以逐漸恢復深度圖像的分辨率。解碼器的最后一層通過1×1卷積核進一步細化特征，生成最終的深度圖。

2損失函數

在深度估計網絡第1階段訓練過程中， 使用L2 范數作為IR?UNet 和RGB?UNet 的損失函數[23]。L2 范數通過計算輸入圖像和重建圖像之間像素差異的均方根并將其最小化來優化隧道火源自監督單目深度估計網絡模型的特征提取能力。第1階段損失函數為

3實驗及結果分析

3.1隧道火源數據集構建

目前隧道火源數據集特別是多模態數據集缺乏，因此，在隧道環境中設置單目相機距地面1.2 m，采集不同光照條件下的IR 與RGB 2種模態的火源圖像，構建隧道火源數據集，用于評估自監督單目深度估計網絡模型的有效性和魯棒性。為了增強數據的多樣性，數據集包括不同距離下的火源、煙霧及可能出現的干擾物圖像，部分圖像如圖3 所示。此外還記錄了相應的深度圖像，以增強火災場景下物理現象的多維度信息。

數據采集完畢后進行預處理，以提高數據集的圖像豐富性和泛化能力，具體方法：①圖像對齊。將同一場景拍攝的IR圖像和RGB圖像精確對齊，確保不同模態圖像在像素級別的一致性。②圖像標定。使用標準棋盤格圖案對圖像進行標定，以獲取焦距、主點坐標、畸變參數等內參信息。③數據增強。為了模擬不同的成像條件并提升模型的泛化性，對數據集進行數據增強，包括圖像旋轉、縮放、裁剪、顏色變換等操作。

預處理后的數據集包含4200張圖像，按5∶1∶1的比例劃為訓練集、驗證集和測試集，即訓練集含3000張圖像，驗證集和測試集均含600張圖像。

3.2參數設置與評價指標選取

本文采用Pytorch 作為深度學習框架， 在NVIDIA GeForce RTX 4080 上實現隧道火源自監督單目深度估計網絡模型。深度估計網絡采用UNet，其輸入和輸出圖像的分辨率均為384×288；位姿估計網絡采用與深度估計網絡相同的輸入分辨率。此外，通過在ImageNet 上預訓練的權重初始化深度估計網絡和位姿網絡的編碼器。批次大小（batchsize）設置為8，epoch 設置為200，初始學習率設置為1×10^?6，采用Adam 優化器。

遵循深度估計領域的常規實踐[4]，采用絕對值相對誤差（Absolute Relative Error， AbsRel） 、平方相對誤差（Square Relative Error， SqRel） 、均方誤差（RootMean Squared Error， RMSE） 、對數均方誤差（RootMeans Squared Error in Logarithmic Space， RMSElog）作為評價指標。上述指標值越小，表明模型性能越好。

3.3實驗結果分析

3.3.1對比實驗

將本文模型與目前最先進的單目深度估計模型進行對比實驗， 包括Lite?Mono[26]， MonoDepth[13]，MonoDepth2[8]，VAD[27]，結果見表1。可看出當骨干網絡為Resnet18 時，本文模型的AbsRel 和RMS最優，SqRel 和RMSELog為次優，精確度閾值為1.25和1.252 時深度估計準確性最優。當骨干網絡為Resnet50時， 本文模型的AbsRel，SqRel，RMS，RMSELog 均最優，精確度閾值為1.252和1.253時深度估計準確性最優，精確度閾值為1.25時為次優。綜合來看，本文模型較其他模型具有更準確的深度預測結果。

3.3.2消融實驗

為了評估IR?RGB特征融合模塊（FU）和相機高度損失（LH）的有效性，在自制數據集上進行消融實驗。基準模型（Base）采用MonoDepth2，編碼器主干網絡采用Resnet18。消融實驗結果見表2。可看出在基準模型中加入FU 后，滿足δ＜1.25條件的像素占比由0.884 提升至0.889，加入LH 后進一步提升至0.893。加入FU 和LH 后， AbsRel 由基準模型的0.112 降至0.105，提高了深度估計的準確性。雖然本文模型（Base+FU+LH）在部分指標上較基準模型沒有顯著改善，但綜合AbsRel 和精確度指標可知，引入IR?RGB 特征融合模塊和相機高度損失可有效增強模型對不同模態特征的感知能力，提高深度估計精度。

3.3.3可視化結果

采用本文模型對自制數據集中的圖像進行識別，并與DepthAnything[28]，MonoDepth2[8]，Lite?Mono等模型的識別結果進行對比，結果如圖4 所示，部分細節如圖5 所示。

從圖4、圖5可看出，MonoDepth2模型將部分煙霧區域錯誤地估計成火源的一部分，識別準確度受煙霧影響較大；DepthAnything模型對處于圖像邊緣的物體估計效果不佳， 丟失了大量的細節信息；Lite?Mono 模型的識別結果易受背景干擾，導致火源與背景邊緣不夠清晰；本文模型采用多模態融合策略，針對RGB 圖像中強光導致圖像過曝、物體邊界難以準確區分的問題，利用IR圖像的穩定性來補充特征信息，并結合非對稱UNet架構，增強了特征提取能力，因此對于近景區域中物體（如火源）和遠景區域中物體（如車輛）的預測效果均優于其他模型。

4結論

1）隧道火源自監督單目深度估計網絡模型采用兩階段訓練方法，融合了IR 圖像和RGB 圖像特征，并引入自監督學習框架的位姿估計網絡，能夠學習火源圖像時間序列上的運動模式和變化規律，提高了火源深度估計的連續性和準確性。

2）該模型引入相機高度損失作為約束，能夠有效應對相機姿態變化的挑戰，顯著提升復雜動態環境中火源探測的準確性與可靠性。

3）實驗結果表明，以Resnet50 為骨干網絡時，該模型的AbsRel 為0.102， SqRel 為0.835，RMS 為4.491，優于主流的Lite?Mono， MonoDepth， MonoDepth2，VAD 模型，且精確度閾值為1.25，1.25²，1.25³ 時整體準確度最優；該模型對近景和遠景區域內物體的預測效果優于DepthAnything， MonoDepth2， Lite?Mono模型。

4）后續將進一步研究融合隧道機器人、小型無人機、透地雷達的火源識別、應急組網與路徑規劃方法，提高該模型的精確度和實用性。