基于YOLOv5s的遙感衛星圖像森林火災檢測算法

王靖超 劉勇宏 楊怡琳 譚東 王鴻裕 劉金平

關鍵詞：遙感衛星；超分辨率；火焰檢測；YOLOv5s；森林火災檢測

0 引言

森林火災是一種毀滅性的森林災害。目前，世界上每年大約發生森林火災20多萬次，燒毀森林面積數百萬公頃，致使成千上萬人死亡，并嚴重地污染了大氣環境。比如，自2019年7月18日起，澳大利亞新南威爾士州大火開始熊熊燃燒至2020年2月12日，在大火燃燒的7個月的時間中，燒毀土地面積達400公頃，1200萬公頃土地過火，造成33人死亡，導致超10億動物死亡，2 500間房屋被燒毀，65萬只蝙蝠涌入城區，釋放了4億噸二氧化碳，對全球氣候產生了巨大影響；2019年的四川涼山森林火災造成 31名消防戰士犧牲，過火面積幾十萬公頃。森林火災不易被發現，一旦災情失控容易造成極大的經濟損失和人員損失。

近些年來，因全球變暖加劇，森林火災有加劇的趨勢。森林火災由于發生環境的特殊性，往往具有突發性高、危害性大，發生后的撲救工作困難等特點。近年來，發達國家將紅外檢測技術應用于森林火災的識別，利用無人機搭載熱紅外相機或者衛星遙感技術，來監測地面溫度的異常變化。我國也在該方向進行了很好的探索，早在20世紀80年代[1]，中國科學院在黑龍江開展的機載遙感森林探火實驗是我國首次將遙感技術成功運用到森林火災中。在大興安嶺的一起特大火災在衛星圖像的播放下準確地反映了火場具體情況，運用遙感技術監測火災發生，為有關部門提供了十分有效的情報。在四川木里縣火災中，通過人工智能與遙感圖像大數據火情識別算法對火情進行監測，為林火撲救指揮決策的提出提供了幫助。

森林火災檢測是通過收集遙感衛星對森林區域進行日常拍攝的遙感圖像，并對其進行目標檢測識別，判定圖像中是否存在火點的方式來進行的。隨著遙感技術、深度學習等技術的迅猛發展，遙感圖像在森林火災上的應用要求也不斷提高，基于遙感圖像的自動森林煙火檢測受到國內外廣泛關注。但現階段地形、植被、氣象等影響因素對衛星遙感監測林火的影響依然較大，因此更需要加大高分辨率在林火監測方面的應用研究力度[2]，火災初期小火焰的檢測準確度仍需繼續提升。

為實現小火焰目標的準確檢測，對衛星遙感圖像進行超分辨率處理，再基于所生成的高分辨率的遙感圖像進行煙火目標檢測，這樣將大大提高森林早期火災的檢測準確率。2017年，Christian Ledig等人[3]使用生成對抗網絡應用于圖像超分辨率（SRGAN） ，設計了新型感知損失作為網絡的損失函數對圖像進行超分辨率重建工作。通過生成器和判別器的對抗學習，當判別器無法有效分辨出生成的超分辨率圖像與真實圖像時，通常結束模型訓練，從而可基于低分辨率的遙感圖像生成對應的高分辨率圖像，便于火焰目標的有效檢測。受該研究工作的啟發，本文對SRGAN模型進行調用，用于重構超高分辨率的衛星遙感圖像，以有效提高遙感圖像中早期微小火災目標檢測的準確率。

目標檢測是機器視覺中一個基礎性的關鍵性研究課題，目前已提出了大量的目標檢測方法。自深度學習問世以來，利用卷積神經網絡提取更深層次、更抽象的檢測識別特征的能力，使得基于深度學習的目標檢測方法性能得到革命性提升。目前基于深度學習的端到端目標檢測方法主要分為兩類：基于候選區域的二階段目標檢測器和基于回歸的單階段目標檢測器[4]。YOLO是單階段目標檢測器中的一種。在目前發展過程中，YOLOv5集成了YOLOv3與YOLOv4的部分特性，迭代發展出更高的基準精度，且其為輕量級的網絡模型，具有優異的對象識別速度。

針對現有遙感圖像分辨率低，造成傳統方法難以實現早期火災火焰目標準確識別的問題，本文提出一種基于YOLOv5s的遙感衛星森林火災檢測算法。在該算法中，首先自動通過SRGAN模型對遙感圖像進行超分辨率處理，以提高模型檢測精度，然后通過YOLOv5s目標檢測算法，對原本模糊、細小火點進行檢測處理，得到相對于原來更完整準確的結果。所提算法基于公開的“哨兵”衛星遙感圖像數據集進行大量的實驗驗證，結果表明，該算法可以有效檢測出各種遙感圖像中火焰目標，有效降低漏檢和誤檢率。

1 基于YOLOv5s 的遙感衛星圖像森林火災檢測算法

當下，人工智能迅速發展，其領域內計算機圖像識別與處理的相關技術已經達到了一定高度，涌現出大量目標檢測算法，主流的兩種大致為以YOLO系列為代表的one-stage 算法與以R-CNN 系列為代表的two-stage算法[5]。

考慮到森林火災的監測具有時效性，須保證軟件系統達到實時性的要求，本研究選擇采用速度相對較快的one-stage算法，采用其中應用最為廣泛的YOLO 系列，選擇穩定性高、適用于火焰目標檢測的YO?LOv5s算法，在此基礎上進行改進延伸。

但因為遙感衛星圖像的圖像質量不高，圖像經放大后存在像素點分辨率較低的問題，嚴重影響了火焰目標檢測的效率與準確性，本研究選擇采用能夠提高圖像分辨率的SRGAN模型首先提高其圖像質量，然后通過YOLOv5s進行火焰目標的檢測，以此提高火災檢測的準確性與效率。

1.1 基于SRGAN 的遙感圖像超分辨率處理

SRGAN模型是一種基于生成對抗網絡（GAN） 方法進行訓練的圖像超分辨率處理模型，其中SR是指從低分辨率圖像中提取出高分辨率圖像，GAN網絡可以產生具有高感知質量的圖像，它的基本組成結構包括一個生成器和一個判別器。生成器是一連串的Re?sidual block連接，使用了SRResnet的殘差塊架構，在每個殘差塊中包含兩個3×3的卷積層，Conv后面設置了BN 層，使用PRelu 作為激活函數，通過兩個Pix?elshuffler層來放大特征尺寸，最終再使用一個3×3的卷積層得到輸出3 通道圖像。判別器的主體使用VGG19，使用了8個卷積層，在每個Conv后面都設置BN層，采用LeakyRelu作為激活函數，最終用兩個全連接層和最后的sigmoid激活函數得到預測為自然圖像的概率，圖1為SRGAN的網絡結構圖。

本文使用SRGAN模型來處理待進行火災檢測的遙感圖像，以提升其圖像分辨率質量，便于進行后面的火焰目標檢測，進一步提高檢測準確率和效率。

1.2 基于YOLOv5s 的火焰目標檢測算法

YOLOv5目標檢測算法劃分為4個模塊，具體包括：輸入端、基準網絡、Neck網絡與Head輸出端[6]。輸入端需要輸入圖片，圖像大小為608×608，該階段包含圖像預處理、歸一化等操作，使用Mosaic數據增強操作提升模型的訓練速度和網絡的精度。基準網絡用來提取一些通用的特征表示，YOLOv5中不僅使用了CSPDarknet53結構，而且使用了Focus結構作為基準網絡。Neck網絡使用SPP模塊和FPN+PAN模塊，可以進一步提升特征的多樣性及魯棒性。Head輸出端用來完成目標檢測結果的輸出，YOLOv5 采用的是GIOU_Loss做Bounding box的損失函數，在目標檢測的后處理過程中，針對目標框的篩選進行nms非極大值抑制操作。

YOLOv5 官方代碼中給出了YOLOv5s、YO?LOv5m、YOLOv5l、YOLOv5x 共四個版本，其中YO?LOv5s具有深度和特征圖寬度最小、速度最快、穩定性高的優點，適合用于火焰目標實時監測。本研究通過制作較小火點的火焰目標數據集，使用YOLOv5s進行訓練，得到適用于較小火點的火焰目標檢測模型，以達到實時監測在火災初期及時發現的目的。

2 實驗驗證

本研究將對上述兩個模型加以融合，在將遙感圖像進行檢測之前，先通過SRGAN模型超分辨率處理，得到更高質量圖像，以得到更佳結果，再使用預訓練好的YOLOv5s較小火點檢測模型進行檢測，得到最終結果。圖2為遙感圖像在超分處理前后縮略及細節對比圖。

可見，經過處理后的圖像具有更高的色彩度，放大后像素點更加清晰，能夠在一定程度上提高檢測的準確度。

2.1 數據集

由于遙感火災數據集搜集難度大，且各衛星圖像質量標準不一，本研究搜集了盡可能多的不同質量的樣本數據，以達到較高適用率的效果，共搜集到600余張圖像，考慮到數據量較小，訓練時可能特征提取不足，采用概率為0.5的數據增強方法（分割、旋轉、對比度等）來擴充數據量，并進行人工篩選，將無效數據去除，最終得到正負樣本共1 100余張圖像，其中部分正樣本及其數據增強結果數據集示例如圖3所示，部分負樣本及其數據增強結果如圖4所示。

為達到實驗初期檢測較小火點的目的，本研究對以上全部數據集使用LabelImg進行矩形框標注，盡可能多地將較小火點標注在內，分為火焰（fire） 和煙霧（smoke） 兩個類別，如圖5所示。

在標注過程中，本研究針對遙感圖像火災的特征和根據多次重復標注測試的經驗得出對此數據集的標注準則如下：對于成片密集的火災，應盡可能根據邊界線去分別標注，以此達到對于較小目標火災也能檢測出并具有良好效果的目的；對于不同質量圖像的火災及煙霧，應盡可能充分結合其共同特征進行標注，以此提高模型的適用率和準確率，減少檢測結果的疏漏情況。

2.2 模型實施與參數設置

本實驗所用服務器環境為：CPU為11th Gen Intel（R） Core（TM） i7-11800H @ 2.30GHz 2.30 GHz，GPU 為NVIDIA GeForce RTX 3060 Laptop GPU，顯存為6GB，操作系統為Windows11，編譯環境為Python3.9+PyTorch1.8.0+Cuda11.1。

經過多次調參嘗試，總結出在訓練過程參數設置中，除迭代次數設置為200、批尺寸設置為8、輸入圖片設置為640×640外，其他參數均如官方代碼默認設置時結果最佳，實驗結果采用精確度（P） 、召回率（R） 以及平均準確率（mAP@0.5） 等值作為最終評價標準，各項值具體計算公式如下：

2.3 實驗結果分析

經多次調參嘗試，當迭代次數設置為200、批尺寸設置為8、輸入圖片設置為640×640，其他參數設置與官方代碼默認相同，不使用凍結層時，模型訓練能達到最佳結果，平均準確率mAP@0.5值為0.749，即平均準確率達到74.9%，對于火點的識別平均準確率為71.4%，煙霧的識別平均準確率為78.4%，如圖6所示。

在此模型基礎上，本研究融合SRGAN模型，對不同分辨率質量的遙感圖像進行檢測，來驗證對圖像超分辨率的處理能否達到預期提升YOLOv5s對較小火點目標的檢測準確率及效率的目的，具體對比圖如圖7所示。

通過實驗結果發現，經過超分辨率處理的圖像在進行較小火點檢測時，可以在一定程度上提高各預測框的置信度，達到提高YOLOv5s模型對較小火點目標檢測效果的目的。并且，減少了不必要且置信度較低的預測框，可以實現每個預測框準確度提升且包含盡可能多的較小火點，提高檢測效率的效果，對于煙霧的識別置信度也有所提高。

3 結論

為了解決目前遙感圖像森林火災識別效率低、準確率不高、對較小火點目標的識別困難的問題，本研究提出了一種融合SRGAN與YOLOv5s的遙感圖像森林火災檢測算法，主要總結如下：

1） 首先，基于公開的遙感衛星圖像數據和互聯網數據制作一個針對較小火點目標的遙感森林火災數據集，其中設置10%比例的負樣本數據。

2） 通過調參找到最佳參數設置下的模型訓練結果，將待檢測的遙感圖像進行超分辨率處理，對比處理前后圖像的不同檢測結果，發現各預測框的置信度在一定程度上有所提高，并減少了不必要且置信度較低的預測框，各預測框盡可能多地包含到所有較小火點，實現了在一定程度上提高遙感圖像森林火災檢測效率及準確率的效果，對支持森林消防的工作具有一定意義。