基于YOLO框架的農(nóng)田火源自動檢測系統(tǒng)

白 玉，馬廣焜，彭新茗，王楠翔，白清揚，孟峻鋒，劉鑫蕊，朱碩聞

（沈陽工業(yè)大學(xué)軟件學(xué)院，沈陽 110870）

0 引言

農(nóng)業(yè)產(chǎn)業(yè)是我國的根本產(chǎn)業(yè)，農(nóng)業(yè)的安全問題關(guān)系到國民生活。火災(zāi)是農(nóng)業(yè)生產(chǎn)中最可怕的災(zāi)難，火災(zāi)會給農(nóng)作物造成毀滅性的打擊，同時也無法保障人們的人身安全和財產(chǎn)安全。在農(nóng)作物種植周期中，由于人為、農(nóng)業(yè)機械故障或自然條件等原因，有時會引起農(nóng)田火災(zāi)，但又由于農(nóng)民對農(nóng)田火災(zāi)發(fā)現(xiàn)得不夠及時，火災(zāi)快速擴散，錯過了黃金救援時間，給農(nóng)民造成極大的經(jīng)濟損失。

國內(nèi)外，智能農(nóng)業(yè)系統(tǒng)已經(jīng)開始廣泛應(yīng)用，功能全面，但對消防安全隱患的關(guān)注度還有待提高。如果突發(fā)意外引起農(nóng)田火災(zāi)，勢必會帶來巨大的損失，而越早發(fā)現(xiàn)火源，將會大大延長火災(zāi)的黃金救援時間。YOLOv5框架在目標檢測精度方面有很大的優(yōu)勢，因此本研究設(shè)計的農(nóng)田火源自動檢測系統(tǒng)基于YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)，針對農(nóng)田火源研究了自動檢測系統(tǒng)，相比于傳統(tǒng)的人工排查，該系統(tǒng)可以快速響應(yīng)，防止火災(zāi)進一步擴散。

現(xiàn)階段國內(nèi)外對火災(zāi)識別普遍采用傳統(tǒng)的人工監(jiān)控方法，但傳統(tǒng)監(jiān)控在模糊環(huán)境如濃煙下較容易形成誤判。于是我們需要采用目標檢測方法，而目標檢測又是深度學(xué)習(xí)領(lǐng)域中重要的研究方向。由于火源圖像的復(fù)雜性，需用訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)提高模型對事實的描述［1-2］。

農(nóng)業(yè)是我國的根本產(chǎn)業(yè)，人們希望把目標檢測應(yīng)用到農(nóng)業(yè)中，研究農(nóng)田火源檢測的問題，對于預(yù)防農(nóng)田火災(zāi)有著重要意義。在國外，以色列農(nóng)業(yè)技術(shù)發(fā)達且具有先進的輔助設(shè)備，Gilad Axelrad 等［1］開發(fā)了可實現(xiàn)農(nóng)業(yè)污水污泥回收利用的農(nóng)田模型，可以很好地提高水利用率，但對消防安全隱患的重視度還不夠。國內(nèi)相對智能的農(nóng)田可以實現(xiàn)農(nóng)田信息實時采集、災(zāi)害預(yù)防。王朝澤［4］設(shè)計和實現(xiàn)的智能灌溉系統(tǒng)可以通過傳感器精確檢測土壤溫濕度、環(huán)境溫濕度、二氧化碳濃度、光照強度等環(huán)境參數(shù)，但未考慮到火源檢測。

目前YOLO 框架是最先進的物體檢測方法之一，它能完成不同尺度大小的目標檢測的能力。該方法已用于安全帽佩戴檢測［5］、白細胞檢測［6］等小目標檢測。本文提出的農(nóng)田火源自動檢測系統(tǒng)，以火源作為目標搭建檢測系統(tǒng)，基于YOLOv5框架通過圖像識別小目標，連接終端實時報警，防止火災(zāi)進一步擴散。相比于傳統(tǒng)的監(jiān)控方法，本方法具有可以降低時間浪費率，同時避免產(chǎn)生大量濃煙污染環(huán)境，防止引起火災(zāi)造成生命危險等優(yōu)點。

1 系統(tǒng)框架結(jié)構(gòu)設(shè)計

本系統(tǒng)在設(shè)計上主要分成三部分：終端部分、服務(wù)器部分和圖像識別接口部分。終端部分主要通過連接電腦、手機兩個設(shè)備來進行實時監(jiān)控；服務(wù)器部分可將采集到的視頻傳遞給圖像識別部分，上傳圖像給終端部分起到中轉(zhuǎn)作用；圖像識別接口部分獲取視頻進行模型訓(xùn)練，且可以通知報警。示意圖如圖1所示，通過網(wǎng)絡(luò)攝像頭將圖像以視頻流的方式實時傳輸給服務(wù)器，服務(wù)器調(diào)用YOLOv5的算法接口，對圖像中的火焰進行標注，將所標注信息渲染到前端頁面當中，當所標注的火焰圖像置信度達到一定閾值時，發(fā)出指令使蜂鳴器報警。

圖1 系統(tǒng)示意圖

1.1 服務(wù)器部分

服務(wù)器為租用的騰訊云服務(wù)器，視頻采集部分將視頻圖像上傳到服務(wù)器端，服務(wù)器將連接、上傳圖像，實時報警給終端，例如手機或電腦，服務(wù)器的后臺程序接收到移動端數(shù)據(jù)后，將其存入后臺供客戶端調(diào)用，也可以將標注后的圖像所設(shè)定的參數(shù)顯示在終端供用戶查詢使用。如果發(fā)現(xiàn)火源，蜂鳴器將報警，同時調(diào)用本地服務(wù)器接口實時查看農(nóng)田的錄像，并可收到報警提醒。服務(wù)器可以調(diào)用圖像識別接口，同時也可以收到處理結(jié)果的反饋。

1.2 圖像識別接口部分

當圖像識別模塊識別到感興趣目標時會通知報警模塊傳遞信號，報警模塊在收到信息后報警鳴鈴，同時把信息上傳至服務(wù)器，獲取級別服務(wù)器。圖像識別部分基于深度學(xué)習(xí)的目標檢測算法來對火源進行識別和檢測。

1.3 終端部分

終端連接手機攝像頭和監(jiān)控實時檢測火源，監(jiān)控識別到火源后會在客戶端界面上報警，自動標記火源發(fā)生處，將級別調(diào)整信息傳遞給服務(wù)器，服務(wù)器針對不同級別選擇不同的訓(xùn)練模型，進而調(diào)整報警強度。

2 系統(tǒng)功能設(shè)計

該火災(zāi)報警系統(tǒng)由四個模塊組成，分別為視頻采集模塊、圖像識別模塊、報警響鈴模塊和服務(wù)器監(jiān)控模塊，如圖2所示。

圖2 系統(tǒng)功能圖

2.1 視頻采集模塊

遠程實時視頻監(jiān)控采集，搭建采集系統(tǒng)平臺，收集視頻信號源進行視頻采集。設(shè)計好服務(wù)器端軟件、客戶端軟件，確保此模塊通過多個攝像頭實時采集農(nóng)田內(nèi)場景，使整個農(nóng)田都能被監(jiān)控到，將采集到的視頻上傳到服務(wù)器。

2.2 圖像識別模塊

將采集到的視頻實時傳輸?shù)綀D像識別模塊，即對圖像數(shù)據(jù)內(nèi)火源進行檢測，是該系統(tǒng)的檢測核心。使用的是YOLO 框架，基于YOLOv5 框架來對圖像數(shù)據(jù)內(nèi)火源進行檢測，總共將其劃分為四個通用的模塊：輸入端、Backbone、Neck 網(wǎng)絡(luò)與Head 輸出端。輸入端，即為輸入的圖片；基準網(wǎng)絡(luò)，主要用來提取通用的特征表示；Neck 網(wǎng)絡(luò)，可以增加特征的多樣化和魯棒性；Head 輸出端，即目標最終檢測結(jié)果的輸出級別控制模塊。本模塊還包含訓(xùn)練模型，訓(xùn)練模型通過強化學(xué)習(xí)集、訓(xùn)練集的方式對火源進行類別訓(xùn)練。

2.3 報警響鈴模塊

此模塊可以調(diào)用服務(wù)器接口，檢測到火源后快速響應(yīng)，及時將信息傳達給服務(wù)器。然后將信號送至火災(zāi)報警控制器，發(fā)生報警，同時也能夠通過控制器聯(lián)動其他有關(guān)的設(shè)備動作，最終上傳信息到終端，用戶可以及時查看到火警信息。

2.4 服務(wù)器監(jiān)控模塊

負責開發(fā)多個接口，確保實時監(jiān)控、上傳圖像、實時報警，起到總控作用，是系統(tǒng)化、直觀化的管理火源檢測系統(tǒng)。

3 關(guān)鍵技術(shù)的實現(xiàn)

YOLOv5 的整體網(wǎng)絡(luò)結(jié)構(gòu)一共分為四個部分，輸入端、Backbone（主干部分）、Neck 和輸出端（Prediction），圖3 所示為YOLOv5 的整體網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖3 YOLOv5整體網(wǎng)絡(luò)結(jié)構(gòu)圖

3.1 輸入端（Head）

首先輸入圖像，其大小為608×608，本階段包括一個圖片預(yù)處理階段，將輸入后的圖片縮放到網(wǎng)絡(luò)的輸入大小，對其進行歸一化等操作。

（1）Mosaic數(shù)據(jù)增強：使用隨機裁剪、隨機縮放、隨機排布的方法來對圖像進行拼接，然后達到對小目標的檢測，數(shù)據(jù)增強能夠豐富數(shù)據(jù)集，同時也增加網(wǎng)絡(luò)魯棒性，提高訓(xùn)練速度。

（2）自適應(yīng)圖片縮放：首先將原始圖片全部縮放到一個標準尺寸，根據(jù)輸入圖像的尺寸大小來進行自適應(yīng)填充，然后再將其送入檢測網(wǎng)絡(luò)中，對其原始圖像自適應(yīng)地添加最少的黑邊，可以減少圖像高度上兩端的黑邊，同時也減少了其計算量，極大提升了目標的檢測速度。

（3）自適應(yīng)錨框計算：采取anchor的計算方法，在初始錨框的基礎(chǔ)上輸出預(yù)測框，利用K均值聚類（K-means）方法聚類出多種尺寸大小的anchor，在每次訓(xùn)練時計算不同訓(xùn)練集中的最佳錨框值。在預(yù)測時采用自適應(yīng)圖片大小的縮放模式，在減小黑邊的同時，也提升了預(yù)測速度。下面是本系統(tǒng)設(shè)定的anchor：

［10,13,16,30,33,23］#P3/8

［30,61,62,45,59,119］#P4/16

［116,90,156,198,373,326］#P5/32

3.2 Backbone

Backbone 階段主要特征提取圖片，對圖片進行卷積操作等，包括Focus和CSP等結(jié)構(gòu)。

3.2.1 Focus結(jié)構(gòu)

首先將608×608×3 大小的圖像輸入到Focus結(jié)構(gòu)，然后采用slice 操作對輸入的圖片進行裁剪，之后采用切片操作輸出可以變成304×304×12 大小的特征圖，再進行一次卷積操作，最后形成304×304×32 大小的特征圖，F(xiàn)ocus 結(jié)構(gòu)提升了圖片特征提取的質(zhì)量。

3.2.2 CSP結(jié)構(gòu)

CSP 結(jié)構(gòu)共分為兩種，分別是應(yīng)用于Backbone 網(wǎng)絡(luò)的CSP1_X 結(jié)構(gòu)和應(yīng)用于Neck 網(wǎng)絡(luò)的CSP2_X 結(jié)構(gòu)，其過程是先將基礎(chǔ)層的特征映射分成兩部分，然后采用跨階段層次結(jié)構(gòu)將其合并在一起。CSP 結(jié)構(gòu)能夠降低計算量，并提高準確率，同時增強了網(wǎng)絡(luò)對特征的融合能力。

3.3 Neck網(wǎng)絡(luò)

在卷積過程中，網(wǎng)絡(luò)層數(shù)越深，該目標的特征信息就越強，模型對目標的預(yù)測效果會更好，但目標的位置信息也會因此越弱，而且容易使小目標的信息損失，所以需要進行不同尺度的預(yù)測來減少損失。

Neck網(wǎng)絡(luò)層采用FPN 和PAN的結(jié)構(gòu)對特征進行多尺度融合。FPN 結(jié)構(gòu)是通過自頂向下進行上采樣，讓底層的特征圖包含更強的火源語義信息；PAN 結(jié)構(gòu)自底向上進行下采樣，讓頂層特征包含強火源位置信息，最后讓兩個特征進行融合，使不同尺寸的特征圖都包含強火源語義信息和強火源特征信息，因此對不同尺寸的火源圖片的準確預(yù)測有了保證。圖4 所示為FPN和PAN 的結(jié)構(gòu)示意圖。

圖4 FPN和PAN結(jié)構(gòu)示意圖

3.4 輸出端（Prediction）

輸出端分別對Neck 的三個輸出進行卷積操作，利用CIOU_Loss 函數(shù)、nms 非極大值抑制和FocalLoss損失函數(shù)進行最終的預(yù)測輸出。

3.4.1 CIOU_Loss

本系統(tǒng)采用CIOU 來計算交并比，因為CIOU 對于重疊目標的識別穿透性更好，而且優(yōu)化了兩識別框不重合和過度覆蓋的情況。CIOU的計算公式如下：

CIOU_Loss=1-CIOU

其中，IOU是預(yù)測框和真實框的交并比，v是衡量長寬比一致性的參數(shù)，C是圖片的最小外接矩形，Distance_C是圖片的對角線距離，Distance_2是兩個中心點的歐氏距離。

3.4.2 nms非極大值抑制

為了得到最后的框序列信息，首先要將所有的矩形框按照不同的類別標簽分組，組內(nèi)按分數(shù)高低進行排序，將得分最高的矩形框先放入結(jié)果序列，然后通過遍歷剩余矩形框計算與當前得分最高的矩形框的交并比，如果大于預(yù)設(shè)的閾值則剔除，對剩余的檢測框重復(fù)上述操作，直到處理完圖像內(nèi)所有的候選框，該階段對那些有重疊圖像的目標檢測效果更好。

3.4.3 FocalLoss損失函數(shù)

使用FocalLoss 進行評價目標框和預(yù)測框的類損失和置信度損失，其可以減少容易分類的樣本對損失函數(shù)的影響，重點訓(xùn)練區(qū)分較難分類的樣本。FocalLoss的公式為

其中，γ＞=0。pt=，p表示預(yù)測樣本屬于1 時的概率，y表示標簽，y的取值范圍為{-1，+1}。

4 系統(tǒng)實驗及輸出結(jié)果

4.1 數(shù)據(jù)集

采用的是收集到的各種農(nóng)田發(fā)生火災(zāi)的圖片，然后進行分類存儲，轉(zhuǎn)化為數(shù)據(jù)集進行具體的訓(xùn)練集、驗證集和測試集的劃分，對圖像進行增廣，并采用Label 軟件圖像標注工具對火源圖片進行標注，設(shè)置標簽為：煙霧（smoke）和火源（fire）。

4.2 測試結(jié)果

首先使用本系統(tǒng)對近1000 張農(nóng)田火源照片數(shù)據(jù)集進行測試，如圖5所示為混淆矩陣測試結(jié)果圖像，可以看出模型對煙霧和火焰的混淆矩陣fire 的正例率為94%，smoke 的正例率為85%，兩者的正利率并不低，說明本模型較好，系統(tǒng)是可靠性的。

圖5 混淆矩陣圖像

運用本系統(tǒng)進行測試的召回率圖像如圖6所示，其橫軸為召回率，縱軸為精確率。從圖6可以看出，在召回率小于0.7 時精確率較穩(wěn)定；之后隨著召回率的不斷增大，精確率整體上呈現(xiàn)出下降趨勢，系統(tǒng)的最佳效果是在召回率小于0.7時，其性能較好。

圖6 召回率圖像

系統(tǒng)測試的置信度圖像如圖7所示，可以看出當置信度小于0.3 時，精確率穩(wěn)定，系統(tǒng)的效果最好，穩(wěn)定性最高，之后隨著置信度的不斷增大，精確率迅速下降。

圖7 置信度圖像

基于上述三次測試，可以得出本系統(tǒng)的穩(wěn)定性較好，可靠性較高，但系統(tǒng)模型訓(xùn)練還存在一些誤差，因影響因素過多，訓(xùn)練效果并不理想，最終的火源測試檢測效果如圖8所示，圖9為可視化大屏實時火源檢測結(jié)果界面。

圖8 火源檢測效果圖

圖9 可視化大屏實時火源檢測結(jié)果界面

5 結(jié)語

針對當前農(nóng)田火災(zāi)頻發(fā)，不能確保火災(zāi)檢測實時性等問題，為避免造成較大威脅，本文提出了農(nóng)田火源自動檢測系統(tǒng)。該系統(tǒng)能快速從視頻中獲取火源圖像并報警，有較短的推理時間和訓(xùn)練時間，大大縮短了火源產(chǎn)生和人工對火源產(chǎn)生措施的間隔時間，與深度學(xué)習(xí)相結(jié)合，通過強大而快速的計算，代替了人工對火源的排查，很好地預(yù)防了火災(zāi)的發(fā)生，盡可能地對火災(zāi)發(fā)生后的人身和財產(chǎn)進行保護，在各模塊的配合下，最終實現(xiàn)了農(nóng)田火源自動檢測功能研發(fā)。