基于無人機的森林火險監(jiān)測預(yù)警系統(tǒng)設(shè)計

鄭少雄 王衛(wèi)星 周宇飛 吳澤鵬 劉澤乾

摘 ?要：針對傳統(tǒng)的森林火險監(jiān)測存在盲點、實時性差、運營成本高、資源消耗大等問題，提出一種基于無人機的森林火險監(jiān)測系統(tǒng)。利用圖像處理方法設(shè)計森林火險監(jiān)測算法，對無人機采集的圖像數(shù)據(jù)進行處理，及時判斷是否有森林火險并發(fā)出預(yù)警。試驗結(jié)果表明，文章算法的相對判定準(zhǔn)確率為81.97%，相對于其他4種方法，相對判定準(zhǔn)確率較高，該文算法性能優(yōu)于其他算法，可最終實現(xiàn)森林火險的監(jiān)測和預(yù)警功能。

關(guān)鍵詞：無人機;森林;火險

中圖分類號：TP391 ? ? ? 文獻標(biāo)識碼：A文章編號：2096-4706（2021）21-0016-05

Abstract： Aiming at the problems of blind spot， poor real-time performance， high operation cost and large resource consumption in traditional forest fire risk monitoring， a forest fire risk monitoring system based on UAV is proposed. Using the image processing method to design the forest fire risk monitoring algorithm， process the image data collected by UAV， judge whether there is forest fire risk in time and send out early warning. The experimental results show that the relative judgment accuracy of the algorithm used in this paper is 81.97%， compared with the other four methods， the relative judgment accuracy is higher. The performance of this algorithm is better than other algorithms， and can finally realize the function of forest fire risk monitoring and early warning.

Keywords： UAV; forest; fire risk

0 ?引 ?言

隨著社會的快速發(fā)展，在全球氣候變化與人類活動的影響下，人們對生態(tài)環(huán)境的保護提出了新要求。森林火險是八大自然災(zāi)害之一，特別是處于荒野中的森林火險，具有蔓延快、控制難、破壞性強等特點[1]。森林火災(zāi)會嚴重破壞生態(tài)環(huán)境、威脅人們財產(chǎn)和生命安全。如何及時準(zhǔn)確地識別火災(zāi)，已成為森林火險監(jiān)測的新要求和新挑戰(zhàn)。

當(dāng)前，森林火險常用的監(jiān)測方法包括人工巡邏、塔臺視頻監(jiān)控和衛(wèi)星遙感等。其中，人工巡邏監(jiān)測方法可以靈活選擇巡邏路線并深入林區(qū)，機動性強，但受地形地貌影響大、效率低，難以監(jiān)測盲區(qū);塔臺視頻監(jiān)控方法借助攝像機等設(shè)備，可以觀測到大片森林，但在樹木密集的區(qū)域存在視覺盲區(qū)，且缺乏機動性;衛(wèi)星遙感監(jiān)測方法能大范圍監(jiān)測，定位準(zhǔn)確，全天候觀測，但成本較高，只有在形成較大火區(qū)時才能識別森林火險[2]。近年來，無人機技術(shù)快速發(fā)展，其具有飛行速度快、控制方便、實時性強等特點，能應(yīng)用于森林火險監(jiān)測、火災(zāi)預(yù)防和火險救援等作業(yè)活動[3]。目前，無人機已在森林火險預(yù)防中廣泛應(yīng)用，并發(fā)揮了重要作用。

本文提出基于無人機的森林火險監(jiān)測預(yù)警系統(tǒng)，能實現(xiàn)森林火險監(jiān)測和預(yù)警功能。首先，無人機配備高清攝像頭并由GPS實時定位，按預(yù)設(shè)的巡航路線執(zhí)行飛行任務(wù)，確保無人機飛行路線覆蓋整個林場區(qū)域，將盲點降至最低;然后，無人機采集的圖像數(shù)據(jù)實時傳送到地面遠程監(jiān)控終端;最后，根據(jù)對圖像數(shù)據(jù)進行分析處理，判斷森林火險發(fā)生情況，及時將報警信息發(fā)送給工作人員以采取救火措施。

1 ?系統(tǒng)總體設(shè)計

1.1 ?系統(tǒng)硬件設(shè)計

基于無人機的森林火險監(jiān)測系統(tǒng)由搭載高清攝像頭的無人機平臺、圖像采集系統(tǒng)和遠程終端監(jiān)控系統(tǒng)所組成，系統(tǒng)組成框圖如圖1所示。

1.1.1 ?無人機平臺

本系統(tǒng)采用DJI M600無人機，配備了高效的電源系統(tǒng)，集成了防塵、自動冷卻等功能;能夠額外負載6 kg以內(nèi)的設(shè)備;在無額外負載設(shè)備的情況下可飛行30 min，最大飛行速度為18 m/s（忽略風(fēng)況）。為減少無人機飛行過程對圖像拍攝的干擾影響，無人機配備了DJI-Zenmuse-Z3萬向節(jié)攝像機。該攝像機支持3.5倍光學(xué)變焦和2倍數(shù)碼變焦，同時支持30幀/秒的4K超高清視頻錄制。

無人機硬件部分主要由圖像采集與傳輸模塊、飛控模塊、通信模塊、GPS[4]模塊組成，如圖2所示，可實現(xiàn)森林火險監(jiān)測數(shù)據(jù)的采集與傳輸、自主定高和飛行控制等功能。

1.1.2 ?遠程終端監(jiān)控系統(tǒng)

遠程終端監(jiān)控系統(tǒng)的硬件設(shè)備包括PC端和通信模塊[5]，無人機的位置信息和采集的圖像信息等傳輸?shù)竭h程終端監(jiān)控系統(tǒng)，經(jīng)過數(shù)據(jù)處理后，工作人員可實時查看采集的森林圖像。遠程終端監(jiān)控系統(tǒng)具有森林火險監(jiān)測和報警功能，當(dāng)發(fā)生森林火險時，會觸發(fā)報警并提供實時預(yù)警信息。

1.1.3 ?圖像采集系統(tǒng)

安裝在無人機上的云臺相機拍攝森林圖像和視頻數(shù)據(jù)。采用PTZ攝像機和天創(chuàng)恒達TC-4000 SD圖像采集卡，將采集到的視頻圖像傳輸?shù)降孛嬲镜腜C監(jiān)控系統(tǒng)。數(shù)據(jù)采集流程如圖3所示。

在圖像數(shù)據(jù)采集過程中可能發(fā)生丟失幀的情況。當(dāng)處理幀所需的時間超過兩個相鄰幀之間的時間間隔時，數(shù)據(jù)容易丟失[6]，縮短幀間處理時間是實現(xiàn)數(shù)據(jù)實時采集的關(guān)鍵。本系統(tǒng)中，無人機在確定航線后每30 s采集一次視頻信號，采集的視頻源信號傳輸至圖像采集卡后，經(jīng)A/D轉(zhuǎn)換再由數(shù)字解碼器進行解碼;將數(shù)據(jù)轉(zhuǎn)換成視頻信號后傳輸給終端。該過程中，幀捕捉器在輸入視頻中采集圖像數(shù)據(jù)，并在獲取下一幀圖像前將數(shù)據(jù)傳輸給遠程終端機，將幀率縮短至5幀每秒，實現(xiàn)圖像采集卡的視頻采集和壓縮操作并行處理。

1.2 ?系統(tǒng)軟件設(shè)計

基于無人機的森林火險監(jiān)測系統(tǒng)的軟件由無人機控制系統(tǒng)、數(shù)據(jù)處理與通信系統(tǒng)、遠程上位機管理系統(tǒng)等組成，框圖如圖4所示。

1.2.1 ?無人機控制系統(tǒng)

無人機控制系統(tǒng)除了控制無人機的飛行外，還接收來自無人機各模塊的飛行信息，包括路線規(guī)劃、GPS和飛行控制等模塊的信息[7]。

1.2.2 ?數(shù)據(jù)處理與通信系統(tǒng)

在該系統(tǒng)中除了對采集的森林圖像進行數(shù)據(jù)處理外，還對系統(tǒng)故障、火險預(yù)警、無人機飛行狀態(tài)和用戶登錄等信息進行管理。圖像采集和傳輸處理流程圖如圖5所示。

在森林火險監(jiān)測系統(tǒng)中，由通信系統(tǒng)保證不同模塊間的數(shù)據(jù)傳輸，實現(xiàn)無人機和遠程終端監(jiān)控系統(tǒng)間的數(shù)據(jù)交互，確保數(shù)據(jù)能實時傳回遠程終端監(jiān)控系統(tǒng)[8]。該通信系統(tǒng)中各模塊之間的數(shù)據(jù)交互過程如圖6所示。

通信功能通過串行端口編程實現(xiàn)，具體流程為：初始化串行端口InitPort，設(shè)置串行端口的波特率，確認串行端口已打開，setup PacketConfig初始化數(shù)據(jù)傳輸格式、幀頭、幀尾、幀長和存儲字節(jié)位置;當(dāng)偵聽線程打開，data ready設(shè)置為TRUE后才能讀取數(shù)據(jù);讀取數(shù)據(jù)后，data ready設(shè)置為FALSE，否則線程將不再工作;若串行端口不再工作，需要使用ClosePort關(guān)閉該端口，否則無法打開另一個串行端口[9]。

1.2.3 ?遠程上位機管理系統(tǒng)

遠程上位機管理系統(tǒng)具有圖像處理與分析、火險實時預(yù)警等功能，如圖7所示。此外，遠程上位機管理系統(tǒng)還包括林場基礎(chǔ)信息、圖像處理、數(shù)據(jù)處理、日志管理等界面。

林場基礎(chǔ)信息界面根據(jù)各地市林業(yè)局的劃分，可快速找到相關(guān)林場信息，包括林場的經(jīng)緯度地理信息、植被信息等，幫助工作人員合理部署無人機航線。圖像處理與預(yù)警界面將采集的圖像進行分析識別，一旦發(fā)現(xiàn)森林火險，顯示火險發(fā)生地理位置并及時提醒工作人員。

人工數(shù)據(jù)處理界面提供了手動處理功能，對采集的火險圖像進行灰度和亮度調(diào)整，增強預(yù)警圖像中潛藏的煙火信息，適用于需要人工處理的情況。此外，該界面還提供了圖片管理頁面，用于存儲森林火險圖片，并根據(jù)用戶需要顯示歷史圖片庫，如圖8所示。另外，日志管理界面可存儲后臺數(shù)據(jù)處理的歷史記錄，備份歷史管理操作。

2 ?算法設(shè)計

森林火險的監(jiān)測采用數(shù)字圖像進行處理，并進行圖像分割、特征提取，最后進行BP神經(jīng)網(wǎng)絡(luò)進行識別，實現(xiàn)在線實時監(jiān)測和預(yù)警。火險識別算法流程如圖9所示。

具體流程為：（1）通過搭載在無人機上的高清攝像頭采集森林圖像數(shù)據(jù)，并將圖像數(shù)據(jù)及時傳送到遠程終端;（2）使用中值濾波對圖像數(shù)據(jù)進行預(yù)處理并去除噪聲干擾，以減少森林火險識別過程中數(shù)據(jù)的丟失;（3）采用R通道分段和FDI指數(shù)細分2種方法對森林火險疑似圖像進行分割[10];（4）提取有疑似火焰顏色的區(qū)域的圖像圓度、面積變化率、重心高度比特征;（5）將特征向量輸入訓(xùn)練過的分類器進行分析判斷，以判斷是否發(fā)生火險;（6）當(dāng)發(fā)生火險時，觸發(fā)報警器，及時通知工作人員做好火險撲救工作，否則繼續(xù)進行監(jiān)測。

3 ?試驗與結(jié)果分析

無人機控制系統(tǒng)采用STM32開發(fā)板進行開發(fā)，程序和數(shù)據(jù)存儲在嵌入式存儲器和RAM中，并使用SDK進行二次開發(fā)，對控件進行自定義和功能擴展。遠程終端配置了6核Intel-core（TM）i7-8700K CPU@3.7 GHz、16 GB RAM和Windows 10操作系統(tǒng)。

3.1 數(shù)據(jù)處理速度

采用本文算法、幀間差分法、背景減法、Vibe算法對長度為4 分16秒的視頻進行處理速度、完成時間和延遲率對比，試驗結(jié)果如表1所示。其中圖像序列29 幀/秒，每幀圖像的大小為960×540，共7 424個圖像。

由表1數(shù)據(jù)可知：Vibe算法延遲率高達97.31%，對數(shù)據(jù)進行處理易積累大量的冗余時間。而幀間差分法、背景減法和本文使用的BP神經(jīng)網(wǎng)絡(luò)處理速度在每秒6幀左右。由于無人機在航線預(yù)先設(shè)定的情況下工作，飛行速度一定，場景變化程度低，視頻中記錄的每一秒信息差異較小，因此可以對視頻記錄做減幀處理，獲得每秒5幀的圖像序列。因此幀間差分法、背景減法和本文算法均能滿足實時場景下的要求。

3.2 ?森林火險識別結(jié)果分析

為驗證本文算法的有效性，采用本文算法、幀間差分法、背景減法、Vibe算法、手工統(tǒng)計法對無人機采集的森林圖像進行處理并對比識別結(jié)果，如圖10和表2所示。

如圖10和表2可知：本文算法相對于其他4種方法，相對判定準(zhǔn)確率為81.97%，本文算法性能優(yōu)于其他算法，適用于森林火險監(jiān)測。

4 ?結(jié) ?論

本文主要對無人機、圖像采集等進行軟硬件設(shè)計，開發(fā)了基于無人機的森林火險監(jiān)測上位機軟件，通過了對系統(tǒng)中軟硬件的詳細測試，保證系統(tǒng)各模塊的正常運作，以及各模塊之間的正常通信。在森林火險識別上，對圖像進行了預(yù)處理、區(qū)域分割、特征提取后，分別使用不同的分類器識別火險圖像，對比了一般算法與BP神經(jīng)網(wǎng)絡(luò)后，實驗結(jié)果表明本文的算法能夠以更優(yōu)的準(zhǔn)確率識別森林火險，并滿足了場景識別下數(shù)據(jù)實時處理的需求，適用于森林火險的監(jiān)測。

參考文獻：

[1] 曹毅超，吳澤鵬，周宇飛，等.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的森林火災(zāi)識別研究 [J].林業(yè)與環(huán)境科學(xué)，2020，36（5）：34-40.

[2] CHEN M，ANG Y T，ZOU X，et al. 3D global mapping of large-scale unstructured orchard integrating eye-in-hand stereo vision and SLAM [J]. Computers and Electronics in Agriculture，2021，187：106237.https：//doi.org/10.1016/j.compag.2021.106237.

[3] ZHENG S X，WANG W X，LIU Z Q，et al.Forest Farm Fire Drone Monitoring System Based on Deep Learning and Unmanned Aerial Vehicle Imagery [J]. Mathematical Problems in Engineering，vol.2021，Article ID3224164，13pages，2021.https：//doi.org/10.1155/2021/3224164.

[4] 陳再勵，李麗麗，鐘震宇.面向丘陵山地果樹植株的植保無人機軌跡跟蹤控制器設(shè)計 [J].自動化與信息工程，2018，39（3）：1-6.

[5] TRAN B N，TANASE M A，BENNETT L，et al. Evaluation of spectral indices for assessing fire severity in Australian temperate forests [J]. Remote Sensing，2018（10）：1680. DOI：10.3390/rs10111680.

[6] AL-SAD M F，AL-ALI A，MOHAMED A，et al. RF-based drone detection and identification using deep learning approaches：An initiative towards a large open source drone database [J].Future Generation Computer Systems，2019，100：86–97. https：//doi.org/10.1016/j.future.2019.05.007.

[7] FERNANDEZ-CARRILLO A，MCCAW L，TANASE M A. Estimating prescribed fire impacts and post-fire tree survival in eucalyptus forests of Western Australia with L-band SAR data [J]. Remote Sensing of Environment，2019，224：133-144.

[8] 李旺枝，陸健強，王衛(wèi)星，等.基于卷積神經(jīng)網(wǎng)絡(luò)的熱紅外圖像檢測模型 [J].自動化與信息工程，2020，41（6）：1-5. https：//doi.org/10.1016/j.rse.2019.02.005.

[9] TANG Y ，CHEN M，WANG C，et al. Recognition and Localization Methods for Vision-Based Fruit Picking Robots：A Review [J].Frontiers in Plant Science，2020，11：510. DOI：10.3389/fpls.2020.00510.

[10] 姜冰，陸健強，王衛(wèi)星，等.適用于多場景的ResNet單幅圖像去霧算法 [J].自動化與信息工程，2019，40（2）：14-19.

作者簡介：鄭少雄（1990—），男，漢族，廣東饒平人，講師，博士研究生，研究方向：電子信息技術(shù);通訊作者：王衛(wèi)星（1963—），男，漢族，河北宣化人，教授，博士研究生導(dǎo)師，博士研究生，研究方向：電子信息技術(shù)在農(nóng)業(yè)中的應(yīng)用。