高層火災智能報警及逃生指導系統

畢曉君，孫梓瑋，劉進

（1.中央民族大學 信息工程學院，北京 100081;2.哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001）

隨著城市建設的高速發展以及基建能力的提升，高層建筑越來越多。由于建設規模大、裝修標準高、人員密集以及各種電氣設備的頻繁使用，因此高層建筑往往存在著較大的火災隱患。近年來，我國高層建筑火災呈逐年上升趨勢，造成的人員傷亡和經濟損失觸目驚心，僅2019 年高樓層建筑火災6874 起，共死亡1335 人。經分析，高層建筑造成人員傷亡的主要原因是由于樓層過高、人員分散且相對封閉，使現場人員無法第一時間獲得火災發生信息，特別是火災發生的地點，從而造成逃生決策失誤，錯過了寶貴的逃生時機。因此，如何利用高新科技有效解決高層建筑火災定點報警及逃生智能指導的研究迫在眉睫。

目前現有的火災自動報警系統主要存在以下問題[1-5]：1）無法及時通知現場人員火災發生的具體地點，容易錯失最佳逃生時機及造成逃生錯誤等問題；2）部署報警系統時需要穿墻布線，無法做到靈活部署，對于老舊小區、古建筑等場景情況無法應用；3）當火災發生時，只能實現警笛報警，沒有具體可行的逃生指導方案；4）當救援工作展開時，由于對建筑內火情及人群情況不清楚而導致救援指揮延誤。而目前國內外針對火災處理的研究重點為消防用水系統，消防排煙系統，應急照明及多探測器消防聯動控制等火災處理方面，而火災定位報警，智能引導人群逃生及逃生通道的人群密度監控等方面尚無研究。

針對上述問題，本文基于人工智能技術的發展，特別是具有無線傳輸能力的智能芯片問世，結合火災實際需求提出了可行的研究方法。所設計的報警系統能夠實現一旦發生火情，第一時間對建筑內所有區域進行定位報警，并及時語音播報各區域的最佳逃生路線。同時開發基于深度學習的行人檢測算法以掌握建筑內各區域的人群密度狀態，能夠隨時指導現場人員選擇最佳的具體逃生路線。經查閱火災報警相關文獻和資料，目前國內外尚無類似功能的火災語音報警系統，本系統的研究具有創新性和實用性，可為火災現場人員贏得寶貴的逃生時間，給出最佳的逃生路線，提高逃生效率。

1 系統整體方案設計

本文通過TXW8301-WiFi 模塊實現系統組網，并結合煙霧火災探測器和WT588D 語音單片機構成節點設備，實時自動監測各樓層不同區域的煙霧濃度狀態，當檢測到某處煙霧濃度過高時，表明有火災發生，立即激活建筑內所有節點設備組網，根據預存逃生路線及火災發生情況自動語音播報火災的具體地點以及逃生路線，并能夠將每層樓不同區域的實時狀態通過無線網發送至上位機，上位機將收到的數據以界面動畫的形式進行顯示。同時現場可編程邏輯門陣列(field programmable gate array,FPGA)開發板通過串口控制上位機樹莓派端進行各逃生通道的圖像數據采集，將采集的圖像數據通過網口發送至部署有E902-CPU 的FPGA 端，通過運行其部署的中值濾波算法[6]、同態濾波算法[7-10]進行圖像去噪、去煙及補光處理。在樹莓派中部署基于人工智能的行人檢測算法[11-14]對視頻的人數進行監測，當超過一定的人數閾值后，界面上就會發出警報，并重新規劃各樓層不同區域的逃生路線。同時，將建筑內火災報警情況以及人群密度情況在上位機界面進行顯示，方便消防及管理部門了解內部情況，進行智能救援指揮，最大限度地降低火災中的人員傷亡。

本系統由硬件設備和算法軟件兩部分組成。硬件設備包括TXW8301-WiFi 模塊、JTY-GDDG311 激光煙霧火災探測器、WT588D 語音單片機組成的節點設備以及系統上位機端。算法軟件包括基于中值濾波的圖像去噪算法、基于同態濾波的去煙補光算法以及基于深度學習的實時行人檢測算法，還有數據傳輸模塊以及系統上位機界面。圖1 給出了系統整體工作流程。

圖1 系統整體工作流程Fig.1 Overall work flow of the system

2 系統硬件設計

整個系統硬件包括節點設備和系統上位機端兩大部分，其中節點設備用于樓層火災檢測，主要由TXW8301-WiFi 模塊、JTY-GD-DG311 激光煙霧火災探測器以及WT588D 語音單片機組成，平時系統處于休眠狀態的，無需電源。當火災發生時，通過火災檢測信號自動啟動電源，激活各個節點開始工作。考慮到火災時容易出現斷電現象，因此搭配移動電源使用非傳統的插座式電源，可以滿足系統連續工作12 個小時。在日常使用中，系統會定時激活所有節點，進行設備及電池自檢，保證系統始終處于能夠正常工作的狀態。可實現實時監測樓層火災、實現系統組網、語音播報以及將監測數據發送至上位機。系統上位機端主要由樹莓派主控和FPGA 硬件加速端組成，主要功能是將獲取的火災數據、圖像數據進行處理并顯示。本系統的硬件架構圖如圖2 所示。

圖2 硬件設計關系圖Fig.2 Hardware design relationship diagram

2.1 TXW8301-WiFi 通信模塊

在設計WiFi 通信模塊時，將集成有玄鐵E803-CPU 內核的TXW-8301-WiFi 模塊配置為STA 網絡模式，通過GPIO 的高低電平即火災探測器繼電器的輸出信號來判斷光電感煙器是否檢測到有火災發生，當某處檢測到有火災發生后，WiFi 模塊通過GPIO 接口驅動WT588D 語音模塊進行語音播報，同時基于socket 網絡通信協議將火災信息發送到上位機AP 端。

該WiFi 模塊工作在730～950 MHz 頻段，相較于2.4 GHz 和5 GHz 頻率的其他WiFi 設備，在擁有在相同發射功率的情況下具有傳輸距離遠，穿透性強的優點，最遠傳輸距離可達到3 km，非常適用于高樓層之間的無線信息傳輸。同時預留豐富的接口可用于開發，本系統對該模塊的使用情況如表1 所示。

表1 TXW8301-WiFi 接口使用情況Table 1 TXW8301-WiFi interface usage

2.2 語音播報模塊

語音播報模塊由WT588D 語音芯片及外掛16M-Flash 存儲芯片組成，將事先錄制好的不同區域的逃生路線語音通過專用Flash 燒寫器寫入Flash 芯片，一旦某處被檢測到有火災發生時，立即通過TXW8301 模塊的GPIO 接口模擬三線SPI 協議驅動WT588D 語音播報不同區域的逃生路線，同時外接功放來提升語音信號輸出功率。

2.3 系統上位機樹莓派主控端

上位機主控端由端使用樹莓派4B，通過掛載TXW83-01-WiFi 模塊的驅動使用AH 接口控制WiFi 模塊，通過Linux 指令集配置主控端WiFi 模塊為AP 網絡模式，并將工作頻段和密匙配置成和STA 端相同，實現主控端與節點設備的WiFi組網，具體配置參數如表2 所示。

表2 WiFi 模塊參數配置Table 2 Wi-Fi module parameter configuration

通過QT 軟件制作了火災報警系統界面充分利用樹莓派的優勢，將各子節點設備傳輸的數據以界面動畫形式進行展示，可以更清晰的在上位機樹莓派端實時反映各樓層的設備及火災發生情況。同時，在各樓層的逃生通道處置有攝像頭，一旦檢測到有火災發生，將各攝像頭采集的圖像數據發送至上位機端進行處理，通過基于深度學習的行人檢測算法，獲得各通道的人群密度情況，并在上位機端界面進行展示。可實時監控逃生通道的人流量，以及時優化各區域逃生路線及消防部門的救援指揮工作。

2.4 FPGA 開發版

基于Wujian100 軟核的Nexys Video FPGA 將采集的圖像數據通過中值濾波算法、同態濾波算法進行處理[15-17]，減少圖像噪點，提升圖像的清晰度，提升在暗光環境下的圖像質量，處理后的圖像數據再發送至樹莓派端。搭建FPGA 圖像處理硬件系統框圖如圖3 所示。系統的硬件加速設計模塊以移植有Wujian100 軟核移植的Nexys Video FPGA 開發板為核心，通過構建圖像處理系統的Block Design 將其例化到頂層。Wujian100 軟核外設拓展總線均為AHB 接口，首先添加AHB 轉AXI總線橋適配軟核接口，分別通過AXI Ethernet Subsystem 和AXI Direct Memory Access 兩個IP 核實現以太網外設GEMAC 和DMA 的功能，將圖像數據傳入FPGA。然后對圖像數據應用中值濾波和同態濾波算法，最后將處理后的圖像數據通過DMA 緩存至DDR3。

圖3 圖像處理硬件系統框圖Fig.3 Block diagram of the image processing hardware system

2.4.1 Wujian100 軟核

Wujian100 軟核是一種嵌入式CPU 核，以8 位CPU 的成本獲得32 位嵌入式CPU 的運行效率與性能。該軟核兼容RISC-V 指令架構，采用16/32 位混合編碼系統，指令系統與流水線硬件結構精簡高效，具備極低成本、極低功耗和高代碼密度等優點。

2.4.2 以太網口高速數據傳輸設計

本硬件系統在FPGA 中搭建AXI Ethernet Subsystem 及AXI Direct Memory Access IP 核用來驅動以太網端口。其均通過AHB 總線轉AXI 總線橋和軟核連接，軟核通過AHB 總線對其進行配置和控制。其中AXI Ethernet Subsystem IP 核通過RGM Ⅱ接口與RTL8211 芯片連接，其Block Design 設計如圖4 所示。

圖4 以太網端口驅動IP Fig.4 Ethernet port driver IP

3 系統軟件設計

3.1 中值濾波算法設計

在火災煙霧環境下采集的圖像，不可避免的會產生噪聲，嚴重影響行人密度檢測的檢測效果，本系統使用中值濾波算法[18-20]對煙霧圖像進行去噪操作。能夠有效平滑圖像內噪聲，保護圖像邊緣細節不被模糊。其基本原理是以各像素點作為中心點，將該像素及其濾波尺寸內的相鄰像素作為濾波模板，計算出該模板內所有像素點灰度值的中值，作為增強后圖像對應中心點的灰度值，可消除孤立的噪點，從而讓圖像中的像素值更平滑達到去除噪聲的效果，且具有硬件易實現的優點。因此本文采用中值濾波算法去除噪聲，提高后續行人密度檢測精度。其偽代碼如下所示。

輸入圖像X尺寸為m×n，濾波核尺寸為r

輸出中值濾波處理后的圖像Y

1) fori=rtom-rdo

2) forj=rton-rdo

3) 以該點為中心根據濾波核尺寸劃定矩陣，Y(i,j)=劃定矩陣中值

4) end

5) end

為此，在FPGA 中構建基于AXI 總線的中值濾波IP 核如圖5 所示，以太網接收的圖像數據流通過S00_AXIS 接口進入IP 核應用中值濾波算法，輸出32 位處理后的流數據。

圖5 AXI 總線中值濾波IP 核Fig.5 AXI bus median filter IP core

3.2 同態濾波算法

在光線比較暗的煙霧環境下，視頻圖像會出現白色煙霧和低對比度的問題。為了解決光度補償問題，恢復圖像顏色、紋理等細節，使其更適合進行行人檢測任務，本系統采用同態濾波算法[21-23]，能夠在頻域中同時進行對比度增強和壓縮圖像動態范圍的濾波。根據光照反射模型，圖像可用式(1)描述：

把圖像f(x,y) 由看作光照分量L(x,y)和反射分量R(x,y)的乘積，其中光照分量在空間內變化非常緩慢，對應圖像頻域的低頻段；反射分量反映的是圖像的細節邊緣特性，對應圖像頻域的高頻段。因此在減少光照分量的同時增加反射分量，能夠有效地消除圖像光照不均的影響，實現圖像灰度范圍的調整。具體算法過程如圖6 及式(2)～(7)所示。

圖6 同態濾波算法IP 核Fig.6 IP core of homomorphic filtering algorithm

式中：Rh代 表高頻加權系數；Rl代表低頻加權系數，D(u,v)代 表頻率 (u,v) 距離濾波器中心的距離；D0代表u0和v0為0 時D(u,v)的值，代表截止頻率。

為此，在FPGA 中構建基于AXI 總線數據流的同態濾波算法IP 核如圖7 所示。中值濾波IP核輸出的32 位數據由fin_data 輸入到同態濾波IP 核中進行圖像對比度增強，同態濾波IP 核輸出的視頻流數據通過DMA 進行DDR3 緩存。

圖7 同態濾波處理流程Fig.7 Homomorphic filtering processing flow

3.3 行人檢測算法

行人檢測算法采用RFBNet 模型[9]，該模型采用輕量級特征提取網絡，并且采用one-stage檢測策略。其特點是輕量級，網絡結構簡單，參數量較少，運行速度快，適合部署到邊緣設備中，例如樹莓派等微型電腦中。并且能夠保證檢測的實時性以及較高的檢測準確率。RFBNet 模型[9]原用于多目標檢測，本文將模型用PASCAL VOC2007 行人數據集進行重新訓練，專用于行人檢測。

RFBNet 采用改進的輕量級VGG16 神經網絡用于特征提取，并通過在檢測頭增加RFB 模塊，實現了可在多特征層同時檢測的功能。其中每層都可預測4（box）+1（class_num）數量的結果，將檢測結果進行整合操作，輸出最終的檢測結果。RFBNet 整體網絡結構如圖8 所示。

圖8 RFBNet 網絡結構Fig.8 RFBNet network structure

RFBNet[9]檢測模型為達到在基于輕量級特征提取網絡的前提下，達到速度及精度的平衡的目的，設計了借鑒人類視覺的RFB 模塊，該模塊是一種多分支的結構，其主要包括常規卷積及膨脹卷積兩部分。這種精心設計的RFB 模塊通過結合不同的卷積分支、卷積尺寸、擴張卷積結構來模擬人類視覺系統中的感受野結構，在參數量相近的情況下擴大感受野，以解決圖像中檢測目標大小尺寸不一難以檢測的問題。這種多尺度的思想十分有利于提高檢測性能,其檢測效果遠超同級別的輕量級網絡，甚至可以超過部分參數量巨大的深層網絡。在該檢測模型中共設計兩種不同的RFB (receptive fields block)結構分別為RFB 和RFB-s，可以從不同深度的特征層進行檢測。進一步提高檢測效果。具體結構如圖9 所示。

圖9 RFB 及RFB-s 結構Fig.9 RFB and RFB-s structure

4 系統測試與分析

4.1 中值濾波算法仿真分析

測試時使用的測試數據為分別為{99,138,30}、{138,30,69}、{30,69,108}根據中值濾波算法可求得中值為70，具體內容如圖10 紅色標記部分。圖中紅色圈所指示，模塊輸出的中值是69，與仿真實驗計算結果相同，中值濾波IP 核時序正確，完成算法設計功能。

圖10 中值濾波算法仿真圖Fig.10 Simulation diagram of median filtering algorithm

4.2 同態濾波算法

同態濾波的處理效果取決于濾波函數的選擇及參數的設定，恰當的數據設定能夠在壓縮削弱光照分量的同時增強提升反射分量，增強圖像的對比度，本系統經反復實驗確定濾波函數采用高斯高通濾波函數，式(7)中參數設置為Rh=2.5，Rl=0.6，D0=6。圖像經算法測試后的對比結果圖如圖11 所示。

圖11 同態濾波算法測試結果Fig.11 Test results of homomorphic filtering algorithm

從圖11 中可以看出應用該算法IP 后能夠明顯提升圖片中物體的整體亮度，恢復圖片中物體的顏色、紋理、輪廓等細節。以便后續行人檢測算法能夠準確檢測人流量。

4.3 行人檢測算法

本算法從PASCAL VOC2007 數據集中單獨挑選出包含行人的圖片及標注，作為數據集并進行訓練。由于深度神經網絡對訓練數據要求較高，數據集規模越大，包含的目標樣本越豐富，模型的泛化能力及魯棒性越強。所以本文在訓練時對輸入的圖像進行了數據擴增操作，通過隨機裁剪、水平翻轉、區域隨機采樣等操作增加了訓練數據。在訓練時模型參數設置如下：epoch 為200，batch size 為24，圖像的輸入尺寸為320，IoU 閾值為0.5。學習率為0.01，迭代次數為200，使用SGD 優化器。

本文使用通用的P-R 曲線圖繪制檢測結果圖，即Recall 值為0，0.1，…，1.0 情況下的Precision 值，其中Rcall 為召回率即查全率，Precesion 為準確率。通過設置不同的置信度閾值來得到P-R 曲線圖。實驗結果如圖12 所示。

圖12 P-R 曲線圖Fig.12 P-R curve diagram

從圖中可以觀察到，P-R 曲線呈遞減趨勢，PR 曲線下的面積即為檢測的AP 值，具體公式為

式中：Rj為上述提到的閾值（0，0.1，…，1.0）對應得到的所有回歸率，j=0,1,…,10。P(rj+1)為（rj+1）對應的準確率。P、R公式為

式中：TP 為正確檢測出來的數量，FP 是檢測錯誤的數量，FN 是未檢測出的數量。

在目標檢測領域中使用mAP 作為評測標準，代表各類目標AP 值的平均值。由于在行人檢測任務中只有行人一類目標，所以AP 值與mAP 值相等，在PASCAL VOC2007 val[23]驗證集中計算得mAP 值為87.02%。準確率完全滿足行人檢測任務在系統中的實際應用需求。原模型用于目標檢測，我們根據所篩選的行人數據集進行訓練及測試，對模型進行了應用創新，達到了預期要求。

在實驗測試中，我們對光線暗、行人被部分遮擋、行人密集、行人抖動模糊等各種特殊情況進行了測試，最終得到的檢測結果如圖13 所示。在各種極端惡劣的條件下檢測效果依然較好，這說明模型的泛化能力較強。

圖13 行人檢測極端情況測試圖Fig.13 Pedestrian detection extreme case test chart

5 結束語

本文實現了高層建筑火災智能報警及逃生指導系統的設計與搭建工作，通過多個TXW8301 WiFi 模塊實現各樓層節點模塊組網，一旦建筑內某一區域發生火情，激光煙霧火災探測器發出信號立即激活建筑內布控的所有終端節點，各樓層自動啟動WT588D 語音單片機語音播報具體的火災地點以及逃生路線，智能引導各區域人群逃生。同時，通過FPGA 開發板對煙霧監控視頻進行去煙補光、去噪處理，并基于深度學習算法對各逃生通道進行行人密度檢測，系統界面實時顯示火災報警情況及安全通道的人群密度等監測情況，方便進行智能救援指揮，可最大限度地降低火災中的人員傷亡。