消防機器人作業環境智能感知與識別關鍵技術

張慧賢,楊海軍,馬利民,張莉潔,布占偉,郭兆鋒,鐘衛

(1.洛陽理工學院 機械工程學院，河南 洛陽 471023；2.上海倍伺特自動控制設備有限公司，上海 201818；3.上海羿歌信息技術有限公司，上海 200052)

0 引言

近年來，我國工業生產、儲運過程中涉及的易燃易爆和劇毒化學制品迅速增加，由于設備及管理等方面的原因，化學危險品和放射性物質泄漏以及燃燒、爆炸的事故頻發，傷亡慘重。據統計我國每年發生火災約10萬起，死亡2 000多人，傷3 000～4 000人，造成直接損失10億多元，給國家和人民群眾的生命財產造成巨大損失[1-2]。1993年深圳清水河大爆炸、1997年北京東方化工廠罐區火災、2015年天津濱海新區物流倉庫爆炸、2019年河南三門峽義馬市氣化廠爆炸等特大事故發生后，全國各地要求配備消防機器人的呼聲愈來愈高，尤其是在明確公安消防部隊作為處置各類化學危險品泄漏事故的主力軍之后，在我國消防部門配備消防機器人的問題就顯得更為迫切了。以消防員與常規裝備救援滅火為主的傳統模式正面臨嚴峻挑戰，發展巡檢偵查、應急處置、滅火排煙等系列消防機器人迫在眉睫。

1 研究現狀

消防機器人作為特種機器人的一種，能夠代替消防員進入有毒、濃煙、高溫、缺氧、坍塌、狹小空間等事故現場，承擔偵查檢驗、排煙降溫、搜索救人、滅火等任務，能保護消防員安全，提高部隊滅火救援能力和效率，對人身安全和社會進步具有重大意義。世界主要發達國家均投入大量人力、物力開展機器人的研究。1986年日本東京消防廳在滅火中首次采用了“彩虹5號”機器人，目前日本是消防機器人應用最多的國家；美國主要是以救援、滅火等智能多功能型機器人為主；歐洲消防機器人主要是非仿人型機器人，在森林火源偵察、破拆等方面都實現了智能化應用。相對于國外，我國消防機器人研究起步較晚，研發及生產落后美、日、歐較多。國內消防機器人的研發在20世紀90年代逐漸被重視。2002年，由公安部上海消防研究所、上海交通大學、上海消防局三方共同承擔的國家863項目“履帶式、輪式消防滅火機器人”成功研制并順利通過國家驗收。完成驗收后該型號消防機器人被全國多個省市陸續配備。之后國內各企業逐漸加入消防機器人的研發隊伍，整體研發速度不斷加快。近幾年，我國消防機器人產業發展迅速。2016年由工信部、發改委、財政部等三部委聯合印發的《機器人產業發展規劃(2016-2020)》中，提出了機器人產業發展的五項主要任務，其中消防救援機器人被列為10種重大標志性率先突破產品之一。在國家政策強力支持以及行業多年的技術積累下，我國消防機器人生產企業能否把握機遇，突破共性技術難題，是我國消防特種機器人產業發展的關鍵。

總體而言，在國際上對于消防機器人的研發歷經了大致三個階段，同時也形成了三代不同的消防機器人。第一個階段主要依靠遠程操作控制系統，在此基礎上形成的消防機器人叫做程序控制型消防機器人，這是世界上第一代消防機器人；第二個階段主要通過傳感器來開發其性能，這一階段的消防機器人被稱為功能型消防機器人，也是世界上第二代消防機器人；第三個階段，消防機器人研究方向開始向智能化靠近，消防機器人不再單單局限于某種功能，而是對環境具有一定的智能感知與互動的智能化功能，這一階段形成的消防機器人被稱為智能型消防機器人，這也是世界上第三代消防機器人。

2 發展趨勢

目前，國內消防機器人處于從一代向二代更新換代的過程中，對于國內的第二代消防機器人來說，主要以履帶式為主，大都由履帶載體、消防炮和遙控器三部分構成，有些還配置了紅外熱像儀、超聲波傳感器、無線氣體探測器、全景攝像機等，有效地提高了復雜環境營救的安全性，較好地保障了消防人員的安全?？v觀各個國家，每個國家對于消防機器人研究所處的階段不同。隨著科技的發展以及復雜作業環境對消防機器人的更高要求，其中大多數發達國家如美國、日本、歐盟等國家所處的階段都集中在從第二階段的功能型消防機器人向第三階段的智能型消防機器人過渡，力求通過科技創新向高級智能型消防機器人邁進。

綜觀消防機器人發展現狀及趨勢，美、日、歐等發達國家已著手第三代具有智能感知與自主規劃的智能消防機器人研制[3-6]。而目前國內的消防機器人系統主要集中在第二代的應用上，如圖1所示，大都采用視頻采集設備及傳感器等，將前線作業環境圖像等信息無線傳輸到火場后端，由消防人員根據現場視頻圖像進行遙控操作，機器人無法在動態變化的環境中自主工作，無法發揮機器人在災情預警、判斷處置及協同作戰方面的優越性[7-10]。開發能夠對作業環境進行智能感知并對環境進行分類與辨識的具有自主路徑規劃的消防機器人，是未來消防機器人智能化發展的重要方向。

圖1 消防機器人工作現狀

圖2為某公司開發的消防滅火偵察機器人、防爆消防偵察機器人及礦用隔爆兼本安型輪式巡檢機器人。圖2(a)所示的消防滅火偵察機器人由機器人本體、大流量水炮、防爆紅外雙視云臺、手持遙控終端組成。主要應用于公(鐵)路隧道火災、地鐵車站與隧道火災、地下設施與貨場火災、大跨度和大空間場所火災、石化油庫與煉制廠火災、大面積毒氣與煙霧事故，危險火災目標的偵察、進攻與掩護，人員不易接近的火災撲救等。該種機器人采用防爆、防水雙重設計和大功率動力系統，可同時拖拽6條80 m長水帶；采用鴨嘴式水炮設計，可變換多種噴水形式，噴射流量可調節；200 L/s大流量水炮，射程高，滿足大空間場所火災撲救工作；采用360°可見光巡視及紅外熱成像系統，能夠滿足黑暗和惡劣環境下的作業需要；采用適應多種路況的全新獨立懸掛減震系統，地面適應能力強；采用大功率散熱設計，能夠進行自主散熱降溫；采用高壓大容量電源系統，動力輸出較強；采用無線通信技術及網絡通信功能，可接入互聯網，實現數據和視頻雙信道傳輸，保證了爆炸危險環境滅火時消防人員的安全距離；同時可與無人機配合，將數據傳輸到指揮中心，為救援決策者提供可靠的決策依據；同時具有遠程診斷功能、環境探測功能，搭載環境探測傳感器，實現對現場有毒、可燃氣體的檢測分析；具有熱眼檢測功能，通過紅外熱成像實現對熱源的檢測與跟蹤；具有聲音采集功能，可實時采集現場聲音，便于了解受困人員情況；具有圖像采集功能，采集現場圖像并實時上傳。具有自主避障功能，避障系統自動識別障礙物距離，靈敏度高，檢測距離遠。

圖2(b)所示的防爆消防偵察機器人由機器人本體和手持遙控終端組成。主要用于各領域火災事故偵察，尤其適用于石化、燃氣等易爆環境，對提高救援安全性、減少人員傷亡具有重要意義。該產品采用履帶式行走機構，越障能力強，適應復雜地形；采用防爆、防水設計，能適應復雜環境；采用高清無線圖傳系統，可實現遠程實時視頻監控；網絡通信可接入互聯網，可將數據傳輸到指揮中心，為救援決策者提供可靠的決策依據；同時可與無人機配合，實現“三位一體”的消防指揮控制。通過互聯網功能，可實現對機器人的遠程診斷及故障分析；搭載環境探測傳感器，可實現對現場有毒、可燃氣體的檢測分析；可實時采集現場聲音、現場圖像并實時上傳。

圖2(c)所示的礦用隔爆兼本安型輪式巡檢機器人，由機器人本體、無線基站、遠程工作站等組成。主要應用于煤礦井下等場所，可代替巡檢工人對設備及環境進行巡檢，提高了煤礦行業的安全管理及智能化水平。該種機器人具有如下功能：1)視頻分析功能，可根據用戶要求對現場儀表、閥門等設備進行識別分析；2)音頻分析功能，可通過對現場聲音采集，智能分析異常聲音，故障自動語音提示；3)環境檢測功能，機器人搭載多種氣體探測傳感器，實時檢測現場環境中甲烷、一氧化碳及氧氣等多種氣體濃度；4)熱成像檢測功能，機器人搭載熱成像儀對現場電機、軸承等設備表面溫度檢測高溫預警；5)語音提示功能，針對機器人巡查出的故障、自身的異常進行語音播報，同時支持雙向對講功能；6)云臺升降功能，機器人防爆云臺可實現自動升降，提高了機器人巡檢適應性和巡檢質量；7)數據查詢功能，機器人巡檢實時狀態、歷史記錄、異常記錄等信息，通過上位機可以進行查詢。

圖2 消防滅火、偵察、巡檢機器人

由此可見，該機器人產品已經基本實現了結合機器視覺、視頻監控、圖像識別、無線傳輸等方面的最新技術，融入了一些人工智能技術，在遙控型消防機器人技術的基礎上進行了很大提升。但要真正實現人工智能技術在消防機器人上應用的實用化，還須解決一些關鍵技術。

3 關鍵技術

對于消防機器人而言，首要解決的關鍵問題是對采集到的現場作業環境視頻信息進行特征提取、圖像分割和圖像辨識，完成環境信息的分類、識別并進行感知，以便為下一步路徑規劃及自主決策提供基礎。國內目前研制的智能消防機器人只處于智能化的初級階段，由于智能機器人涉及到許多關鍵技術，要在消防機器人中實現真正的“智能化”，需要多學科交叉的協同努力與研究。

3.1 作業環境信息采集與三維重構

對消防機器人而言，對作業環境的信息進行采集，并將平面信息轉化為三維信息被機器人識別是實現“智能化”的基礎。首先通過信息采集技術獲取消防機器人作業環境的原始信息，再通過三維重構技術實現對環境信息的復原與重建。同時，通過模式識別對數據內容進行分析與預測，實現對環境數據的描述、辨認、分類和解釋，完成機器人對環境信息的感知與辨識，使機器人能根據環境信息和自身狀態，更新調整自身動作。

針對消防機器人作業現場環境復雜性和高危險性特點，可開發溫度、有毒氣體、可燃氣體和氧氣濃度等作業環境檢測參數的多通道傳感器數據采集硬件，并構建由超聲波傳感器、熱成像儀、CCD攝像頭、紅外傳感器、超聲波傳感器等組成的多源、多信息數據采集系統。同時，可采用基于雙目視覺成像技術，完成對現場環境圖像信息的采集，通過圖像的合成與匹配，實現消防機器人作業環境的三維場景可視表面重構，得到具有一定深度感的環境立體視覺及其高維特征，為消防機器人實現對作業環境中的三維景物和物體進行形態和運動識別提供數據。技術流程如圖3所示。

圖3 機器人作業環境信息采集與三維重構

3.2 環境數據的模式識別與路徑規劃

在作業環境信息采集與三維重構的基礎上，通過數據濾波對環境特征的噪聲信息進行濾除。為辨識環境中的物體屬性與形態，可通過圖像邊緣檢測算法提取環境物體的輪廓信息。常采用基于神經網絡與SIFT算法的圖像特征提取方法，減少數據運算量并快速獲取環境圖像重要的結構屬性，優化物體形狀特征的提取，提高模式匹配的速度與精度。為實現消防機器人一定程度的自主路徑規劃，可通過構建的場景模式匹配模型以及基于特征聚類和主成分分析的神經網絡預測模型，建立消防機器人基本的深度學習結構。基于深度學習的圖像特征提取算法，可通過視覺特征的自主學習，得到能夠較好適應現場作業環境、具有一定深度的學習模型，實現消防機器人具有一定的自主訓練與路徑規劃能力。技術流程如圖4所示。

圖4 環境數據的模式識別與路徑規劃

3.3 環境感知算法及自主學習模型

在傳統模式識別和路徑規劃的基礎上，對環境感知算法和自主學習模型進行優化；通過圖像采集優化、特征提取優化及模式匹配優化，提高消防機器人對環境圖像采集及特征提取的速度與精度，改善對物體進行形態匹配和運動識別的準確度。為提高消防機器人自主路徑規劃的實時性與準確性，可開發能夠適應現場作業環境的較為魯棒的深度學習模型，采用卷積神經網絡、優化的SIFT算法等人工智能領域最新的算法，或探索研究迭代尋優的優化算法，通過環境辨識優化、控制策略優化及路徑預測優化，研究對作業現場環境識別具有穩定性、快速性和準確性的且具有根據作業現場環境完成一定的自主訓練與路徑規劃的消防機器人。技術流程如圖5所示。

圖5 機器人環境感知算法及自主學習模型

3.4 人工智能與深度學習

如圖6所示，在軟硬件聯合設計的基礎上，可對消防機器人的硬件與軟件進行性能測試與驗證，完成硬件測試、軟件測試與綜合測試，同時完成信息采集、環境感知與路徑預測的實驗驗證；根據測試與驗證結果，修正并迭代優化軟硬件系統，研究提高圖像采集速度、精度與可靠性的方法，增強重構的三維環境與現實環境的匹配度；對環境物體進行形態和運動的識別驗證，根據結果修正硬件配置與軟件算法，協調軟硬件配置架構，提高對環境物體識別及分類的可靠性；通過模擬環境與現實環境相結合的方法，驗證基于深度學習模型的消防機器人路徑自主規劃能力，優化軟硬件模型，提升消防機器人在作業現場未知環境中的環境辨識、智能感知、路徑規劃與軌跡預測能力。

圖6 人工智能與深度學習

4 結語

1)針對目前易燃易爆環境對消防機器人的新要求，闡述了消防機器人的研究現狀。以產品實例展示了目前市場上較先進的消防機器人所能達到的技術參數及其功能，并對第三代具有智能感知與自主規劃的智能型消防機器人的關鍵技術進行了論述。研究表明能夠對作業現場未知環境進行信息辨識、智能感知以及具有一定路徑規劃與軌跡預測能力的消防機器人，是消防機器人智能化發展的方向；

2)闡述了第三代具有智能感知與自主規劃的智能型消防機器人的關鍵技術，包括作業環境信息采集與三維重構、環境數據的模式識別與路徑規劃、環境感知算法及自主學習模型及其人工智能與深度學習。開發出對作業環境具有智能感知與識別、具有一定的自主訓練與路徑規劃的消防機器人，是消防機器人“智能化”的標志。消防機器人的智能化是社會發展對消防提出的新要求，對消防機器人作業環境智能感知與識別的關鍵技術進行研究，這對提升消防機器人的智能化，提高消防滅火救援能力及效率以及對社會進步和環境保護具有重大意義。