江俊 許森 葉芳芳



摘? 要:隨著紅外熱成像以及無人機技術(shù)日益成熟并被廣泛用于電力預防檢測、工業(yè)測溫、制程控制、醫(yī)療檢疫等領(lǐng)域。文章將紅外熱成像技術(shù)以及無人機技術(shù)進行交叉融合,設(shè)計開發(fā)一款基于紅外熱成像的生命探測飛行器。該飛行器不僅具備定高自穩(wěn),垂直升降等四軸飛行器一般特性,還能夠通過紅外熱成像技術(shù)進行生命探測,并對探測數(shù)據(jù)的篩選分析實現(xiàn)遠程報警,幫助特種人員完成在黑暗以及其他復雜環(huán)境中的實施快速搜查和救援工作。
關(guān)鍵詞:紅外熱成像;四旋翼飛行器;433 MHz通信;動態(tài)規(guī)劃
中圖分類號:TP391;TN219 ? ? ?文獻標識碼:A 文章編號:2096-4706(2020)20-0026-05
Design and Implementation of Life Detection Vehicle Based on
Infrared Thermal Imaging
JIANG Jun,XU Sen,YE Fangfang
(College of Information Science and Technology,Zhejiang Shuren University,Hangzhou? 310015,China)
Abstract:With the increasing maturity of infrared thermal imaging and UVA technology,it is widely used in power prevention and detection,industrial temperature measurement,producing quality control,medical quarantine and other fields. In this paper,infrared thermal imaging technology and UAV technology are combined to design and develop a life detection vehicle based on infrared thermal imaging. The aircraft not only has the general characteristics of quadcopter,such as fixed height and self-stabilization,vertical lifting and so on,but also can carry out life detection through infrared thermal imaging technology,realize remote alarm through screening and analysis of detection data,and help special personnel to complete the rapid search and rescue work in the dark and other complex environments.
Keywords:infrared thermal imaging;quadrotor;433 MHz communication;dynamic programming
0? 引? 言
近年來,世界各地自然災害頻發(fā),搜救機器人的應(yīng)用場合日益增多,世界各國均投入大量資源開始研制開發(fā)各種救援機器人。多旋翼無人機由于其機動性強,機身輕巧等特點受到人們廣泛關(guān)注,被大量投入軍事偵察、地區(qū)反恐、核生化信息檢測、搶險救災、安全防護等領(lǐng)域[1]。基于紅外熱成像的生命探測飛行器是無人機控制技術(shù)和紅外技術(shù)融合應(yīng)用[2],針對特殊環(huán)境下搜救人員視野受限的問題,通過高速率的數(shù)據(jù)流傳輸將實時圖像傳輸至地面站,給搜救及觀測人員提供災難現(xiàn)場清晰、全局的視角圖像[3,4]。浙江樹人大學信息科技學院一直致力于通信與電子前沿技術(shù)的研究和應(yīng)用轉(zhuǎn)化,本研究與應(yīng)用不僅沿襲學院的研究方向且有較好的研究基礎(chǔ),同時具有浙江省自然科學基金等支持。本文研究的生命探測亦是災情場景重建研究后的目標延伸和拓展,同時,作者在該研究項目中既考慮到總體和硬件的設(shè)計方案,也實現(xiàn)了軟件設(shè)計和圖像算法。因此,本研究的應(yīng)用可有效減少復雜環(huán)境給救援行動帶來的負面影響,能為救援隊伍爭取寶貴的搜救時間。
1? 飛行器控制系統(tǒng)設(shè)計方案
生命探測飛行器控制系統(tǒng)設(shè)計和實現(xiàn)是本研究應(yīng)用的核心內(nèi)容。系統(tǒng)主要有解決飛行器飛行姿態(tài)、高度、路徑控制、圖像和控制信號傳輸?shù)裙δ埽饕w行器控制模塊、通信模塊等。生命探測飛行器控制系統(tǒng)整體設(shè)計方案如圖1所示,包含飛行器控制模塊、通信模塊(包含通信模塊A、通信模塊B)、紅外熱成像模塊等。其中飛行器控制模塊傳感器部分測得的數(shù)據(jù)進行姿態(tài)解算,確保穩(wěn)定姿態(tài)飛行。地面飛行器控制模塊通過通信模塊B發(fā)送控制信號,操控飛行器按照一定的姿態(tài)及路徑飛行。生命探測飛行器上搭載的紅外熱成像模塊則進行圖像信號采集并通過通信模塊A將數(shù)據(jù)傳送給通信基站模塊A,通信基站模塊A通過串口將接收圖像傳輸給PC機。同時,飛行器上運行生命體檢測的圖像算法,當檢測到生命體時,飛行器上觸發(fā)報警裝置,并幫助搜救人員定位目標。觀測和搜救人員也可以通過PC機獲得實時圖像,用于目標和環(huán)境的觀測。
1.1? 飛行器控制模塊設(shè)計方案
飛行器控制模塊由控制部分和傳感器部分組成。傳感器部分用作感知飛行器的運動狀態(tài)及空間位置,主要有加速度計(G-sensors),陀螺儀(Gyros),電子羅盤(E-Compasses),壓力傳感器(Barometers)幾個部分組成。通過加速器可感測線性加速度與傾斜角度,單一或多軸加速器可感應(yīng)結(jié)合線性與重力加速度的幅度與方向;陀螺儀可感知一軸或多軸的旋轉(zhuǎn)角速度,精準感測自由空間中的復雜移動動作,在飛行器上這兩者的配合使用可獲得姿態(tài)解析數(shù)據(jù)。電子羅盤也稱為磁力計,磁阻傳感器是電子羅盤的核心,通過感知地球磁場的方向從而獲得飛行器姿態(tài)和前進方向;壓力傳感器,也叫氣壓計,可以通過測量壓力值來感知飛行器的絕對高度。將電子羅盤和氣壓計運用在飛行器控制模塊中可確定飛行器當前的位置狀態(tài)。
1.2? 通信模塊設(shè)計方案
考慮到此設(shè)計的應(yīng)用場景,需要通信模塊具備支持長距離,強穿透,中等傳輸速率以及數(shù)據(jù)連續(xù)傳輸?shù)忍攸c。綜合考量,通信模塊的數(shù)據(jù)傳輸通信方案采用433 MHz模塊來實現(xiàn)。通信模塊中除了熱成像圖的數(shù)據(jù)傳輸,還涉及到飛行器的控制信號數(shù)據(jù)傳輸。433 MHz通信模塊可在2.5~168 kB/s速率下實現(xiàn)長距離數(shù)據(jù)連續(xù)傳輸,且具有較強的穿透能力。由于快速移動的裝置來說,控制信號的無線傳輸需要具備實時性高,抗干擾能力強的特性。且在天線增益5 dBi的條件下具有高達1 500 m的傳輸距離。模塊具有RSSI模式、連傳模式等七種模式,且在連傳模式下支持不限數(shù)據(jù)包大小的UART無線透傳,傳輸速率可達2.5 kbps。
2? 硬件電路設(shè)計
2.1? 飛行器控制模塊主電路
飛行器控制模塊采用STM32F103T8U6作為控制器芯片。控制模塊主電路即為控制芯片電路,包括復位電路、外部時鐘電路、啟動模式選擇電路、電源去耦電路等。本文只介紹較為重要的外部時鐘電路和復位電路。復位操作采用低電平復位,延時復位電路由電容串聯(lián)電阻構(gòu)成,當復位引腳處于低電平時,可以通過調(diào)節(jié)阻容值決定引腳恢復高電平時間。設(shè)計中采用常用的10 kΩ電阻加2.2 μF電容構(gòu)成RC電路,低電平時間持續(xù)為兩個機器周期以上。外部時鐘采用的是8 MHz無源晶振,單片機內(nèi)部通過鎖相環(huán)(Phase Locked Loop,PLL)使得系統(tǒng)時鐘最高可達到72 MHz。為方便調(diào)試,將SWD在線調(diào)試接口引出,如圖2所示控制模塊主電路所示。
2.2? 飛行器控制模塊傳感器部分電路
飛行器控制傳感器部分主要包括加速度計、陀螺儀、電子羅盤、氣壓計電路。加速度計、陀螺儀MPU6050的芯片電路主要是設(shè)計引腳的輸入輸出電路的設(shè)計和電源的濾波處理。電源引腳VDD處配置兩個2.2 μF的濾波電容進行電源濾波。同時,用于與飛行器控制模塊主電路之間的I2C通信的SDA引腳和SCL引腳,配置兩個3 kΩ的上拉電阻,提供穩(wěn)定電流。為校準濾波連線的REGOUT引腳,配置0.1 μF的接地電容用于濾波,具體如圖3(a)所示。
電子羅盤電路HMC5883主要設(shè)計內(nèi)容有兩部分。第一,其信號通信是通過加速度計、陀螺儀MPU6050的從屬I2C總線(AUXDA,AUXDI)連接到主芯片電路上。因此,在初始化MPU6050時,設(shè)置成主I2C總線與從屬I2C總線直通,主芯片電路可以直接通過主I2C總線訪問并讀取電子羅盤器HMC5883信號數(shù)據(jù)。第二,STEP引腳為置位、復位引腳,將配置一個220 nF電容并連接SETC引腳,用于濾波和防干擾抖動。同時,C1引腳配置一個4.7 μF接地電容用于濾波,具體如圖3(b)所示。氣壓計電路FBM320的電路較為簡單,只需注意I2C接口同加速度計、陀螺儀MPU6050一樣需要上拉電阻,具體如圖3(c)所示。
2.3? 通信模塊
本設(shè)計通信模塊分別傳輸熱成像數(shù)據(jù)和控制信號。對于負責熱成像數(shù)據(jù)傳輸?shù)?33 MHz無線模塊,包含板載通信模塊和通信基站模塊。板載通信模塊即裝配在飛行器機身上的通信模塊A(如圖1所示),通過設(shè)計M0、M1、M3三個引腳的電平將通信模塊模式固定為無線透傳,將控制器芯片引腳RX,TX連接至通信模塊和熱成像模塊,用于熱成像數(shù)據(jù)的傳輸和分析。模塊搭配LED用作顯示433 MHz無線模塊工作狀態(tài),如圖4(a)所示。控制信號電路相比熱成像數(shù)據(jù)傳輸模塊較為復雜,主要體現(xiàn)在附加的晶振電路和射頻電路。控制信號模塊采用16 MHz無源晶振作為晶振輸入,實現(xiàn)晶體震蕩器功耗和快速啟動。射頻電路方面,通過網(wǎng)絡(luò)匹配使用負載阻抗為15 Ω+j88 Ω。同時,為了消除其他信號源以及雜波對通信電路的影響,還配備了去耦電容,如圖4(b)所示。
3? 飛行器系統(tǒng)軟件設(shè)計
3.1? 飛行器嵌入式系統(tǒng)軟件
飛行器嵌入式系統(tǒng)軟件運行后,先采集飛行器升空前的地面氣壓和初始溫度,然后在飛行中實時采集氣壓和溫度,通過對實時氣壓和初始氣壓數(shù)據(jù)相減及轉(zhuǎn)換,獲得相對高度,可供建模求取物體真實面積時使用。初始溫度和實時溫度作為參數(shù)代入預設(shè)公式計算溫度閾值。獲得溫度閾值后,對紅外傳感器獲得的數(shù)據(jù)進行處理,統(tǒng)計獲得對應(yīng)傳感器中顯示的生命體的個數(shù)及面積。通過模型公式將二維成像面積轉(zhuǎn)換獲得實際的物體二維投影面積,然后與預設(shè)的可判斷為目標生命體的面積大小做比較。若符合面積相匹配,則觸發(fā)飛行器檢測到生命體的報警,若不匹配繼續(xù)采集實時氣壓和溫度,準備下一幀數(shù)據(jù)的處理,流程圖如圖5所示。
3.2? 生命體判別算法實現(xiàn)
生命體判別算法的實現(xiàn)分為溫度閾值計算,物體二維面積計算兩個部分組成。首先,根據(jù)飛行器高度以及環(huán)境溫度,擬合出一個溫度閾值,作為判斷紅外傳感器獲取某像素點的溫度數(shù)據(jù)是否可認作為生命體溫度數(shù)據(jù)的依據(jù)。然后,根據(jù)算法統(tǒng)計紅外傳感器一幀畫面中存在的高于溫度閾值的像素塊數(shù)量,及每個像素塊的大小。最后,對物體面積與距離關(guān)系進行建模,根據(jù)像素塊大小及飛行器距離地面高度來計算物體的真實面積大小,以判斷是否為生命體。
溫度閾值是在紅外傳感器顯示圖像中為區(qū)別環(huán)境背景和生命體的一個溫度值,由于飛行器運作高度以及外界環(huán)境條件的變化,紅外傳感器測量的溫度值會產(chǎn)生誤差。為了在保證此系統(tǒng)的實時性能的前提下減少由紅外傳感器誤差帶來的影響,程序不直接對測得數(shù)據(jù)進行修改,而是通過修改區(qū)別環(huán)境背景與生命體的溫度閾值來提高生命體判別算法的準確度,因此在本系統(tǒng)中溫度閾值是一個隨時間變化的一個數(shù)值。利用多項式擬合進行溫度閾值與距離的數(shù)據(jù)關(guān)系分析,得到模型公式為:
f(x)=P1×x4+P2×x3+P3×x2+P4×x+P5
其中,P1=3.955e-07,P2=-8.475e-05,P3=0.005 45,P4=-0.171 80,P5=36.990 00溫度閾值與距離的曲線擬合關(guān)系如圖6所示。
在獲取動態(tài)的溫度閾值后,需要對顯示圖像內(nèi)高于溫度閾值的像素塊進行統(tǒng)計,以獲取顯示物體大小。為區(qū)分出生命體在顯示圖像內(nèi)的個體面積,算法沒有直接統(tǒng)計所有高于溫度閾值的像素點數(shù)量作為生命體的成像面積,而是通過二維動態(tài)規(guī)劃和無向圖模型,忽略孤立或過小像素,進行疑似生命體的有效像素遍歷與統(tǒng)計。
4? 生命體判別算法準確度測試
基于紅外熱成像的生命探測飛行器如圖7所示。本文通過實驗測試檢測生命體判別算法的準確度,測試變量為在30攝氏度環(huán)境中,人距離紅外攝像頭的距離,每個距離實驗次數(shù)為50次,數(shù)值取平均值,如表1所示。
測試結(jié)果分析:生命體判別算法在0.0 m到1.5 m的距離內(nèi)中,由于挑選的紅外熱成像鏡頭廣角不足,不能把人體全身映射進傳感器使得部分面積缺失,導致計算的真實面積大小小于報警閾值,報警情況不太理想,可通過改變鏡頭提高準確率。生命體判別算法在1 m到10 m之間準確率較高,當大于20 m時,受紅外熱成像模塊分辨率等因素影響,視野內(nèi)測得的高于溫度閾值的像素點個數(shù)降到個位數(shù)以下,判別準確率下降,效果不太理想。
5? 結(jié)? 論
基于紅外熱成像的生命探測飛行器能夠在一定的距離范圍內(nèi)進行較為準確的生命探測,并實現(xiàn)遠程監(jiān)測和報警,有助于特種人員實現(xiàn)復雜環(huán)境中的快速搜查和救援工作,在此次設(shè)計中基本達到了預期目標。由于受到飛行器硬件以及熱成像儀模塊的限制,有效探測距離和算法準確度有待進一步提高。
參考文獻:
[1] 左天丞.四旋翼飛行器低空飛行避障系統(tǒng)的設(shè)計 [D].哈爾濱:哈爾濱理工大學,2019.
[2] GONG W G,WEN K,HE L F,et al. Human and Nonhuman Recognition Using Pyroelectric Infrared Detector [J]. International Journal of Thermophysics,2012,33(10-11):2237-2241.
[3] 趙燦.室外自主搜救飛行機器人的設(shè)計與實現(xiàn) [D].綿陽:西南科技大學,2017.
[4] 周渝人.紅外與可見光圖像融合算法研究 [D].長春:中國科學院研究生院(長春光學精密機械與物理研究所),2014.
作者簡介:江俊(1983—),男,漢族,浙江杭州人,講師,博士,主要研究方向:模式識別、圖像處理與大數(shù)據(jù)處理等;許森(1982—),男,漢族,湖北荊門人,講師,碩士,主要研究方向:集成電路與集成系統(tǒng)設(shè)計、數(shù)字信號處理等;葉芳芳(1980—),女,漢族,安徽桐城人,講師,博士,主要研究方向:圖像處理、深度神經(jīng)網(wǎng)絡(luò)等。