基于熱成像的FPV無人機搜救系統設計

莫雄 連濤 蔡定邦 陳倍昌 張劍彬

摘要：全國每年都會出現戶外人口失蹤事件，但野外救援通常采用人力搜尋的方式進行救援，具有高延時性、低效性、人力資源浪費的缺點。針對這種情況，設計一臺搜救FPV無人機，把紅外熱成像儀搭載在無人機上，紅外熱成像儀與圖傳模塊發射端連接，將航拍得到的圖像無線傳輸到搭載圖傳模塊接收端的電腦端，電腦端接收圖像后進行人體識別算法，并且在原圖像上勾勒人體形狀后形成新圖像，再通過圖傳模塊發射端無線傳到FPV眼鏡。基于熱成像的FPV無人機搜救系統，可以自動識別人體，并且傳輸的第一視角圖像提供更大的視野，能夠幫助有關人員搜尋失蹤人員。

關鍵詞：熱紅外成像;可穿戴設備;四旋翼無人機;FPV眼鏡

中圖分類號：TD324 文獻標志碼：A

文章編號：1009-3044（2019）35-0192-02

1 概述

隨著民用無人機技術應用領域不斷地拓展和深入，未來將迎來“無人機+”的時代。[1]搭載攝像頭的四旋翼無人機是我國應用廣泛的一項航空攝錄設備，基于其自身的響應速度快、可遠程操控、運行成本低、提供實時數據等優勢，可以用于復雜地形的檢測工作[2]。

FPV無人機擁有第一視角視野廣闊的優點，可以比傳統第三視角的顯示屏更有效地發現受困人員。紅外熱成像儀具有非接觸、直觀、操作方便、安全、單次檢測面積大等諸多優點，并且針對可見光易受光照變化、夜間可視性以及其他環境因素影響的情況，采用紅外熱成像儀可以有效避免上述問題[4]。

2 設計方案

整個設備的整體構架如圖1所示，主要分為無人機、紅外熱成像儀、圖像處理三大部分。無人機使用PX4飛控作為飛行控制器主芯片。圖傳模塊發射端使用VT5804-V3模塊，圖傳模塊接收端使用RC832模塊。系統將紅外熱成像儀與飛行控制器、VT5804-V3模塊連接。可以將圖像輸出傳輸到連接RC832模塊的電腦上，電腦端讀取傳輸到的圖像并且用對應人體識別算法，對圖像進行人體識別，將通過方框勾勒人體后保存為新圖像。再通過另一個VT5804-V3模塊將處理后的圖像傳輸到FPV眼鏡上。

3 硬件設計

3.1紅外熱成像儀

紅外熱成像儀是利用紅外探測器、光學成像物鏡和光機掃描系統接受被測目標的紅外輻射能量分布圖形反映到紅外探測器的光敏云上，在光學系統和紅外探測器之間，有一個光機掃描型熱攝像機或者熱釋電電視攝像機對被測物體的紅外熱像進行掃描，并聚焦在單元或分光探測器上，由探測器將紅外輻射能轉換成電信號，經放大處理、轉換或標準視頻信號通過電視屏或監測器顯示紅外熱像圖像[5]。

根據系統對于野外救援對溫度感知的需求，選擇被動式紅外熱成像儀。具體型號選擇FLIR DUO無人機用微型紅外與可見光雙視融合相機。其包含1080P可見光相機和160*120分辨率紅外熱成像相機，可以自由切換可見光、紅外相機模式。并且采用了特有的MSX融合技術，將可見光拍攝到的關鍵細節信息實時添加至紅外圖像中形成融合圖像，可大幅度提高畫面質量和輪廓清晰度。并且可搭配GoPro云臺進行使用，保持拍攝平穩性。

3.2無線圖傳模塊

圖傳模塊分為發射端和接收端。一般來說，圖傳模塊分為模擬圖傳和數字圖傳。對于無人機來說，低延時的傳播速度可以保證觀測到的圖像是第一時間觀測到的，傳播距離遠有利于飛行的安全性。根據實際情況，采用低延時和傳播距離遠的模擬圖傳。

綜合多種因素，我們選擇熊貓圖傳的VT5804-V3，這是工作在5.8GISM頻段內的5.8G模擬圖傳發射模塊。使用RC832產品作為接收端，該產品是一個裸機接收端，可以在后續制作中接入顯示屏或者是FPV眼鏡。同樣工作在5.8G，具有38個頻點，保證了接收的穩定性。圖傳模塊接收端后連接視頻采集卡插入電腦，再使用potplaer視頻處理軟件，將其視頻格式輸出為MP4文件供Python軟件進行處理。

3.3飛行控制器硬件芯片列表

PX4飛控采用STM32F427芯片作為主處理器，其主頻最高可達168MHZ，高精度的主頻可以保證運算的性能。且集成了FPU（專用于浮點運算的處理器），因為在飛控的算法運算中需要用到大量的浮點數，內部集成FPU可以帶來更好的運算性能。PX4飛控內部集成的（MCU）微處理器包括了雙三軸加速度計、三軸磁力計、雙三軸陀螺儀、氣壓計。其中雙加速度計的方案可以減少單加速度計在各種環境因素下產生的混淆噪聲干擾，可以極大地改善飛行穩定性。并且還具有一塊STM32F103芯片作為故障協處理器芯片，提供對意外事故的應付能力。

3.4 FPV眼鏡

FPV眼鏡是用于航模飛行時實時將飛機上無線傳回的視頻信號接收后在眼鏡里顯示出來，相當于用VR眼鏡的顯示方式替代傳統的顯示器，并且相比于VR眼鏡不同的是，在FPV眼鏡上集成了視頻采集處理器和無線圖傳接受設備，使得FPV眼鏡可以無線接收圖傳模塊發射端發射的圖像信號。通過使用FPV眼鏡可以更好地模擬人眼，換取更大的視野范圍，以及比顯示屏更真實的視野情況。

4 系統軟件設計設計

4.1無人機飛行算法設計

無人機飛行核心算法有捷聯式慣性導航系統、卡爾曼濾波器、PID控制器。捷聯式慣性導航系統就是利用載體上的加速度計、陀螺儀這兩種慣性傳感器，去分別測出飛行器的角運動參數和線運動參數，由處理器通過慣性導航算法推算出飛機的姿態、速度、航向、位置等導航參數;卡爾曼濾波算法采用信號與噪聲的狀態空間模型，利用前一時刻地估計值和現時刻地觀測值來更新對狀態變量的估計，求出現在時刻的估計值。

由于PX4飛控有一個開源社區在維護，代碼系統比較完整。通過使用PX4飛控原生的Pixhawk固件可以比較容易地實現對無人機的飛行姿態結算以及飛行操控。組裝好無人機后，我們需要根據自身情況調節PID參數，即可實現無人機的平穩飛行。再通過改變應用層代碼來對PX4飛控二次開發。

4.2熱成像人體識別算法設計

首先需要對圖像進行預處理，即進行對噪聲的濾波和對比度的增強[7]，采用中值濾波算法使得畫面更加平滑，直方圖均衡算法對圖像黑白對比度進行加深，即畫面顏色更亮。通過這兩個算法對圖像進行優化以方便后續算法的進行。

在對圖像進行優化后，我們需要對感興趣區域進行勾選，即對人體進行勾選。由于人體特征已被其他物體遮擋，所以我們選擇較復雜的特征進行提取。使用目標高寬比和目標形狀分散度作為特征點，即勾選目標的矩形框框中最小矩形的高度和寬度之比，和勾選目標框框中周長平方和面積之比。之后通過訓練BP神經網絡得到分類器，利用分類器對圖像進行識別。本部分通過在Python中寫入算法，再利用numpy庫進行神經網絡庫函數調用，再通過調整訓練度的值，進行訓練，直到訓練效果成功。

4.3 FPV眼鏡軟件設計

顯示技術是VR眼鏡的核心，顯示技術包括：交錯顯示、畫面交換、視差融合。

使用FPV眼鏡與交錯模式搭配，則只需將圖場垂直同步訊號當作快門切換同步訊號即可，即顯示單圖場（即左眼畫面）時，立體眼鏡會遮住使用者的一只眼睛，而當顯示偶圖場時，則切換遮住另一只眼睛，如此周而復始，便可達到立體顯像的目的。

畫面交換畫面交互的工作原理是將左右眼圖像交互顯示在屏幕上的方式，使用FPV眼鏡與這類立體顯示模式搭配，只需要將垂直同步訊號作為快門切換同步訊號即可達成立體顯像的目的。而使用其他立體顯像設備則將左右眼圖像（以垂直同步訊號分隔的畫面）分送至左右眼顯示設備上即可。

視差融合的工作原理是讓左眼與右眼圖像的差異持續在屏幕上表現出來，通過控制處理器送出立體訊號到屏幕，并同時送出同步訊號到3D立體眼鏡，使其同步切換左、右眼圖像，使得兩只眼睛分別看到不同的景象，產生立體效果。

5 結束語

本項目通過采用紅外熱成像儀與四旋翼無人機相結合，通過2.4G遙控技術遠程遙控無人機，遙控過程中通過紅外熱成像儀拍攝圖像，圖像通過圖傳設備傳回對應的無人機用電腦，通過使用中值濾波和直方圖均衡算法對圖像進行預處理，之后勾選高寬比和形狀分散度作為特征值后使用BP神經網絡訓練并識別人體，并且將勾勒人體加載在圖像中，再通過圖傳模塊傳回FPV眼鏡中。實現了在無人機上搭載熱成像相機，并且進行了對紅外圖像下的人體識別。

參考文獻：

[1]金鋒淑，朱京海，李巖.“無人機+”時代城鄉規劃探索[A].中國城市科學研究會、海南省規劃委員會、海口市人民政府.2017城市發展與規劃論文集[C].中國城市科學研究會、海南省規劃委員會、海口市人民政府：北京邦蒂會務有限公司，2017：6.

[2]羅彥鵬.無人機在消防滅火救援工作中的運用[J].中國科技信息，2019（13）：56+58.

[3]卓星宇.無人機山區搜尋方法研究[D].中國民用航空飛行學院，2017.

[4]電科小氙.五項新能力推動無人機革命[N].中國航空報，2019-09-10（007）.

[5]李梅芳，王靜，張會芝.淺談紅外攝像機原理及其應用[J].中國高新區，2018（09）：22-23.

[6]李建福.紅外圖像中人體目標檢測、跟蹤及其行為識別研究[D].重慶大學，2010.

[7]郭家歡.基于單幀紅外圖像的行人檢測[D].吉林大學，2008.

【通聯編輯：梁書】

收稿日期：2019-10-11

基金項目：國家大學生創新創業訓練計劃資助項目（201910595025），國家大學生創新創業訓練計劃資助項目（201610595014）

作者簡介：莫雄，男，桂林電子科技大學本科生在讀學生。