基于Agisoft Metashape圖像拼接的無人機環境熱像監測應用研究

徐 旭，康 青，陳善靜，王正剛，茅 雷

基于Agisoft Metashape圖像拼接的無人機環境熱像監測應用研究

徐 旭1,2，康 青1，陳善靜1，王正剛1，茅 雷1

（1. 陸軍勤務學院，重慶 401311，2. 中國人民解放軍93055部隊，沈陽 110020）

為實現大面積區域的環境熱像監測，本文以重慶某高校訓練場為例，研究了一種無人機區域環境熱像監測技術。通過無人機采集環境熱像，使用Agisoft Metashape軟件進行無人機熱紅外影像拼接處理，并利用處理后的熱紅外影像進行環境熱像監測與目標分析。研究表明，利用該技術可實現區域熱紅外影像的快速處理，并且處理成果可以為環境熱像監測與目標熱像分析提供有效參考與基礎資料。

Agisoft Metashape；影像拼接；環境監測；熱像分析

0 引言

隨著紅外遙感、圖像處理和計算機技術的發展，紅外熱像儀以其全天時的工作能力以及對熱輻射敏感的優勢[1]，被廣泛應用到森林防火、污染檢測、環境安全等領域[2]，但目前受熱成像結構和成像原理的影響，熱像儀存在拍攝視角范圍不大，其分辨率比可見光成像系統低等問題。在被測目標相對較大的情況下，需要在遠距離對目標進行拍攝采樣，導致目標的細節信息丟失[3]，對實現大面積的熱像環境監測與勘察造成了不利影響，因而需要運用熱紅外圖像拼接技術進行影像處理以獲取較廣闊的視場。

常用的航拍處理軟件有俄羅斯的Agisoft Metashape、瑞士的Pix4d、荷蘭的PTGUI以及中國的大疆智圖。其中Agisoft Metashape在影像自動拼接、正射影像圖（Digital Orthophoto Map）、三維地表模型（Digital Surface Model）生成等方面有著強大功能，并且在國內外不同領域有著廣泛的工程實際應用與研究成果。Jebur Ahmed[4]等評估了其三維建模處理的數據準確性，Barbasiewicz A[5]等比較了該軟件與瑞士的Pix4d兩款軟件在數據處理上的準確性，以實現精準建模。代婷婷[6]利用該軟件進行影像拼接處理，并結合ArcGIS和ENVI等軟件進行空間信息量化分析，為大尺度風景園林規劃設計提供前期分析資料。李秀全[7]等將Agisoft Metashape拼接技術應用到新農村規劃當中，為新農村用地規劃的前期測量提供了便利。以上研究成果主要是基于Agisoft Metashape軟件在可見光影像拼接以及三維建模生成的應用，但對于其在熱紅外圖像處理方面的研究、效果分析以及拼接成果應用，目前仍有待進一步研究。

基于以上問題，本文選取重慶某高校的綜合訓練場作為試驗區域，通過無人機平臺采集該區域的熱紅外影像，并使用Agisoft Metashape軟件對區域熱紅外影像進行拼接試驗，對影像拼接的操作步驟進行優化，以實現目標環境區域內全景熱紅外影像的快速拼接。并利用該區域的可見光航拍影像與熱紅外影像進行比對，分析該區域不同對象在夜間的熱像特征，為環境監測與分析提供參考。

1 基于Agisoft Metashape的熱紅外影像處理概述

自然界中一切溫度高于絕對零度（－273℃）的物體，都輻射出載有物體特征信息的紅外線，利用探測器測定目標本身和背景之間的紅外輻射差，可以得到熱紅外圖像[8]。在紅外圖像的采集過程中，圖像信號的獲取和傳輸要受到設備元件、外界環境等各因素的影響[9]，使得紅外圖像相比于可見光照片具有對比度低、分辨率低[10]、亮度低、信噪比低、目標物體紋理和邊緣表現較差等缺陷[11]。

基于以上特征，熱紅外影像在拼接處理過程中對于軟件的圖像識別能力與處理能力有著較高的要求。Agisoft Metashape軟件（原Agisoft Photoscan軟件在1.5.0版本之后，改名為Agisoft Metashape）是俄羅斯Agisoft公司研發的一款基于影像自動生成高質量三維模型的優秀軟件，它根據最新的多視圖三維重建技術，可對具有一定重疊率的數碼相片進行處理[12]。相比于其他同類軟件，Agisoft Metashape軟件在影像處理過程中，對圖像的特征識別能力更強，對于低質量影像及錯誤數據的修正處理功能更為智能、強大，無論是具有位置信息的航拍影像還是普通高分辨率數碼相機拍攝的影像均可對其進行正射影像的拼接處理與三維模型的重建。因此在熱紅外影像拼接方面，Agisoft Metashap能夠與熱紅外影像的特點相適應，具有操作簡潔、過程高效、效果精細的優點。

2 無人機影像數據采集

2.1 某試驗區域概況

本次試驗區域選取某高校的綜合訓練場，區域內設置有人工湖景觀、文化廣場以及多種科目的技能訓練場等設施，生態環境優美，野生動植物種類繁多，是戶外課程教學實踐、師生課后休閑的主要場所。目前該訓練場正在建設過程中，施工單位仍在該區域作業及生活，同時由于校園封閉性差、燈光道路設施尚未建成，周邊居民以及場內施工人員成分復雜，導致該區域夜間偷獵、捕魚、傾倒垃圾污水的現象時常發生，對環境安全造成了嚴重威脅，因而具備環境監測與研究的實際意義。

2.2 熱像監測設備

無人機UAV（Unmanned Aerial Vehicle）是一種機上無人駕駛的航空器，具有動力裝置和導航模塊，在一定范圍內靠無線電遙控設備或計算機預編程序自主控制飛行[13]。近年來，隨著我國無人機技術研究及無人機產業化高度發展，使得無人機的功能逐步豐富、性能不斷提高、成本更低，已被廣泛應用到各行業。

本次研究通過大疆M600pro行業級多旋翼無人機搭載禪思XT2云臺相機進行影像采集（圖1）。多旋翼無人機具有定點懸停、垂直起降、超低空飛行以及貼近建（構）筑物等地表物體繞飛的飛行能力[14]，在此基礎上大疆M600pro具備多種功能接口，可搭載不同的航拍鏡頭及功能模塊，支持通過大疆PRO飛行控制軟件可進行區域航線規劃與自動航拍，推薦最大起飛重量15.5kg，允許飛行高度500m，最大可承受風速8m/s，滿足《低空數字航攝與數據處理規范》（GB/T 39612-2020）[15]對于航空拍攝設備的要求。禪思XT2是由大疆與美國FLIR公司聯合打造的一款熱成像與4K可見光傳感器結合的雙光熱成像相機，由非制冷氧化釩微測熱輻射熱成像相機與可見光相機組成（技術參數見表1），支持可見光和熱紅外影像的同步獲取，照片包含坐標、海拔等位置信息以及溫度信息，便于影像處理與分析。

圖1 搭載XT2熱成像鏡頭的M600無人機

2.3 無人機航拍參數設定與影像采集

本次研究區域面積約236221m2，影像采集時間為晚間20時，多云天氣，氣溫10℃。通過DJI Pilot軟件進行拍攝航線規劃設定，總航線長度為8560m，飛行高度350m，飛行速度3.6m/s，GSD（Ground Sampling Distance）分辨率7.42cm/pixel，旁向重疊率70%、航向重疊率80%。設定完成后無人機將按規劃航線自動進行航拍，本次影像采集總耗時40min，共拍攝熱紅外影像273張。

表1 禪思XT2技術參數

3 無人機熱紅外影像處理步驟

Agisoft Metashape在進行熱紅外影像拼接處理時，具有操作簡單、步驟清晰的特點，其主要操作步驟均集中在操作界面上方選項欄中的工作流程選項內，可按工作流程菜單內的順序進行圖像拼接操作，主要操作包括照片導入、對齊照片、生成網格、生成正射影像、成果導出。

3.1 導入照片

運行Agisoft Metashape，在上方選項欄中的“工作流程”選項下，選擇“導入照片”，將篩選后的熱紅外影像導入后，系統會自動提取影像中的位置信息，顯示出影像拍攝時的相機位置及拍攝航線（圖2）。

3.2 照片對齊

完成照片導入后，選擇“對齊照片”選項，根據研究需要可對圖像的拼接精度、配對模式預選以及其他高級選項進行設置。本次研究的拼接精度設置為“高”，配對模式為“通用預選”＋“參考預選”。確認設置后，軟件將自動對齊照片，對每張影像進行估算，分析影像中的重疊部分并生成匹配點，建立稀疏點云模型（圖3），藍色正方形代表每張影像的照相機位置。

3.3 網格生成

生成網格是指通過對于密集點云進行計算，程序基于密集點云分布生成多邊形網格模型，通過多邊形網格模型在各點之間構建出目標的表面。選擇“生成網格”選項，對網格的源數據、表面類型以及生成面數進行設置，本次試驗源數據選擇“疏點云”（即對齊照片后程序生成的稀疏點云），表面類型選擇“Arbitrary 3D”，面數選擇“高”，確認設置后程序將自動生成網格，處理完畢后在界面將會顯示由18121個網格面構建的3D模型（圖4），此時熱紅外影像拼接處理基本完成，該模型即可用于生成拼接后的熱紅外正射影像。

圖2 照片導入后效果

圖3 對齊照片后生成的疏點云

Fig.3 Sparse point cloud generated after aligning photos

圖4 生成網格后的模型

3.4 區域熱紅外影像生成與導出

在工作流程中找到“Build Orthomosaic”選項進行正射影像的生成。在設置頁面中可以對生成正射影像的投影類型、坐標系、分辨率、區域邊界等參數進行設置，設置完成后即可生成熱紅外影像拼接后的正射影像。在上部“文件”選項中的導出功能中找到“Expoort Orthomosaic”，選擇需要的文件格式后即可將影像拼接結果導出（圖5）。

3.5 區域可見光影像的生成

熱紅外影像是反映物體熱輻射的圖像，因而在確認影像中目標的種類以及實際所處環境情況時，需要借助可見光影像進行對比參考。鑒于目前利用Agisoft Metashape進行可見光影像拼接的研究已較為成熟，且與熱紅外圖像拼接的步驟差異不大，在此不做深入探討，僅作為該區域環境熱像分析參考（圖6）。

4 熱紅外圖像優化處理

在利用Agisoft Metashape進行熱紅外影像處理的研究過程中，暴露出許多常見的技術問題，經過研究與試驗，總結出以下優化處理方法。

4.1 影像篩選

通過對多次拼接結果進行分析發現，熱紅外影像拼接后局部易出現扭曲、失真甚至缺失的現象，其主要原因在于熱紅外影像的顏色、輪廓特征不明顯、加之部分照片的拍攝質量不高、重疊度不足，導致程序計算出現問題。因此在進行拼接處理前，需要對影像進行篩選，剔除在自動拍攝和航線自動飛行過程中因飛行器轉向、霧天遮擋、氣流干擾等不良因素產生的低質量影像。

根據《低空數字航攝與數據處理規范》[15]對于飛行質量和影像質量的要求，航向重疊度一般應為60%～80%，最小不應小于53%；旁向重疊度一般應為15%～60%，最小不應小于8%。因而在照片選取后，需要對缺少的影像進行補拍，以滿足影像之間的重疊度，保證整體拼接質量。可采取在實際航拍參數設置時適當增加重疊度，或采用目標區域邊緣向外擴展1～2條航線的方法，確保目標區域在剔除部分低質量影像后仍滿足重疊度標準，從而避免重復拍攝。

圖5 區域熱紅外影像處理后效果

圖6 某試驗區域可見光影像

4.2 照片對齊精度選擇

在進行照片對齊步驟中，需要就對齊精度進行設定，處理精度越高，其拼接效果越好，對于計算機的配置要求以及處理時間也隨之提高。熱紅外圖像相比于可見光照片的分辨率較低、色彩較為單一、輪廓特征不夠顯著，需要較高的拼接精度來保證程序對影像特征的準確識別，因此在進行熱紅外照片的對齊時，應選擇中等及以上的精度進行對齊，反之選擇低、極低的對齊精度將導致大部分影像不能被識別、疏點云無法生成（圖7）。因而在充分考慮計算機硬件配置及拼接處理時間的前提下，在選擇對齊精度時應選擇高質量選項以保證影像拼接質量。

4.3 處理操作步驟簡化

現有許多利用Agisoft Metashape進行可見光正射影像拼接的研究中，除以上技術流程外，還進行了建立密集點云、生成紋理的操作，在完成全部3維模型的構建操作后再生成正射影像，增加了工作量。通過在研究中多次試驗比對發現，在對熱紅外影像進行拼接時，以密集點云作為源數據得到的正射影像與利用稀疏點云為源數據進行生成網格操作得到的正射影像，二者的圖像分辨率與局部圖像細節并無明顯差別（圖8），因此在無生成3D模型需求的情況下，采用上文所述技術流程即可滿足熱紅外影像的拼接，并可節省大量的運算處理時間。

圖7 疏點云生成失敗

5 無人機環境熱像監測應用

5.1 環境目標熱像監測

根據玻爾茲曼定律：＝4，其中為輻射強度；為物體發射率；為玻爾茲曼常數；為熱力學溫度，玻爾茲曼定律表明物體溫度與熱輻射強度呈正相關[16]，熱像儀將物體的熱輻射轉化為溫度信息，并以不同的亮度反映到熱紅外圖影像上。因而通過對熱紅外影像進行分析，可以得到不同目標的熱輻射特征。

通過對生成的熱紅外區域圖像進行分析，篩選出熱紅外圖像中顯著于周邊環境的高亮度目標作為重點監測與分析對象（圖9），包括可以從熱像圖直接識別出的施工單位生活區，以及不易被識別的人工湖岸邊熱異常區域和訓練場南側的不規則區域熱源。

進而結合該區域可見光航拍影像與實地調查目標進行識別與確認，確定人工湖岸邊的高熱區域為施工單位生產生活污水的違規排放導致，訓練場南側的高熱區域則可能是由于附近居民的生活垃圾及場內施工作業的建筑垃圾堆積發酵產生（圖10）。

5.2 環境污染物溫度分析

在確定污染物堆積處主要位置及類型后，將垃圾堆積區的熱紅外影像導入FLIR Tools專用軟件，對污染物的熱輻射及溫度特征進行分析。利用FLIR Tools軟件，結合可見光圖像對垃圾堆積區熱紅外影像上的樹木、碎石土道路、白色垃圾、黑色袋裝生活垃圾、廢舊金屬屋頂以及工程防塵網覆蓋處設置多個測溫點（圖11），并得到各點溫度信息（表2）。通過分析各點溫度發現，在測溫區內，最高溫度15.3℃，為黑色袋裝生活垃圾產生，且黑色袋裝生活垃圾的平均溫度最高，由此推斷在夜間黑色袋裝生活垃圾相比于周邊植物、碎石土路、廢舊金屬等物質具有較高的熱輻射。除此之外，被工程防塵網所遮蓋的垃圾以及碎石土路，其溫度顯示顯著降低，推斷出工程防塵網的遮蓋對于物體夜間的熱輻射有遮蓋作用，降低了目標在熱像監測中的顯著性。

5.3 測溫分辨率與誤差分析

試驗中采用了大疆XT2熱成像相機進行目標的遙感測溫，其最小可分辨溫差小于0.05K。但對于環境目標的絕對溫度測試需要考慮大氣衰減的校正，目標表面發射率的修正，地面環境目標熱慣性的晝夜溫差影響，以及背景紅外輻射在目標表面反射因素的剔除等。因此本文僅通過熱紅外影像的灰度差別以及測量溫度，定性測試了環境目標的溫度異常，對溫度數據的絕對測試分析還需進一步校正與細化研究。

圖8 兩種源數據的處理結果無明顯差異

圖9 需要重點關注與監測的顯著熱目標

圖10 污染物堆積處的可見光影像

表2 測溫區內各測溫點溫度信息

6 結論

1）本文以重慶某高校訓練場為例，研究了一種無人機環境熱像監測技術。首先通過無人機進行環境熱像采集，并利用Agisoft Metashape軟件進行無人機熱紅外影像拼接熱像處理，最后對處理后的熱紅外影像進行環境熱像監測與目標分析，獲取了環境的圖像信息與溫度異常。

2）基于Agisoft Metashape進行區域熱像拼接處理的無人機環境監測技術，具備操作簡單，處理速度快，生成圖像質量高的特點。顯著提高了區域環境熱像監測的工作效率，節約了工作量，可以作為常規性環境監測以及環境熱像數據采集的一種有效手段。

3）通過環境熱像監測分析，可在夜間有效定位包括污水排放與生活垃圾堆積等環境污染物及其他環境目標。

4）通過溫度分析軟件發現，生活垃圾在夜間的熱像特征最為顯著，但通過工程防塵網的覆蓋，使被遮擋區域污染物無法被環境熱像監測定位與識別。本研究為環境熱異常監測提供了一種方法手段。

[1] 孫新博, 孫芹芹, 李英成, 等. 無人機紅外影像拼接方法研究[J]. 測繪科學, 2021, 46(6): 109-113, 120.

SUN Xinbo, SUN Qinqin, LI Yingcheng, et al. Research on UAV infrared image mosaic method [J].e, 2021, 46(6): 109-113, 120.

[2] 趙國順. 淺析紅外熱成像技術的發展與應用[J]. 中國安防, 2016(4): 38-40.

ZHAO Guoshun. Analyze the development and application of infrared thermal imaging technology[J]., 2016(4): 38-40.

[3] 杜靜涵. 紅外熱圖像拼接技術的研究與應用[D]. 南京: 南京理工大學, 2017.

DU Jinghan. Research and application of infrared thermal image stitching technology[D]. Nanjing: Nanjing University of Science and Technology, 2017.

[4] Jebur A, Abed F, Mohammed M. Assessing the performance of commercial Agisoft PhotoScan software to deliver reliable data for accurate3D modelling[J]., 2018, 162: 03022.

[5] Barbasiewicz A, Widerski T, Daliga K. The analysis of the accuracy of spatial models using photogrammetric software: Agisoft Photoscan and Pix4D[J]., 2018, 26: 12.

[6] 代婷婷, 馬駿, 徐雁南. 基于Agisoft PhotoScan的無人機影像自動拼接在風景園林規劃中的應用[J]. 南京林業大學學報: 自然科學版, 2018, 42(4):165-170.

DAI Tingting, MA Jun, XU Yannan. Application of UAV image automatic stitching based on Agisoft PhotoScan in landscape architecture planning[J].: Natural Science Edition, 2018, 42(4): 165-170.

[7] 李秀全, 陳竹安, 張立亭. 基于Agisoft PhotoScan的無人機影像快速拼接在新農村規劃中的應用[J]. 湖北農業科學, 2016, 55(3): 743-745.

LI Xiuquan, CHEN Zhuan, ZHANG Liting. Application of UAV image rapid stitching based on Agisoft PhotoScan in new rural planning [J]., 2016, 55(3): 743-745.

[8] 馬代健. 無人機熱紅外圖像采集系統開發與應用[D]. 楊凌: 西北農林科技大學, 2018.

MA Daijian. Development and Application of UAV Thermal Infrared Image Acquisition System[D]. Yangling: Northwest A & F University, 2018.

[9] 姚俐. 紅外全景圖像拼接方法的研究[D]. 重慶: 重慶郵電大學, 2020.

YAO Li. Research on Infrared Panoramic Image Stitching Method[D]. Chongqing: Chongqing University of Posts and Telecommunications, 2020.

[10] LIU Jinsong, DAI Shaosheng, GUO Zhongyuan, et al. An improved POCS super-resolution infrared image reconstruction algorithm based on visual mechanism[J]., 2016, 78:92-98

[11] 張曉宇. 基于特征的圖像拼接技術研究[D]. 西安: 西安理工大學, 2010.

ZHANG Xiaoyu. Research on Feature-Based Image Mosaic Technology [D]. Xi 'an : Xi 'an Polytechnic University, 2010.

[12] 邵萬里. Agisoft PhotoScan在立面測量中的應用[J]. 城市勘測, 2019(2): 74-76.

SHAO Wanli. Application of Agisoft PhotoScan in facade measurement [J]., 2019(2): 74-76.

[13] 李德仁, 李明. 無人機遙感系統的研究進展與應用前景[J]. 武漢大學學報: 信息科學版, 2014, 39(5): 505-513, 540.

LI Deren, LI Ming. Research progress and application prospect of UAV remote sensing system[J].: Information Science Edition, 2014, 39(5) : 505-513,540.

[14] 張繼賢, 劉飛, 王堅. 輕小型無人機測繪遙感系統研究進展[J]. 遙感學報, 2021, 25(3): 708-724.

ZHANG Jixian, LIU Fei, WANG Jian. Research progress of light and small UAV surveying and mapping remote sensing system[J]., 2021, 25(3) : 708-724.

[15] 李英成, 薛艷麗, 丁曉波. 低空數字航攝與數據處理規范[S]. GB/T 39612-2020, 2022: 2-4.

LI Yingcheng, XUE Yanli, DING Xiaobo. Low altitude digital aerial photography and data processing specification[S]. GB/T 39612-2020, 2022: 2-4.

[16] 周若沖, 康青, 沈志強, 等. 工程裝備停車場熱圖像特征及防護研究[J]. 重慶建筑, 2019(6): 22-24.

ZHOU Ruochong, KANG Qing, SHEN Zhiqiang, et al. Study on thermal image characteristics and protection of engineering equipment parking lot[J]., 2019(6): 22-24.

Application of UAV Environmental Thermography Monitoring Based on Agisoft Metashape Image Mosaic

XU Xu1,2，KANG Qing1，CHEN Shanjing1，WANG Zhenggang1，MAO Lei1

(1. Army Logistics University, Chongqing 401311, China; 2.93055 Unit, PLA, Shenyang 110020, China)

To realize environmental thermal image monitoring in a large area, this study took a university training field in Chongqing as an example to investigate UAV regional environmental thermal image monitoring technology. First, the UAV was used for environmental thermal image acquisition, and the Agisoft Metashape software was used for UAV thermal infrared mosaic thermal image processing. The processed thermal infrared images were used for environmental thermal image monitoring and target analysis. Experiments showed that the technology can realize fast processing of regional thermal infrared images, and the processing results can provide an effective reference and basic data for environmental thermal image monitoring and target thermal image analysis.

Agisoft Metashape, image stitching, environmental monitoring, thermal image analysis

TN219

A

1001-8891(2023)01-0049-07

2021-12-30；

2022-04-11.

徐旭（1993-），男，遼寧沈陽人，助理工程師，碩士研究生，研究方向為軍事建筑安全與技術。E-mail: 526668372@qq.com。

重慶市自然科學基金項目（CSTC2020JCYJ-KSXMX0156）；重慶市教發科學技術研究項目（KJQN201912905）。