基于深度學習的無人機視覺測量系統的設計與應用

關鍵詞：深度學習；無人機；視覺測量；定位

中圖分類號：TP311 文獻標識碼：A

文章編號：1009-3044（2024）25-0021-03

0 引言

隨著科技的飛速發展，無人機技術和深度學習在計算機視覺領域的應用日益廣泛。無人機作為一種高效、靈活的空中平臺，其搭載的攝像頭和傳感器能夠實時獲取大量圖像和視頻數據[1]。而以神經網絡算法為典型代表的深度學習技術，能夠實現對這些數據進行高級處理和精確分析，從而在多個領域展現出巨大潛力。在當前的無人機視覺測量領域，傳統的方法主要依賴于人工操作或簡單的圖像處理技術，這些方法在精度、效率和自動化程度等方面存在較大局限性。而基于深度學習的無人機視覺測量系統，通過結合無人機的高機動性和深度學習的強大處理能力，能夠實現對目標物體的快速、精確測量，并且能夠自動化完成復雜任務，具有廣闊的應用前景[2]。

在整個無人機視覺測量系統中，其主要采用深度學習的技術，以此自動提取圖像中的特征和目標，實現對目標物體的精確識別和測量。與傳統的測量方法相比，該系統具有更高的精度和穩定性，能夠滿足更高精度的測量需求。該系統能夠實時獲取圖像和視頻數據，并通過深度學習算法進行快速處理和分析。與傳統的人工操作相比，該系統能夠大大提高測量效率，減少人力成本和時間成本。

1 關鍵技術

1.1 深度學習

視覺測量中的深度學習技術是一種重要的應用，采用計算機視覺的處理思路，以此來實現高精度的測量和識別任務。對于被測物體，通過圖像聚焦處理、圖像確定、照明與輸出處理等步驟能夠將圖像的內在特征進行計算機語言的處理。整個圖像的分類主要采用深度學習的算法進行處理，比如將圖像識別為動物、車輛、食物等類別[3]。

深度學習算法的原理與步驟是：卷積神經網絡是視覺測量中廣泛應用的一種深度學習模型。CNN通過模擬人類視覺系統的處理方式，能夠自動并有效地從圖像中提取空間層級特征，在處理圖像數據時，CNN通過多個卷積層逐漸從像素級的特征（如邊緣和角點）學習到更高級的語義特征（如形狀和紋理），這一過程不僅減少了手動特征設計的需求，而且提高了特征的泛化能力。基于候選區域的目標檢測算法主要分為兩個步驟：候選區域的生成和目標的分類及定位。這類算法首先在圖像中生成可能包含目標的候選框，隨后利用卷積網絡對這些候選區域進行特征提取和分類。這種方法雖然在精度上有較好的表現，但計算量較大，速度相對較慢。而基于回歸的單步算法則通過直接預測目標的類別和邊界框，實現了更快的檢測速度。這類算法通過簡化檢測流程，減少了計算復雜度，適用于需要快速檢測的應用場景。

深度學習模型可以估計圖像中物體或人體的姿態和動作。在視覺測量中，姿態估計可以用于識別物體的姿態和位置關系，從而實現對物體姿態的精確測量。系統標定主要任務有兩個方面：第一方面是需要對攝像機的外部參數與內部參數進行整合處理，第二部分是將圖像二維坐標與空間三維坐標系進行轉化。視覺測量中的深度學習技術通過結合計算機視覺和深度學習的原理，實現了高精度的測量和識別任務。這些技術不僅可以提高測量的準確性和效率，還可以應用于各種領域，如自動駕駛、醫學圖像處理、工業檢測等[4]。

1.2 SORT算法

人機視覺測量系統的目標檢測與跟蹤算法在無人機應用中起著至關重要的作用。目標跟蹤與檢測主要采用了深度學習方面的技術進行實現，使得無人機能夠準確、快速地檢測和跟蹤目標。

SORT（Simple Online and Realtime Tracking） 目標跟蹤算法是一種簡單、在線和實時的多目標跟蹤方法[5]。SORT 算法是基于“tracking-by-detection”框架的在線多目標跟蹤算法，它通過目標檢測算法獲取每幀圖像中的目標位置信息，然后利用這些信息實現目標的跟蹤。SORT算法的核心思想是將多目標跟蹤問題轉化為一個簡單的數據關聯問題。整個算法的組成具體如圖1所示。

從圖1可以看出，SORT算法包括：目標檢測，使用目標檢測算法（如Faster RCNN、YOLO等）來獲取當前幀中的目標位置信息，這些信息通常用一個矩形框來表示。卡爾曼濾波，利用卡爾曼濾波器來預測目標在下一幀中的位置，這有助于在目標被遮擋或暫時消失后重新找回目標；匈牙利算法，用于解決目標之間的匹配問題，即在當前幀中找到與之前幀中目標相對應的目標。

SORT算法的原理相對簡單，易于理解和實現。該算法只能利用當前和之前幀的檢測結果進行目標跟蹤，不能利用未來幀的信息，這符合在線跟蹤的要求。由于算法的高效性，SORT能夠實現實時目標跟蹤，適用于需要快速響應的應用場景。

SORT算法的工作流程可以分為四個主要階段，依次為：檢測階段，此階段的主要任務是通過目標檢測器獲取目標框。這些目標框是由目標檢測算法生成的，可能采用Faster RCNN、YOLO等不同的檢測算法；運動估計階段，在這一階段，卡爾曼濾波器被用來預測當前幀的Tracks，這一過程是根據每個被跟蹤物體的狀態來預測它們在下一幀中的位置與速度等信息；數據關聯階段，此階段核心任務是將檢測模塊輸出的Detections和預測的Tracks進行匹配；目標管理階段，管理階段包括被跟蹤物體的創建與銷毀，當新的檢測產生時，會為其創建新的軌道，而在連續多次未能匹配已存在軌道時，會銷毀相應目標。這個機制保證了算法能夠靈活處理新目標的出現和舊目標的消失，使跟蹤過程適應場景的變化。

2 系統分析與設計

2.1 系統業務分析

無人機視覺測量系統的業務流程分為前期準備、飛行作業、數據處理與結果輸出等幾個階段，具體業務流程如下：

前期準備階段中根據測繪任務的具體要求，以此來確定整個測量范圍、數據類型與精度要求，根據任務需求，選擇適合的無人機型號和視覺測量設備，如相機、激光雷達等。飛行作業階段中按照飛行計劃進行無人機飛行，同時開啟視覺測量設備進行數據采集，地面站能夠實時獲取這些采集的數據信息，并進行實時監控，確保數據的完整性和準確性。數據采集之后進入數據處理階段，整個處理過程分為預處理、特征提取操作與幾何分析處理過程。預處理的過程主要有圖像增強操作、畸變校正處理等過程；特征提取主要是對邊界與目標進行處理，提取的特征有線、點與其他方面的特征；幾何處理過程主要目標是確定測試目標的姿態及三維坐標。對三維重建得到的數據進行進一步的處理和分析，如濾波、平滑、分類等，以滿足具體的應用需求。結果輸出階段中將處理后的數據以適當的形式進行輸出，如點云數據、三維模型、圖像等，結合具體的處理需要，將輸出的結果應用于具體的領域，如城市規劃、建筑設計、環境監測等。

2.2 系統總體設計

對于無人機視覺測量系統而言，其總體是對深度學習、無人機與視覺技術等多種技術集成的綜合系統。該系統通過無人機搭載的視覺傳感器（如高清相機、激光雷達等）獲取目標區域的圖像或點云數據，然后利用深度學習算法對圖像或點云數據進行處理和分析，從而實現對目標區域的精確測量和識別。

整個系統分為無人機平臺、視覺傳感器、數據傳輸系統與深度學習處理模塊，詳細內容是：無人機平臺：選擇適合任務需求的無人機平臺，如固定翼、旋翼或混合動力無人機等。

無人機平臺應具備良好的飛行穩定性、續航能力和載荷能力。視覺傳感器：在整個測量系統之中，根據具體業務的不同來確定對應的激光雷達、紅外相機等視覺傳感器，視覺傳感器應具備高分辨率、高幀率、低噪聲等特性，以確保獲取高質量的圖像或點云數據。數據傳輸系統：負責將無人機采集的圖像或點云數據實時傳輸到地面站或云端服務器進行處理。數據傳輸系統應具備高速、穩定、可靠的特性，以確保數據的實時性和準確性。深度學習處理模塊：利用深度學習算法對圖像或點云數據進行處理和分析，實現對目標區域的精確測量和識別。深度學習處理模塊應具備高效、準確、可擴展的特性，以適應不同任務需求。

2.3 系統業務功能設計

在無人機視覺測量系統中，深度學習算法的功能設計是關鍵，它負責處理無人機捕獲的視覺數據，以提供準確測量和分析結果。整個功能設計處理過程如下：

1） 目標檢測與跟蹤。此業務功能主要采用YOLO 模型算法來完成目標的檢測與分析，以此來自動識別和定位圖像中的目標物體。通過對大量標注過的圖像數據進行訓練，完成目標物體特征的學習與確定，并在新的圖像中準確檢測出目標。對這個檢測目標進行檢測確認之后采用SORT算法進行確定，以在連續的圖像幀中跟蹤目標物體的位置和運動軌跡。

2） 三維重建。利用無人機捕獲的多視角圖像或點云數據，整個三維重建算法的實現主要通過基于深度學習的方式來進行，如使用體素網格（Voxel Grid） 或點云網絡（PointNet） 等模型，來構建目標物體或場景的三維模型。通過訓練模型學習如何從二維圖像或點云數據中恢復三維結構，實現對目標物體或場景的精確測量。

3） 特征提取與異常檢測。設計特征提取算法，用于從無人機捕獲的圖像或點云數據中提取關鍵特征，如邊緣、角點、紋理等，這些特征可以用于后續的測量、分類和識別任務。整個異常檢測的過程采用深度學習算法進行，用于檢測無人機捕獲的圖像或點云數據中的異常或異常變化，有助于及時發現并處理潛在的安全問題或故障。點云數據中提取關鍵特征的主要步驟如圖2所示。

圖2主要分為：1） 數據預處理。無人機通過搭載的激光雷達設備捕獲目標區域的點云數據；預處理，去除噪聲和離群點，例如使用統計濾波或體素濾波等方法，如果點云數據來源多個幀或掃描，可能需要進行配準（對齊）以形成統一的點云模型。2） 特征提取。主要使用深度學習模型從點云中提取高級特征，這些特征通常對復雜的形狀和結構具有更好的描述能力。3） 特征分析與優化。使用可視化工具將提取的特征進行可視化，以便于分析和理解；根據應用場景的需求，選擇最相關的特征子集。4） 結果輸出與應用。將提取的關鍵特征以文件或數據庫的形式保存，以便后續使用。

3 系統應用效果分析

基于深度學習的無人機測量系統應用效果分析可以從多個方面展開，具體內容包括：

1） 提升準確性。深度學習算法能夠自動從大量數據中學習并提取出關鍵特征，這對于無人機測量系統來說至關重要。通過深度學習，無人機可以更準確地識別地面目標、測量距離和高度等參數。相比傳統的基于規則或手動設計特征的方法，深度學習能夠處理更復雜、更多樣的場景，提高測量的準確性和魯棒性。

2） 增強實時性。深度學習算法通常具有高效的計算性能，能夠實時處理無人機采集的數據，這使得無人機測量系統能夠實時反饋測量結果，為決策提供及時的支持。

3） 增強適應性。深度學習算法具有很強的適應性，能夠處理不同類型和規模的數據集，如城市、山區、水域等。在復雜多變的環境中，基于深度學習的無人機測量系統能夠自動調整參數和策略，以應對各種挑戰。

4） 提升智能化。通過深度學習，無人機測量系統可以實現更高級別的智能化。智能化不僅提高了測量的效率和準確性，還降低了操作人員的工作負擔和技能要求。

基于深度學習的無人機測量系統應用效果顯著，可以提高測量的準確性、實時性、適應性和智能化水平，為相關行業帶來更高的價值和效益。然而，需要注意的是，深度學習算法的訓練和優化需要大量的數據和計算資源，因此在實際應用中需要綜合考慮成本和效益等因素。

4 結束語

本研究深入探討了深度學習在無人機測量系統中的應用，通過構建和優化深度學習模型，成功提升了無人機測量的準確性、實時性和智能化水平。這些成果不僅體現了深度學習技術的強大潛力，同時給無人機在測量領域的發展與應用奠定了新的基礎。