關于無人機視頻跟蹤技術的研究

(浙江農林大學　浙江　杭州　310000)

一、引言

目前，由于人類社會需求的日新月異，技術不斷革新，其中，無人機事業的蓬勃發展和在諸多領域的創新應用，不斷推動社會的進步。無人機技術的興起和發展為森林防火事業拉開了新的篇章，無人機技術在森林養護中的應用取得了矚目的成效。陳鑫深入的分析了無人機在森林防火領域的應用現狀，并對無人機應用過程中的系統發展趨勢進行了完整的分析[1]；李濱等研究了無人機系統在森林防火方面的應用及其發展[2]；崔新宇等關于無人機在森林防火監測方面的探究[3]等，詳細地指明了當前國內森林防火領域的現狀和無人機技術在森林防火領域的理論應用傾向和發展展望，為無人機的功能開發研究和森林防火體系的建設帶來了方向。

在國外，Dios M D等研究了無人機自動火災探測與監測的實驗，源于歐盟委員會IST計劃項目“COMETS：多種無人機的實時協調與控制”，使用低成本多功能無人機進行自動火災探測與監測[4]；Merino L等研究了使用無人機作為森林火災監測的工具，監測火前形狀演化的實時計算以及與火焰傳播有關的潛在的其他參數，利用無人機的懸停功能，近距離觀測森林火災，聯合使用多架無人機進行森林火災監測[5]；Zhang L等根據無人機平臺上林業應用要求處理無人機空中影像數據的功能。同時無人機在飛行中獲得航空數據，幫助用戶快速掌握火點的數量和位置，還提供了較好的用戶可視化界面，方便用戶操作和交互[6]；Ghamry K A等研究了森林火災檢測和跟蹤任務的多臺無人機的容錯合作控制，在森林監測，檢測和跟蹤中使用合作無人機容錯協同控制(FTCC)戰略，該算法解決了森林資源的監測和檢測問題，即使在一個或多個無人機發生故障時也是能很好的監測[7]。

在國內，郭偉研究了一款用于森林防火的小型無人機設計[8]，張慶杰等研究了森林防火無人機系統設計與林火識別算法[9]，李寧研究了基于網絡傳輸的四旋翼飛行器在森林防火中的應用[10]；周宇飛等基于多智能體系統建設思想,綜合衛星遙感監測、無人機監測、無線射頻傳感器網絡監測和自動氣象站監測等多種林火監測平臺,建立一個松散耦合的森林火災火情監測的協作運行體系,并進行了一次林火現場點燒試驗.結果表明,應用多智能體的思想建立的松散耦合林火協作監測體系可采集豐富的火場數據,實現對火場多方位的描述,為林火現場實時監測提供了新的思路和辦法[11]；郭偉等針對森林這種復雜大空間場景，常規傳感式火災監測方法不能滿足現代林火監測靈活性、實時性和高效性的要求，提出一種基于無人機平臺和動態特征分析的視頻圖像型火災檢測算法，通過機載攝像機拍攝森林視頻圖像，建立基于混合高斯背景模型和顏色模型多級火災隱患特征驗證算法[12]。

綜上所述，無人機以其輕巧、方便、廉價等優勢在森林養護技術中，成為越來越普遍和重要的技術。視頻跟蹤定位技術是重要的監測手段，以往的視頻監控技術大多是基于組網設備，但是，組網設施耗資大、設備更新換代慢和位置固定等因素嚴重制約視頻監控技術的發展和應用，無人機由于其廉價、機動性強，可以克服以往的困難環境進行監視和管控，但是，現階段無人機在林業中的應用處于初級階段，無人機在森林養護中的視頻跟蹤技術還不成熟，其中，由于當前的技術制約，無人機定位信息與無人機搭載的拍攝設備結合的還不足，民用無人機研發公司在PC端和手機端應用開發不統一，導致信息割斷，GPS定位信息獲取與視頻信息獲取不同步，無人機視頻跟蹤技術仍不能實時用于森林監控。因此，本文著重研究了民用無人機獨特的視頻跟蹤技術，以期用于補足應用短板，在森林養護中貢獻一份力量。

二、問題的提出和解決方法

無人機視頻跟蹤技術能夠實現實時監控森林的功能，不僅克服了固定組網設備設施搭建困難、成本高和監控范圍容易受自然條件制約的缺點，無人機視頻跟蹤技術還能夠根據需要實時提供跟蹤、探查和指揮服務。廉價、低成本、便捷和機動性強等優勢為無人機在森林康養中提供新的技術引領，并將在未來形成獨特的監控手段。

無人機視頻跟蹤技術的實現不僅需要實時定位支持，還需要提供實時視頻信息，將視頻定位信息與視頻匹配整合，獲取目標區域數字高程圖和影像圖，制作三維影像圖，通過處理視頻，獲取圖片集，通過算法程序實現圖片集與經緯度信息的匹配，然后再將匹配結果與三維影像配準融合，形成獨特的視頻場景信息。以下為本文具體的實現方法：

(一)部署無人機信息平臺

在PC端上安裝Microsoft Visual Studio 2010(C++C#)、SQL Sever數據庫、服務器和Android studio，搭建測試開發平臺，配置測試程序，并將測試程序在手機端上安裝和運行，把手機端與無人機遙控端連接起來。

(二)獲取GPS信息和視頻信息

啟動無人機和無人機遙控端，在Android studio中通過編程實現無人機飛行數據的接收，當測試程序運行時，無人機通過無線網絡將無人機飛行數據信息和傳輸到服務器，用SQL Sever數據庫接收并存儲無人機飛行數據信息，通過查詢語句提取GPS信息。無人機通過無線網絡將視頻信息傳輸手機端，再通過網絡利用手機端應用程序推流到服務器。

(三)搭建視頻跟蹤開發平臺

在PC端上安裝ArcGIS Engine、Arc Object for Microsoft.Net Framework、Open CV庫，結合Microsoft Visual Studio 2010(C++C#)搭建視頻跟蹤開發平臺，各個軟件通過環境配置統一聯系起來，共同組成開發平臺，再通過接口獲取服務器和數據庫中的視頻數據和無人機飛行數據信息，利用開發平臺功能，將視頻數據分解成圖片集，通過控制幀數將圖片與GPS信息匹配起來，再獲取目標區域DEM和影像圖，將DEM和影像圖匹配形成三維影像(三維場景)，再應用算法將結果與三維影像配準并融合在一起，如圖1，然后再通過線程控制，不斷將圖片集與三維場景匹配融合。實現視頻流與三維影像的配準和融合，從而實現無人機拍攝目標的視頻跟蹤。

圖1　目標區域三維影像圖的合成

(四)平臺測試

首先，對各個軟件搭建的無人機測試開發平臺和視頻跟蹤開發平臺分別進行調試，確保實驗過程的順利進行。然后，檢測平臺中各個功能控件是否準確運行，窗口1、窗口2輸出效果是否流暢。再次，根據計時器計算窗口1和窗口2的運行延遲，通過調試代碼參數控制，使其達到理想效果。最后，根據平臺運行能力、展示效果和實驗結果對平臺綜合評價。

三、主要應用工具設備

Android studio、ArcGIS Engine 10.2、Arc Object for Microsoft.Net Framework、Microsoft Visual Studio 2010(C++/C#)、SQL Sever數據庫、Nginx流媒體服務器、無人機手機端應用程序和測試程序、實驗區域數字高程圖和影像圖、Global Mapper、Arc Scene 10.2、PC端、手機端和相關無人機設備。

四、技術路線和研究方法

圖2　技術路線圖

圖3　數據處理開發平臺功能示圖

功能一區：在開發平臺中用于實現視頻文件的處理，將視頻文件處理成一幀一幀的圖片，通過設置參數可以控制圖片幀數，根據實驗功能的流暢度和準確度，調節參數可以知道當視頻被分割為多少幀的時候，可以使圖片與經緯度匹配后再與三維影像配準融合的速率與準確度最好。

功能二區：在平臺中主要負責圖片與經緯度的匹配，當視頻經過功能一區處理后，可以獲取圖片，然后根據無人機飛行時，記錄并傳輸到服務器的經緯度信息，開發平臺通過接口從SQL Sever數據庫中調用與視頻配對的經緯度信息，調用字段分別為經度、緯度和高度，將調用到的經緯度信息與圖片通過算法匹配起來，讓每一張圖片都具有位置信息，然后再將輸出結果傳遞到功能三區。

功能三區：在平臺中主要負責具有位置信息的圖片與三維影像的配準融合，三維影像是具有位置信息和高度信息的三維場景模型，當帶有位置信息的圖片輸入到三維場景中的時候，圖片不能及時匹配并定位到三維場景中，因為雖然圖片具有了位置信息，但是圖片沒有空間參考，而實驗應用的三維影像圖是具有空間參考和空間坐標系的，如果不給圖片賦值一個空間參考，那么圖片就不能夠投影到三維場景中，因此在處理前還需要為圖片賦值一個投影信息，即圖片與三維影像圖共用一個投影(本研究應用的是UTM投影)。然后再將圖片與三維場景匹配，這樣圖片就能夠迅速定位到其在三維場景中的位置，此時，只需要再通過控制圖片高度信息即Z軸，使三維場景的目標像元點Z軸與圖片的中心點Z軸疊加，如圖4，X為緯度，Y為經度，Z為高度，這樣就可以讓圖片與三維場景融合起來，從而實現圖片與三維場景的簡單融合，再通過程序算法中的線程控制可以實現無人機視頻跟蹤效果。其中，在圖片與三維場景的匹配融合中，需要根據圖片的長度和寬度來計算圖片在三維場景中的實際范圍大小，即可視域的范圍大小，當圖片整幅投影到三維場景中，長度和寬度要按照一定比例放大，所用公式為：

f=w*D/W & f=h*D/H

公式

f=m*H/M & f=n*H/N

公式2

根據實驗要求由公式1可得公式2，f為無人機相機的焦距，m為圖片的長度，H為無人機拍攝視頻時距地高度，M為圖片投影到三維場景的可視域邊界的長度，n為圖片的寬度，N為可視域邊界的寬度，通過公式計算就可以將圖片轉化成可視域。A、b、c、d為圖片的頂點，O1為圖片中心點，A、B、C、D為可視域邊界頂點，O為可視域中心點，如下圖：

圖4　功能三區中圖片與三維場景匹配示意圖

五、實驗預測試

研究經過實驗預測試，兩個平臺配置環境運行正常，平臺界面展示如下圖所示，在實驗中兩個平臺需要同時打開，當無人機數據獲取平臺運行的時候，數據處理平臺就開始通過接口調用數據庫和服務器中的信息，當無人機在工作中時，視頻流就可以在展示窗口1中觀看，然后根據預設窗口中的控件按鈕執行相應的操作，數據加載按鈕是控制加載三維影像圖，視頻加載是打開視頻流獲取程序，點擊視頻播放按鈕就可以播放視頻，啟動和停止按鈕是用來控制視頻流轉化為圖片集的線程，可以通過打開圖片按鈕查看截取到的圖片集，定位融合按鈕即為用來實現圖片定位賦值，并且通過算法轉化成實際可視域，在三維場景中展現出來。經過實驗預測試，本研究可以實現視頻的定位跟蹤，并在展示窗口2實現視頻在三維場景中的展示，通過與正常視頻播放時間相比，經過程序處理后的視頻定位功能存在延遲，實驗參數的設置，代碼的實現以及網絡傳輸速度都對研究有制約，在誤差允許的范圍內，通過算法和代碼的后期優化可以達到預期效果。

圖5　無人機數據獲取平臺

圖6　數據處理平臺預設窗口視圖

六、結論與討論

無人機視頻跟蹤技術是為了解決現有視頻組網設備在森林火災監控中的局限性，同時將無人機技術深入推廣進入森林防火應用中，相比于現有的森林無人機應用技術，無人機視頻還不能高效運用，大多數應用仍然只限于無人機攝影技術，但是圖片與視頻相比，視頻更能涵蓋更多的信息，根據實驗室項目支持，無人機技術實現了無人機視頻流可以實時傳輸到本地服務器的功能性突破，用戶可以及時獲取無人機在飛行過程中觀察到的信息，這些信息是無人機通過網絡傳輸到服務器，用戶通過手機端網絡從服務器端下載，從而實現無人機信息的實時傳輸和觀察，PC端也可以通過網絡傳輸獲取有效信息并處理，為實驗研究和應用提供技術支持。因此，本文在此基礎上研究的無人機視頻跟蹤技術可以有效地利用無人機拍攝的視頻，實現現場定位，并且能夠通過定位觀察現場三維實景，從而可以為森林應用領域提供更多有效信息。無人機視頻跟蹤技術不僅可以用于森林防火，而且可以用于森林資源觀察，在開發平臺中還可以深入研究森林火災識別檢測和資源檢測，迄今為止，森林資源康養技術還不能系統化，單個功能模塊的應用已經不能滿足現有的需求，因此，本文提出并研究的無人機視頻跟蹤技術和開發平臺可以開源出更多的應用方法，為解決森林資源問題提供了新的森林資源系統應用方向，希望本文的實驗研究能夠提高研究人員在森林系統應用中新的研究水平。

通過實驗測試表明，本技術在實際應用中實現了視頻跟蹤功能，但是同時也為新技術帶來了諸多問題，本文研究的是無人機在飛行過程中鏡頭垂直向下的視頻，針對無人機任意變換角度的視頻還不能夠實現，攝像機角度的變換可以拍攝出更大范圍的場景信息，但是這種角度變換在研究中也是出現了諸多難點，比如如何實現場景信息的真實化，如何換算由于角度信息變化帶來的圖像經緯度和高度變化等，都是研究中的難點。還有研究中出現的三維場景與圖片的融合，如何實現三維立體化目標信息，都亟待解決。另外，由于無人機技術的制約，無人機不能全天候的進行森林監控，如續航能力、抗風能力和傳輸通道和距離等，如何實現無人機聯合作業的數據互通，如何使無人機實現工作接力等都對于研究無人機在森林資源應用領域產生制約。但是，問題是推動技術發展的基石，有了問題和需求才能不斷推進新技術的發展和應用，無人機技術的應用和發展永遠在路上。