一種無人機動態監測遙感數據快速處理方法

張春曉，文高進，王洪民，尚志鳴

(北京空間機電研究所，北京 100191)

Fast Aerial Image Processing for UAV Dynamic Monitoring

ZHANG Chunxiao，WEN Gaojin，WANG Hongmin，SHANG Zhiming

?

一種無人機動態監測遙感數據快速處理方法

張春曉，文高進，王洪民，尚志鳴

(北京空間機電研究所，北京 100191)

Fast Aerial Image Processing for UAV Dynamic Monitoring

ZHANG Chunxiao，WEN Gaojin，WANG Hongmin，SHANG Zhiming

摘要：針對無人機遙感平臺進行動態監測要求快速檢索、快速處理航拍圖片的需求特點，提出了一種快速處理策略。通過對下傳實時視頻的內容理解在航拍圖片采集時執行分類標記，并由此進行篩選分類，從而在時間軸上實現了待處理航拍圖片的快速索引；通過構建拼接壓縮圖和原始航拍圖的關系，對低分辨率拼接圖上的任意區域均可關聯到包含該區域的高分辨率原始圖片，從而兼顧拼接圖概貌展示處理的快速性和原有信息的細節展示性。依據該策略設計了一套低失真、快速地面信息處理流程，解決了海量數據檢索盲目性和大數據處理復雜性問題，符合無人機動態監測的應用需求，具有廣闊應用前景。

關鍵詞：無人機；動態監測；遙感圖像；快速處理

一、引言

無人機作為一種新型遙感平臺，具有體積小、重量輕、造價低、適應危險環境、避免機載人員傷亡等優點，在情報、偵察、監視等領域有廣泛的應用價值[1-3]。無人機動態監測要求數據顯示、存儲的快速性和處理的時效性，以支持快速決策和及時響應[4-5]。動態監測數據處理基本可以分成兩類：視頻信號的實時處理和航拍運動圖片的事后處理。視頻信號經無線傳輸至地面基站，進行實時顯示，甚至目標跟蹤等視頻處理；航拍運動圖片在飛行任務結束后從存儲器中導入工作站，進行常規的拼接、定位等操作[6]。由于航拍運動圖片相對視頻有更高的地面分辨率，往往包含更多的目標信息，在航空偵察領域應用更為廣泛[7-9]。

對航拍運動圖片快速處理體現在快速檢索和快速處理兩個方面，數據存儲器讀取速度的提升只能有限程度地加快檢索，從存儲器中讀取海量數據、分類篩選有用信息仍是非常耗時的工作。由于數據采集和數據處理兩個過程互不相干，采集過程不能為航拍圖片的事后處理提供任何檢索信息，這種完全隔離的處理模式不利于數據的快速檢索；但若在飛行任務執行時完成數據處理，又大大增加了機載數據快速處理的軟硬件實現難度，對無人機有限容量也提出了極大挑戰。

實現快速處理(如圖像拼接)通常采用高性能的服務器集群并行運算，造成了資源的過度浪費[10]。動態監測中的拼接不是為了生成測繪產品，而是提供整個測區的概貌，無須在原始分辨率上進行精細操作，但對于感興趣的區域卻要支持原始分辨率的觀察。因此，在降低分辨率加快拼接速度的同時，要保證不損失原有細節信息，從而用較少的計算資源實現態勢觀察與局部詳察的自如切換。

針對上述問題，本文設計了一套無人機動態監測遙感數據快速處理策略，具體包括：在數據采集過程中引入檢索信息，以加快數據篩選分類；在拼接過程中構建原始圖片和降分辨率拼接圖的相互關系，以兼顧數據壓縮處理快速性和原有信息的細節展示性。本文第2章介紹用于獲取遙感數據的無人機動態監測系統的組成及作業流程，這里以快速拼接為作業目的；第3章闡述快速處理策略的信息處理流程；第4章結合Qt開發平臺展示了軟件實現界面。

二、系統組成及作業流程

為了在數據采集時引入分類信息，考慮到實時視頻和數據采集是同步進行的，可以通過對下傳實時視頻的內容理解執行分類標記，依據標記信息，在時間軸上索引航拍圖片進行篩選分類。因此，在進行動態監視時，同時執行視頻采集和航拍圖片的拍攝。整個系統組成如圖1所示。

圖1　無人機動態監測系統組成示意圖

圖2　工作流程圖

無人機動態監測系統主要分為空中和地面兩大部分。空中部分由機載調頻電臺接收地面發送的飛機導航指令和云臺角度控制指令，將其傳送到相應的控制電路，同時在機載主控電路的管理下，將每幀航拍時的飛機、云臺位姿信息通過電臺下傳至地面；機載主控控制光學遙感器按照指定方式拍照，并導入大容量存儲器，而取景器中的視頻經實時采集由機載視頻發射電臺發送至地面。地面部分通過地面調頻電臺接收無人機、云臺的狀態信息到飛控計算機，不僅用于實時監視飛機、云臺狀態，而且也幫助生成分類標記中的部分信息，飛控計算機將飛控指令和手柄對云臺的控制指令傳至無人機；地面視頻接收電臺將下傳的視頻接收并傳至顯示器，地面操作人員可以觀看視頻，并對感興趣的內容作標記，幫助生成分類標記中的另一部分信息；對于每幀航拍圖片飛控計算機都記錄了一個分類標記信息，包括拍照時刻的飛機、云臺狀態，以及內容理解信息，當飛行任務結束后，僅通過分類標記信息即可對航拍圖片進行快速分類，圖像處理工作站依據分類檢索出待處理的圖片進行拼接等事后處理，并將其中重要的結果通過電臺發送至指揮大樓。整個作業流程如圖2所示。

三、系統信息處理流程

上述系統對應的地面數據處理分成了飛行任務執行時的視頻顯示與分類標記軟件和事后分析的航拍圖像快速瀏覽與拼接軟件。視頻顯示與分類標記軟件是與飛機飛行同步的實時處理軟件，以視頻流、位姿數據流為輸入，通過人工交互實現對興趣圖片的內容標記，并生成標記文件，以便于飛行結束后對航拍圖片快速檢索。快速瀏覽與拼接軟件是完成飛行任務即拿到所有拍攝航拍圖片后執行快速瀏覽和拼接的軟件，以航拍原始圖像數據和標記文件為輸入，以拼接文件為輸出，并可支持對拼接文件的讀入與顯示。兩個軟件均需用戶界面的人工交互，可以獨立使用，也可捆綁在一起完成一個處理流程。

1. 視頻顯示與分類標記信號處理流程

視頻顯示與分類標記的信號流程如圖3所示。從圖傳電臺輸出的模擬視頻信號經過圖像采集卡變成數字信號，調用采集卡開發包的函數可以方便地將視頻圖像顯示在軟件的視頻顯示窗口。從數傳電臺得到的位置、姿態數據經串口讀入，將實時更新云臺拍攝示意圖窗口、地圖顯示窗口，以及分類標記文件寫入模塊。云臺拍攝示意圖窗口實時反映了在三維空間下云臺的拍攝角度。地圖顯示窗口將更新當前位置在地圖上的顯示。標記文件寫入模塊負責位置、姿態數據的記錄和興趣模式標識。機載主控在拍攝并存儲每幀圖片時就此時飛機、云臺的位姿信息及拍照時刻信息打包為一個單元，通過電臺下傳并寫入標記文件。由于機載存儲器可以按存儲時間進行數據管理，即使無線鏈路由于某種不明原因中斷，也不會出現標記文件和圖片對不上的情況。

圖3　視頻顯示與分類標記信號流程

標記文件內容組成如圖4所示。當用戶在視頻顯示窗口觀察到感興趣圖片時，打開感興趣內容標記窗口，可以選擇一個或多個感興趣模式，然后標記文件的“興趣標識模式”隨之更新。當完成整個飛行任務時，標識文件完成寫入，自動生成后綴為MARK的文件。

圖4　分類標記單元內容組成

2. 快速瀏覽與拼接信號處理流程

快速瀏覽與拼接軟件是完成飛行任務后，即拿到所有航拍圖片后執行快速瀏覽和拼接的軟件，圖5為快速瀏覽與拼接信號處理流程。這里支持兩種監視模式下的圖像瀏覽與拼接，分別是定點懸停全景拍攝模式的拼接和固定視場角以一定速度推進的巡航拍攝模式的拼接。除了拼接圖片外，還記錄了生成拼接圖的原圖圖號、尺寸壓縮比、拼接過程中間處理結果(如計算得到的原圖之間相對位置關系，各原圖4個角點在拼接圖上的位置)。

圖5　快速瀏覽與拼接流程

完成飛行任務后，讀入分類標記文件，根據記錄內容的“興趣標識模式”和“監視模式”，以及它們的時空連續性，將所有的航拍圖片按時間順序和興趣內容分成若干處理群，如巡航拼接處理群和全景拼接處理群。由標記文件中的拍攝時刻信息可以快速檢索到待處理的航拍圖片，并開辟足夠的內存空間。為了滿足快速響應的要求，高分辨率航拍圖片先按一定的尺寸比例進行縮小，再進行拼接處理。快速瀏覽實現了縮小圖片的縮略圖顯示，雙擊選中某張縮略圖也可顯示對應的原始圖片。

拼接過程采用成熟的航拍圖片拼接方法和全景圖拼接方法，求解各圖片間的相互位置關系，并得到各圖片4個角點在拼接圖中的位置，從而可以確定是哪些圖片確定了拼接圖中某個像素。用戶選擇拼接圖片上任意一點，會顯示生成該點的所有相關圖片，選擇某張原始圖片進行顯示，以觀察局部細節。

四、軟件實現界面

在Qt開發平臺上實現上述信息處理過程，圖6是視頻顯示與分類標記軟件界面。標記文件經內部歸類后，若要實現某處的全景拼接，該處所有航拍圖片被快速檢索出來，可以進行縮略圖瀏覽，低分辨率的拼接圖片和拼接過程文件可一起保存下來。點擊拼接圖片的任意一點，可索引到包含該區域的原始圖片，如圖7所示，選擇感興趣的一張進行細節顯示。

圖6　視頻顯示與標記軟件界面

圖7　快速瀏覽與拼接軟件界面

五、結束語

本文提出了一種無人機航拍圖片快速處理流程，可有效解決無人機遙感平臺用于動態監測面臨的海量數據檢索人工量巨大，大數據處理計算復雜、耗時長的問題。將飛行時的數據采集過程和飛行后的數據處理過程通過分類標識關聯起來，極大地方便了航拍數據的快速檢索；同時，通過構建高分辨率航拍圖片和低分辨率拼接圖片的相互關系，既保證了拼接處理的快速性，又保留了原有細節信息。整個信號處理流程滿足無人機動態監測數據快速處理的需求，可應用于安全維穩、防災減災、環境監測、特殊行業巡檢等相關領域，具有廣闊的市場前景。

參考文獻：

[1]FAN B J, DU Y K, ZHU L L, et al. The Registration of UAV Down-loking Aerial Images to Satellite Images with Image Entropy and Edges[C]∥Proceedings of ICIRA 2010, Part I, LNAI 6424. Berlin:Springer,2010: 609-617.

[2]金偉，葛宏立，杜華強等. 無人機遙感發展與應用概況[J]. 遙感信息，2009，88(1)：88-92.

[3]韓杰，王爭.無人機遙感國土資源快速監察系統關鍵技術研究[J].測繪通報，2008(2)：4-6.

[4]劉剛，許宏健，馬海濤,等. 無人機航測系統在應急服務保障中的應用與前景[J]. 測繪與空間地理信息，2011， 34(4)：177-179.

[5]許輝熙，敬小東. 基于無人機遙感和GIS技術的土地利用快速詳查方法研究[J]. 測繪與空間地理信息，2013， 36(9)：11-14.

[6]崔紅霞，林宗堅，孫杰. 無人機遙感監測系統研究[J]. 測繪通報，2005(5)：11-14.

[7]王洛飛. 無人機低空攝影測量在城市測繪保障中的應用前景[J]. 測繪與空間地理信息，2014，37(2)：217-222.

[8]王國洲. 無人機航攝系統在貴州地質災害應急中的應用[J]. 地理空間信息，2010，8(5)：1-3.

[9]李建華，邊馥苓，馬敏. 空間數據存儲管理中間件并行控制研究[J]. 測繪通報，2004(11)：8-11.

[10]劉紅漫，晉燕利. 國外軍用無人機任務系統及其發展研究[C]∥尖兵之翼-2006中國無人機大會論文集. 北京：中國航空學會，2006:467-473.

作者簡介：張春曉(1984—)，女，博士，工程師，主要從事遙感器總體、遙感圖像處理及應用方面的研究。E-mail: chunxiaozhang@163.com

基金項目：國家自然科學基金(41401522)

收稿日期：2014-07-24

中圖分類號：P237

文獻標識碼：B

文章編號：0494-0911(2015)01-0050-05