偵察圖像綜合利用技術研究

趙書斌，王 強

（中國船舶重工集團公司江蘇自動化研究所，江蘇 連云港 222006）

隨著各種天基和空基偵察手段的發展，以及包括巡航導彈和信息化遠程打擊艦炮在內的各種遠程精確打擊武器系統的研制和使用，快速反應和精確打擊已成為現代戰爭的主要特征。可視化任務規劃、基于多源圖像融合的遠程目標精確定位、實時打擊進程監視和打擊效果的實時評估是實施快速精確打擊的基礎，空中偵察圖像的綜合處理與利用在現代戰爭中起著不可替代的作用。伊拉克戰爭中，美軍正是依靠戰術利用系統和聯合服務圖像處理系統，才加快了應對各種威脅的速度，提高了各種精確打擊武器的作戰效能。

空中偵察和監視的應用有很長的歷史，在軍事上可用于觀察敵方活動，在民用領域可用于監視森林、農田等的變化情況。1849年，Colonel Aime Laussedat就利用航拍圖像制作地形圖。在早期應用中，常常使用風箏和氣球等作為載體將相機帶到空中。1913年，飛機被用作航拍的運載工具。航拍圖像的廣泛使用開始于第一次世界大戰，主要用于偵察和情報搜集。衛星是最理想的天基偵察平臺，主要用于戰略偵察。美國是發展偵察衛星最早的國家，擁有最先進的衛星偵察手段。1960年8月就發射了第一顆實驗性偵察衛星，1962年開始執行“鎖眼”（KH）偵察衛星計劃，其編號從KH－1到KH－12。近十幾年來，歐洲、以色列、印度、日本和韓國等也在大力發展成像衛星偵察系統，但其傳感器性能與美國相比還有一定差距。例如，美國軍用衛星地面分辨率為0.1m，而其它國家的最高水平只有0.5m，與美國商用衛星圖像的分辨率差不多【1】。

有人駕駛和無人駕駛的飛機是主要空基偵察平臺。飛機有極大的活動空間，可遠可近，可高可低，是最通用、也是最重要的戰略與戰術偵察監視平臺。20世紀50年代后期到60年代初期，美國U2高空偵察機曾頻繁侵入中國和前蘇聯上空進行偵察活動。由于U2的飛行高度達21000m，當時的殲擊機和高炮火力無能為力，U2高空偵察機可以說是如入無人之境。但隨著地空導彈的發展，U2高空偵察機相繼被擊落，其橫行無阻的時代結束了。為確保人員安全的同時利用空中平臺進行有效的偵察，無人機逐步發展起來。

無人機是一種由無線電遙控設備或自身程序控制裝置操控的無人駕駛飛行器。無人機用途廣泛，無人員傷亡風險，生存能力強，機動性好，使用靈活，效費比高，在現代戰爭中起著極其重要的作用。特別是在阿富汗反恐戰爭中，無人機不僅用于空中偵察，還直接作為攻擊平臺，已成為集偵察、打擊、效果評估于一體的多功能、多用途的無人作戰系統。目前，美軍裝備的無人機包括空軍的“捕食者”、“全球鷹”、海軍/海軍陸戰隊的“先鋒”、陸軍的“獵人”、“影子”，等等。“全球鷹”搭載的偵察監視系統配置了可見光電視、紅外熱像儀和合成孔徑雷達（SAR）成像系統，能夠對目標區域進行全天時、全天候偵察監視，很有代表性。其飛行高度20000m，可見光和紅外成像系統的地面分辨率分別可達0.1m和0.23m，SAR圖像分辨率也具有與光學成像相當的分辨率。

目前，隨著多種型號雷達成像和光學偵察衛星加快研制和裝備，各種無人偵察機逐步投入使用，我國將逐步具備遂行快速精確打擊作戰的必要基礎設施，深入研究空中偵察圖像綜合利用技術已成為我們面臨的重要任務。

1 國外相關研究現狀

鑒于圖像偵察在軍事上的重要性，西方各國在這方面進行了廣泛深入的研究。這些研究主要是針對無人機進行的，其應用不僅僅限于基于圖像的岸上遠程目標的精確定位，還包括目標自動識別與提示、運動目標檢測與跟蹤等多個方面。主要的研究工作是由一些公司進行的，包括BAE公司、Thales公司和Harris公司等。2000年以后，相關技術逐步取得突破。目前這些公司都有了技術比較成熟的產品，并在伊拉克戰爭和阿富汗戰爭中得到了實戰檢驗。

1.1 BAE網格鎖定系統

網格鎖定系統（Gridlock）利用有人或無人戰術偵察平臺獲取的靜態和動態圖像，計算精確的目標坐標數據，為作戰指揮人員提供了快速定位目標的能力并為武器系統提供合適的瞄準數據【2】。

網格鎖定系統是為了滿足兩方面的軍事需求：

· 打擊和毀傷時敏目標；

· 改善目標定位精度，提供滿足新一代武器系統要求的高精度目標數據。

圖1 網格鎖定系統作戰應用示意圖

網格鎖定系統主要圍繞兩個核心組件進行設計。智能圖像組件（Smart Image Component）是網格鎖定系統的核心單元。該組件可自動完成戰術圖像與參考圖像的相關和配準，生成所謂“智能圖像”，每一幅智能圖像均嵌入了校準后的元數據。這樣，圖像中的每個像素點的地理位置均可達到參考圖像的位置精度。智能圖像顯示組件是一個與平臺獨立的應用軟件，該組件使用戶能夠通過一次單擊來提取坐標和誤差估計數據。

1.2 Thales多傳感器圖像解譯與分發系統

多傳感器圖像解譯與分發系統(MINDS)是 Thales公司為地面圖像情報利用提供的綜合解決方案。MINDS提供了一個自包含、模塊化的多源圖像處理與利用環境，能夠完成（多源、異類）圖像情報獲取、圖像解譯、作戰任務準備和精確瞄準等任務【3】。

MINDS信源包括掃描得到的地圖或數字地圖、UAV視頻數據、航拍或衛星圖像。這些圖像數據經MINDS處理、標準化和融合后，及時為需要的用戶提供準確的圖像情報產品。

MINDS主要功能可歸納如下：

· 自動地理信息標注；

· 輻射與幾何圖像處理；

· 地物重構與立體顯示；

· 利用圖像/圖形信息和已標注地理信息的地物創建情報文件；

· 多源情報(IMINT,SIGINT,HUMINT)融合與編輯工具；

· 用于計算機輔助目標辨識的高級工具；

· 情報報告編輯與多媒體情報文件夾生成。

1.3 Harris自動戰術瞄準系統

借助 Harris自動戰術瞄準系統(The Harris Automated Tactical Targeting System,HATTS)，操控人員能夠利用機載傳感器對目標進行精確瞄準。HATTS能夠近實時地把來自機載傳感器的圖像與經精確地理標注的圖像（通常為衛星影像）配準。經空間配準后，操控人員可在來自機載傳感器的圖像上確定目標的精確地理坐標。一旦操控人員指定了目標并確定了圖像情報的最終用戶（一般為某武器系統或地面站），HATTS即可根據用戶需求自動生成目標瞄準信息，通常包含選定的部分戰術圖像和帶有目標精確坐標的參考圖像。HATTS也支持常用的圖像操作功能，操控人員可對圖像進行各種幾何和輻射調整，構造鑲嵌圖像以增強戰場態勢感知【4】。

圖2 Harris自動戰術瞄準系統功能流程

2 主要問題

直到最近，空中偵察和監視還主要采用膠片和電子相機等。其目的主要是獲得所監視區域的高分辨率靜態圖像，這些圖像經人工判讀或機器自動處理后獲得人們感興趣的信息和情報。現在，人們越來越傾向于使用視頻攝像機完成偵察、監視和情報搜集任務。視頻圖像能夠捕獲所監視區域中發生的動態變化的事件，而這種信息在航拍的靜態圖像中是無法獲得的。視頻圖像捕獲動態事件的能力能夠提供及時的情報信息，同時有可能使我們對所發生的事件做出快速反應。視頻圖像可用于實時檢測并定位運動目標，同時根據目標的運動屬性可控制攝像機跟蹤這些目標（如運動中的車輛等）。視頻圖像也可用于控制攝像機對一個固定區域進行長時間的監視。然而，視頻圖像的利用也提出了一些新的技術問題。為獲得識別和分辨地面目標所需的分辨率，需要使用長焦距的鏡頭。然而，長焦距鏡頭的視場是非常小的，這對于理解和分析場景內容是非常不利的。攝像機必須不斷地在各個方向掃描，以覆蓋希望監視的區域。這樣做的后果是，人們感興趣的目標時而在視場內時而在視場外，視頻判讀人員必須高度集中注意力。由于視場太小，視頻圖像不能提供背景地理信息，判讀人員無法獲得目標在不同時刻的相對位置。

通過空中視頻偵察，我們可以知道傳感器視場覆蓋范圍內有哪些目標，目標情況怎么樣。但由于機載姿態測量傳感器等的精度有限，利用無人機測量信息對偵察圖像進行定位的誤差較大，可達數百米。對于精確打擊作戰來說，這是遠遠不夠的。要想將空中視頻偵察用于精確打擊作戰，就必須為偵察圖像標注精確的地理坐標，以便為精確打擊武器提供精確的目標瞄準數據。

衛星偵察覆蓋范圍廣，不受空域限制，在平時和戰時都是重要的戰略偵察平臺。現在，隨著成像技術和測量技術的發展，衛星圖像具有很高的分辨率和地理定位精度，其像素地面分辨率最高可達0.1m，經幾何校正和控制點校準后地理坐標標注誤差優于2m。但受成像衛星數量、地面站接收和后期處理時間限制，目前成像衛星主要還是用作戰略偵察，不能用于戰術目的。

3 關鍵技術分析

3.1 視頻圖像鑲嵌

隨著攝像鏡頭的搖動，幾幀連續的視頻圖像被拼接成一幅較大的圖像，即鑲嵌圖像。鑲嵌圖像能夠有效擴大鏡頭的視場，從而為實時觀察和后續處理帶來了方便，可解決空中偵察采用長焦鏡頭導致的小視場問題。構造圖像域中的鑲嵌圖像有兩個基本步驟：配準和融合。構造一個 2D鑲嵌圖像需要計算一組配準參數，與這些參數對應的幾何變換將圖像變換到一個公共的參照系中。對于一個視頻圖像序列，配準參數的計算可以按照不同的方式進行：

1）一幀接一幀地配準相鄰的圖像，獲得的變換參數可用于確定任一圖像與鑲嵌圖像間的配準參數；

2）以當前拼接好的鑲嵌圖像作為參考圖像，將每一幀圖像與其配準；

3）以最新的視頻圖像作為參考圖像，將當前拼接好的鑲嵌圖像與其配準。

不管采用哪一種方式，獲得的一組變換均可將一個視頻圖像序列拼接在一起，即將每一幀視頻圖像變換到鑲嵌圖像坐標系，最后形成一幅鑲嵌圖像。為避免在鑲嵌圖像中出現縫隙，需要在不同幀圖像的交界處進行融合處理。

3.2 精確地理定位

在相當程度上，視頻偵察圖像的價值在于：我們不僅能夠從圖像中發現目標，而且能夠給出目標的精確地理位置。一個理想的解決方法是能夠知道圖像中每一個象素點的地理坐標，即經度、緯度和海拔高度。這樣的地理信息對于視頻圖像的利用具有重要意義，圖像判讀和分析人員能夠將在視頻圖像中看到的地面結構特征和運動目標與其所在的真實地理位置關聯起來。視頻圖像可以作為空間數據庫中的一層數據，并可根據需要疊加到空間數據庫中的已有圖像或地圖上，這樣利用周圍環境的背景信息和其它附屬信息，人們可以更好地分析、理解和利用視頻圖像。同時，也可以在數據庫中的各種信息和視頻圖像間建立對應關系；另一方面，視頻圖像還能夠用于更新地理信息系統數據庫。

有兩種方式對視頻圖像進行地理坐標標注。一種是利用各種機載遙測設備和相機姿態測量設備提供相機位置、高度、視角及鏡頭焦距等參數，通過幾何計算對視頻圖像每個像素點標注地理坐標。如果希望考慮地形起伏的影響，可利用地形高程數據獲得更準確的地理坐標。另一種是將當前的視頻圖像與以前獲得的、經過幾何校準的、經過高精度地理編碼的參考圖像進行空間位置配準【5】，視頻圖像即可繼承參考圖像的高精度地理坐標，從而實現對視頻圖像的地理坐標標注。

地面上任意點的地理坐標可以根據該點在視頻圖像中的位置和成像過程的幾何關系計算得到，如圖3所示。飛機的位置可由 GPS和其它機載導航設備獲得，攝像頭的指向可由萬向頭上的姿態測量傳感器獲得，飛機的高度可由高度計和地形數據獲得。來自這些傳感器的所有數據統稱為附屬支持數據。由圖3可知，根據附屬支持數據和數字地形圖可以計算圖像上任意點的地理坐標。

盡管基于附屬支持數據的地理定位能夠提供視頻圖像中任意點的地理坐標，但坐標的精度卻不能滿足需要。通常，飛機位置和攝像頭指向的量測精度非常有限，數字地形圖也可能無法獲得，或者雖可獲得，但精度很低。實踐中，根據這種方法得到的地理坐標的誤差可達數百米。

圖3 基于附屬支持數據的地理定位

通過配準當前視頻圖像和以前獲得的經過幾何校準的參考圖像，可以大大提高視頻圖像的地理定位精度。通常使用的參考圖像由成像衛星獲得，經過幾何校正后像素的位置精度為米級。如果能夠將視頻圖像與參考圖像配準，則視頻圖像就可以獲得參考圖像的高精度坐標信息。

為配準視頻圖像和參考圖像，先根據附屬支持數據提供的大致位置取參考圖像的一部分，根據攝像頭的視角對其做某些處理；然后對視頻圖像和參考圖像進行亞像素配準，進而實現視頻圖像的精確定位。視頻圖像與參考圖像的配準過程分為如下幾個步驟：

1）視頻序列中相鄰幀的配準

單幀圖像包含的場景結構信息可能非常有限，不足以可靠地將其與參考圖像配準，而將連續的幾幀圖像拼接起來獲得一幅更大的圖像，利用更多的場景結構信息顯然更有利于實現穩定準確的配準結果。另外，典型視頻圖像每秒30幀，視頻序列相鄰幀間存在相當大的重疊區，所以也沒有必要將每一幀視頻圖像與參考圖像配準。實踐中，我們可以先將相鄰幀視頻圖像配準并拼接起來，直到拼成的圖像達到一定的大小；然后將這幅比較大的圖像與參考圖像配準。

2）對參考圖像做視角變換

與視頻數據同步的附屬支持數據提供了視頻圖像在參考圖像中位置的一個初始值。在正投影情況下，可以將視頻圖像直接與參考圖像（參考圖像已經過正投影校正）匹配；但在斜視情況下，由于視頻圖像和參考圖像成像的視角差別較大，地面特征在兩幅圖像上的表現可能大不相同，因而在兩幅圖像上尋找相互匹配的特征就會十分困難。因此，需要先根據視頻圖像的視角（可由附屬支持數據得到一個粗略的數據）對參考圖像做視角變換，使參考圖像的視角與視頻圖像的視角一致，然后再進行視頻圖像與處理后的參考圖像配準。

3）預處理

即使經過了視角變換，地面特征在視頻圖像與參考圖像上的表現仍然存在相當大的差別。其來源包括傳感器特性的不同、陰晴圓缺、晝夜變化、季節更替、場景結構的改變，等等。為減小這些因素的影響，需要選擇合適的圖像表示方法。這種表示應能夠突出視頻圖像和參考圖像中共有的模式結構，因為只有兩幅圖像中共有的結構特征才能將兩幅圖像配準。例如，拉普拉斯金字塔表示可以減小灰度變化（光照條件）對圖像配準的影響。

4）圖像配準

最后，可以采用各種由粗配準到精配準的方法將視頻圖像在參考圖像上定位。

3.3 基于鑲嵌圖像的視頻顯示

空中偵察和監視系統面臨的一個重要問題是，如何將獲得的視頻圖像展示給操作人員。航拍視頻圖像狹小的視場使得操作人員觀察和解讀都非常不便，既費神又容易漏掉重要的目標。采用基于圖像鑲嵌的顯示方式可以在相當程度上克服航拍視頻的缺陷。該顯示方式首先對來自攝像頭的視頻進行一系列處理，然后才顯示到操作人員面前。操作者可以進行滾動、縮放等操作，在鑲嵌圖像中漫游以監視某個感興趣的特定區域。而這時來自攝像頭的視頻圖像可能正在更新另外一個區域。在顯控臺上可以對鑲嵌圖像做正投影，并與地圖坐標系配準。這樣，就在實時視頻圖像與已知的地理信息（地圖，該地區以前的圖像，場景中的道路、建筑、河流和山峰等）間建立了對應關系。當前的視頻圖像可以覆蓋在已有的圖像或地圖上進行直接比較，也可以根據已知的地理信息對視頻圖像進行自動信息標注。

4 結束語

本文分析了遠程精確打擊的作戰需求，綜合描述了國外相關研究現狀，討論了空中圖像偵察和衛星成像偵察存在的主要問題。在此基礎上，重點討論了圖像鑲嵌、基于圖像配準的精確地理定位和基于鑲嵌圖像的視頻顯示等偵察圖像綜合利用技術。

[1]梅遂生,王戎瑞.光電子技術 [M].北京：國防工業出版社，2008.

[2]BAE Gridlock[EB/OL].http://www.baesystems.com/ProductsServices.

[3]Thales–Multi-sensor image interpretation and Dissemination System[EB/OL].http://www.thalesgroup.com/Pages/Solutions.aspx.

[4]The Harris Automated Tactical Targeting System[EB/OL].http://www.harris.com.

[5]Harpreet S.Sawhney, Rakesh Kumar.True Multi-Image Alignment and Its Application to Mosaicing and Lens Distortion Correction[J].IEEE Trans.On PAMI,1999,21(3): 235-243.