基于仿射變換模型的圖像跟蹤系統的實現

翟春艷，陳文博

（中國電子科技集團公司 第二十七研究所，河南 鄭州 450047）

隨著現代戰爭的發展，越來越需要對目標進行遠距離的精確定位和跟蹤。傳統跟蹤以毫米波雷達為傳感器，具有探測距離遠，不受氣象環境影響等優點，但存在有源工作易暴露己方，角分辨精度較低，易受電磁干擾等缺點。由于圖像跟蹤充分利用了高分辨率的圖像信息，在近程（幾公里至幾十公里）具有無源工作隱蔽性好、抗電磁干擾、在海上應用中可低角度工作、無多徑干擾、對小目標分辨力強、跟蹤精度高、可選擇攻擊點和發射后不管等優點，在現代武器系統中獲得了越來越多的應用，成為警戒搜索、跟蹤和制導系統的重要組成部分。

但是，在武器系統中的圖像處理基本上都是針對連續的運動圖像，不論是目標的運動，還是武器系統自身的運動，觀測到的圖像序列存在著目標相對背景的運動、由傳感器運動造成的場景圖像的整體運動、以及由于視角變化使得目標物體表現出圖像形態的不穩定、目標物體的平面旋轉、尺度變化、三維空間旋轉、照度變化、非線性幾何畸變、局部或整體遮擋、部分背景圖像變化等。所有這些因素都使得基于圖像信號處理的目標檢測、識別、跟蹤處理系統的設計面臨挑戰，即需要努力提高算法與系統的魯棒性。

基于運動模型的跟蹤采取特定的目標運動模型來實現跟蹤。運動模型越詳盡精確，對目標物體之運動變化的描述能力就越強，以其為基礎的算法就能夠得到更高的定位精度，獲得更好的跟蹤效果。在目標運動模型中，平移模型僅包含目標在水平、垂直方向上的位移兩個參數，對目標運動變化的刻畫能力過于簡單，無法有效地適應目標在圖像中通常會發生的縮放、旋轉甚至錯切等變化。另外，傳統的互相關匹配算法[1]采用固定尺寸的矩形跟蹤框，在目標發生尺度變化時容易產生誤差。而且隨著模板的更新，誤差通常會不斷累加，導致跟蹤框逐漸飄移，最終很容易丟失目標。六參數的仿射變換模型不僅包含了位移模型中的水平和豎直位移參數，還包含了描述目標旋轉、比例放大等變化的參數，可以描述物體所發生的平移、縮放、二維旋轉、錯切等運動變化。在實際應用中，圖像目標通常會發生尺度、旋轉等變化；另一方面，目標與圖像采集設備之間的距離通常較遠，其三維變化常可以用二維變化來近似，所以，在兼顧跟蹤效果和計算效率的考量之下，本圖像跟蹤系統選擇使用了六參數的仿射變換運動模型。

1 仿射變換模型的建立

仿射變換是一種基本的幾何變換，可以用來描述圖像在二維空間中的旋轉、尺度變化和位移[2-3]。仿射變換共有6個自由度。仿射變換是一種線性變換，即具有將平行線變換成平行線、有限點映射到有限點的一般特性。它可以描述3D空間中的目標到2D平面的成像過程，具體表現可以是各個方向尺度變換、系數一致的均勻尺度變換或變換系數不一致的非均勻尺度變換及剪切變換等。仿射變換具有平移、旋轉和縮放不變性。

以模板圖像中心為坐標原點建立坐標系，那么模板圖像（目標圖像）表示為 I（X）。 模板圖像中的像素點 X=（x，y）經仿射變換后，變為輸入圖像中的點Y，其中X和Y之間存在仿射關系：Y=X+U。U 為 X 和仿射系數 a=（a0，a1，a2，a3，a4，a5）的函數U（X，a）=（u，v）[4]。

其中x和y是相對于模板圖像中心的水平和垂直坐標，u和v表示仿射變換后的圖像在水平和垂直方向的變化量。

若用 I（X+U（X，a））來表示模板圖像 I（X）經過仿射變換后在輸入圖像中的對應區域，則在灰度不變性前提下有公式成立：

上面的公式利用仿射變換關系將模板（目標）圖像和輸入圖像之間建立起了關系。

2 圖像跟蹤系統組成及硬件設計

圖像跟蹤系統追求對目標測量的精確性，對背景和干擾的抑制能力和數據處理的實時性，而這些性能都取決于處理算法的有效性和系統硬件設計。基于仿射變換模型的目標跟蹤算法性能上優于傳統的歸一化互相關和平均絕對差圖像跟蹤方法，但是這種性能的改進是以增加數據處理的計算量為代價換的，而且許多計算是浮點運算，并且算法運算是迭代進行，每次處理的時間是不盡相同的。因此在進行系統硬件電路設計時，要根據系統要求的技術指標在數據處理的實時性、硬件系統的規模、系統調試難度上進行權衡，確定最佳方案。

圖像跟蹤系統硬件電路采用雙DSP+FPGA的結構。硬件電路包含視頻采集轉換、數據處理、視頻輸出以及串口通信單元。其中DSP子系統是整個系統的核心，它承擔了整個圖像跟蹤系統的數據處理的任務，是跟蹤算法的實現環節。系統的硬件電路設計框圖如圖1所示。

圖1 系統硬件電路設計框圖Fig.1 Design diagram of system hardware circuit

基于仿射變換模型的跟蹤算法是一個復雜的浮點數據計算過程，將占用和耗費大量的硬件資源和運算時間，DSP采用TI公司最新的高速浮點數字信號處理器TMS320C6713。考慮到DSP子系統在進行數據運算時，只依靠DSP內部的數據存儲空間有可能不夠，DSP外掛兩片靜態存儲器（CY7C1041V33）作為擴展存儲器，并掛接一片FLASH（AT29LV010A）作為DSP自舉時的程序存儲器。

系統從攝像機輸入PAL制式的視頻數據，利用EL4501進行視頻的直流嵌位和同步分離，嵌位后的視頻通過TJ1031進行A/D轉換。同步分離產生的同步信號作為系統的基準時序信號，在FPGA時序電路中生成同步的系統時鐘，行列計數等信號。圖像數據是在電視信號的正程中采集，為了避免信號的沖突，本場的圖像數據只能從本場的場逆程起始點處開始處理或者從下一場的正程起始點處開始處理。然而電視信號的逆程十分短，根本不能完成數據運算，因此即使是從本場的場逆程起始點處開始處理，處理的時間仍然會跨越到下一場的正程中。為了滿足數據處理的需要，在圖像幀存方面，本設計采用了雙倍于圖像大小（256×256，64 kB）的雙口RAM——IDT70V19（128 kB×9 bit）作為圖像存儲器。 這樣可以將相鄰兩場的圖像數據分別存儲在圖像存儲器的上下半區中，避免一旦處理速度跟不上導致的數據沖突問題。同時為了使系統能夠適應不同的處理速度的要求，系統還可以設置圖像存儲器的工作模式為按場采集或者按幀采集。圖像存儲器按場和按幀工作模式的示意圖如圖2所示。

2個DSP協同工作，可以并行工作，共同完成一個任務，也可以獨立工作，分別完成不同的任務。主DSP利用外部UART芯片作為接口，和操控系統通過RS422異步串口進行通信。在本設計中計算機操控系統通過RS422串口來控制圖像跟蹤系統的工作，圖像跟蹤系統也通過串口輸出偏差信息。數據處理完成后，將原始電視視頻信號同代表數據處理結果的字符，圖形信號進行疊加后輸出到監視器顯示。系統的硬件電路結構框圖如圖3所示。

3 系統軟件設計

圖2 存儲器工作模式示意圖Fig.2 Diagram of memory working model

圖3 硬件電路結構框圖Fig.3 Structure of hardware circuit

本圖像跟蹤系統初始目標捕獲由人工完成。操控人員在視場中選定目標區域，并根據其圖像數據建立起初始模板。然后，依次讀入下一幀輸入圖像。對于當前讀入的輸入圖像，在灰度不變性前提下，依仿射變換模型存在模板數據和輸入圖像之間的灰度分布等式關系，以該等式中的仿射變換參數為待定變量。在給定仿射參數初始估計值的基礎上，通過求解仿射參數增量的方式來求解最終仿射參數。以仿射參數增量為待定變量，按特定的相似性度量[5]和誤差映射準則建立起模板和準目標之間的誤差評價函數，算法的目標就在于使該誤差評價函數得到極小值。以該函數對仿射參數增量之各分量的偏導數為零建立起方程組，采用牛頓迭代最優化方法求解該方程組，迭代收斂后得到仿射參數增量，也就得到了針對當前幀輸入圖像的最終仿射參數。按該仿射參數到輸入圖像中截取相應區域，得到當前幀中的目標位置和姿態。

最后，將上一幀的仿射變換參數值作為下一幀的仿射參數迭代初始值，并按照對舊模板數據和目標數據作加權相加的方式對模板數據進行更新，然后使用該仿射參數初始值和新模板數據進行下一幀跟蹤。

在按照某組仿射參數到輸入圖像中截取相應區域的過程中，原象素點坐標值在經仿射變換后得到的通常不是整數值，此時需要進行插值處理。這里采用計算量合理同時插值效果也較為理想的雙線形插值方法來截取準目標數據。

算法中，在對模板圖像數據和準目標圖像數據作相似性度量時，出于加強抗光照變化魯棒性能的考慮，對模板數據和準目標數據進行了去均值歸一化[6]的處理。在牛頓法迭代計算過程中，預先指定最大迭代次數。若迭代次數超過了該預設上限但是仍未能達到判斂精度要求，則認為目標在當前幀中不存在或跟蹤失敗。

系統軟件流程圖如圖4所示。

4 實驗結果

為了比較仿射變換跟蹤和互相關跟蹤兩種方法的優劣，在序列圖像上進行了兩種跟蹤算法的對比。這些序列圖像上包含了各種運動姿態的目標。序列圖像中蘇30飛機經過尺度放大、姿態調整等飛行狀態，之間經過了315場。

下面給出平移模型的互相關跟蹤算法和仿射變換模型的跟蹤算法進行跟蹤的一些實驗結果，以進行對照比較。兩種算法的跟蹤結果如圖5所示。

從圖5（a）可以看出，由于飛機目標發生了平面旋轉，基于平移模型的互相關跟蹤算法無法自適應調整跟蹤框以適應目標的姿態變化。隨著目標旋轉角度的增大，跟蹤框所覆蓋的目標區域變得越來越少，最終容易丟失目標。

圖4 系統軟件流程圖Fig.4 Flow chart of system software

圖5 仿射變換跟蹤和互相關跟蹤比較的結果圖Fig.5 Comparison result of affine transform tracking and correlation tracking

圖5 （b）顯示，在同樣的初始條件下，當飛機發生尺度、角度方面的變化時，基于仿射模型的跟蹤能動態地調整跟蹤框的形狀和旋轉角度，從而有效地適應著目標的姿態變化，獲得了較好的跟蹤結果。同時從圖中可以看出，對應于目標的小幅度三維旋轉，跟蹤框從矩形變化成了平行四邊形，在一定程度上適應了目標的三維旋轉，從而較為理想地實現目標發生復雜變化情況下的魯棒跟蹤。

5 結束語

文中從建立仿射變換模型出發，提出了跟蹤系統的設計方案，設計了一種基于仿射變換模型的實時圖像跟蹤系統。該系統易于硬件實現，實時性高，跟蹤效果良好，滿足工程應用要求。并且在設計中考慮到了硬件電路的通用性，因此該硬件電路還可以作為一個通用的電視跟蹤算法的實驗平臺。

[1]李尊民.電視圖像自動跟蹤的基本原理[M].北京：國防工業出版社，1998.

[2]曾文峰，李樹山，王江安.基于仿射變換模型的圖像配準中的平移，旋轉和縮放[J].紅外與激光工程，2001，30（1）：18-20.ZENG Wen-feng，LI Shu-shan，WANG Jiang-an.Translation，rotation and scaling changes in image registration based affine transformation model[J].Infrared and Laser Engineering，2001，30（1）:18-20.

[3]徐宏文，郭紹忠.投影理論基礎[M].天津：天津大學出版社，1991.

[4]王曉靜，王鐵軍，許高升.一種基于仿射變換模型的圖像自動對準方法[J].戰術導彈技術，2008（5）：73-77.WANG Xiao-jing，WANG Tie-jun，XU Gao-sheng.A new image registration approach based on affine transformation model[J].Tactical Missile Technology，2008（5）:73-77.

[5]王振華，董明利，祝連慶，等.一種基于極幾何和仿射變換的圖像匹配方法研究[J].工具技術，2007（12）：74-77.WANG Zhen-hua，DONG Ming-li，ZHU Lian-qingetal.Image matching method based on epipolar geometry and affine transformation[J].Tool Engineering，2007（12）:74-77.

[6]于晨，劉宇.基于模板匹配技術的運動物體跟蹤方法研究[J].自動化技術與應用，2007，26（8）： 68-70.YU Chen，LIU Yu.Visual tracking of a moving target based on template matching[J].Techniques of Automation and Applications，2007，26（8）:68-70.