基于目標變換模型的跟蹤方法研究

摘 要:圖像目標跟蹤是計算機視覺領域中富有挑戰性的工作之一，但已有的算法大多都存在一定的局限性。針對目標相關匹配方法難以處理圖像序列中目標所具有的連續性的尺度變化、旋轉、變形等問題，通過在相鄰兩幀圖像之間建立目標相對變化關系的數學模型，并依據該變換關系的數學描述及一定的相關測度對跟蹤問題進行最優化建模，將目標跟蹤問題轉化為目標變換模型參數的最優化求解問題，最后利用L_M算法對上述優化問題進行求解，實現目標跟蹤。實驗結果表明，該方法對發生連續性平移、尺度、旋轉、變形等變化的目標具有良好的跟蹤精度，且對圖像質量要求不高。

關鍵詞:目標跟蹤;目標變換模型;最優化模型;L_M算法

中圖分類號:TP391文獻標識碼:A

文章編號:1004-373X(2010)02-118-04

Study of Tracking Method Based on Object Transform Model

HUI Bingwei，GAO Feng，WEN Gongjian

(ATR Key Laboratory，National University of Defense Technology，Changsha，410073，China)

Abstract:Image object tracking is one of the most challenged problems in the computer vision field，most of which have some defficency.Focusing on the problem that the methods of template matching can′t resolve the continuous scale，rotation and distortion of the object in the image sequence.By modeling object′s relative change relations between the neighboring frames，and based on the discription of motion transform and the stated correlation measure，the tracking problem is translated into an optimization problem.Using L_M algorithm to resolve the optimization problem and the tracking is achieved.The experiment results show that the method is of good accuracy for tracking the object with scale，rotation and distortion and robust to the degradation of image.

Keywords:object tracking;object transform model;optimization model;L_M algorithm

0 引 言

圖像目標跟蹤指隨著目標在場景中的運動，在一個或多個圖像平面內估計目標真實運動軌跡的過程。此外，依據跟蹤的應用領域，需同時提供目標的方向、面積、形狀等附加信息[1]。圖像目標跟蹤的應用領域廣闊，目前已經廣泛應用于場景監視、運動識別與測量、交通管制等社會生產和生活的各個領域。也正是因為應用背景的多樣性和靈活性，使得目標跟蹤成為計算機視覺領域中的熱點和難點問題。

一個完整的目標跟蹤流程通常應該包括以下幾個環節:目標表示、特征選擇、目標檢測、逐幀跟蹤和分析識別。其中，逐幀跟蹤是整個過程的關鍵，目前已有不少學者在這方面進行了豐富的實踐，提出了許多行之有效的方法。文獻[1]對這方面已取得的成果做了深入而細致的綜述和分類。對剛體面目標的跟蹤方法主要有以下幾類:

(1) 基于目標相關匹配的方法[2-4]。為解決傳統模板匹配方法容易受到干擾的問題，文獻[2]采用變模板技術取得了較好的效果;文獻[3]利用圖像邊沿特征進行相關跟蹤，使跟蹤過程能夠較好地適應不同灰度分布的背景;文獻[4]使用基于區域協方差矩陣進行相關匹配的方法，展現了較好的魯棒性和精確性。但總體來說，基于相關匹配的方法都會受到計算量等的限制，難以處理目標具有連續性的尺度、旋轉和變形等情況。

(2) 基于圖像目標分割的方法[5-7]。光流分割法在目前這類方法中占有相當大的比重[5]，但光流分割法容易受到噪聲干擾，且難以精確分割出目標區域;而文獻[6，7]將區域活動輪廓模型用于目標輪廓的提取，進而實現了目標跟蹤，該方法適用于圖像質量較高的情況。

(3) 基于mean_shift的方法[4]。這類方法是一種基于非參數概率密度估計方法，目前應用較為廣泛，但應用通常受其核函數中帶寬的影響。

基于上述分析，本文提出了一種基于目標變換模型的方法，該方法通過對相鄰兩幀圖像中目標的平移、尺度、旋轉、變形等變化確立一個變換關系模型，并利用該變換關系模型和一定的目標匹配測度，建立了最優化數學模型，然后以變換關系模型參數為求解目標，采用L_M優化算法對該數學模型進行求解，最終實現目標跟蹤。該方法有效地克服了傳統匹配方法在這方面的局限性，且對圖像質量要求不高。通過對若干空中飛行目標圖像進行跟蹤實驗，取得了良好的實驗效果。

本文首先分析了相鄰兩幀圖像中目標變換關系模型的確立，之后根據均方誤差測度建立跟蹤的數學模型;詳細討論了用L_M算法進行模型求解的原理和過程，并給出了算法流程圖，實驗結果及最后得出一些結論。

1 目標跟蹤的數學模型

1.1 目標變換模型

目標變換模型指目標在圖像序列的相鄰兩幀圖像中位置、形狀、方向等相對變化關系的數學表達。目標在相鄰兩幀圖像中的變化越復雜，則能夠恰當描述它的數學模型也越復雜。但剛體目標由于運動而引起的形變是有限的，可以通過較簡單的數學模型來近似。 具體設(xi，yi)(i=1，2，…，N)是第n幀(n>1)圖像In中目標區域內N個離散的坐標點，由于目標的變化使得在第n+1幀圖像In+1中對應的N個像點坐標變為(xi′，yi′)(i=1，2，…，N)，則上述兩個坐標集之間的對應關系可記為圖像坐標空間上的映射T=(Tx，Ty)，R2→R2′，其數學表達式為:

xi′=Tx(xi，yi)

yi′=Ty(xi，yi)(1)

式(1)即為描述目標在相鄰兩幀圖像中變化變換模型。變換模型的選擇直接影響目標跟蹤的效果和精度，模型越符合圖像中目標的變化規律，跟蹤效果越好。常用的變換模型主要有平移變換、RST變換(平移_旋轉_尺度變換)、投影變換等。而剛體目標在圖像中經常出現的顯著的變化主要有平移、尺度、旋轉及一定的剛性變形，使用仿射變換模型可以較好地描述和反映上述變化。二維的仿射變換模型是一個6參數的映射關系，記為Tα，其表達式如下:

x′y′〗=

a1b1

a2b2〗x

y〗+

c1c2〗(2)

式中:參數a1，b1，a2，b2共同決定了目標的尺度、旋轉、錯切等變形情況。特別是當a1=b2=1;a2=b1=0時，目標不發生任何形變;c1，c2分別決定了目標在x，y方向上的平移情況。

1.2 最優化模型

根據目標相關匹配的跟蹤原理，當目標在兩幀圖像中所有對應的區域灰度在一定測度下最為相近時，則達到最佳的匹配效果，從而實現目標跟蹤。基于目標變換模型的方法，就是以實現最佳匹配為目標，對變換模型參數進行求解的問題。

描述一個區域對另外一個區域的“逼真度”，通常有兩類測度:相關測度和差值測度。均方誤差測度是差值測度的一種，考慮到均方誤差測度直觀、嚴格、計算簡便，能夠較好地對兩個區域的相近程度做出較總體的評價，且以它為目標函數的優化問題有相對成熟的算法，則本文采用均方誤差測度，其描述相鄰兩幀圖像中目標區域相近程度的表達式如下:

ε=∑Ni=1[In+1(xi′，yi′)-In(xi，yi)]2/N(3)

根據式(3)定義的匹配測度ε和式(2)定義的目標變換模型Tα建立最優化模型如下:

min ε=min{∑Ni=1[In+1(Tα(xi，yi))-In(xi，yi)]2/N}

=min(‖fn+1-fn‖2/N)(4)

式中:fn+1，fn表示相鄰兩幀圖像中目標區域灰度的向量;fn+1，fn∈RN+， ‖#8226;‖2表示RN+上的2范數。式(4)中的ε也稱為匹配的能量值。

式(4)給出了由當前幀目標區域與下一幀圖像目標區域變換關系的最優化模型，但在圖像序列的第一幀中，由于不能通過上述模型來求解目標區域，而需要特殊對待的，同時它也是后續幀建立目標變換模型的基礎，為保證對該幀圖像中目標分割的穩定性和準確性，本方法采用人機交互式的方式確定目標的初始區域。

2 模型求解

由式(4)定義的最優化模型是以仿射變換模型的6個參數為求解目標最佳平方逼近的問題。L_M算法是解決該類問題的優秀算法，但L_M算法作為無約束非線性問題的局部最優化數值迭代解法，通常需要保證以下兩個適用條件[8]:

(1) 目標函數在最優解附件的某區域內連續可微;

(2) 需要一個較好的迭代初值。

數字圖像是離散化采樣的結果，為保證圖像灰度函數的連續性，在計算時需對圖像進行一定的插值處理。本文從插值效果和計算效率兩方面考慮，選用雙線性插值[9]。此外，通常情況下圖像成像時的噪聲及劇烈變化的區域邊緣通常是非連續的階躍函數，為了能更好地保證條件(1)，本方法對所有參與運算的圖像區域進行高斯平滑處理。

通常，相鄰兩幀圖像中目標的形變較小，故可令a1=b2=1;a2=b1=0。而平移變化可能較大，故這里對平移初值的確定分以下兩種情況討論。若目標在相鄰兩幀圖像中有較大平移變化(可取目標尺寸的2/3作為衡量標準)時，采用相鄰兩幀圖像差幀法檢測發生相對變化的區域，并粗略估計平移量作為模型的初值;否則，取0平移量作為模型初值。

2.1 L_M優化算法

L_M算法的基本思想是通過自動調整迭代的阻尼因子，使之在當前解遠離正確解時，與梯度下降法相似，收斂緩慢，但可以保證較高的穩定性;在當前解逐步靠近正確解時，又演化為高斯牛頓法，快速收斂到局部極值，從而融合了兩種算法各自的優點。

根據優化模型式(4)，第n+1幀圖像In+1中，目標區域的灰度向量fn+1是關于仿射變換模型Tα的參數向量tα=(a1，b1，c1，a2，b2，c2)T的6維函數，并記為fn+1(tα)，對于給定的向量Δtα=(Δa1，Δb1，Δc1，Δa2，Δb2，Δc2)T，利用多元函數對fn+1(tα+Δtα)進行泰勒展開，得一階近似如下:

fn+1(tα+Δtα)fn+1(tα)+fn+1(tα)tαΔtα(5)

記fn+1(tα)tα=(fn+1a1，fn+1b1，fn+1c1，fn+1a2，fn+1b2，fn+1c2)，且可由式(2)得:

fn+1a1=fn+1x′#8226;x′a1=x#8226;fn+1x′

fn+1b1=fn+1x′#8226;x′b1=y#8226;fn+1x′

fn+1c1=fn+1x′#8226;x′c1=fn+1x′

fn+1a2=fn+1y′#8226;y′a2=x#8226;fn+1y′

fn+1b2=fn+1y′#8226;y′b2=y#8226;fn+1y′

fn+1c2=fn+1y′#8226;y′c2=fn+1y′

在L_M算法迭代過程中需要產生一系列的向量t(1)α，t(2)α，…，且這些向量在一定條件下依函數式(4)收斂于局部極小點t+α。因此根據目標函數式(4)和泰勒展開式(5)，在每一次迭代中，都要尋找Δtα，使得式(6)取值最小。

‖fn-fn+1(tα+Δtα)‖‖fn-fn+1(tα)-JΔtα‖

=‖ε-JΔtα‖(6)

式中:J是由目標各點的偏導數向量f(k)n+1(tα)tα，k=1，2，…，N，組成的矩陣:

J=fn+1(x1，y1)a1fn+1(x1，y1)b1fn+1(x1，y1)c1fn+1(x1，y1)a2fn+1(x1，y1)b2fn+1(x1，y1)c2

fn+1(x2，y2)a1fn+1(x2，y2)b1fn+1(x2，y2)c1fn+1(x2，y2)a2fn+1(x2，y2)b2fn+1(x2，y2)c2



fn+1(xN，yN)a1fn+1(xN，yN)b1fn+1(xN，yN)c1fn+1(xN，yN)a2fn+1(xN，yN)b2fn+1(xN，yN)c2(7)

通過式(6)對Δtα的求解是一個線性最小二乘問題。當JΔtα-ε正交于J的列空間時，該式取最小值，即Δtα滿足正規方程:

JTJΔtα=JTε(8)

式(8)即為Gauss_Newton法在一次迭代中求得的改正量方程式，L_M算法為抑制矩陣JTJ的奇異性、控制算法的收斂速度，并處理模型高度非線性化的情況。使用如下正規方程求解改正量:

NΔtα=JTε(9)

式中:矩陣N=μE+JTJ;E為單位陣;μ為阻尼因子，它是隨迭代過程不斷變化的量。如果根據式(9)計算出來的Δtα，更新參數向量tα后，導致誤差量ε減小，則更新值被接受，且后續迭代過程中減小阻尼因子;否則，增大阻尼因子，重新求解方程(9)，并重復上述過程直到所解出的改正量Δtα使誤差下降。因此阻尼因子在每次迭代中都可以自適應地保證誤差量ε減小。

在迭代中，如果阻尼因子是一個比較大的數，方程(9)中的矩陣N近似一個對角線矩陣，此時L_M的更新步長向量Δtα接近于最陡下降的方向;如果該阻尼因子是一個比較小的數，則L_M算法的步長近似于精確的二次步長，而適合于線性模型。

2.2 算法步驟及流程圖

2.2.1 算法迭代過程

算法迭代過程為:

(1) 算法初始化。令迭代計數器m=0，阻尼因子μ(0)=0.001，采用差幀法進行變化檢測，確定仿射變換模型各參數初值t(0)α(該初值通常只組略給出平移變化量)，并計算初始能量值ε(0)。

(2) 對圖像In中的目標區域，以及In+1中由t(m)α確定的目標區域進行高斯平滑、雙線性插值運算，并根據式(7)建立如式(9)的正規方程。

(3) 求解式(9)的正規方程，得到變換模型各參數的改正量Δt(m)α，并用t(m)α+Δt(m)α計算當前能量值ε(m+1)。

(4) 若ε(m+1)≥ε(m)，則不接受Δt(m)α，并取μ(m+1)=10μ(m)，更新正規方程的系數矩陣，并轉步驟(2)。

(5) 若ε(m+1)<ε(m)，則接受Δt(m)α，令t(m+1)α=t(m)α+Δt(m)α，并取μ(m+1)=0.1μ(m);m=m+1。

(6) 判斷是否滿足算法的結束條件，若滿足，則停止迭代，輸出迭代結果，跟蹤結束;否則轉步驟(2)。

2.2.2 算法結束條件

本文考慮三個準則作為跟蹤算法的結束條件:第一是迭代次數超過了預先設定的最大迭代次數M，其中M>1，即m>M;第二是區域已經達到了很好的匹配效果，即匹配誤差的能量值ε(m)已經小于預先設定的一個先驗門限εmin;第三是在一次迭代過程中改正量Δtmα的各分量值Δa1，Δb1，Δc1，Δa2，Δb2，Δc2的絕對值均小于一個先驗的門限amin。

跟蹤算法的流程圖如圖1所示。

圖1 跟蹤算法的流程圖

3 實驗結果

采用蘇-30飛機在某次航空飛行表演的序列圖像作為實驗數據，對上述跟蹤算法進行測試。該圖像序列共計20幀，每幀圖像的像素尺寸均為1 024×768。其中，前10幀圖像中的目標(飛機)有較強烈的平移運動;后10幀圖像中的目標出現了大于90°的旋轉、較大的變形和一定的尺度縮放。本文的跟蹤算法對以上兩種典型情況下的飛機目標均能夠進行穩健而精確的跟蹤， 如圖2~圖4所示。

圖2 第1，3，5幀圖像飛機的跟蹤效果圖

4 結 語

提出一種基于目標變換模型的圖像目標跟蹤方法，具有如下優點:能較好地對發生連續性尺度、旋轉、變形等變化及較大平移變化的目標進行正確跟蹤;跟蹤過程綜合使用了圖像中目標各點的灰度信息，特征信息量大，可使相鄰兩幀圖像中目標區域的灰度在最小二乘意義下最為相似。因此，非常適合于圖像質量較差，但對目標跟蹤精度要求較高的情況;該方法使用L_M優化算法進行求解，計算量小，運算速度快。但本文的方法也存在一些不足，如L_M算法的收斂性要求相鄰兩幀圖像中的目標區域在發生尺度、旋轉、變形等變化時不能過大，這是下一步工作需要研究和解決的問題。

圖3 第9，11，13幀圖像飛機的跟蹤效果圖

圖4 第15，17，19幀圖像飛機的跟蹤效果圖

參考文獻

[1]Alper Yilma，Omar Javed，Mubarak Shah.Object Tracking:A Survey[J].ACM Computing Surveys，2006(12):1-45.

[2]高峰，雷志勇，易娟.基于模板匹配的圖像跟蹤技術[J].國外電子元器件，2008(10):34-36.

[3]張云峰，宋建中.利用圖像邊沿特征實現相關跟蹤[J].儀器儀表學報，2004(8):697-699.

[4]管學偉，劉先志，羅鎮寶.基于區域協方差矩陣的目標跟蹤方法[J].紅外技術，2009(2):99-102.

[5]邵文坤，黃愛民，韋慶.目標跟蹤方法綜述[J].影像技術，2006(1):17-20.

[6]張昊，黃戰華，郁道銀，等.基于差分圖像的運動目標跟蹤與分割方法的應用研究[J].光學技術，2007(7):565-567.

[7]查宇飛，張育，畢篤彥.基于區域活動輪廓運動目標跟蹤方法研究[J].中國圖像圖形學報，2006(12):1 844-1 848.

[8]Marquardt D W.An Algorithm for Least_squares Estimation of No_linear Parameters[J].Soc.Indust.Appl.Math.，1963，11(6):431-441.

[9]孫即詳.圖像處理[M].北京:科學出版社，2004.

[10]李智勇.動態圖像分析[M].北京:國防工業出版社，1999.