基于多特征融合的紅外目標識別算法*

吳彩蓮，郝永平，張 樂，王 磊

(沈陽理工大學兵器科學技術研究中心， 沈陽 110159)

0 引言

隨著紅外圖像的目標識別在軍事等領域發揮越來越重要的研究價值與意義[1-2]，紅外背景條件也愈來愈復雜，干擾信息以及目標特性更加多樣化等不可抗力因素的存在，導致紅外目標識別[3]面臨很大挑戰。早期，人們更加關注如何選擇與提取比較單一的特征來描述紅外圖像目標的性能，隨著環境條件的復雜多變，一種特征遠不能更有效表征目標特性來完成目標的追蹤識別。紅外目標的顏色特征對物體形態的變化和變形敏感性不高，當物體發生旋轉或尺寸的變化時可保持一定的魯棒性，但當目標環境非常相似時，背景顏色無法精確區分，導致紅外目標識別效果很差。同時為了區別背景環境中靜態干擾物體，目標的運動特征尤其重要[4]。邊緣特征對目標運動敏感度較高，即目標的細微移動非常容易引起該特征局部明顯的變化。但該特征量不易受到外界光線和其他因素變化的影響，對目標圖像的顏色特征量變換依賴性也較小。

通過以上分析，當采用較多特征融合處理可以提高其跟蹤識別精度，但隨之嚴重降低識別的實時性能。故提出將目標的顏色特征、運動特征和邊緣這三種特征融合的粒子濾波算法進行紅外目標識別與跟蹤處理。該算法主要利用了基于HSV顏色空間的直方圖提取紅外目標的顏色特征[5]；大津法(Ostu)進行閾值分割來獲取紅外目標的輪廓、中值濾波算法除噪以及運用形態學完成目標輪廓的腐蝕運算從而獲取紅外目標的運動特征；同時利用選用梯度算子對圖像目標的邊緣檢測處理，該算法主要步驟是將源彩色圖像進行灰度轉換，并利用Sobel算子，即檢測效果最好的算子進行邊緣檢測，計算每個像素的梯度幅值和方向，提取出該邊緣特征的直方圖。最后基于粒子濾波框架下對以上三種特征數據融合處理，將融和數據應用于粒子權值計算，提高紅外目標在復雜多變環境下跟蹤識別的魯棒性、準確性等。

1 紅外目標的融合特征提取

1.1 顏色特征的提取

由于顏色特征對物體形態的變化和變形并不敏感，當物體的方向、尺寸等發生變化時仍能保持一定的魯棒性，所以在紅外圖像的目標跟蹤識別中應用十分的廣泛。

圖1 HSV顏色空間

HSV顏色空間是主要以顏色的色調(hue，H)、飽和度(saturation，S)與亮度(value，V)來描述的非線性系統,可表示為圓錐模型，如圖1所示。該空間可直接對顏色分量提取，更貼合人類的視覺要求使之對色差均勻感知，減少光照帶來的影響。本實驗主要把HSV顏色空間即256×256×256，分別量化H分量為 16級，S和V化為4級即16×4×4，最后完成3個顏色分量合成向量L，且該向量為一維，取值域[0,255]。最后通過計算該目標的區域各分量及合成量直方圖[6]，如圖2所示，目標模板概率計算公式如下：

(1)

1)a是內核帶寬，K(x)是內核函數，且常用內核函數公式:

(2)

式中:1>d為距離該目標模板的區域中心點的距離；2>K(x)應用于給像素賦較小權值，且該像素滿足距離該區域中心較遠，減少邊界對該目標的影響。

3)z0(x0,y0)為該目標的區域中心，其中(x0,y0)代表其中心區域的坐標點；

4){zi(xi,yi),i=1,2,3,…,n}為目標該區域像素點的坐標；

同理，后續分幀過程中，所選取的目標位置y坐標,該向量模型計算公式：

(3)

圖2 各分量及合成量直方圖

由圖2可以看出：圖2(a)表示提取色調H分量的顏色直方圖，其中橫坐標表示bins，即H分量顏色劃分的塊數，縱坐標表示H顏色分量中對應像素點的數量。當bins取值為50時，即將分量H顏色范圍分成50塊，此時圖像中對應每塊區域內所包含像素點的總個數，由圖看出約為0.23×104即為每塊相應直方圖的高度值為0.23×104；同理，圖2(b)表示提取量度V分量的顏色直方圖；圖(c)表示提取飽和度S分量的顏色直方圖；圖2(d)表示提取3個顏色分量的合成向量直方圖。

1.2 運動特征的提取

紅外目標粒子的細微移動會導致其邊緣輪廓信息的變化，因此通過大津法(Ostu)進行紅外目標閾值分割獲取其輪廓數據，然后利用中值濾波算法降低噪聲，最后運用形態學完成目標輪廓的腐蝕運算最終獲取紅外目標的運動特征，如圖3所示。

圖3 運動特征提取算法

具體求解步驟如下：

1)利用大津算法紅外圖像的灰度圖像二值化分割[7]，獲取最大的目標像素與背景像素的類間方差。

設圖像F(x,y),T為目標與背景的分割閾值，w0為目標像素占據整張圖像像素的比例，并且目標的平均灰度值記為ε0。令背景像素占據整張紅外圖像像素的比例為w1,ε1為背景像素的平均灰度值。

整張紅外圖像的平均灰度值為ε，類間方差值為ρ。設m×n的紅外圖像，其背景條件比較昏暗，當圖像像素灰度值為n0時，滿足n0T，故經過計算最終可得類間方差值ρ：

ρ=w0w1(ε0-ε1)2

(4)

利用遍歷法計算出類間方差值ρ及最大閾值T,最后利用 Ostu算法的閾值分割來獲取二值圖像。

2)以上獲取的二值圖像因存在一些較小的孤立噪聲點，故本實驗采用幾何均值濾波算法有效的將其去除并且較好的獲取紅外圖像的邊緣輪廓信息。考慮算法過程中，鄰幀間采用時間很短，并且目標的運動幅度也較小，因此實驗選擇二階的常速模板作為目標的運動模板來分析研究目標粒子狀態的轉移，故該目標域：

(5)

紅外圖像的目標粒子狀態轉移的運動方程為：

Xg=AXg-1+Vg-1

(6)

式中：A為6×6的狀態轉移矩陣，且令

(7)

式中：Δt是每兩個幀之間時間的間隔；Vg-1代表高斯噪音。

1.3 邊緣特征的提取

本實驗主要選取梯度算子進行邊緣特征量的提取，將源紅外圖像進行灰度轉換，并利用Sobel算子進行邊緣檢測[8]，通過計算每個像素的梯度幅值和方向，提取該邊緣特征的直方圖，如圖4示。

令紅外圖像的目標模板中像素點是k(i,j),(i,j)的梯度定義如下：

(8)

分別采用水平和豎直Sobel算子對該像素點分解處理，獲取橫向和縱向的梯度值，且兩個卷核為Gx(i,j)、Gy(i,j)。使用范數對該像素點的幅值衡量近似為:

|G(x,y)|≈max(|Gx(i,j)|,|Gy(i,j)|)

(9)

該像素點的梯度方向：

(10)

設λ為目標的邊緣閾值，故此時該像素點的梯度方向從新定義為：

(11)

(12)

考慮本實驗中所建立的目標模板以及候選目標模板可以使用巴氏系數進行衡量，故令該候選目標模板的邊緣直方圖是Kr，得

(13)

所以，基于該目標的邊緣特征，每一個粒子的觀測率，即目標模板和候選目標模板的相似度為：

(14)

圖4 邊緣特征提取算法流程

2 基于特征融合的紅外目標跟蹤識別算法

2.1 選擇機制融合

本實驗主要將顏色特征、運動特征和邊緣特征這三大特征進行融合，然后采用粒子濾波框架進行紅外目標跟蹤識別處理。對于紅外目標圖像的顏色特征，主要應用基于HSV顏色空間的直方圖來建立目標的模型；然后大津法(Ostu)對圖像的閾值分割進一步獲取該紅外目標的輪廓、中值濾波算法除噪以及運用形態學完成目標輪廓的腐蝕運算從而獲取紅外目標的運動特征；同時對邊緣特征的提取主要利用Sobel算子對目標圖像的邊緣檢測，通過計算每個像素點梯度幅值、方向提取其邊緣方向直方圖。下一步實驗將基于粒子濾波框架下對以上三種特征數據融合處理，最后把融和數據應用于粒子權值計算，獲得該目標更準確、精準的位置狀態估計值[9]。考慮在實驗中需要在視頻幀中完成對紅外運動目標的跟蹤與識別，故以運動特征量作為整個特征的基礎，并選取式(6)為本實驗的粒子狀態轉移方程，基于該基礎上進一步處理顏色和邊緣特征的數據融合算法[10]。

(15)

(16)

(17)

(18)

求取最終目標位置的狀態估計，即

(19)

在實際跟蹤識別中，當外界光照不能滿足條件和目標的姿態、形狀等變化時,需要在每次跟蹤識別后，再次更新特征的權值。設第k幀目標位置狀態估計是φ，故通過該估計值提取的特征量與所建立的目標模板對比，并結合巴氏系數進一步對其度量[11]。實驗結果中：巴氏系數若小于某設置閾值，則表明所建立的模板中，該特征量并不適應目標的跟蹤識別環境，故需對建立的目標模板適當更新處理。考慮到目標的各特征量各不相同，因此在整個實驗環節依據準確跟蹤目標時及跟蹤時窗口的偏移的不同設置閾值。建立的目標模型更新公式如下：

(20)

2.2 特征融合算法流程

根據上述分析可得，在粒子濾波理論基礎上完成對顏色特征、運動特征及邊緣特征的融合處理，獲取準確性、魯棒性及識別率更高的融合算法，其中，具體算法流程圖如圖5。

圖5 特征融合算法

具體流程步驟如下：

1)初始化：人為選擇視頻幀中目標感興趣域，建立目標模板及初始狀態參數，從而確定質心位置，定義初始幀k=0。通過計算目標模板的顏色與邊緣特征的直方圖，確立目標特征模板。

5)更新：使用巴氏系數衡量候選目標特征模板和目標模板相似度，如果小于設定閾值則進行模板的更新處理。

7)判斷結果，采集第k+1張視頻幀，進入循環體。

3 實驗仿真與分析

本實驗主要是在Intel(R) Core(TM) i5-4570 CPU @ 3.2 GHz (4 CPUs)、4096 MB RAM的硬件系統上，并融合紅外圖像的測試數據庫完成的仿真結果。首先采用經典的粒子濾波算法，然后在粒子濾波的理論基礎上，進一步分析基于多特征融合的粒子濾波算法進行目標的跟蹤識別對比。

實驗：提取一組馬路背景下正在行駛的小轎車的紅外序列圖像，選取600幀，并截取其中6幀序列圖像依次排序分析研究，編號分別為135幀、248幀、376幀、389幀、432幀及548幀。視頻序列的原始紅外圖像如圖6所示，跟蹤識別效果圖如圖7、圖8所示。

圖6 原始紅外圖像

圖7 基于多特征融合的粒子濾波算法

圖8 經典粒子濾波算法

通過以上跟蹤識別效果圖分析，圖6為基于多特征融合的粒子濾波算法的效果圖，圖7為經典粒子濾波算法的效果圖，灰色矩形框表示跟蹤識別的目標體。由圖看出，在截圖第248幀前，兩種方法都可以準確跟蹤識別該目標，但隨著目標背景灰度差的降低，對比度降低，導致跟蹤識別難度加大。實驗提出的基于多特征融合的粒子濾波算法都比較實時、準確的跟蹤上目標小轎車，而經典粒子濾波算法中從第376幀看出跟蹤框不能實時的捕捉到目標體，導致跟蹤識別實驗失敗。

4 結論

在經典粒子濾波算法中，由于環境條件的復雜多變，單一紅外圖像目標的特征量遠遠不能持續有效表征目標的特性來完成目標的追蹤識別，導致最終的跟蹤失敗。同時，為更好地獲取目標跟蹤識別的效果，文中提出了把顏色、運動和邊緣特征融合的粒子濾波算法。充分利用紅外目標圖像三種特征的優勢，一定程度上避免和降低了由外界環境、物體本身姿態變化等因素對實驗目標的跟蹤識別的影響。從上述實驗結果分析可得：基于多特征融合的紅外圖像目標識別算法，即基于多特征融合的粒子濾波算法能更好的適應人類的視覺系統，更加有效地提高了紅外圖像目標在復雜多變環境下的魯棒性和識別效率、準確率等。