基于區域矩的艦船圖像目標特征融合方法研究

劉松濤，王 杰，常 春

(1.海軍大連艦艇學院信息作戰系，遼寧大連116018;2.海軍航空工程學院訓練部，山東煙臺264001)

1 引言

近十幾年，圖像特征融合吸引了許多學者的關注，得到了一些研究和發展。當前的特征融合方法，主要包括特征選擇方法、串接特征提取方法和同時特征提取方法，其中:(1)特征選擇方法的基本思想是所有特征放在一起，然后用合適的方法進行特征選擇［1］;(2)串接特征提取方法是將不同的特征描述子串接連續應用，比如為了得到對旋轉、尺度和平移不變，且對噪聲魯棒的描述子，文獻［2］提出了結合Radon、Fourier和Mellin變換的描述子;(3)同時特征提取方法。可細分為兩類:①串行特征融合。基本思想是把多個特征向量組合成一個特征向量，然后在高維向量空間提取特征［3］;②并行特征融合。可以采取三種思路:復向量特征融合［4］，加權特征融合［5］和用某種理論(比如，Canonical Correlation Analysis，CCA［6］)直接融合多個特征向量。

本文面向艦船圖像目標識別，設計了合適的目標特征，然后引入區域矩描述子進行特征融合［7］，目的是從特征融合的角度來提高目標識別算法的性能。區域矩是圖像矩概念的推廣，不是計算原始圖像像素的矩，而是計算圖像特征的矩。基本思想是首先為每個像素分配一個特征向量，包含圖像局部描述的各向同性和各向異性特征，將圖像空間變換到特征空間。然后利用區域矩融合這些特征，主要研究了三種區域矩，包括中心矩、Hu氏不變矩和徑向矩。由于圖像特征空間映射到圖像特征矩空間是線性的。因此，可以使用歐氏范數和線性分類器。而區域協方差描述子將圖像特征映射到黎曼流形空間，距離計算比較復雜［8］。另外，與區域協方差描述子相比，區域矩描述子具有旋轉不變性，且計算積分圖像時復雜度低。理論分析和實驗驗證部分將會體現出區域矩的這些優越性。

2 區域矩描述子

2.1 基本原理

令I是灰度圖像或RGB圖像，Φ表示將I映射到d維圖像特征向量的一般算子，則:

然后，對圖像特征f求矩、中心矩、Hu氏不變矩和徑向矩，得到矩序列mn=，中心矩序列 μn=，Hu 氏不變矩 τ1，…，τ7∈Rd和徑向矩Rn。基于上述圖像特征的矩，可以得到下面的區域矩描述子:

(1)中心矩(Central Moment，CM)描述子。從圖像特征中心矩的集合{μi}，定義n階(n≥2)中心矩描述子為:

(2)Hu 氏不變矩(Hu’s Moment Invariant，HMI)描述子。從圖像特征 Hu氏不變矩的集合{ τi}，定義Hu不變矩描述子為:

其中，每個向量的長度為7d。

(3)徑向矩(Radial Moment，RM)描述子。從圖像特征徑向矩的集合 { Ri}，定義n階(n≥1)徑向矩描述子為:

其中，每個向量的長度為nd。

2.2 描述子特性

(1)維數少。所有三個描述子都是圖像的低維表示，特別是RM描述子。另外，描述子的維數隨著d的增加線性增加，而區域協方差描述子是平方增加。

(2)平移不變性。三個描述子中除了RM描述子外，都具有平移不變性。RM的變化是因為它的計算是相對于D的幾何中心，這也意味著RM描述子能夠在圖像中定位目標。

(4)旋轉不變性。如果圖像特征是各向同性的，HMI和RM具有旋轉不變性;如果部分圖像特征是各向異性的，HMI、RM不具有旋轉不變性;與圖像特征無關，CM具有旋轉不變性。

2.3 基于積分圖像的快速實現

文獻［7］將積分圖像用于計算圖像特征的矩，解決了計算效率問題。給定圖像I，通過可以計算積分圖像。然后，區域D=［x'，的面積可以用下式計算:

下面基于積分圖像給出快速計算CM，HMI和RM描述子的算法。

(1)CM描述子。為了計算yCM，需要矩的集合。令中心矩計算公式為:

(2)HMI描述子。為了計算yHMI，需要中心矩μ2和μ3，可以利用公式(6)計算得到。總之，整個計算復雜度包括積分圖像數10d，然后描述子運算量為O(d)。

(3)RM描述子。為了計算yRM，需要R1，…，Rn。令徑向矩計算公式為:

表1概括了這三種描述子的計算復雜度。通常n=2或3就可以描述目標。當n固定時，三個描述子的復雜度都是O(d)。為了和區域協方差描述子進行對比，表1也給出了區域協方差描述子(Region Covariance，RC)的計算復雜度［8］。很明顯，無論是描述子長度，積分圖像數，還是描述子運算量，區域矩描述子都占有優勢。

表1 不同描述子的計算復雜度Tab.1 Computational complexity of different descriptors

3 仿真實驗

特征融合和目標識別實驗用兩組圖像進行，第一組是艦船目標紅外圖像，第二組是艦船目標可見光圖像。每類均5張，前3張作為訓練集，后2張作為測試集，如圖1和圖2所示。

仿真中結合各向同性特征ΦA和各向異性特征ΦI，通過可見光和紅外艦船圖像的識別實驗來分析3階CM描述子、HMI描述子，以及2階RM描述子的特征描述能力。

對可見光圖像，各向同性特征為:

其中，前四個特征是RGB顏色通道和圖像灰度梯度的幅度，后三個特征是形狀參數，kρ和kθ是主要曲率k1和k2的極坐標表示，s是形狀索引。這三個特征可以通過文獻［9］的快速計算程序得到，公式如下:

各向異性特征為:

其中，Ix，Iy，Ixx和Iyy是圖像灰度的一階和二階偏微分的幅度。

圖1 艦船目標紅外圖像Fig.1 ship target infrared images

圖2 艦船目標可見光圖像Fig.2 ship target visible images

類似地，對紅外圖像，各向同性特征為:

各向異性特征為:

分類識別時采用KNN分類方法，k=4，距離測度為歐式距離。

3.1 基于特征融合的可見光圖像分類識別實驗

表2顯示采用不同特征組(Φ= ［R，G，B］T，

cHMI描述子的性能。由于Φc是各向同性的，所以HMI是旋轉不變的。Φg是各向異性的，所以HMI對旋轉比較敏感。當Φc和Φg結合形成ΦA時，識別性能折衷。由于Φs是各向同性的，HMI也是旋轉不變的，而且由于含有形狀信息，識別性能超過Φc。當Φc和Φs結合形成ΦI時，識別性能最好。這表明Φs特征比Φg特征更重要。總的來說，ΦI=，特征組的識別性能最好。

表2 不同特征HMI融合的可見光圖像分類結果Tab.2 Classification results of visible images based on different features’fusion using HMI

I和RM描述子結合，識別結果如表3所示。比較相同特征ΦI，不同特征融合方法HMI、CM和RM的融合識別結果，可以發現，三個特征矩融合方法對可見光圖像的識別性能都非常好。最后，采用相同的特征ΦI和分類器，區域協方差的融合識別性能如表4所示。實驗中，對每個圖像，不管訓練樣本，還是測試樣本，都采樣s=50個隨機協方差，對可見光圖像的d=7維特征，協方差矩陣是7×7。由于窗口位置和窗口大小的隨機性，可見光圖像的分類識別作了10次實驗，然后取平均值來代表協方差描述子的分類性能。很明顯，區域矩特征融合優于區域協方差的特征融合，能夠獲得更好的目標識別效果。

表3 相同特征時CM和RM融合的可見光圖像分類結果Tab.3 Classification results of visible images based on the same features’fusion using CM and RM

表4 相同特征時區域協方差融合的可見光圖像分類結果Tab.4 Classification results of visible images based on the same features’fusion using region covariance

3.2 基于特征融合的紅外圖像分類識別實驗

表5顯示采用不同特征組(Φc=［I］T，Φg=子的性能。顯然，ΦI=［Φc

T，Φs

T］T特征組的識別性能最好。

表5 不同特征HMI融合的紅外圖像分類結果Tab.5 Classification results of infrared images based on different features’fusion using HMI

I述子結合，識別結果如表6所示。比較相同特征ΦI，不同特征融合方法HMI、CM和RM的融合識別結果，可以發現，三個特征矩融合方法對紅外圖像的識別性能都比較好。但由于特征的選擇問題，識別性能稍差于可見光圖像識別，下一步可考慮更加適合于紅外圖像的特征，進一步提高特征融合的識別性能。最后，采用相同的特征ΦI和分類器，區域協方差特征融合的紅外圖像識別性能如表7所示，實驗過程類似于可見光圖像識別實驗，再一次驗證了區域矩特征融合優于區域協方差的特征融合能力。

表6 相同特征時CM和RM融合的紅外圖像分類結果Tab.6 Classification results of infrared images based on the same features’fusion using CM and RM

表7 相同特征時區域協方差融合的紅外圖像分類結果Tab.7 Classification results of infrared images based on the same features’fusion using region covariance

總之，從理論上，在區域矩和區域協方差之間比較，區域矩占有優勢。實驗結果也證明，無論對可見光圖像，還是紅外圖像，區域矩都具有比較好的特征融合能力。

4 結束語

圖像中的不同特征總是反映目標的不同特性，對它們的優化組合，既保留了參與融合的多特征的有效鑒別信息，又在一定程度上消除了由于主客觀因素帶來的冗余信息，對提高所獲取目標特征的準確度無疑具有重要意義。因此，為了提高特征對目標的全面描述能力，本文將基于區域矩的特征融合方法用于艦船目標識別。該方法的主要特點為:(a)通過矩和圖像特征的精心設計，描述子具有尺度和旋轉不變性;(b)圖像特征的線性映射可以使用歐氏范數和線性分類器;(c)區域矩的計算與圖像特征維數為線性關系，效率高。仿真實驗表明，在給定特征集的基礎上，HMI、CM和RM這三種矩融合方法的特征融合能力都較強，特別是針對艦船可見光圖像識別，識別率高達100%。應該說，由于特征選擇問題，紅外圖像識別性能稍差于可見光圖像識別，若考慮更加適合于紅外圖像的特征集，特征融合的識別性能必將更好。注意到，區域矩融合方法還沒有隨機初始化問題，所以實用性和有效性高于區域協方差融合方法。

［1］ Y Shi，T Zhang.Feature analysis:support vector machines approaches［C］//Proceedings of SPIE Conference on Image Extraction， Segmentation， and Recognition， 2001:245－251.

［2］ Thai V Hoang，Salvatore Tabbone.Invariant pattern recognition using the RFM descriptor［J］.Pattern Recognition，2012，45(1):271 －284.

［3］ C J Liu，H Wechsler.A shape and texture － based enhanced Fisher classifier for face recognition［J］.IEEE Trans.Image Process.，2001，10(4):598 －608.

［4］ J Yang，J Y Yang，D Zhang，et al.Feature fusion:parallel strategy vs.serial strategy［J］.Pattern Recognition，2003，36(6):1369－1381.

［5］ A N Rajagopalan，K Srinivasa Rao，Y Anoop Kumar.Face recognition using multiple facial features［J］.Pattern Recognition Letters，2007，28(3):335 －341.

［6］ Quansen Suna，Shenggen Zenga，Yan Liua.A new method of feature fusion and its application in image recognition［J］.Pattern Recognition，2005，38(12):2437 －2448.

［7］ Gianfranco Doretto，Yi Yao.Region moments:fast invariant descriptors for detecting small image structures［C］//Proceedings of CVPR，2010:3019 －3026.

［8］ Oncel Tuzel，Fatih Porikli，Peter Meer.Region covariance:a fast descriptor for detection and classification［C］//Proceedings of ECCV，2006:589－600.

［9］ Stokely E M，SJ Wu.Surface parameterization and curvature measurement of arbitrary 3－d objects:five practical methods［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，1992，14(8):833 －840.