目標回聲分類特征的冗余性評價

張風珍，李桂娟，彭 圓，牟 林

(水下測控技術重點實驗室，遼寧 大連 116013)

目標回聲分類特征的冗余性評價

張風珍，李桂娟，彭 圓，牟 林

(水下測控技術重點實驗室，遼寧 大連 116013)

對目標回聲分類特征的冗余性進行評價與分析。對于2個特征維之間的冗余性，采用基于特征間線性相關系數作為冗余性度量，通過特征的相關系數矩陣分析了特征維之間的冗余度。此外，本文提出了基于特征協方差矩陣近零特征值的冗余性度量，據此可以進一步分析特征組內部的多維組合冗余。最后，利用以上2種冗余性度量，對5種目標回聲分類特征各自的冗余性以及它們合并后總特征的冗余性進行了評價與分析，明確了其中的冗余關系，為目標回聲分類特征的優選和組合應用提供了重要依據。

回聲特征;特征冗余;相關系數;協方差矩陣

0 引言

在水中目標的聲吶回聲中，蘊涵著目標類別屬性信息，可以通過一定的信號處理方法提取回聲分類特征，從而實現對水中目標的分類。因為水中環境復雜，目標類別眾多，目前掌握的特征難以完備表達水中目標的類別屬性，所以許多研究者紛紛通過增加水下目標的特征量以求改善識別效果。這時，各種特征如何進行組合或搭配以提高分類效果，就成了要關心的問題。

由同一信號提取的不同回聲特征，可以看作相同信號的不同映射，因此往往存在冗余性。冗余特征不但對提高分類能力沒有作用［1］，還會增加系統的復雜性，因此有必要對特征冗余性進行評價和分析并去除冗余，提高目標回聲特征的利用效果。傳統的特征選擇研究主要集中在尋找相關的特征，雖然一些最近的研究指出了特征冗余的存在和影響，但是幾乎沒有直接針對特征冗余的研究工作。為此，本文從多角度評價和分析了多種回聲特征的冗余性，為特征的優化和組合應用提供了重要依據。

文中的特征維是指多維特征的1個維度，特征組是指幾個特征維度的組合，而某種回聲特征表示根據某種算法提取的多維分類特征。

1 特征之間的冗余性

在模式分類問題中，特征冗余通常意義上可以理解為某個特征維的加入并不能提高或改善原特征組的可分性。這其中包含2層含義:一是該特征維本身不具有可分性，也就是所謂的無關特征，它對于任何特征來說均是冗余的;二是該特征維雖然具有可分性，但與其他特征維或特征組在統計上具有關聯性，屬于重復統計量，所以具有統計關聯的特征之間也是冗余的。

以上對特征冗余性的描述顯然不夠嚴格。下面是1種基于馬爾可夫毯［2－3］的特征冗余性定義:

給定特征維Fi，對于特征組Mi?F(Fi?Mi)，如果Mi滿足

則稱Mi是關于Fi的1條馬爾可夫毯。

在上述定義中，Mi不僅包含了特征維Fi與類別C之間的相關信息，也包含了特征維Fi與其他所有特征維之間的相關信息。對于特征F，如果其特征子集G中存在關于特征維Fi的馬爾可夫毯，就可以將Fi從G中去除。

對于特征F中的一個特征維Fi，如果存在F的一個特征子集Mi形成關于該特征的馬爾可夫毯，則該特征是冗余的。

由于在實際目標回聲特征分類問題中，特征的取值概率密度函數是未知的，所以上述定義中關于是否存在馬爾可夫毯的計算變得十分困難。因此，需要變換角度對特征冗余性進行度量與評價。

在特征冗余的2種情況中，無關特征可以采用基于 Relief［4］、信息熵［5］等算法的特征選擇直接去除，而對于具有一定可分性的統計關聯冗余特征來說，則需要進行專門的度量與評價，才能明確其冗余關系。所以，本文的重點是度量和評價目標回聲特征的統計關聯冗余性。

2 冗余性評價度量

從特征值統計關聯角度來度量特征的冗余，需要從2個特征維之間的冗余性和多特征維之間的冗余性2方面來考慮。

2.1 2個特征維的冗余性度量

對于2個特征維的簡單情況，可以認為它們的特征值統計關聯性越大，其冗余度越高，當完全關聯時，2個特征維之間就是完全冗余的。因此，在特征訓練樣本集的基礎上，可以采用統計學中的線性相關系數r作為特征維X和特征維Y之間冗余性的評價度量。線性相關系數公式為:

其中:X和Y為2個特征維;x—和y—為特征維均值;n為樣本總數;SX和SY為標準差:

rXY的取值范圍為［－1，1］，rXY的絕對值越大，就表示特征維X和Y之間的線性關聯度越高，即冗余度越大。

對于特征集合，可以采用如下的相關系數絕對值矩陣來分析其中2個特征維之間的冗余性:

式中:R為對稱矩陣;rij為特征維i與特征維j的相關系數絕對值。

需要注意的是，當不同特征維的量綱和取值相差很大時，數值大的特征維對相關系數的影響要大于其他特征維，這可能給冗余性評價帶來偏差。因此，特征取值在量級上最好是相當的。

2.2 特征組合的冗余性度量

特征的統計關聯冗余性不只存在于2個特征維之間，而且還可能存在于多個特征維之間，這類似于多個向量之間的線性相關，即在域F上的線性空間V中的1組有限個向量 {α1，α2，…，αn}，如果對c1，c2，…，cn∈F，當且僅當c1=c2=…=cn=0時等式

成立，則稱向量組 {α1，α2，…，αn}線性無關，否則稱為線性相關。若向量組{α1，α2，…，αn}線性相關，則其中至少有1個向量αi是其余向量αi(k≠i)的1個線性組合:

如果把特征F的每個特征維Fi視作向量αi，那么對于訓練樣本集來說，多個特征維之間可能存在如下的線性相關:

這時，特征組合 (F1，F2，…，Fn)內部就存在冗余。如果此時特征組合中并不存在2個特征維統計相關的情況，那么就應該有2個以上的特征維存在多維組合冗余。多維組合冗余比2個特征維之間的冗余性更復雜，可以采用如下的方法來度量:

對于n維特征F=(F1，F2，…，Fn)，其協方差矩陣為:

其中，σij為特征維Fi和Fj的協方差。如果協方差矩陣Σ的最小特征值接近于0，那么就有

其中，λn為協方差矩陣的最小特征值;γn為協方差矩陣關于λn的特征向量;μ為特征的均值向量。由式(9)可得

由于上式中的特征向量 γn=(γn1，γn2，…，γnn)T是非0向量，所以(F－μ)T=(F*1，F*2，…，F*n)之間是近似線性相關的。這就意味著，中心化后的原始特征之間存在多維組合冗余。

相對于2個特征維之間的線性相關系數，通過特征樣本協方差矩陣特征值可以進一步發現特征中的多維組合冗余信息。所以結合2種度量方法，可以對特征的冗余性進行更加細致的評價與分析。

3 目標回聲特征的冗余性評價

主動聲吶的目標回波中包含有目標的類別屬性信息，可以通過提取回波的特征來表征其類別。從目標回波信號的時域、頻域、聽聞域等不同角度，使用不同的信號分析和處理算法提取得到5種目標回聲分類特征，用來區分水中的艦艇目標和非艦艇目標。5種目標回聲分類特征分別記為特征1、特征2、特征3、特征4和特征5。其中每種特征均是多維特征，每種特征的樣本數都是672個。

下面首先分別對每種特征進行各自的冗余性評價，然后對5種特征合并后的組合特征進行冗余性評價。

3.1 特征各自的冗余性

1)2個特征維之間的冗余性

對于每種回聲特征，首先根據訓練樣本集計算特征的線性相關系數絕對值矩陣。可以通過觀察矩陣的直方圖來初步了解其中2個特征維冗余的情況。例如，19維的特征3的線性相關系數絕對值矩陣如圖1所示。

圖1 特征3的相關系數絕對值矩陣Fig.1 Correlation coefficient modulus matrix of feature－3

在圖1中，除了主對角元素以外，其他等于1或接近1的元素就表明所對應的特征維之間存在完全的或較強的冗余性。

對于每種特征，下面分別從特征線性相關系數絕對值矩陣的元素最大值rmax、最小值rmin、均值rmean以及大于某一閾值δ=0.9的元素個數Nδ＞0.9(主對角元素除外)來分析其冗余。5種特征的各自冗余情況如表1所示。δ＞0.9的特征組表示其中任2個之間線性相關系數絕對值均大于0.9的特征維的組合。

表1 各特征的相關系數統計信息Tab.1 Correlation coefficient statistic of each feature

表1中關于相關矩陣的統計信息給出了5種回聲分類特征各自的冗余情況以及相關系數絕對值在0.9以上的特征維組合。總體來說，特征1中沒有明顯的冗余，特征5中具有較高的冗余度，其余3種特征中存在冗余，但數量上較少。而且，特征3中的(2，13)和特征5中的(1，2)屬于完全相互冗余的特征維。

2)特征的多維組合冗余

下面使用特征協方差矩陣的特征值度量，來進一步分析5種目標回聲分類特征各自的冗余性。

5 種特征各自的協方差矩陣特征值如圖2所示，由于不同特征值的數值差別較大，圖中采用常用對數值進行表示。

圖2 各特征的協方差矩陣特征值Fig.2 Eigenvalues of each feature covariance matrix

由圖2可見，特征1的協方差矩陣有1個明顯的近0特征值，而其中又不存在兩特征維冗余，所以它存在多維組合冗余;特征2不存在多維組合冗余;特征3有2個明顯的近0特征值，而其中存在兩特征維冗余的特征組(2，6，7，13，15，16)的協方差矩陣只有1個近0特征值，所以其中還存在多維組合冗余;同樣情況，特征4也存在多維組合冗余;特征5的近0特征值顯然是由兩特征維的完全冗余引起的，所以其中不存在多維組合冗余。

以上使用2種特征冗余性度量方法，比較明確地得出了目標回聲分類特征各自的冗余性信息。

3.2 特征合并后的冗余性

將5種目標回聲分類特征合并為71維的總特征，其線性相關系數絕對值矩陣如圖3所示。

由總特征的相關矩陣可以看出，不同特征間的特征維相關系數絕對值均在0.75以下，所以使用不同算法提取到的回聲特征之間的統計關聯冗余性較小。總特征間的協方差矩陣特征值如圖4所示。

圖3 總特征的相關系數絕對值矩陣Fig.3 Correlation coefficient modulus matrix of total feature

圖4 總特征的協方差矩陣特征值Fig.4 Eigenvalues of total feature covariance matrix

由此可見，合并后的總特征存在5個協方差矩陣近0特征值，這也是5種回聲特征各自協方差矩陣近0特征值的總個數。這意味著總特征中的多維組合冗余是5種特征各自引起的，也就是說5種回聲特征之間并沒有形成新的多維組合冗余。

綜合以上分析可知，不同目標回聲分類特征之間不存在明顯的統計關聯冗余。

4 結語

從統計關聯冗余角度，本文對目標回聲分類特征各自的冗余性以及組合后的冗余性進行了度量與評價。采用2種基于特征樣本集的冗余性評價度量:特征之間的線性相關系數和特征協方差矩陣特征值。結合運用這2種方法可以對特征中的兩特征維冗余和多維組合冗余進行評價與分析。據此對5種目標回聲分類特征進行分析處理，結果顯示各種特征各自本身存在不同程度的冗余性，而它們之間的冗余性都是比較小的。

［1］吉小軍，李世中，李霆.相關分析在特征選擇中的應用［J］.測試技術學報，2001，15(1):15 －18.

JI Xiao-jun，LI Shi-zhong，LI Ting.Application of the correlation analysis in feature selection［J］.Journal of Test and Measurement Technology，2001，15(1):15 －18.

［2］BLUM A L，LANGLEY P.Selection of relevant features and examples in machine learning［J］.Artificial Intelligence，1997，245 －271.

［3］ALIFERIS C F，TSAMARDINOS I， STATNIKOV A.HITON:A novel markov blanket algorithm for optimal variable selection［R］.Nashville:Technical report DSL －03 －08，Vanderbilt University，2003.

［4］KIRA K，RENDELL L A.The feature selection problem:Traditional methods and a new algorithm［C］.Proceedings of Ninth National Conference on Artificial Intelligence，1992.

［5］李楊寰，高峰，李騰，等.特征選擇中信息熵的應用［J］.計算機工程與應用，2009，45(15):54 －57.

LI Yang-huan，GAO Feng，LI Teng，et al.Novel method for feature selection based on entropy［J］.Computer Engineering and Applications，2009，45(15):54 －57.

Redundancy evaluation of the target echo classification feature

ZHANG Feng-zhen，LI Gui-juan，PENG Yuan，MU Lin
(Key Laboratory of Science and Technology on Underwater Test and Control，Dalian 116013，China)

The redundancy evaluation and analysis of target echo classification feature set is studied.For the redundancy between two features，the linear correlation coefficient is used as the redundancy measure.And the feature redundancy can be analyzed via its correlation matrix.Moreover，the paper puts forward another redundancy measure which is based on the near-zero eigenvalue of the features covariance matrix.By this，we can further analyze the multi-feature redundancy within the feature subset.Then，the two before-mentioned redundancy measure are used to evaluate and analyze the redundancy of each five target echo classification feature set and the total features.And the redundancy situation between them is made clear，which provides important information for the selection and combination of the target echo classification feature set.

echo feature;feature redundancy;correlation coefficient;covariance matrix

TP192.4

A

1672－7649(2011)12－0085－04

10.3404/j.issn.1672－7649.2011.12.020

2011－01－17;

2011－03－08

張風珍(1984－)，男，碩士研究生，從事水聲信號處理與目標識別研究。

book=1,ebook=92