摘 要:針對支持向量機的核函數選擇問題,在保形變換方法的基礎上,分析了確定數據分布特征的重要性,給出了判斷數據呈高斯分布的方法。利用支持向量機的高斯核函數,提出一種基于改進的高斯核函數雷達目標高分辨距離像的研究方法。該方法對SVM的高斯核函數進行改進,并進行核函數選擇。通過改進的高斯核函數與多項式核函數進行比較,在Matlab環境下采用兩種方法對高分辨距離像進行仿真,仿真方法驗證并改進了高斯核函數的有效性。
關鍵詞:高分辨距離像; 支持向量機; 高斯核函數; 廣義高斯分布
中圖分類號:TN957.52文獻標識碼:A
文章編號:1004-373X(2010)15-0001-04
Target Recognition Algorithm of Radar High Resolution Range Profile
Based on Improved Gaussian Kernel Function
ZHAO Nai-jie, LI Hui,JIN Bao-long
(Department of Electronic Engineering, Northwestern Polytechnical University, Xi’an 710129, China)
Abstract: Aiming at kernel function selection of support vector machine(SVM), the method to determine Gaussian distribution of the data is introduced by analyzing feature of data distribution based on the proposed conformal transformation method. A target recognition algorithm of radar high resolution range profile based on improved Gaussian kernel function is proposed by using Gaussian kernel function of support vector machine. The method improved SVM Gaussian kernel function and carried out the kernel function selection. Through comparing the improved Gaussian kernel function with the polynomial kernel functions, two methods are used to simulate high resolution range profile in the Matlab environment, the simulation method validate the effectiveness of Gaussian kernel function.
Keywords: high range resolution profile;SVM;Gaussian kernel function; generalized Gaussian distribution
0 引 言
傳統模式識別方法都是在樣本數目足夠多的前提下進行研究的,所提出的各種方法只有在樣本數趨于無窮大時其性能才能有理論上的保證。然而在許多實際應用中樣本數目通常是有限的,如何在有限樣本情況下使得到的分類器能夠具有較好的分類性能和泛化性能,支持向量機(Support Vector Machine,SVM)的出現為解決這一問題提供了新思路。
SVM是20世紀90年代由Vapnik等人提出的一種新的學習機[1],它擁有較好的推廣能力和非線性處理能力,尤其在處理高維數據時,可有效地解決“維數災難”問題,在人臉檢測、網頁分類、數據融合、函數估計等領域得到了廣泛應用[2]。由于SVM 是一種基于核的機器學習方法,核函數決定了學習機的復雜度,所以核及相關參數選擇得好壞直接影響到了SVM 的性能。對于一個選定的核函數來講,其參數選擇方法目前已有一些研究[3-6],其中交叉驗證法(Cross-Validation)或留一法(Leave-One-Out)被認為是較為準確的方法[7],但其計算復雜度較高。Amari和Wu等基于由核函數導出的黎曼幾何結構[8],提出了一種保形變換的方法,并將這一方法運用在高斯核函數上,取得了較好的實驗結果。但是高斯核函數期望風險較高,并且要求的支持向量個數較多,所以在此提出一種改進的高斯核函數方法。
本文對雷達目標的高分辨一維距離像(High Resolution Range Profile,HRRP)目標識別算法做了深入研究。通常用于目標識別的樣本數目很有限,因此目標高分辨距離像識別大多數情況下是一典型的高維數、小樣本問題。
1 支持向量機
支持向量機算法是在訓練樣本的特征空間求取能把兩類樣本沒有錯誤分開的最大間隔超平面,在數學上表示為一個凸二次規劃的問題。也可以說算法求解的主要內容是通過求解二次規劃(QP)問題,這個優化問題的求解是支持向量機算法的核心,可以說支持向量機的算法就得到了實現[9-10]。
(1) 最優超平面 SVM方法是根據線性可分情況下的最優分類面(Optimal Hyper Plane)提出的。設線性可分樣本集為:
這個平面將兩類樣本沒有錯誤地分開,并且使得離分類面最近的樣本到分類面的距離最大,即分類間隔最大,等價于使‖w‖2最小,w為分類面的法向量。然而要求分類面對所有樣本的正確分類,約束條件為:
yi(w#8226;xi+b)-1≥0, i=1,2,…,n
(3)
因此,滿足上述條件且使得‖w‖2最小的分類面就是最優分類面。兩類樣本中離分類面最近的點且平行于最優分類面的超平面H1,H2上的訓練樣本就是式(3)中使等號成立的那些樣本叫做支持向量。最優分類面可以表示為如下約束的優化問題,即在式(3)的約束下求函數為:
φ(w)=12‖w‖2=12(w#8226;w)
(4)
的最小值。為此,可以定義如下的拉格朗日函數:
L(w,b,a)=12‖w‖2-∑ni=1ai[yi(w#8226;x+b)-1]
(5)
式中:ai>0為拉格朗日系數。
把原問題轉化為如下較簡單的對偶問題:
max Q(a)=∑ni=1ai-12∑ni=1,j=1aiajyiyj(xi,xj)
(6)
式中:∑ni=1yiai=0,ai≥0,i=1,2,…,n。
(2) 非線性SVM上面討論的是最優和廣義線性分類函數,要解決一個特征空間中的最優線性分類問題,只需知道這個空間中的內積運算即可。按照廣義線性判別函數的思路,要解決一個非線性問題,可以設法將它通過非線性變換轉換為另一個空間的線性問題,在這個變換空間求最優或最廣義分類面。考慮Mercer條件:對于任意的對稱函數K(x,x′),它是某個特征空間內積運算的充分必要條件,對于任意的φ(x)恒不為0,且∫φ2(x)dx<∞,有K(x,y)φ(x)φ(y)dxdy>0,顯然這一條件不難滿足[11]。如果用內積K(x,y)代替最優分類面的點積,就相當于把原特征空間變換到了某一新的特征空間,此時的支持向量機為:
max Q(a)=∑ni=1ai-12∑ni=1,j=1aiajyiyjK(xi,xj)
(7)
式中:∑ni=1yiai=0,C≥ai≥0,i=1,2,…,n;C為某個指定的常數。它起控制錯分樣本懲罰程度的作用,實現在錯分樣本的比例與算法復雜度之間的折衷。
相應的判別函數也應變為:
f(x)=sgn[∑ni=1a*iyiK(xi,x)+b*]
(8)
式中:a*i為最優解;b*為分類閾值,它由一個支持向量得到,也可通過兩類中任意一對支持向量取中值。
對于給定的訓練數據集,其數據分布的幾何特征可能是預先已知的,常見的有高斯分布、圓形分布、圓環分布、柱狀分布等。對于這類有規律的數據集,可以構造相應的核函數來訓練SVM,以提高SVM的泛化能力。然而更多的情況是預先不知道訓練數據集的分布特征,因此希望構造一些算法,給出數據分布的一個近似,把它作為SVM核函數及參數選擇的一項重要參考指標,從而提高SVM的泛化能力。對于那些確實無法判斷其幾何分布的訓練數據集,在SVM訓練過程中,選用常用的高斯核函數或多項式核函數。
雷達目標的高分辨一維距離像是目標多散射中心在雷達徑向距離上的一維分布圖,反映了這些散射中心的散射強度和相對位置等目標特征信息。在特定姿態角下,目標的一維距離像可以由下面的離散數學式來表示:
x(t)=∑Pp=1∑M2m=-M1xpmδ(-m)(t-tp)
(9)
式中:p為目標上散射中心的個數;M1,M2為各散射中心的微分(隨頻率增大)或積分(隨頻率減小)的階數;xpm為各散射中心的幅度;tp為各散射中心的時延。
雷達目標的高分辨一維距離像反映出目標散射中心的強度和相對位置等目標特征信息,為物理結構特征相似的復雜目標分類提供了必要的信息來源。
2 判斷數據呈高斯分布的方法
廣義高斯分布(GGD)是一類以Gaussian分布、Laplacian分布為特例,以δ函數和均勻分布為極限形式的對稱分布。它在許多領域都有廣泛的應用。
GGD的概率密度函數為:
f(x;μ,α,β)=α2βΓ(1/2)exp-x-μαβ,-∞ (10) 式中:μ,α>0,β分別為均值、形狀參數和尺度參數;Γ(z)=∫+∞0e-ttz-1dt為Γ函數;β=σΓ(1/α)/Γ(3/α);σ為標準差。 對于一組給定的訓練樣本S={(x1,y1),(x2,y2),…,(xl,yl)},本文提出一種確定樣本是否為高斯分布的方法,其主要步驟如下: (1) 在平面內,取m=k,將實軸分為k+1個區間。 (2) 考慮α,σ為未知參數,則統計量為V′=∑m+1i=1(vi-l′i)2l′i^。其中vi表示隨機數樣本落入第i段的個數(i=1,2,…,m+1); p′i表示隨機數落入第i段的概率;l表示隨機數樣本總數。 (3) 先用極大似然法得到α,σ的估計,,由此得到p′i的估計′i,然后計算統計量V′。 (4) 若近似服從m-2的χ2分布,則該訓練樣本服從GGD;反之,待測試數據不服從GGD。 通過分析給定訓練樣本集,可得到數據的一個近似分布,本文將它作為核函數及參數選擇的一項重要參考指標,以提高SVM的泛化能力。如果訓練樣本集在輸入空間呈高斯分布,則相應的SVM選擇高斯核函數,其中的參數α可在上述判定算法中獲得。 3 改進的高斯核函數進行高分辨距離像的研究 核函數是SVM 理論中尚未完全解決的問題,多數實驗顯示多項式核、高斯核和 sigmoid 核有相近的分類性能。由于高斯核函數 K(x,xi)=exp(-x-xi/σ2) 具有較好的局域性,便于將算法擴展到對多目標分類的場合,因此文中選用高斯核函數并對其進行改進。支持向量機期望風險的上界: E[Pr(error)]≤E(Ni)/(Nj-1) (11) 式中:Ni為支持向量的個數;Nj為訓練矢量的個數。從式(11)可以看出,減少支持向量個數,可以減少期望風險;提高SVM的推廣能力,提高目標識別的性能。根據這個原理對高斯核函數進行了改進: K(x,xi)=Dexp(-x-xi/σ2), D>1 (12) 令ε2=D,將式(12)代入式(7)得: w(a)=∑li,j=1ai-1/2ε2∑aiajyiyjexp(-‖x-xi‖/σ2) =∑li,j=1ai-1/2∑εaiyiεajyjexp(-‖x-xi‖/σ2) (13) 令εai=βi,εaj=βj,式(13)將轉化為: w(a)=∑li,j=1ai-1/2∑βiyiβjyjexp(-‖x-xi‖/σ2) =∑li,j=1ai-1/2∑βiβjyiyjK(xi,xj) (14) 這樣就增大式(7)中二次項系數的絕對值,從而減少了最優值a的值及Ni的個數,提高了識別性能。 4 仿真分析 使用本文提出的算法對同一組高分辨距離像進行幾何形狀檢測。數據都服從GGD分布,且在形狀測試中得到形狀參數σ=0.7;在數據實驗中,隨機選取其中100個作為訓練樣本,其他100個作為測試樣本;分別采用高斯核函數和多項式核函數對樣本進行實驗,在Matlab環境下,進行了20次實驗。 改進高斯核函數的實驗分析結果如圖1,圖2所示,它們分別指不同a取值下的分類精度、識別時間。它們有共同的規律:在a較小時,變化趨勢比較大;隨著a的增大,兩個指標的變化趨勢都變緩慢。分類精度和識別時間隨著a的增大基本趨向一個穩定值,特別是分類精度如表1所示,在a=5時達到最大值。在表2中可以看出,隨著獨立向量個數的增多,對高分辨距離像的平均識別率呈增大趨勢。這也就意味著在分類精度達到最大值的情況下,可以增加獨立向量的個數來提高平均識別率。 在圖3中,前100個樣本作為訓練數據,后100個樣本作為測試數據,對高分辨距離像分別采用多項式核函數和改進高斯核函數進行分類。 圖3 對高分辨距離像采用兩種核函數進行分類 從圖3中可以看出,對于服從GGD分布的數據集,使用高斯核函數且參數取0.7時的回歸效果明顯優于多項式核函數情況。這些試驗結果也同時表明基于SVM的高分辨率雷達目標識別的識別性能相當不錯,是雷達目標識別的一種重要的研究方向。 5 結 語 本文重點分析了樣本函數呈高斯分布的情況下,提出了改進的高斯核函數方法,并在雷達高分辨距離像目標識別中做了深入研究,采用改進高斯核函數和多項式核函數兩種核函數進行計算機仿真。試驗結果證明,改進的高斯核與傳統的高斯核相比,具有更低的方位角敏感性、訓練數據更低的敏感性,從而驗證了本文算法的有效性和合理性。 參 考 文 獻 [1]VAPNIK V. The essence of computational learning theory[M].張學工,譯.北京:清華大學出版社,2000. [2]BURGES J C. A tutorial on support vector machines for pattern recognition[M]. Kluwer Academic Publishers,Boston,1999. [3]WANG W J,XU Z B,LU W Z,et al. Determination of the spread parameter in the Gaussian kernel for classification and regression[J]. Neurocomputing,2003,55(3-4): 643-663. [4]DUAN K B,KEETHI S,POO A N. Evaluation of simple performance measure for tuning SVM hyperparameters[J]. Neurocomputing,2003(51): 41-59. [5]CHERKASSKY V,MA Y Q. Practical selection of SVM parameters and noise estimation for SVM regression[J]. Neural Networks,2004,17: 113-126. [6]GOLDA C,SOLLICHB P. Modle selection for support vector machine classification[J]. Neurocomputing,2003(55): 221-249. [7]GAVIN C,NICOLA T. Efficient leave-one-out cross-validtion of kernel fisher discriminant classifiers[J]. Pattern Recognition,2003(11): 2585-2592. [8]AMARIS S,WU S. Improving support vector machine classifiers by modifying kernel functions[J].Neural Networks,1999(12): 783-789. [9]CRISTIANINI N, SHAWE-TAYLOR J. An introduction to support vector machines and other kernel-based learning methods[M]. Cambridge:Cambridge University Press, 2000. [10]BURGES C J C. A tutorial on support vector machines for pattern recognition[J]. Data Mining and Knowledge Discovery, 1998,2(2): 121-167. [11]邊肇祺,張學工.模式識別[M].北京:清華大學出版社,1988. 作者簡介: 趙乃杰 男,1982年出生,山東人,研究生。研究方向為雷達數據處理等領域。 李 輝 男,1968年出生,陜西人,教授,博士生導師。研究方向為雷達數據處理、通信信號處理等領域。 金寶龍 男,1986年出生,吉林人,碩士生。研究方向為雷達數據處理等領域。