一種新的支持向量機核函數評估方法?

(空軍預警學院,湖北武漢430019)

0 引言

在雷達輻射源信號分選識別研究中,SVM以其較強的訓練和識別能力得以廣泛應用,其原理是通過核函數將樣本從不可分的低維空間映射至可分的高維空間中,實現非線性不可分問題向線性可分問題的轉化[1]。但實際應用中,SVM中核函數性能各異,且對不同的模型參數有著不同的學習感知能力,因此,對核函數性能進行有效評估已顯得尤為重要。

當前,常用的核函數有線性核(Linear)、多項式核(Poly)、高斯核(RBF)、多層感知核(Sigmoid)以及多項式核與高斯核凸組合的核函數(Pobf)。在常用的評估方法中,K-CV和LOO及其評估上界[2-5]是一種基于分類器的核函數評估方法,主要通過將特征參數分為K組,取K-1組進行訓練,剩下一組進行測試,并將此過程循環K次,最終將測試結果誤差作為SVM的評估準則,但是LOO法誤差計算過程繁雜、開銷較大,難以適用實際需求;文獻[6]提出了一種依據識別結果綜合應用多種統計量的評估方法,包括配對t測試方法、糾正重復采樣t測試方法,該類方法將統計方法運用其中,卻存在著計算量大、難以滿足實際應用需求的弊端;核排列、核極化、局部核極化[7-10]是幾種常用的獨立于分類器的核函數評估方法,這類方法更多地關注了核函數對樣本從低維空間映射到高維空間的實際分類能力,但并未考慮到核函數的泛化性能。這些方法在對核函數進行評估時,僅從某一方面對核函數進行評估,并不具備全面性。因此,后續的研究者們又提出了一種基于多指標的核函數評估方法[11],以可分離性、穩定性和復雜性為指標,并通過Mercer理論[12]來對各指標進行度量。但該指標體系中,可分離性指標是通過度量特征參數在核空間上的相似性而得出,其本質屬于特征參數相似性,并非核函數的可分離性;復雜性指標,僅考慮了核函數參數個數對分類器的影響,忽略了參數維度對核函數的影響。

為此,本文提出一種新的支持向量機核函數評估方法,首先構建了以核函數相似性、穩定性和復雜性為評估指標的評估體系,并給出各個指標的計算準則,然后利用層次分析法對不同應用場景下的評估指標賦予權值,其次利用指標評分函數對各指標予以評分,最后通過權重矩陣和指標評分矩陣對各評估對象以綜合打分的方式進行評估。將新的評估方法分別應用至雷達輻射源信號實時處理和事后處理兩種不同的應用背景中,該評估方法的有效性與可行性得以驗證。

1 評估指標的建立與計算

評估指標的構建是進行評估工作的前提與基礎。指標的選取應當在基于用戶實際應用需求的背景下,遵循目的性、科學性、系統性等原則。但是在實際評估中,由于評估指標會受到各種復雜因素的影響,難以滿足以上所有指標選取準則。因此,針對核函數性能的實際情況,從以下3個方面來構建核函數評估指標:

1)對核函數性能的直接度量即核函數對特征參數的識別率。因此,在構建理想核函數基礎上,通過計算其他核函數所確定最優超平面與理想核函數所確定最優超平面之間的位置關系來間接地對核函數的識別性能予以度量。

2)在實際偵察環境中,偵察接收機所偵獲的脈沖個數隨機性強且難以控制。因此,選用穩定性指標來量化樣本容量對核函數抗擾動能力的影響。

3)在實際應用中,核參數的個數、維數直接影響核函數性能的優劣。因此,選用復雜度特征來對核函數的復雜性進行描述。

依據上述指標,完成核函數評估指標體系的構建。支持向量機核函數評估指標體系如圖1所示。

圖1 支持向量機核函數評估指標體系

目前,常用的核函數中Poly核、Sigmoid核屬于全局性核函數,具有較強的全局泛化性;而RBF核屬于局部性核函數,具有較好的局部擬合性;Pobf核既具有較強的全局泛化能力,也同時具備較強的局部擬合能力[13]。因此,為了充分考慮各核函數的性能,選用模擬條件無信噪比環境下識別率最高的線性混合核函數為理想核函數,記為Id Kernel。

式中,λi(i=1,2,3,4)為對應核函數系數,其中

1.1 相似性

相似性是用來描述在訓練識別樣本已定條件下,各類核函數所構造的最優超平面與理想核函數所構造的最優超平面位置之間的關系。如圖2所示的支持向量機可分情形下的可分曲線示意圖中,記有一組線性可分的訓練樣本集其中a i為第i個樣本,y i∈(-1,1)為第i個樣本的分類標簽,超平面方程表示的就是能夠把兩類樣本分開的方程。最優超平面不僅能夠最大限度地將不同類樣本予以區分,還使得樣本到該平面的距離最大,即樣本間間距最大,如圖中虛線X所示。方程表示為

圖2 支持向量機可分情形下的可分曲線

若將該平面分別向樣本方向進行平移,當碰到某個樣本點時停下,得到平面X1,X2,這兩個平面稱為支持平面,落在這兩個平面上的樣本點就是支持向量。則兩條直線可用以下公式表示:

從式(2)可得出,不同核函數所確定的最優超平面的不同之處在于各平面的斜率和截距不同,因此可以用不同核函數所確定的最優超平面與理想核函數所確定的最優超平面之間的斜率和截距的相似性來確定兩類超平面之間的相似性,從而間接描述核函數之間的相似性。

記K,B是理想核函數所確定的最優超平面的斜率矩陣和截距矩陣;K p,B p是其他核函數所確定的最優超平面的斜率矩陣和截距矩陣。

其中,兩類最優超平面的斜率相似性C k和截距相似性C b分別為

因此,最優超平面的相似性定義為C=t1·C k+t2·C b,其中,t1=t2=0.5。

核函數的相似性不僅能夠有效地刻畫不同核函數所確定的最優超平面之間的位置關系,還能對核函數的分類能力予以度量。

1.2 穩定性

SVM對樣本的分類識別是一個樣本量不斷增加的學習過程,而核函數的分類性能直接決定SVM分類能力。在傳統核函數性能評估中,諸如留一法、交叉驗證法僅從訓練樣本的完整性予以度量,并未充分考慮核函數的泛化性能?；诖?本文將魯棒度作為度量核函數穩定性的評估指標。

假設分類函數f(x)在點x處能夠正確分類,若f(x)在點x處的梯度越小,則f(x)在點x處的穩定性越好,記f(x)在點x處的抗擾動能力函數為

式中,‖?f(x)‖代表了f(x)點x處值的變化率。

因此,可以將函數f(x)魯棒度R(f)定義為抗擾動能力函數R(f,x)在邊界支持向量集上的平均值,記為

式中,N表示邊界支持向量的個數,由上節支持向量的定義可得。

魯棒度有效度量了核函數對樣本容量的抗擾動能力[14]和對樣本集的正確預測能力,魯棒度越大,分類函數對預測樣本的正確預測能力越強;反之,越差。

1.3 復雜性

復雜性指標為定性指標,無法使用特定的函數對其進行量化。因此,利用漸近時間復雜性T(n)=O(f(n))作為核函數復雜性的度量指標。其中,f(n)代表算法中頻度最大的語句頻度。

根據經驗,建立指標到評分值的映射表,如表1所示。

表1 指標-評分值映射表

其中,O(1)是常數,O(n)是線性,O(ex)是冪指數,O(n2)是二次階,O(n3)是三次階。由于在RBF核函數中,其核參數數值變化對核函數的時間復雜度影響極小,因此對O(ex)的評分值為95分。

2 基于用戶需求的核函數評估模型

Step1:根據所給出的指標計算規則對指標原始值進行計算,構建評價矩陣C=(a ij)m×n,其中m為評價目標數,n為屬性指標數。

Step2:矩陣規范化。利用向量規范化z ij=對評價矩陣C予以數據預處理,得到規范化決策矩陣

Step3:確定指標的評分值。在實際應用中,相似性和穩定性指標可用凸遞增函數來描述,其評分值隨著實際數值的增加而增加,因此其評分函數如式(7)所示:

式中,bmax和bmin代表指標值b的滿意點和無效點。

Step4:確定評估指標權重W。在雷達輻射源信號識別過程中,可以分為實時處理和事后處理兩大類。實時處理時,偵察接收機所截獲的雷達信號信噪比低,且對樣本的穩定性和復雜性有較高的要求;而事后處理時,對穩定性和復雜性則要求低,識別率才是關鍵。因此,用戶可根據實際應用需求,利用層次分析法對各評估指標的權重予以確定。

Step5:對各評估對象進行綜合評分。S=W·Y,W代表各評估指標的權重,Y代表評估對象各指標的評分值。

Step6:對評估方案進行排序。根據評估方案的總體的評分值,依次對各方案進行排序。

3 應用分析

假定在雷達信號樣式和特征參數已定的情況下,選用單載頻、頻率捷變、線性調頻、非線性調頻、頻率編碼、二相編碼、四相編碼、線性調頻和二相編碼、線性調頻和四相編碼、相位編碼和頻率編碼十種信號所提取的相像系數、熵值、小波包和復雜度四種信號脈內特征參數,分別在-5,0,5,10,15和20 d B信噪比環境下對這10種信號各取100組數據進行學習,另選取150組數據進行測試,可以得到其識別測試結果,如表2所示,記識別率、識別時間、復雜度為F1,F2,F3。并由式(7)可以得到其評分矩陣,如表3所示。

表2 識別測試結果

表3 評分矩陣

理想核函數在無信噪比條件下的識別率為94%,相比于Linear核、Poly核、RBF核、Sigmoid核在無信噪比條件下識別率最高,相應的核函數系數λ=(0.3,0.49,0.2,0.01)。對Linear核、Poly核、RBF核、Sigmoid核,以及Poly核和RBF核所構成的混合核Pobf核進行評估。由于Sigmoid核在實際應用中識別率過低,不能達到正常使用需求,因此將Sigmoid核予以刪除,主要對Linear核、Poly核、RBF核、Pobf核進行評估。其中,Pobf=0.5·Poly=0.5·0.5·RBF。

由實驗可得4種核函數的相似性指數為[0.396 6,0.727 8,0.299 4,0.696 8];穩定性指數為[3 285.1,81 852,3.720 1×10-4,71 277]。

1)實驗1:基于雷達輻射源信號實時處理的核函數性能評估

實時處理時判斷矩陣如表4所示。

表4 實時處理時判斷矩陣

此時,該判斷矩陣的特征值為λ=3.007 0,一致性指標CI=0.003 5＜0.1。因此,此矩陣的一致性可以接受,并由此得到的指標權重為W=(0.158 8,0.403 0,0.438 2)。并根據表3的評分矩陣可以得出各核函數的總體的評分值:Linear核函數為49.716 3,Poly核函數為83.699 9,RBF核函數為48.084 2,Pobf核函數為78.382 2。因此選用Poly核函數。

由表1中的識別測試結果可知,在信噪比小于10 dB時,時間復雜度由小到大依次是RBF核、Linear核、Poly核和Pobf核;但RBF核和Linear核的穩定性較差。盡管Poly核在0 dB和-5 dB時時間復雜度較大,但當信噪比大于0 dB時,其時間復雜度呈現驟降趨勢,且其識別準確率也較為可觀。因此,評估結果符合實際應用需求。

2)實驗2:基于雷達輻射源信號事后處理的核函數性能評估

事后處理判斷矩陣如表5所示。

表5 事后處理時判斷矩陣

此時,該判斷矩陣的特征值為λ=3.012 6,一致性指標CI=0.006 3＜0.1。因此,此矩陣的一致性可以接受,并由此得到的指標權重為W=(0.747 1,0.133 6,0.119 4)。根據表3的評分矩陣可以得出各核函數的總體的評分值:Linear核函數為50.717 3,Poly核函數為84.893 8,RBF核函數為41.712 4,Pobf核函數為81.623 2。在實際應用中選用Poly核函數。

由表1可以看出,當信噪比大于10 dB時Poly核的識別準確總體上比Pobf核略高,且穩定性和時間復雜度較為穩定。因此,評估結果符合實際應用需求。

4 結束語

支持向量機核函數性能的優劣直接影響著雷達輻射源信號分選識別效果。因此,本文提出了一種新的支持向量機核函數性能評估方法,該方法首先構建了一套以相似性、穩定性、復雜性為評估指標的評估體系,并基于用戶實際需求利用層次分析法對各評估指標賦予不同權重,最后利用綜合打分的方式對各評估對象的性能予以評估。將該方法運用至支持向量機核函數性能評估的仿真應用中,仿真結果驗證了該評估方法的可行性和有效性,具有一定的實際應用參考價值。

[1]白璐,徐立祥,崔麗欣,等.圖核函數研究現狀與進展[J].安徽大學學報(自然科學版),2017,41(1):21-28.

[2]CHAPELLE O,VAPNIK V,BOUSQUET O,et al.Choosing Multiple Parameters for Support Vector Machines[J].Machine Learning,2002,46(1/2/3):131-159.

[3]JOACHIMS T.Estimating the Generalization Performance of a SVM Efficiently[C]∥Seventeenth International Conference on Machine Learning,Stanford,CA:Morgan Kaufmann,2000:431-438.

[4]JAAKKOLA T S,HAUSSLER D.Exploiting Generative Models in Discriminative Classifiers[C]∥Conference on Advances in Neural Information Processing Systems,Massachusetts:MIT Press,1998:487-493.

[5]宋小彬,蔣曉瑜,汪熙,等.基于改進Joachims上界的SVM泛化性能評價方法[J].電子學報,2011,39(6):1379-1383.

[6]王泳,胡包鋼.應用統計方法綜合評估核函數分類能力的研究[J].計算機學報,2008,31(6):942-952.

[7]WANG Tinghua,TIAN Shengfeng,HUANG Houkuan,et al.Learning by Local Kernel Polarization[J].Neurocomputing,2009,72(13/14/15):3077-3084.

[8]BARAM Y.Learning by Kernel Polarization[J].Neural Computation,2005,17(6):1264-1275.

[9]NGUYEN C H,HO T B.Kernel Matrix Evaluation[C]∥20th International Joint Conference on Artificial Intelligence,Hyderabad,India:[s.n.],2007:987-992.

[10]易序峰,吳堅,喻高航.基于自適應梯度算法的SVM核極化參數選擇方法[J].贛南師范學院學報,2015,36(6):23-27.

[11]JING Xu,HE Minghao,HAN Jun,et al.A Comprehensive Estimation Method for Kernel Function of Radar Signal Classifier[J].Chinese Journal of Electronics,2015,24(1):218-222.

[12]李瓊,陳利.一種改進的支持向量機文本分類方法[J].計算機技術與發展,2015,25(5):78-82.

[13]胡燕燕,李東生,張詩佳.凸組合核函數的支持向量機高光譜圖像分類[J].激光與紅外,2016,46(5):627-633.

[14]張鵬,倪世宏,謝川.支持向量機增量學習中模型參數選擇問題研究[J].空軍工程大學學報(自然科學版),2011,12(5):5-9.