基于支持向量機改進算法的船舶類型識別研究

戴衛國，李海濤，顏恒平，劉啟軍

?

基于支持向量機改進算法的船舶類型識別研究

戴衛國1，李海濤1，顏恒平2，劉啟軍1

(1. 海軍潛艇學院，山東青島266042；2. 海鷹企業集團有限責任公司，江蘇無錫214063)

利用船舶目標輻射噪聲DEMON譜特征，采用改進的支持向量機算法，實現了對船舶目標的分類識別研究。針對支持向量機算法對噪聲比較敏感和最優分類面求解時約束較多不利于支持向量機最優分類面尋優的問題，在保持支持向量稀疏性和應用徑向基核函數的條件下，對支持向量機算法在松弛變量和決策函數兩方面進行了改進，提出了基于徑向基核函數的齊次決策二階損失函數支持向量機改進算法，并應用于利用船舶目標輻射噪聲DEMON譜進行船舶目標類型分類識別實驗。理論分析、數據仿真與實驗結果表明，該改進算法實現了在二次規劃中的較少約束條件下最優分類面求解，具有模型參數尋優空間廣闊、總體分類性能優的特點，其分類性能優于原支持向量機算法，是一種適合于船舶輻射噪聲DENOM分類識別的有效的支持向量機改進算法。

船舶目標分類；支持向量機；齊次決策二階損失函數

0 引言

船舶輻射噪聲的復雜性使得很難對其進行分類與識別，船舶輻射噪聲的特征提取和分類方法是人們一直研究探索的技術難題。船舶輻射噪聲的DEMON(Detection of Envelope Modulation On Noise)譜反映了航行船舶噪聲的節奏信息和船舶本身一些固有的物理不變特征，被廣泛應用于被動船舶目標識別[1]；支持向量機(Support Vector Machine，SVM)是一種基于統計學習理論的模式識別方法，采用結構風險最小化原則代替了傳統機器學習方法中的經驗風險最小化原則，在解決有限樣本、非線性及高維模式識別問題中表現出許多特有的優勢，與其他學習機相比具有良好的推廣能力和很強的普適性[2-5]。

本文利用船舶目標輻射噪聲DEMON譜特征，采用改進的支持向量機算法，進行了對船舶目標的分類識別研究。針對支持向量機算法[2-5]對噪聲比較敏感和最優分類面求解時約束太多不利于求解的問題，根據支持向量機在不等式約束條件下可以保持支持向量解的稀疏性特性，在應用徑向基等平移不變核函數的情況下，對支持向量機的松弛變量和決策函數兩方面進行了改進，從而提出了基于徑向基核函數的齊次決策二階損失函數支持向量機的分類算法(簡稱支持向量機改進算法)，實現了支持向量機求解中二次規劃中的最小約束條件下最優分類面求解，研究了其MATLAB實現方法，并采用擴展的XOR(異或)仿真數據、雙螺旋線仿真數據、船舶輻射噪聲數據進行了分類識別實驗，表明該算法具有分類面劃分合理、模型參數尋優空間廣闊、總體分類性能優的特性。

1 支持向量機改進算法

1.1 支持向量機原理

支持向量機從線性可分情況下的最優分類面發展而來，最優分類面是要求分類面不但能將兩類正確分開，而且使分類間隔最大。維空間中線性判別函數的一般形式為：，設分類面的方程為，為輸入樣本，為訓練樣本維數，為輸出類別，使得對線性可分的樣本集，滿足：,[1]。

在線性不可分和在非線性情況下通過在求解二次規劃的約束條件中增加一個非負的松弛項，以及引入核函數后，支持向量機的分類問題轉化為求為決策變量的二次規劃原始問題[6,7]：

該問題可通過求解其拉格朗日對偶問題得其最優解，其對偶問題為

(3)

1.2 支持向量機改進算法

支持向量的稀疏性是支持向量機的主要特性之一。在保持支持向量稀疏特性的前提下，為解決支持向量機算法對噪聲比較敏感的問題，并尋求較少約束條件下的最優分類面尋優，對支持向量機在以下兩個方面進行了改進：一是將松弛變量采用的一階函數形式改為二階函數形式，即在目標函數中采用來代替，此改進可以去掉所求解的二次型規劃的對偶問題中關于不等式約束中的上限約束條件，并鈍化支持向量機算法對噪聲數據的敏感性；二是根據徑向基核函數具備的平移不變性，在基于徑向基核函數的支持向量機算法中，可對支持向量機決策函數進行齊次處理去掉偏置，將其決策函數修改為，從而在求解二次規劃問題的對偶問題時，則可減少關于的等式約束條件，僅余下不等式約束中的下界約束。通過此兩處改進，構建了基于徑向基核函數的齊次決策二階損失函數支持向量機的改進算法，從而實現二次規劃中的最小約束條件下最優分類面求解。

此時其原始問題的目標函數和約束條件為

此目標函數為凸函數，不等式約束條件為線性函數，強對偶條件成立[8]。求解式(4)的對偶規劃，引入拉格朗日函數

(5)

(7)

所以原始問題的對偶問題可以表示為

(9)

1.3 支持向量機改進算法的MATLAB實現

關于在線性約束條件下的二次規劃問題，在MATLAB中專門提供了用于求解二次規劃問題的quadprog函數，可直接用于求解中等規模的支持向量機問題。相對于大規模的支持向量機求解的選塊算法、分解算法、序列最小最優化算法而言，quadprog函數直接求解方法意義明確、中間變量清楚、過程可控，且運算速度可行，是一種較好的學習及調試手段。

quadprog函數求解的最優化問題形式為[9]：

對于支持向量機和支持向量機改進算法，應用quadprog函數求解的對比如表1所示。

表1 應用quadprog函數求解支持向量機實現方法對比

2 仿真數據分類實驗分析

為了驗證該支持向量機改進算法的實際效果，本文利用擴展的XOR仿真數據和雙螺旋線仿真數據進行實驗分析。

2.1 擴展的XOR仿真數據分析

平面上相間排列的25點的兩類點集，可以看作是擴展的XOR數據，如圖1所示。

(1) 選取懲罰因子=10，徑向基核函數參數，對該25點的兩類點集進行支持向量機及其改進算法的訓練和測試分類實驗，其在原始空間及改進的分類曲線分布如圖2所示。圖2中綠色圓點為正類目標，紅色的十字為負類目標，黑色實線為最優分類曲線(二維情況下，分類曲面退化為分類曲線)。

(a) SVM的分類曲線

(b) 改進SVM的分類曲線

圖2 SVM的分類曲線及改進SVM的分類曲線(=10和=0.2)

Fig.2 Classification curves of SVM and the improved SVM for=10 and=0.2

由對比可見，由于減少了約束條件，故獲取了更寬的優化空間，在此模型參數下，改進算法的分類曲線對樣本空間劃分合理，分類均衡。

(2) 選取懲罰因子=10，徑向基核函數參數，對該25點的兩類點集進行支持向量機及其改進算法的訓練和測試分類實驗，其在原始空間及改進的分類曲線分布如圖3所示。

(a) SVM的分類曲線

(b) 改進SVM的分類曲線

圖3 SVM的分類曲線及改進SVM的分類曲線(=10和=0.55)

Fig.3 Classification curves of SVM and the improved SVM for=10 and=0.55

由對比可見，此時改進算法可以對所有目標全部正確分類而原算法不能，因此改進算法獲取了更為廣闊的核函數模型尋優空間，更有利于核函數模型的參數尋優。

2.2 雙螺旋線仿真數據分析

雙螺旋線分類一直是模式識別領域公認的一個難題，它也因其難度而經常被用作檢驗模式識別算法性能的“試金石”[3]。該問題的分類要求是把-坐標平面上的兩條不同的螺旋線的點正確分開。

雙螺旋線的平面坐標形式用如下的參數方程來表示：

采用網格搜索法，懲罰因子取值范圍為1至100，步進為1；徑向基核函數的取值為0.01至1，步進為0.01，在100100的網格范圍內，對雙螺旋線數據樣本進行訓練和測試。

采用支持向量機算法，訓練樣本數據的錯誤率隨參數和的分布如圖4所示。

采用改進的支持向量機算法訓練樣本數據的錯誤率隨參數和的分布如圖5所示。

從訓練樣本的訓練錯誤率隨模型參數的變化來看，改進支持向量機在訓練樣本中，具備較寬的低錯誤率訓練空間。

此時，采用支持向量機算法，測試樣本數據的錯誤率隨參數和的分布如圖6所示。

采用改進算法，測試樣本數據的錯誤率隨參數和的分布如圖7所示。

從測試樣本數據的測試錯誤率隨模型參數的變化來看，改進支持向量機具備較寬的低錯誤率測試空間。

從仿真數據綜合來看，改進的支持向量機算法性能較優。

圖6 SVM算法中測試數據錯誤率分布

3 海上實測船舶噪聲數據實驗及分析

3. 1 實驗準備

船舶螺旋槳噪聲具有寬帶調制現象，調制周期對應于螺旋槳軸轉動周期或螺旋槳葉片切割海水的周期。軸轉動頻率和葉片頻率較低，由于被動聲吶孔徑有限，這些較低的頻率分量一般很難從接收的輻射噪聲信號中直接獲得，但通過對連續譜信號的解調處理可以提取這些低頻調制分量。調制特征的合理使用可以較好地改善目標分類識別的泛化能力和穩健性。

通過對船舶目標輻射噪聲進行DEMON譜分析，提取DEMON譜軸頻的1至15階諧波線譜的幅度、線譜寬度，軸頻的頻率穩定度、幅度穩定度，諧波簇信噪比共33維特征，進行歸一化處理后作為槳葉數識別的特征。

進行實驗的船舶目標輻射噪聲樣本全部為海上綜合聲吶聽測波束實際錄取的船舶目標噪聲，試驗樣本的選取條件為：(1) 在綜合聲吶對噪聲目標探測和穩定跟蹤后輸出得到的遠場單目標噪聲信號；(2) 船舶目標噪聲DEMON譜中存在可見的調制線譜；(3) 船舶目標的類型特征明確。通過樣本選取共獲取了3725個船舶目標噪聲樣本，按目標類型進行分類，其中A類樣本678個、B類樣本1749個、C類樣本590個、D類樣本708個。

3.2 識別特征提取過程

對船舶輻射噪聲依次進行帶通濾波、檢波、低通濾波、降采樣、FFT變換得到DEMON譜[1]，如圖8所示，橫坐標為頻率，縱坐標為幅度。DEMON譜中一般存在很多頻率成倍數關系的諧波線譜，這組諧波中的第一根線譜頻率對應螺旋槳轉速。根據諧波線譜的幅度關系、寬度特征、穩定度、信噪比等特征，可以判斷目標的類型，圖8為典型的D類目標DEMON譜圖。

本文提取的目標類型識別特征是由以下5部分特征組成的33維特征矢量：

(1) 軸頻1至15階諧波線譜的歸一化幅度大小；

(2) 軸頻1至15階諧波線譜的歸一化寬度大小；

(3) 軸頻的頻率穩定性，本文以30 s數據中軸頻頻率變化的方差作為頻率穩定性特征；

(4) 軸頻的幅度穩定性，本文以30 s數據中軸頻幅度變化的方差作為幅度穩定性特征；

(5) 諧波簇信噪比，本文以15階諧波線譜相對背景干擾線譜的突出程度作為信噪比特征。

據此對圖8所示DEMON譜進行分析，得到33維識別特征矢量如圖9所示。

3.3 船舶輻射噪聲分類實驗及分析

將選取的目標噪聲按類別隨機分為對等的兩部分，一部分用來訓練，另一部分用來測試，對支持向量機及其改進算法，以及神經網絡算法進行對比。

支持向量機模型選取采用了網格搜索法，懲罰因子取值為，徑向基核函數的取值為，，在2020的網格范圍內，分別采用“一對一”、“一對余”[10-12]的支持向量機多分類方法，分別進行目標類型識別的分類實驗。

根據總樣本的錯誤識別率最小原則[1]，分別獲取支持向量機算法模型的最優參數，以此為訓練參數，對目標樣本進行10次的隨機分類實驗，測試與訓練樣本各占50%。

同時對同一批數據，與應用最為廣泛的BP神經網絡學習算法[13]進行了對比。BP算法采用隨機抽取50%樣本訓練，50%進行測試，通過綜合考慮和模型尋優后，采用輸入層為33個神經元、中間層為12個神經元、輸出層為5個神經元的三層BP神經網絡進行了10次分類實驗

最終統計獲得在“一對一”、“一對余”的多分類方法下的支持向量機及其改進算法的對比，以及與BP神經網絡的實驗結果對比，結果見表2、3。

表2 基于“一對一”方法實驗結果平均正確率比較

表3 基于“一對余”方法實驗結果平均正確率比較

由實驗結果可知，在“一對一”、“一對余”模式下，改進支持向量機算法相對于原支持向量機算法，以及BP神經網絡算法而言，具備較好的分類識別能力，同時支持向量機改進算法對小樣本類(A、C、D類)性能改進更優。

綜合而言，該支持向量機改進算法，具備較好的分類識別能力，性能較優。

4 結論

通過理論分析、擴展的XOR數據、雙螺旋線仿真數據和船舶輻射噪聲DENOM譜特征分類實驗數據表明，對支持向量機在松弛變量和決策函數兩方面進行改進而提出的基于徑向基核函數的齊次決策二階損失函數支持向量機改進算法，具有分類面劃分合理、模型參數尋優空間廣闊、總體分類性能優的特點，分類性能優于原支持向量機算法等分類算法，該支持向量機改進算法是一種適用于水聲目標的類型識別應用的有效的分類算法，有可能實現對水聲目標類型的有效分類識別。

[1] 戴衛國, 程玉勝, 王易川. 支持向量機對艦船噪聲DEMON譜的分類識別[J]. 應用聲學, 2010, 29(3): 206-211. DAI Weiguo, CHENG Yusheng, WANG Yichuan. Classification of the DEMON spectra of ship-radiated noise based on Support Vector Machine[J]. Applied Acoustic, 2010, 29(3): 206-211.

[2] 瓦普尼克(Vladimir N·Vapnik). 統計學習理論的本質[M]. 張學工譯. 北京: 清華大學出版社, 2000. Vladimir N·Vapnik. Statistical Learning Theory[M]. Beijing: Tsinghua University Press, 2000.

[3] 焦李成, 周偉達, 張莉. 智能目標識別與分類[M]. 北京: 科學出版社, 2010. JIAO Licheng, ZHOU Weida, ZHANG Li. Intelligent target identification and classification[M]. Beijing: Science Press, 2010.

[4] David Casasent, Yu-Chiang Wang. A hierarchical classifier using new support vector machines for automatic target recognition[J]. Neural Networks, 2005, 18: 541-548.

[5] Martinez-Ramon M, Rojo-Alvarez J L, Camps-Valls G. Support vector machines for nonlinear kernel ARMA system identification[J]. Neural Networks, 2006, 17(6): 1617-1622.

[6] 鄧乃楊, 田英杰. 數據挖掘中的新方法----支持向量機[M]. 北京: 科學出版社, 2004. DENG Naiyang, TIAN Yingjie. New data mining method-SVM[M]. Beijing: Science Press, 2004.

[7] 張春華. 支持向量機中最優化問題的研究[D]. 北京: 中國農業大學, 2004. 06. ZHANG Chunhua. Studying of solving the optimization problem in SVMs[D]. Beijing: China Agricultural University, 2004. 06.

[8] 陳寶林.最優化理論與算法[M]. 2版, 北京: 清華大學出版社, 2005. CHEN Baolin. Optimization theory and algorithm[M]. Second Edition, Beijing: Tsinghua University Press, 2005.

[9] 李明. 詳解MATLAB在最優化計算中的應用[M]. 北京: 北京電子工業出版社, 2011. LI Ming. Application of MATLAB for optimization theory[M]. Beijing: Electronics Industry Publishing Press, 2011.

[10] 趙春暉. 多類支持向量機方法的研究現狀與分析[J]. 智能系統學報, 2007, 2(2): 11-17. ZHAO Chunhui, et al. Research and analysis of methods for multiclass support vector machines[J]. CAAI Transactions on Intelligent Systems, 2007, 2(2): 11-17.

[11] 黃勇, 鄭春穎, 宋忠虎. 多類支持向量機算法綜述[J]. 計算技術與自動化, 2005, 24(4): 61-63. HUANG Yong, ZHENG Chunying, SONG Zhonghu. Multi-class support vector machines algorithm summarization[J]. Computing Technology and Automation, 2005, 24(4): 61-63.

[12] Vojtech Franc Vaclav HlavaC. Statistical Pattern Recognition Toolbox for Matlab User’s guide[R]. 2004. ftp://cmp.felk.cvut.cz/pub/cmp /articles/ Franc -TR-2020-08.pdf.

[13] 許東, 吳錚. 基于MATLAB6.X的系統分析與設計——神經網絡[M]. 西安: 西安電子科技大學出版社, 2003, 10: 19-24. XU Dong, WU Zheng. System analysis and design based on MATLAB6.X[M]. Xi'an: Electronic and Science University press, 2003, 10: 19-24.

Application of an improved support vector machine classification algorithm to underwater targets recognition

DAI Wei-guo1, LI Hai-tao1, YAN Heng-ping2, LIU Qi-jun1

(1. Navy Submarine Academy,Qingdao266042,Shandong, China; 2.HaiYing Enterprise Group Co.Ltd,Wuxi 214061,Jiangsu, China)

The underwater targets recognition based on DEMON spectra has been realized with a proposed improved support vector machine algorithm. To solve the problem that the support vector machine (SVM) is sensitive to noise and that there are so many restrictions against looking for optimal hyper-plane in solving the optimal hyper-plane, an improvement is done in the relaxation and decision function. The SVM algorithm of homogeneous decision - second order loss function based on RBF (Radial Basis Function) is given, and the solution of optimal hyper-plane under quadratic programming problem is realized. Recognition experiments have been done by using simulation datasets and four kinds DEMON datasets of ship radiated noise. The results show that this algorithm has the characters in large optimized space of model parameters and good overall recognition performance, which is suitable for ship radiated noise recognition.

ship targetclassification; Support Vector Machine(SVM);homogeneousdecision-second order loss function

O427.9

A

1000-3630(2015)-03-0203-06

10.3969/j.issn1000-3630.2015.03.003

2015-03-08;

2015-06-02

戴衛國(1968－), 男, 博士, 副教授, 研究方向為水聲目標識別研究。

戴衛國, E-mail: dwg1968@163.com