統計模式識別概論及應用

萬 爽

(武漢理工大學，湖北 武漢 430070)

0 引言

模式識別誕生于20世紀20年代，是對表征事物或現象的各種形式的信息進行處理和分析，以對事物或現象進行描述、辨認、分類和解釋的過程。該學科主要研究使機器通過學習能做以前只能由人類才能做的事，具備人所具有的、對各種事物與現象進行分析、描述與判斷的部分能力。模式識別所研究的理論和方法在很多科學和技術領域中得到了廣泛的重視，目前已成功應用于指紋識別、印刷體字符識別、語音識別、車牌識別、人臉識別、手寫體字符識別、自動文本分類、多媒體數據挖掘等領域。

本文基于統計模式識別方法來研究車輛識別問題。對待定的區域應用特征提取、特征選擇的方法提取統計特征，根據統計模式識別原理對候選車輛區域行識別確認。特征提取采用PCA（主成分變換法），特征選擇采用遺傳算法，分類器設計是SVM（支持向量機）。

1 統計模式識別方法

基于統計方法的模式識別系統由四部分組成：數據獲取、預處理、特征提取和選擇、分類器設計和分類決策。

1.1 數據獲取與預處理

數據獲取就是通過一定的技術和手段對個別事物進行觀測，從而獲取該事物的時間和空間分布信息。這里需要將各種測量的量轉換成計算機可以直接處理的數據。測量到的信號通常有一維信號，二維信號和邏輯信號。預處理階段就是要將數據獲取階段所引入的噪聲進行濾除，并對數據獲取階段所造成的信號退化進行復原，并為下一步特征提取提供必要的基礎。

1.2 特征提取與特征選擇

通常情況下，在數據獲取階段獲得的數據量是相當大的。直接應用這些數據進行模式識別，數據量大，計算復雜。當向量維數達到一定維數時，就必須采取一定的措施能使系統能夠處理這些數據和正常工作，即特征降維，模式識別中稱為特征提取和選擇。一般來說，特征提取和選擇是模式識別系統中關鍵的一步，其好壞直接決定了模式識別系統的性能。

1.2.1 主成分變換法

主成分分析方法是應用最廣泛的一種特征提取方法之一，它是一種統計學方法，在信號處理、模式識別、數字圖像處理等領域得到了廣泛的應用。主成分分析基本思想是提取出空間原始數據中的主要特征，減少數據冗余，使得數據在一個低維的特征空間被處理，同時保持原始數據的絕大部分的信息，從而解決數據空間維數過高的瓶頸問題。

所謂主成分就是原始數據的m個變量經線性組合后得到的變量，該變化使得其變換后的變量方差為最大（第一主成分）的部分。各個主成分之間是相互線性無關的（正交的）從第一主成分往后，主成分按方差大小的順序排列。

1.2.2 遺傳算法

遺傳算法是建立在自然選擇和遺傳變異基礎上的自適應概率性搜索算法，在該算法中，染色體是二進制字符串編碼，每一編碼字符串為一候選解，這種染色體有多個，即有一群候選解。染色體像生物進化一樣有繁殖、交叉和突變三種現象,這些現象稱為遺傳算子。在每一代中，保持一定數目M為定值的解群，經過對各解的適應度值計算，使解群中的各個解得到評價，各個解的適應度值的大小作為染色體復制機會大小的先決條件。

遺傳算法中有一個很重要的概念，稱為適應度函數。如何將遺傳算法中的不斷進化的染色體與現實問題中的優劣選擇相聯系是該算法成功的關鍵。一般的方法是構造一個與現實問題相聯系的適應度函數。

1.3 分類器

從數學觀點來看，分類決策就是找出決策函數。當已知待識別模式的完整的先驗知識時，可據此確定決策函數的數學表達式。如果僅知待識別模式的定性知識，則在確定決策函數的過程中，通過反復訓練、調整，以達滿意的決策函數表達式，從而作為決策分類的依據。

支持向量機是一種基于統計的學習方法，它是對結構化風險最小化歸納原則的近似，由于其出色的學習性能，使得SVM具有較好的推廣能力。其原理是針對二值分類問題提出的，其核心思想是將結構風險函數引入到分類中。支持向量機通過引入結構風險函數恰恰能完成這個任務，從而提高了機器學習的泛化能力。這些特點使支持向量機能有效地克服高維問題。

2 實例分析

為了檢驗各個主成分變換特征提取方法和支持向量機分類器對車輛檢測的識別率和有效性，我們進行了對比實驗：特征提取和特征選擇的方法與不同分類器方法進行組合測試。

為了檢驗本論文中提出的車輛檢測方法，我們進行了實驗測試。道路取景的來源國內城市道路。實驗中選用的訓練樣本為3000，其中車輛為1500，其余為背景樣本。

利用前文描述的方法，獲得的特征提取器為：

T=[t(1),t(2),t(3)]

其中，特征向量為：

t(1)=(-0.5346，-0.0804，-0.8329，0.0444，-0.0794，-0.0224，

-0.0652，0.0317)

t(2)=

(-0.2102，0.8256，0.0754，0.4899，0.0516，0.0196，0.0355，0.0872)

t(3)=(-0.0812，-0.5261，0.1491，0.8244，-0.0161，0.0933，

-0.0048，0.0754)

同時增加了其它分類器配合進行測試，選用的分類器有KNN（K最鄰近結點算法）、QDF（二次判別方程）、COS（基于樸素貝葉斯分類器）。測試樣本為600，其中車輛300，背景300。測試結果為：SVM的車輛識別率為85.3%，背景識別率為94%；KNN的車輛識別率為82.6%，背景識別率為76.6%；QDF的車輛識別率為42.6%，背景識別率為79.3%；COS的車輛識別率為52%，背景識別率為97%。

通過對實驗數據的分析，可以得出，特征提取的算法中，采用主成分變換法進行特征提取是所實現的特征提取算法中性能較優。同時，SVM分類器具有是具有最高的識別率。所以最終選擇的是主成分變換法、遺傳算法支持向量機的車輛識別算法組合。

3 結論

本文分析并實現了基于車輛統計特征的車輛識別算法。算法包括三個部分：特征提取，特征選擇，和分類器設計。利用特征提取方法(PCA)對待確定的區域應用特征提取的方法提取統計特征，應用遺傳算法對特征提取階段的結果進行選擇，其選擇結果用于訓練SVM分類器。最后應用訓練好的SVM分類器進行分類識別檢測。此外，還將此算法與其它車輛識別算法進行比較，實驗結果表明，基于車輛統計特征的車輛識別算法不僅具有較好的有效性，而且能有效的提高識別率和降低誤識別率，具有很好的應用前景。

［1］邊肇祺，張學工.模式識別[M].2 版.北京：清華大學出版社，2007.

［2］楊和超，宋海歌.模式識別的主要方法及其應用[J].電腦知識與技術，2008(S2)：156-157.

［3］趙喜林，等.模式識別方法及其比較分析[J].信陽農業高等專科學校學報，2004,14(3)：37-40.