基于Fisher準則特征融合策略的PNN車牌漢字識別

摘 要:為克服圖像二值化預處理的不利影響，提高漢字字符圖像特征的表征能力，降低傳統算法的訓練復雜度，在此直接應用車牌字符灰度圖像，基于Fisher準則對提取的Pseudo-Zernike矩特征和Gabor變換特征進行融合，在最佳鑒別矢量方向上求得表達能力更強的融合特征。訓練結構簡單、速度較快的概率神經網絡作為識別器，實現車牌漢字的正確、快速識別。試驗表明，此算法無需對車牌漢字圖像二值化，與所采用的概率神經網絡識別器相比，傳統BP，SVM等的訓練復雜度降低，速度提高，經表征能力更強的融合特征訓練后，具有更高的識別準確率。

關鍵詞:Fisher準則; 鑒別矢量; 特征融合; 概率神經網絡; 車牌漢字識別

中圖分類號:TP391文獻標識碼:A

文章編號:1004-373X(2010)08-0106-05

PNN Recognition of Chinese Characters on License Plate Based on Fisher

Discriminant Criterion Feature Fusion Strategy

GAO Quan-hua1， ZHANG Shi-yong1， SUN Feng-li2

(1. College of Science，Chang’an University， Xi’an710064， China;

2. college of Electronic and Information， Northwest Polytechnic University， Xi’an 710077， China)

Abstract:A novel algorithm for recognizing Chinese characters on license plate is proposed so as to achieve three purposes: overcoming disadvantages of two-value preprocessing， raising the characterization ability of image features and decreasing training complexity of traditional algorithms. According to Fisher discriminant criterion， two kinds of image features， Pseudo-zernike moments and Gabor transforming coefficientsare fused along the direction of the optimal discriminant vectors. The new fused feature has better performance to characterize the image. Probabilistic neural network(PNN) is trained by new fusion features as the classifier due to its simple structure and quick learning rate. Numeral experiment shows this algorithm does not need two-value preprocessing and the obtained classifier has low computational complexity as well as high recognition rate compared with traditional classifiers such as BP and SVM.

Keywords:Fisher discriminant criterion; discriminant vector; feature fusion; probabilistic neural network; recogonition of Chinese character on license plate

0 引 言

一直以來，車牌漢字識別是我國車牌識別技術的難點和瓶頸所在。車牌漢字識別是典型的模式識別問題，其核心技術主要分為對具有最大類間離散度和最小類內離散度中漢字分類特征的構造和提取，以及對最優分類器的選擇和設計。因而車牌漢字識別技術的研究也主要圍繞這兩個方面進行，如王海濤等[1]應用聚類分析實現車牌數字和字母的識別，應用改進BP神經網絡對漢字進行識別;黎濤等[2]將優化了的Gabor濾波器組參數作為漢字圖像特征，利用最小距離分類器，實現車牌漢字的識別;潘翔等[3]應用小波變換提取車牌漢字圖像的小波矩和小波區域密度特征，使用BP神經網絡進行車牌漢字識別;王曉光等[4]構造了SVM分類器進行車牌漢字的像素級識別。

不論采取什么方式實現車牌漢字的識別，傳統的識別方法具有三個特點:第一，漢字字符圖像的特征采用單一特征或者幾種特征的簡單串連;第二，在第一個特點的基礎上，分類器大多采用比較經典的BP神經網絡、聚類分析、最小距離分類器、SVM等;第三，漢字字符圖像多采用二值化圖像。這些方法的不足體現在:一方面，提取的漢字圖像特征比較單一，難以有效表征不同的漢字，簡單串連的特征融合方式構成的特征對識別率沒有太大的改善，相反可能會增加錯誤識別率，增大分類器的規模;另一方面，BP神經網絡易于陷入局部解，分類精度受到限制，在遇到新的類別時，網絡重新訓練的時間過長，盡管聚類分析和最小距離分類器簡單直觀，但精度較差，難以區分相似樣本，SVM分類器具有較強的泛化能力，但它是基于兩分類器的，在構造多分類器的時候，算法復雜度和訓練時間都會成倍增加;另外，在對車牌漢字字符圖像二值化的過程中，由于閾值選取得不合理，導致字符筆畫、結構等信息的丟失。

近年來，基于Fisher鑒別準則的線性鑒別分析方法在字符識別領域得到了廣泛運用，取得了良好的效果[5]。 Psuedo-Zernike矩反映的是圖像的一種全局統計特征，具有旋轉不變性，廣泛用于模式識別領域，相比于Hu矩、Zernike矩、Legendre矩和復數矩，其具有更好的抗噪聲和抗畸變的能力，Gabor變換系數特征反映了圖像的局部細節特征和方向信息，對于圖像的斷裂、扭曲等具有很好的表征能力。本文直接應用灰度圖像，基于Fisher準則將兩種特征進行融合，得到在全局統計和局部細節上都能很好表征漢字圖像的新特征，識別器采用了結構簡單，訓練速度很快，容錯性較好的概率神經網絡，從而在上文提到的三個方面對傳統算法進行改進。

1 基于Fisher準則的多特征融合原理與方法

1.1 Fisher準則及鑒別矢量[6]

設w1，w2，…，wC為C個模式類，X為樣本的某個特征向量(X為n維列向量)。定義:

Sb=∑mi=1P(wi)(mi-m0)(mi-m0)T(1)

Sw=∑mi=1P(wi)E{(x-mi)(x-mi)T/wi}

=∑mi=1P(wi)Ci(2)

St=Sb+Sw(3)

式中:mi，Ci，P(wi)為第i類樣本的先驗概率;mi為第i類樣本的均值;m0為全體樣本的均值;Sb為類間散布矩陣;Sw為類內散布矩陣;St為總體散布矩陣。

Fisher鑒別函數定義為:

J(φ)=(φTSbφ)/(φTSwφ)(4)

使函數J(φ)達到最大值的矢量φ*稱為最佳鑒別矢量，考察樣本在所有n維矢量上的投影，它在φ*上投影具有最小的類內離散度和最大的類間離散度。

若φ1=φ*，則φ1是Foley-Sammon鑒別矢量集[6]的第一個矢量。Foley-Sammon鑒別矢量集的第i個鑒別矢量φi(1

1.2 多特征融合原理與方法

樣本關于特征向量X在方向φ的可分性度量定義為:G(X，φ)=(φTSbφ)/(φTSwφ)。在n維空間中，樣本在最佳鑒別矢量φ*方向上具有最大的可分性。一般地，對于多分類問題，僅根據X在φ*上的投影，不能獲得滿意的分類效果，還必須借助于X在其他鑒別矢量上的投影。不同的特征向量X在它不同鑒別矢量上的投影，可以從不同方向刻劃樣本的可分性[9]。

設{Xk}，k=1，2，…，L為樣本的L個n維特征向量，經{Xk}融合生成的樣本特征向量記為Z=(z1，z2，…，zm)T。與Xk相應的Fisher鑒別函數記為:

JXk(φ)=(φTSkbφ)/(φTSkwφ)(5)

φ*Xk為Xk的Fisher最佳鑒別矢量，設:

JXk0(φ*Xk0)=max1≤k≤L{JXk(φ*Xk)}(6)

式(6)說明樣本在方向φ*Xk0上具有最大的可分性。若令z1=XTk0φ*Xk0，則在子空間Span{φ*Xk0}的補空間上連續考察式(5)和式(6)，可求得z2，z3，…。

由樣本的多個特征融合產生樣本的新特征，其具體的方法步驟如下:

Step 1: 令i=1，G1=Φ(Φ表示零子空間);

Step 2: 令H=Gi=Span{β1，β2，…，βn-ni}，P={β1，β2，…，βn-ni}，ni為Gi的維數，(P是由總體散布矩陣St構造的無相關投影空間);

Step 3: 令JXk(φ)=(φTPTSkbPφ)/(φTPTSkwPφ)，求{φ*Xk}，k=1，2，…，L;

Step 4: 求φ*Xk0，使JXk0(φ*Xk0)=max1≤k≤L{JXk(φ*Xk)};

Step 5: zi=XHk0φ*Xk0，設Gi=Span{η1，η2，…，ηni}，則Gi+1=Span{η1，η2，…，ηni，φ*Xk0};

Step 6: 令i=i+1，如果i

Step 7: Z=(z1，z2，…，zm)T即為由{Xk}，k=1，2，…，L融合生成的新特征。

2 車牌漢字特征的選擇與提取

對于漢字圖像的識別，其關鍵在于選擇和提取穩定和魯棒的漢字特征。傳統的漢字特征主要分為漢字的統計特征、細節特征和結構特征三大類，從反映漢字本質粗細程度上看，可以認為主要有兩大類，即漢字的總體特征和局部特征。Psuedo-Zernike矩是典型的漢字總體特征，具有良好的抗噪性和旋轉不變性，能在漢字殘缺和畸變情況下保持一定的穩定性，特別適合于車牌漢字的識別，具有較高的識別率，但它對于筆畫比較復雜的車牌漢字變化比較敏感，穩定性較差，而漢字的Gabor特征能從局部細節上對漢字的變化保持一定的穩定性，可以與Psuedo-Zernike矩特征結合實現一定程度的互補。

2.1 Psuedo-Zernike矩特征及其快速算法

Cho-Huak Teh.和Roland T. Chin提出與Zernike多項式相似的一組正交多項式，并構造了新的不變矩，稱為偽Zernike矩(Pseudo-Zernike矩，PZ矩或Pseudo-Zernike Invariant Moments，PZIM)。階數為n、重復度為l的Pseudo-Zernike矩定義為:

Anl=n+1π∫2π0∫10Rnl(r)e-jlθf(r，θ)rdrdθ(7)

式中:f(r，θ)是一幅灰度圖像的極坐標表示;Rnl(r)是Pseudo-Zernike徑向多項式，其定義為:

Rnl(r)=∑n-|l|s=0(-1)s#8226;

(2n+1-s)!s!(n-|l|-s)!(n+|l|-1-s)!rn-s(8)

式中:n=0，1，2，…;l為整數，且滿足|l|≤n。顯然，Pseudo-Zernike矩具有旋轉不變性，并且是正交的。

對于數字圖像而言，在應用PZIM提取其矩特征時，必須首先將原始圖像映射到單位圓內，因為PZIM是一種正交復數矩，它所利用的正交多項式集是一個在單位圓內的完備正交集。實現映射的方式有兩種，即外接法和內切法，如圖1所示。

圖1 圖像由直角坐標系映射到單位圓內的兩種方式

外接法可以使原始圖像的所有像素點均落入單位圓內，最大限度地保留原始圖像的所有信息，這種映射方法比較適合漢字獨有的方塊形特點，不會在這一環節造成漢字筆畫的缺失和遺漏，完整地保留字形和筆畫。內切法得到的結果丟失了部分圖像信息，保留了原始圖像最主要的信息和特征，從而有效減小了計算量，對于英文字母和阿拉伯數字的后續識別不會造成很大的影響。因此，本文采用外接法實現漢字圖像到單位圓內的映射。

PZIM基于外接法數字圖像映射方式的離散化公式為[10]:

Anl=2(n+1)π(N-1)2∑N-1i=0∑N-1j=0Rnl(rij)e-jlθijf(i，j)(9)

式中:N為數字圖像大小;l取正負整數，且|l|≤n;

rij=(c1i+c2)2+(c1j+c2)2(10)

θij=tan-1c1j+c2c1i+c2(11)

c1=2/(N-1)，c2=-1/2(12)

為了實現車牌漢字的實時識別，必須采取有效的算法，以減少漢字圖像PZIM特征提取時的計算量，可以采用PZIM的快速算法[10-11]來有效減少計算時間，滿足實時性要求。對于一幅N×N大小的數字圖像來說，計算其n階PZIM的計算量為O(N2n3)，在用一般設備計算的情況下，難以滿足對車牌字符識別的實時性要求。因此本文采用文獻[11]提出的由重復度l從高序數徑向多項式向低序數徑向多項式迭代的l迭代法，實現對數字圖像中PZIM特征的快速提取。Pseudo-Zernike矩快速算法[11]如下:

Rnn(r)=rnd(13)

Rnn-1(r)=-2nR(n-1)(n-1)(r)+(2n+1)Rnn(r)(14)

h1=l(2l+1)-(2l+1)h2+(n+l+2)(n-l)2h3(15)

h2=(n+l+1)(n-l+1)2lh3+2l-1(16)

h3=-2(l-1)(2l-1)(n+l)(n-l+2)(17)

Rn(l-2)(r)=h1Rnl(r)+(h2+h3r)Rn(l-1)(r)(18)

它的計算量僅為O(n)，并可以實現任意階PZIM的獨立計算。該算法的思想為:當n-l≤1時，采用式(13)和式(14)來計算徑向多項式Rnl(r)的值，當n-l≥2時，首先通過式(15)~式(17)計算l迭代法系數，再通過式(18)迭代計算剩余徑向多項式Rnl(r)的值。

2.2 車牌漢字的Gabor特征

Gabor變換是基于多通道、多分辨率分析的一種圖像變換算法，符合人類視覺感知系統的特性，其紋理模型基于窄帶紋理場模型，能在空域和頻域同時達到最佳局部化[12]。二維Gabor變換核函數如下:

G(x，y;l，k)=G1(x，y)cos(R)-exp(-σ22)+

iG1(x，y)sin(R)(19)

式中:參數l代表波長;k代表方向。

G1(x，y)=λ2σ2exp-λ2(x2+y2)2σ2(20)

σ=π，R=λxcos k+λysin k，λ=2π/l(21)

k=πk/D，k=0，1，2，…，D-1(22)

對于N×N大小車牌漢字灰度圖像f(x，y)，(xs，ys)為采樣點，則該采樣點的Gabor特征表示如下:

fl，k(xs，ys)=∑N-1x=0∑N-1y=0f(x，y)G(x-xs，y-ys;l，k)(23)

對于Gabor特征提取，采樣點(xs，ys)的確定是一個重要問題。由于車牌漢字圖像形體規范統一，筆畫位置比較穩定，可以采用固定網格劃分車牌漢字灰度圖像，每個網格中心點作為采樣點，用以完成對采樣點的確定，如圖2所示。

圖2 固定網格劃分車牌漢字圖像確定采樣點示例

3 概率神經網絡識別器

概率神經網絡(Probabilistic Neural Networks，PNN)是徑向基函數網絡的一種，常用于模式分類。與BP神經網絡相比，它是一種局部逼近網絡，對于每個訓練樣本，只需要對少量權值和閾值進行修正，因此網絡訓練和學習速度比較快，可以很好地應用于一些實時性要求較強的背景。其網絡結構由一個徑向基網絡層和一個競爭型網絡層構成，如圖3所示。

圖3 概率神經網絡結構模型

PNN的第一層徑向基神經元數目等于輸入樣本數，將各種模式與權值向量的距離加權表示與訓練樣本的相似程度;第二層神經元的數等于分類模式數，神經元激活函數為競爭型函數，它選擇那些距離加權值最大的訓練樣本模式作為網絡的輸出，即以每個模式出現的概率大小作為最終輸出的依據。在模式分類中，其優勢在于可以利用線性學習算法來完成以往非線性算法所做的工作，同時又可以保持非線性算法高精度的特性。

4 仿真試驗

由于項目經費和試驗手段有限，訓練樣本集由40類160幅標準、噪聲、扭曲和殘缺的車牌灰度漢字圖像構成。測試樣本集由40類240幅噪聲、扭曲、殘缺、旋轉、刮痕和模糊的車牌灰度漢字圖像構成，除其中12類120幅圖像由實際采集、分割而來(見圖4)外，其余280幅字符圖像都由標準字庫改進而來，字符種類涵蓋我國大陸幾乎所有類型。對訓練樣本集中每幅圖像，提取210維Psuedo-Zernike矩特征和16維Gabor特征。其中，Psuedo-Zernike矩特征的提取采取文獻[11]的快速算法，投影方式為外接圓法;Gabor特征的提取采用固定網格方式劃分漢字圖像，網格大小為4×4，波長參數取值為3.5，方向參數取值為(0，π/4，π/2，3π/4)，代表水平、垂直和左右對角線四個方向，核函數為高斯核函數。利用第1節中的方法實現兩種特征的融合，對概率神經網絡PNN進行訓練，將訓練好的網絡作為識別器。部分訓練樣本的PNN分類結果如圖5所示。

圖4 車牌漢字識別部分訓練樣本和測試樣本示例

圖5 部分訓練樣本的PNN分類結果

對測試樣本集中的每幅圖像，分別提取其Psuedo-Zernike矩特征和Gabor特征，用第1節中的方法實現兩種特征的融合，輸入識別器進行測試。

試驗平臺為Matlab 7.0，CPU為雙核處理器2.0 Hz，內存為2.0 GB。訓練CPU耗時和識別準確率與傳統方法的比較見表1。

表1 本文方法與其他識別方法正確識別率

和訓練耗時比較(含訓練樣本)

訓練樣本數測試樣本數Psuedo-ZernikeGabor本文方法(含訓練樣本)

160240

90.35%92.77%

本文兩種特征串行融合本文兩種特征并行融合

92.14%94.21%

文獻[3]方法文獻[4]方法

90.23%98.29%98.40%

BP訓練耗時SVM訓練耗時PNN訓練耗時

12.438 1 s51.596 2 s2.371 5 s

5 結 語

基于Fisher準則，在最佳鑒別矢量方向上對車牌漢字的Psuedo-Zernike矩特征和Gabor特征進行融合，形成新的綜合特征，對概率神經網絡進行訓練。與單獨采用兩種特征進行識別相比，融合后的車牌漢字識別器其識別準確率提高了2~3個百分點。試驗結果表明:

(1) 采用Psuedo-Zernike矩特征和Gabor特征融合得到了新的特征，可以從總體和局部細節更加準確地刻畫車牌漢字的本質特征，提高了復雜漢字特征的抗干擾能力，實現了兩種特征的優勢互補，并且這兩種特征可以直接用于灰度圖像，無需二值化。

(2) 采用概率神經網絡PNN作為識別器，具有快速訓練學習和識別的優勢，可以很好地滿足車牌漢字識別的實時性要求，也充分利用了神經網絡的容錯性和自適應性。

(3) 錯誤識別主要發生在噪聲、蒙塵等比較嚴重的筆畫比較復雜的字符圖像識別上，因此識別前，有效的預處理措施是非常必要的。

(4) 計算機耗時主要集中在特征提取階段，因此研究特征提取的快速算法或者得到更好、更簡單的漢字特征仍然是一個值得繼續研究的問題。

參考文獻

[1]王海濤， 黃文杰， 朱永凱， 等. 基于聚類分析與神經網絡的車牌字符識別[J]. 數據采集與處理， 2008， 23(2): 238-242.

[2]黎濤，羅代升，吳煒，等. Gabor變換的參數設計及其在車牌字符識別中的應用[J]. 中國測量技術， 2006， 32(1): 127-129.

[3]潘翔，葉修梓，張三元. 基于小波的車牌漢字特征提取[J]. 中國圖像圖形學報， 2003， 8(10): 1219-1222.

[4]王曉光，王曉華. 一種基于SVM的車牌漢字的有效識別方法[J]. 計算機工程與應用， 2004， 24(2): 208-209.

[5]高林，宋楓溪，楊靜宇. 正交化Fisher鑒別向量集及其應用[J]. 數據采集與處理， 2006， 21(3): 16-21.

[6]楊健，楊靜宇，葉暉. Fisher線性鑒別分析的理論研究及其應用[J]. 自動化學報， 2003， 29(4): 481-493.

[7]LIU K， YANG J. An efficient algorithm for Foley-Sammon optimal set of discriminant vectors by algebraic method[J]. International Journal of Pattern Recognition and Artificial Intelligence， 1992， 6(5): 817-829.

[8]陳綿書，陳賀新，劉偉. 一種新的求解無相關鑒別矢量集方法[J]. 計算機學報，2004，27(7): 913-917.

[9]王正群， 孫興華， 郭麗， 等. 基于Fisher準則的多特征融合[J]. 計算機工程， 2002， 28(3): 41-42.

[10]CHONG C W， RAVEENDRAN P. A comparative analysis of algorithms for fast computation of Zernike moments[J]. Pattern Recognition， 2003， 36: 731-742.

[11]夏婷， 周衛平，李松毅，等. 一種新的Pseudo-Zernike矩的快速算法[J]. 電子學報， 2005， 33(7): 1295-1298.

[12]曾姝彥，張廣軍，李秀智. 基于Gabor濾波器的圖像目標識別方法[J]. 北京航空航天大學學報， 2006， 32(8): 954-957.