基于三次定位過程的車牌精確定位算法設(shè)計(jì)

瞿 中，王永昆，常慶麗，李夢(mèng)露

（1.重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，重慶400065；2.重慶郵電大學(xué) 移通學(xué)院，重慶401520）

0 引 言

基于圖像的車牌識(shí)別技術(shù)是智能交通領(lǐng)域的重要研究課題之一。國內(nèi)外學(xué)者對(duì)車牌識(shí)別系統(tǒng)進(jìn)行了大量的研究，研究的主要技術(shù)分為三部分：車牌定位技術(shù)、分割分隔技術(shù)與字符識(shí)別技術(shù)，而車牌定位的準(zhǔn)確率直接影響整個(gè)車牌識(shí)別系統(tǒng)的識(shí)別率。目前用于車牌定位的方法有很多種，主要有基于神經(jīng)網(wǎng)絡(luò)、基于數(shù)學(xué)形態(tài)學(xué)、基于小波變換和基于紋理分析的車牌定位算法［1］。另外近年來學(xué)者還提出了基于支持向量機(jī)和Adaboost［2］等分級(jí)分類的車牌定位算法，但是在實(shí)際工程應(yīng)用中環(huán)境很復(fù)雜［3］，單一的運(yùn)用某種方法不能很好地解決問題。定位到的車牌大部分都是不精確的，包括帶有邊框的、車牌周邊帶有圖案或廣告字符的、定位到部分車牌等情況［4］。這對(duì)后繼車牌的有效分割和識(shí)別造成很大的影響。本文在參考這些算法的基礎(chǔ)上，考察對(duì)比準(zhǔn)確率和效率等參數(shù)，提出一種基于數(shù)學(xué)形態(tài)學(xué)處理結(jié)合紋理分析以及設(shè)定閾值的方法，由粗到精，逐步實(shí)現(xiàn)車牌區(qū)域的精確定位。該方法改進(jìn)了基于數(shù)學(xué)形態(tài)學(xué)車牌定位方法中的像素統(tǒng)計(jì)算法，在搜索類似車牌矩形區(qū)域的時(shí)候添加了容錯(cuò)機(jī)制，忽略了車牌由于光照原因二值圖斷開的情況；另外在對(duì)邊緣圖進(jìn)行紋理分析的時(shí)候，設(shè)計(jì)了一種單向掃描尋找車牌上下邊界的算法，并通過設(shè)定閾值去除了車牌的上下邊框、左右邊框及干擾信息。

1 圖像預(yù)處理

考慮到車牌識(shí)別在工程應(yīng)用中的實(shí)時(shí)性，本文在對(duì)車輛圖像的預(yù)處理中去除了專門的濾波和增強(qiáng)技術(shù)，只保留了3個(gè)必要部分：圖像灰度化、Canny算子邊緣檢測(cè)、數(shù)學(xué)形態(tài)學(xué)處理。首先是將攝像頭采集的原始圖像進(jìn)行灰度化處理，然后灰度圖像采用Canny算子進(jìn)行邊緣檢測(cè)，最后對(duì)邊緣圖進(jìn)行腐蝕膨脹處理，使圖像中出現(xiàn)連通的車牌候選區(qū)域。

1.1 圖像灰度化

圖像灰度化就是將圖像中同一坐標(biāo)位置的RGB三個(gè)分量的通道設(shè)置為同一個(gè)數(shù)值，這樣做的目的是將圖像變?yōu)橹挥谢叶戎担瑳]有色彩的灰度圖像。本文采用了一種加權(quán)平均值法來實(shí)現(xiàn)車輛圖像灰度化，其轉(zhuǎn)換公式見式 （1）

gray（x，y）＝0.30＊R（x，y）＋0.59＊G（x，y）＋0.11＊B（x，y）（1）

式 （1）中采用的這種轉(zhuǎn)換參數(shù)比較適合電子警察系統(tǒng)所抓拍的含有車輛圖像的現(xiàn)行標(biāo)準(zhǔn)［5］。其中，R （x，y），G （x，y），B （x，y）分別表示圖像 （x，y）坐標(biāo)點(diǎn)處紅色分量，綠色分量和藍(lán)色分量的值，gray （x，y）表示求得坐標(biāo)點(diǎn) （x，y）處的灰度值。

1.2 灰度圖像的邊緣檢測(cè)

汽車牌照所具有的特殊紋理特征決定了車牌區(qū)域內(nèi)往往包含有大量的邊緣信息［6］，所以車牌區(qū)域具有較高的邊緣點(diǎn)密度，而且這一紋理特征在車輛圖像處理的過程中非常穩(wěn)定。

通過比較幾種不同的邊緣檢測(cè)算子的檢測(cè)效果發(fā)現(xiàn)，Canny算子得到的邊緣信息最完整，邊緣連續(xù)性好，定位最準(zhǔn)確，并且在Canny算子邊緣檢測(cè)處理過程中還包含了對(duì)圖像的濾波和增強(qiáng)處理［7］，所以本文中采用Canny邊緣檢測(cè)算子來確定圖像的邊緣信息。Canny算子邊緣檢測(cè)的步驟如圖1所示［8］。

圖1 邊緣檢測(cè)步驟

1.3 數(shù)學(xué)形態(tài)學(xué)處理

圖像的數(shù)學(xué)形態(tài)學(xué)處理包括腐蝕、膨脹、開運(yùn)算和閉運(yùn)算，通過定義一種特定尺寸和特定形狀的數(shù)學(xué)結(jié)構(gòu)元素后，利用該數(shù)學(xué)算子對(duì)圖像進(jìn)行擊中與否運(yùn)算，以突出原始圖像中某些特定信息［9］。

本文中首先考慮到車牌的底色不同，采取對(duì)邊緣圖像進(jìn)行形態(tài)學(xué)處理的方法。因?yàn)閷?duì)二值圖像進(jìn)行形態(tài)學(xué)處理時(shí)會(huì)產(chǎn)生黑白兩種底色，而處理邊緣圖只產(chǎn)生黑色背景白色前景這一種情況。數(shù)學(xué)形態(tài)學(xué)處理定義的算子大小形狀跟要處理的圖像有關(guān)系，本文針對(duì)測(cè)試圖片庫中200萬像素圖像調(diào)試得到膨脹算子為6×15大小的矩形，腐蝕算子為3×5大小的矩形。

膨脹主要是使這兩個(gè)相近的邊緣連在一起，該運(yùn)算能填補(bǔ)邊緣之間的空洞，使其連通；與之相反，腐蝕運(yùn)算的作用是消除圖像中的邊緣、把小于結(jié)構(gòu)元素的物體去掉、斷開兩個(gè)邊緣之間細(xì)小的連通［10］。經(jīng)過這樣處理的目的是使車輛圖像中類似車牌部分的區(qū)域全部形成矩形連通區(qū)域，以方便定位查找。

1.4 仿真實(shí)驗(yàn)結(jié)果

首先是原始的車輛圖像，本文中考慮到是對(duì)200萬像素這樣一種較大圖像的處理效率，所以截取了圖像的部分進(jìn)行灰度化等預(yù)處理，原始圖像和灰度圖像分別如圖2和圖3所示。

本文首先采用Canny邊緣算子對(duì)灰度圖像進(jìn)行檢測(cè)，然后利用自定義的矩形數(shù)學(xué)形態(tài)學(xué)算子對(duì)邊緣圖進(jìn)行處理，得到的處理結(jié)果如圖4和圖5所示。

從圖5可以看出，圖像中已經(jīng)形成了幾個(gè)類似車牌的白色連通區(qū)域，接下來的工作就是從這些車牌候選區(qū)域中找出真正地車牌區(qū)域，并進(jìn)行精確定位。

2 車牌定位算法

本文中采用三次定位過程對(duì)車牌精確定位。首先，一次定位是通過對(duì)上文中數(shù)學(xué)形態(tài)學(xué)處理過的圖片進(jìn)行像素統(tǒng)計(jì)，依賴車牌的長寬比例特征實(shí)現(xiàn)對(duì)車牌區(qū)域的初定位；然后二次定位是通過車牌的紋理特征，掃描跳變?nèi)コ嚺粕舷赂蓴_；最后三次定位通過閾值法去除車牌左右非車牌區(qū)域的干擾，最終實(shí)現(xiàn)對(duì)車牌精確定位。三次定位過程的程序流程如圖6所示。

圖6 三次定位過程流程

由于定位過程設(shè)計(jì)到的閾值設(shè)定都是和圖片的拍攝角度、焦距、圖片大小等參數(shù)相關(guān)，不同的圖片參數(shù)采用不同的閾值，所以能夠很好的保證算法的魯棒性。

2.1 像素點(diǎn)統(tǒng)計(jì)一次定位算法

像素點(diǎn)統(tǒng)計(jì)法［11］初定位是指對(duì)上面預(yù)處理得到的二值圖像進(jìn)行逐行掃描并統(tǒng)計(jì)像素點(diǎn)，將滿足一定長寬比的連通區(qū)域找到，并記錄下該區(qū)域的左上角坐標(biāo)值。此處的掃描像素統(tǒng)計(jì)個(gè)數(shù)主要從行和列兩個(gè)方向上進(jìn)行，本文中針對(duì)200萬像素高速卡口的圖片，掃描順序?yàn)樽宰笾劣遥韵露稀＞唧w算法步驟為：

（1）首先是在行方向上統(tǒng)計(jì)。設(shè)置一個(gè)Row ［j］數(shù)組來存放該行的像素點(diǎn)數(shù)，j表示當(dāng)前為第幾行。用i跟蹤行方向的指針ptr，如果當(dāng)前ptr指向像素點(diǎn)的值為255，并且ptr＋1的像素點(diǎn)也為白色，說明這兩點(diǎn)在該行上屬于連通區(qū)域，則Row ［j］自動(dòng)加1，然后i＋＋，指針右移，判斷并統(tǒng)計(jì)右邊的像素點(diǎn)。同時(shí)設(shè)置一個(gè)Gap［j］變量來記錄連續(xù)斷開的情況，進(jìn)行容錯(cuò)處理，如果Gap［j］的值很小，則忽略該間斷，否則執(zhí)行步驟 （2）；

（2）如果Row ［j］＞＝W，，則跳出該行統(tǒng)計(jì)，j加1，接著執(zhí)行步驟 （1），統(tǒng)計(jì)該行上面一行的連通的像素點(diǎn)數(shù)，否則執(zhí)行步驟 （4）；

（3）在列的方向上設(shè)置一個(gè)整型變量Line來記錄連續(xù)滿足上面條件的行數(shù)，如果Line＞H，記錄當(dāng)前的坐標(biāo)值 （i，j），即為車牌區(qū)域的右上角坐標(biāo)值。否則，執(zhí)行步驟 （4）；

（4）將Row ［j］，Line，Gap ［j］分別清零，重新設(shè)置起點(diǎn)進(jìn)行掃描。

其中，W為車牌區(qū)域的高度，H為車牌區(qū)域的寬度，取值大小為可變參數(shù)，取決于拍攝焦距、角度以及圖片大小。通過以上一次定位的處理，會(huì)得到車牌區(qū)域右上角的坐標(biāo)，通過該坐標(biāo)即可得出車牌區(qū)域在原始圖像中的粗略位置。由于數(shù)學(xué)形態(tài)學(xué)是有損運(yùn)算，此處并不是準(zhǔn)確的車牌區(qū)域。

2.2 紋理分析二次定位算法

紋理分析法二次定位所處理的范圍大大縮小，即為一次定位所圈定的W×H大小的范圍，為了完整的包含全部車牌區(qū)域，一次定位得到的區(qū)域范圍比車牌的實(shí)際區(qū)域要大一些，因此文中通過分析車牌區(qū)域的紋理特征，排除上下多余區(qū)域或者邊框的干擾。車牌區(qū)域由于字符的排列方式，會(huì)有明顯的紋理跳變規(guī)律，這也是車牌區(qū)域區(qū)別于多余區(qū)域和邊框的特征。通過對(duì)Canny圖像該區(qū)域的特征分析可以準(zhǔn)確定位車牌區(qū)域的上下邊界。

具體算法步驟為：

（1）掃描Canny圖像一次定位得到的區(qū)域，在行方向上，設(shè)置一個(gè)Count［j］數(shù)組來記錄跳變的個(gè)數(shù)，將像素點(diǎn)值由0到255或者由255到0記作一次跳變，該行中每出現(xiàn)這樣一種情況，Count［j］自加1，Count［j］存放了自下而上j行的紋理跳變個(gè)數(shù)；

（2）在列的方向上，自下而上分析步驟 （1）獲得的數(shù)組Count［j］的值。設(shè)置一個(gè)變量Step來記錄車牌區(qū)域的跳變數(shù)量，由于車牌區(qū)域有7個(gè)字符，所以通常Step的值會(huì)＞＝14。如果Count［j］小于Step，則j＋＋，繼續(xù)往上掃，否則將j行的記錄為下邊界，此時(shí)Count［j］大于等于Step；

（3）繼續(xù)步驟 （2），如果 Count［j］大于等于Step，j＋＋，否則，將新的j行重新記錄為上邊界；

（4）根據(jù)步驟和步驟找的上下邊界，去原始圖像中將車牌截取出來。

通過以上二次定位處理就得到去掉上下干擾和邊框的車牌，只需要再去掉左右部分的干擾便是車牌的精確區(qū)域。

2.3 閾值三次定位算法

通過二次定位，已經(jīng)可以得到一個(gè)上下邊界精確但是存在左右干擾區(qū)域的車牌，文中使用了閾值法將車牌左右多余部分去掉。

具體算法步驟為：

（1）將二次定位得到的車牌進(jìn)行圖像灰度化和二值化處理，通過設(shè)置合適的二值化閾值可以使車牌的字符或者背景亮色突出；

（2）對(duì)步驟 （1）得到的二值圖像進(jìn)行一次數(shù)學(xué)形態(tài)學(xué)膨脹處理，通過設(shè)置合適大小的膨脹算子可以使車牌區(qū)域全部白色連通，而非車牌區(qū)域和邊框?yàn)楹谏虿糠诌B通；

（3）將步驟 （2）膨脹過的圖像進(jìn)行垂直投影，并將每一列的像素點(diǎn)個(gè)數(shù)保存到一個(gè)數(shù)組Sum ［i］；

（4）設(shè)定一個(gè)閾值T對(duì)步驟 （3）投影得到的Sum ［i］分析限定，得到車牌的左右邊界，閾值T的大小和車牌圖片的拍攝參數(shù)相關(guān)；

（5）在步驟 （4）的基礎(chǔ)上，在邊緣圖信息里垂直投影檢測(cè)左右邊界，通常為豎直的白線，進(jìn)一步去除邊界干擾。

三次定位閾值法描述如圖7所示。

圖7 三次定位閾值法

通過第三次定位，可以將車牌左右兩邊的干擾和邊框去掉，這樣就精確得到去了邊框的車牌區(qū)域，為下一步的字符分割和識(shí)別做好準(zhǔn)備。

2.4 仿真實(shí)驗(yàn)結(jié)果

首先是采用一次定位得到車牌所在區(qū)域的右上角坐標(biāo)，在本文實(shí)驗(yàn)中，根據(jù)該坐標(biāo)和車牌的長寬比，用白色線框標(biāo)出了車牌區(qū)域的大致范圍，如圖8所示。

圖8 一次定位

二次定位通過掃描Canny邊緣檢測(cè)圖像，分析車牌的紋理跳變特征，排除不符合跳變規(guī)律的部分，最后得到去除了上下非車牌區(qū)域干擾和上下邊框的車牌，如圖9所示。

圖9 二次定位

三次定位先是圖像二值化和數(shù)學(xué)形態(tài)學(xué)膨脹處理，再根據(jù)閾值法去除車牌左右干擾和左右邊框，最終的到精確地車牌區(qū)域，結(jié)果如圖10所示。

圖10 三次定位

3 定位測(cè)試與分析

本文的一個(gè)研究重點(diǎn)就是在傳統(tǒng)車牌定位方法的基礎(chǔ)上，提出一個(gè)能更加精確定位車牌的方法，通過與同類前沿的車牌定位方法進(jìn)行比較，本文中提出的方法能夠更加精確的將車牌定位，去除了邊框，只保留了車牌區(qū)域，為后期分割做了更好的準(zhǔn)備，大大增加了車牌整體的有效分割率和識(shí)別率。為了測(cè)試本方法的有效性，本文采用了高速路卡口攝像頭拍攝的白天、夜晚、雨天、霧天以及曝光過度五組圖像集進(jìn)行定位測(cè)試［12］。

（1）測(cè)試集1：500張白天正常拍攝的200萬像素圖像。

（2）測(cè)試集2：500張夜晚正常拍攝的200萬像素圖像。

（3）測(cè)試集3：200張雨天拍攝的200萬像素圖像。

（4）測(cè)試集4：200張霧天拍攝的200萬像素圖像。

（5）測(cè)試集5：200張曝光過度的200萬像素圖像。

本文提出的精確方法與傳統(tǒng)的車牌定位算法進(jìn)行對(duì)比，可以有效的去除車牌的鉚釘、光照不均、邊框、車燈、廣告字符、周邊圖案等干擾信息，效果如圖11（a）、（b）所示。

圖11 定位效果對(duì)比

測(cè)試結(jié)果如表1所示。

表1 定位測(cè)試

表1中，一次定位準(zhǔn)確率是指一次定位到區(qū)域包含整個(gè)車牌的圖片與總圖片的比值；二次定位準(zhǔn)確率是指二次定位精確定位到上下邊界的圖片和總圖片數(shù)量的比值；三次定位準(zhǔn)確率是指精確定位到車牌上下左右邊界的圖片和總圖片數(shù)量的比值；定位效率是指從讀入原始圖像到得到精確車牌的總時(shí)間。從表1可以看出，本文提出的車牌定位算法可以精確實(shí)時(shí)的定位車牌，跟傳統(tǒng)的車牌定位方法相比，在車牌精確定位率和定位效率上都有提高。

4 結(jié)束語

本文提出了一種基于數(shù)學(xué)形態(tài)學(xué)結(jié)合紋理分析的車牌精確定位方法。該方法相對(duì)于傳統(tǒng)的車牌定位算法，采用三次定位過程來完成車牌的精確定位，在一定程度上提高了對(duì)車牌定位的準(zhǔn)確率和效率，為下一步字符分割和字符識(shí)別做了更好的準(zhǔn)備。對(duì)圖像的預(yù)處理、像素點(diǎn)統(tǒng)計(jì)和紋理分析等算法有很好的研究價(jià)值，同時(shí)也更好的滿足了車牌識(shí)別在智能交通領(lǐng)域的應(yīng)用。對(duì)算法進(jìn)一步優(yōu)化，建立智能模型，融合自學(xué)習(xí)能力是下一步的研究方向。

［1］CHEN Bei，CAO Wenlun，ZHANG Hongcai.An efficient algorithm on vehicle license plate location ［C］／／Chongqing：International Conference on Automation and Logistics，2008：1386－1389.

［2］DEB K，LIM H，JO K H.Vehicle license plate extraction based on color and geometrical features ［J］.IEEE International Symposium on Industrial Electronics，2010，57 （2）：1650－1655.

［3］GONG L X，HU H P，BAI Y P.Vehicle license plate slant correction based on mathematical morphology and radon transfor－mation ［C］／／Yantai，Shandong：Sixth International Conference on Natural Computation，2010：3457－3461.

［4］PAN Wei，YANG Nafei，AN Rong.Low quality license plate location based on gradient and morphological ［J］.Computer Engineering，2011，37 （13）：144－146 （in Chinese）. ［潘巍，楊娜菲，安榮.基于梯度與形態(tài)學(xué)的低質(zhì)量車牌定位 ［J］.計(jì)算機(jī)工程，2011，37（13）：144－146.］

［5］HUNG E L.A real－time mobile vehicle license plate detection and recognition for vehicle monitoring and management ［J］.Computer Engineering and Application，2009，45 （22）：162－165.

［6］JIA Zhaofeng，CHEN Jirong.Method of licese plate location based on character detection ［J］.Computer Engineering，2010，36 （3）：192－194 （in Chinese）.［賈曌峰，陳繼榮.基于字符檢測(cè)的車牌 定 位 方法 ［J］.計(jì) 算 機(jī)工 程，2010，36 （3）：192－194.］

［7］Caner H，Gecim H S，Alkar A Z.Efficient embedded neuralnetwork－based license plate recognition system ［J］.IEEE Transactions on Vehicular Technology，2008，57 （5）：2675－2683.

［8］LI Wenju，WEI Lihua，WANG Hongdong，et al.License plate location method using comprehensive features ［J］.Mini－Micro Systems，2011，22 （8）：156－170 （in Chinese）.［李文舉，韋麗華，王洪東，等.利用綜合特征的車牌定位方法 ［J］.小型微型計(jì)算機(jī)系統(tǒng)，2011，22 （8）：156－170.］

［9］Chang－Tang Hsieh，LIANG Chunchang，Kuoming Hungel.A real－time mobile vehicle license plate detection and recognition for vehicle monitoring and management ［J］.Computer Engineering and Application，2009，45 （22）：162－165.

［10］MA Shujian，ZHAO Jianyu.A method of license plate location based on mathematical morphology and corner detection［C］／／Guilin，China：International Conference on Network Computing and Information Security，2011：257－260.

［11］MAI Vinhdu，MIAO Duoqian，WANG Ruizhi，et al.An improved method for vietnam license plate location ［C］／／Hangzhou，China：International Conference on Multimedia Technology，2011：2942－2946.

［12］ZHENG Yanqing，LI Daiping，ZHANG Shuwen.License plate location based on combinatorial feature ［C］／／International Conference on Microwaves，Radar and Remote Sensing Symposium，2011：165－168.