動態(tài)車牌跟蹤識別系統(tǒng)
——基于OpenCV 和卷積神經(jīng)網(wǎng)絡(luò)

何智芳，李英華，李奇梼，黃欣華，任藝昊，黎運(yùn)宇

（廣西民族師范學(xué)院 數(shù)理與電子信息工程學(xué)院，廣西崇左，532200）

1 研究意義

隨著世界經(jīng)濟(jì)的飛速發(fā)展，世界各國的大城市都面臨著交通擁堵、交通事故、交通環(huán)境日益惡化等問題，“智慧城市”的概念應(yīng)運(yùn)而生，為了使城市的各種管理變得更加智能化，牌照識別技術(shù)也逐步成為人們關(guān)注的焦點(diǎn)。早在1990 年美國智慧運(yùn)輸協(xié)會提出了“智慧運(yùn)輸”的概念，國外學(xué)者開始零零散散的運(yùn)用圖像處理的方法進(jìn)行車牌號碼的識別，英國阿爾法科技公司 ARGUS 公司開發(fā)了一套車牌自動識別系統(tǒng) RAUS，該系統(tǒng)的識別速度大約為0.1s，但是在這個(gè)階段，車牌識別系統(tǒng)還是沒有形成完整的系統(tǒng)體系，當(dāng)采用圖像處理方法解決一部分問題后，還需通過人工進(jìn)行干預(yù)。識別算法的技術(shù)也開始向統(tǒng)計(jì)模型過渡，隱馬爾科夫模型(HMM)已成為當(dāng)時(shí)的主流技術(shù)。現(xiàn)階段國外對于汽車牌照識別系統(tǒng)的研發(fā)已經(jīng)相對成熟，對于汽車牌照的識別以幾乎達(dá)到智能化，但對于汽車牌照識別系統(tǒng)的應(yīng)用與市場發(fā)展場景仍十分具有潛力。

在90 年代初期，我國開始對汽車牌照識別技術(shù)的自主研發(fā)。我國的車牌格式與國外有很大差異，但在字母和數(shù)字識別方面，我們可以從國外的一些技術(shù)上學(xué)習(xí)，對于車牌含有漢字這一獨(dú)特特征，將由我國科研人員攻克。近年來，隨著國內(nèi)對汽車牌照識別的需求量越來越大與隨著科技水平的不斷提高，車牌識別系統(tǒng)在市場中的應(yīng)用推廣普及下，在2015 年后呈現(xiàn)爆發(fā)式的增長。目前我國的汽車牌照系統(tǒng)正處于高速發(fā)展的時(shí)期，僅2020 年我國的車牌識別系統(tǒng)市場達(dá)到近乎10 億美金，而在市場份額占比上，國產(chǎn)車牌識別系統(tǒng)占據(jù)了大約一半的市場份額，再加上國家和地方的大力扶持，智能車牌識別系統(tǒng)市場的年均增長率將超過20%，到2025 年，智能停車產(chǎn)業(yè)的產(chǎn)值將會接近400 億。車牌識別系統(tǒng)在我國未來具有十分廣闊的發(fā)展前景。目前國內(nèi)的車牌識別系統(tǒng)主要由車牌識別攝像機(jī)，車牌顯示屏，控制主板，車牌識別電源，車牌識別補(bǔ)光燈等組成，目前在國內(nèi)應(yīng)用較多的車牌識別系統(tǒng)產(chǎn)品有捷順、啟功、科拓、ETCP、百勝智能以及海康威視。車牌識別系統(tǒng)在小區(qū)門禁、停車場出入口、高速收費(fèi)站等場所得到廣泛地應(yīng)用。現(xiàn)階段我國應(yīng)用的車牌識別系統(tǒng)在全天候的運(yùn)行中識別成功率可以達(dá)到95%以上，并且能夠存儲汽車牌照的圖片和識別結(jié)果。但是這些車牌識別都是在受限的場景下取得的，現(xiàn)階段應(yīng)用的車牌識別系統(tǒng)還是容易受到如光照、油漆脫落、車牌傾斜度、字符舊損等復(fù)雜的背景環(huán)境影響，這些因素對汽車牌照識別的準(zhǔn)確率有一定影響。因此，車牌識別系統(tǒng)在未來仍需要繼續(xù)研究。

2 動態(tài)車牌的跟蹤識別系統(tǒng)的基本功能分析

以下將針對圖像的獲取、處理、跟蹤定位、識別等部分功能進(jìn)行闡述。

圖1 車牌識別系統(tǒng)構(gòu)成

2.1 動態(tài)車牌圖像的獲取

以前，人們對車牌的識別主要是識別車牌圖片，車牌的位置比較近，速度也比較慢，一般都是將車輛停在附近，通過拍攝下當(dāng)時(shí)場景下的車牌靜態(tài)圖，后期再對靜態(tài)圖像處理并分析，最后識別出車牌字符。而一張照片的信息量很小，圖像的質(zhì)量也會受到天氣、光線、傳播等因素的影響，最終導(dǎo)致圖像的識別精度下降，所以以往車牌圖像識別系統(tǒng)在實(shí)際應(yīng)用時(shí)局限性很大。

本文采用的是動態(tài)車牌提取，將通過動態(tài)方式獲取車牌信息，目前通過計(jì)算機(jī)視覺獲取動態(tài)車牌圖像有兩種方法，第一種是將含有動態(tài)車牌的圖像輸入計(jì)算機(jī)，是通過提前保存好已錄制好的動態(tài)車牌圖像在計(jì)算機(jī)中，使用時(shí)可以直接調(diào)用，但是會占據(jù)較大的內(nèi)存空間。第二種是通過調(diào)用攝像頭來實(shí)現(xiàn)實(shí)時(shí)輸入動態(tài)車牌圖像，短時(shí)間內(nèi)可以獲取到動態(tài)車牌圖像，實(shí)現(xiàn)實(shí)時(shí)工作，從而提高工作效率，相對的減少了內(nèi)存空間。隨著網(wǎng)絡(luò)時(shí)代的發(fā)展，攝像頭的作用愈來愈明顯，目前最為廣泛的就是用攝像頭來實(shí)時(shí)記錄當(dāng)下情況，利用它來獲取動態(tài)圖像更加簡單和方便。

2.2 動態(tài)車牌圖像預(yù)處理

此部分功能主要為了能讀取所需要的信息將車牌準(zhǔn)確的跟蹤與識別，在此部分通常分為：車牌圖像預(yù)處理、牌照掃描、圖像灰度化處理、增強(qiáng)對比度、車牌背景色統(tǒng)一以及圖像校正等。由于數(shù)字圖像在傳輸過程中會受到成像設(shè)備與外部環(huán)境噪聲的干擾，在采集到的車輛牌照時(shí)，存在著光照、傾斜角度、陰影、噪聲等多種干擾[1]。這極大地降低了牌照識別的準(zhǔn)確率。為了減少噪聲干擾，在圖像預(yù)處理時(shí)需對動態(tài)車牌圖像去噪，即可以通過濾波處理將外來干擾濾除，保持原像素拍攝下的車牌圖像的主要特征。在車輛牌照準(zhǔn)確定位后，下面對車輛牌照識別中的字符切分算法進(jìn)行研究，依次研究了二值化、圖像腐蝕與膨脹操作和字符歸一化處理，如圖2 所示。

圖2

2.3 基于YOLOV5 的車牌跟蹤定位

在所述牌照檢測和識別系統(tǒng)中輸入所述圖像，首先需要對該圖像進(jìn)行跟蹤定位，為下一步的牌照分割和識別打下了堅(jiān)實(shí)的基礎(chǔ)。牌照跟蹤定位是指通過一種特殊的方法來對所獲取的車牌進(jìn)行跟蹤定位，并對其進(jìn)行圖像處理。目前的牌照定位技術(shù)主要是基于顏色特征、邊緣特征、混合特征和神經(jīng)網(wǎng)絡(luò)四種不同的車牌定位方法[2]。顏色特征不會因?yàn)閳D像的平移、旋轉(zhuǎn)、大小、方向等變化而影響到車牌的跟蹤定位，但會因?yàn)閳D像顏色變化不明顯，而導(dǎo)致跟蹤定位的區(qū)域過大或者錯(cuò)誤跟蹤。邊緣特征比較常用的算子有Sobel 算子，Canny 算子，Laplacian 算子。但定位不是特別準(zhǔn)確、易受噪聲干擾。混合特征中比較有代表性的是分割連通域和面積特征的車牌定位方法[3]在復(fù)雜的背景環(huán)境下也能準(zhǔn)確定位。該混合特征相比于顏色特征和邊緣特征這個(gè)方法跟蹤定位更加準(zhǔn)確，但是如果出現(xiàn)形狀面積類似車牌的圖像物體時(shí)就容易出現(xiàn)定位錯(cuò)誤。

通過對車牌特征的訓(xùn)練，計(jì)算機(jī)跟蹤定位更加準(zhǔn)確，車牌跟蹤是指從車輛信息圖像中找到圖像中含有車牌的區(qū)域并繪制矩形輪廓來跟蹤車牌，當(dāng)車牌圖像運(yùn)動時(shí)，輪廓也會跟著車牌區(qū)域運(yùn)動。車牌跟蹤可以通過檢測圖像中的車牌矩形框，便可以找到車牌輪廓，繪制矩形框來跟蹤車牌。本系統(tǒng)通過用OPENCV 加載YOLOV5 算法，經(jīng)數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、實(shí)現(xiàn)效果三個(gè)步驟來實(shí)現(xiàn)車牌跟蹤定位識別。數(shù)據(jù)準(zhǔn)備主要是準(zhǔn)備數(shù)據(jù)集，即根據(jù)車牌的特征來完成車牌采集。圖像采集時(shí)需注意圖像的像素值，當(dāng)圖像的像素值較低時(shí)，則會影響到車牌定位的準(zhǔn)確性。目前也有公開的車牌數(shù)據(jù)集，如CCPD 數(shù)據(jù)集。

2.3.1 數(shù)據(jù)集準(zhǔn)備

本次采集有10 萬多張照片，80000 張樣本，可以很好的做到動態(tài)車牌的跟蹤定位，訓(xùn)練模型才能使得計(jì)算機(jī)用最快的時(shí)間跟蹤定位到車牌區(qū)域和識別出車牌字符，照片數(shù)量越多，訓(xùn)練出來的模型效果越好，訓(xùn)練的時(shí)間也就越長。

圖3

圖4

2.3.2 模型訓(xùn)練結(jié)果

本次模型訓(xùn)練多次，這是其中的6 次，每次訓(xùn)練都會迭代，訓(xùn)練的次數(shù)越多，訓(xùn)練結(jié)果就會越接近1。

2.3.3 車牌定位測試

我們使用30 張圖片和一個(gè)手機(jī)拍的視頻進(jìn)行推斷測試,這些數(shù)據(jù)都沒有在訓(xùn)練集和驗(yàn)證集中出現(xiàn)過,以此來測試識別準(zhǔn)確性，部分效果圖如圖5 所示。

圖5

2.4 卷積神經(jīng)網(wǎng)絡(luò)車牌識別

神經(jīng)網(wǎng)絡(luò)最廣為人知的定義是人腦存在的神經(jīng)網(wǎng)絡(luò)，人們以此來完成思考、處理信息和傳遞信息等。神經(jīng)元具有傳遞信息、處理信息和整合信息的能力，每兩個(gè)神經(jīng)元的連接都代表了通過該連接信號的加權(quán)值，即記憶。從信息處理角度對人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象和建立模型，由大量的神經(jīng)元節(jié)點(diǎn)相互聯(lián)接，按不同的連接方式組成不同的網(wǎng)絡(luò)，具有很強(qiáng)的特征提取能力。然而，目前已發(fā)展成為多學(xué)科交叉的學(xué)科領(lǐng)域，為各領(lǐng)域各專業(yè)的研究提供了新的思路和方法。網(wǎng)絡(luò)的輸出則根據(jù)網(wǎng)絡(luò)的連接方式，權(quán)重值和激勵(lì)函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對自然界某種算法或者函數(shù)的逼近[4]，也可能是對一種邏輯策略的表達(dá)。深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺、語言識別和文本處理等領(lǐng)域取得了重大突破，成為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，其在模式識別、智能機(jī)器人、自動控制、預(yù)測估計(jì)、生物、醫(yī)學(xué)、經(jīng)濟(jì)等領(lǐng)域已成功地解決了許多現(xiàn)代計(jì)算機(jī)難以解決的實(shí)際問題，表現(xiàn)出了良好的智能特性。

利用卷積神經(jīng)網(wǎng)絡(luò)對牌照進(jìn)行訓(xùn)練，并利用卷積神經(jīng)網(wǎng)絡(luò)對牌照進(jìn)行特征提取。由于卷積神經(jīng)網(wǎng)絡(luò)的平移不變性，可以通過對候選區(qū)域的輔助，實(shí)現(xiàn)對候選區(qū)域的分類。該區(qū)域被正確地劃分為被測對象所處的位置。神經(jīng)網(wǎng)絡(luò)主要可以分為特征提取和特征訓(xùn)練部分，特征提取主要是將車牌的主要特征如大小、形狀、顏色等提取出來，然而特征訓(xùn)練則是根據(jù)車牌特征加以訓(xùn)練，使得計(jì)算機(jī)能辨別出車牌，并在在動態(tài)車牌圖像中跟蹤定位到車牌。利用神經(jīng)網(wǎng)絡(luò)技術(shù)可以將所抽取的車牌字符與已有的車牌字符相對比，從而得到牌照的字符。利用 OpenCV 的計(jì)算機(jī)視覺知識庫，使系統(tǒng)的實(shí)現(xiàn)復(fù)雜性大為減少，能夠快速、精確地進(jìn)行車牌號的識別[5]。模型訓(xùn)練根據(jù)車牌的字符特征來訓(xùn)練，將車牌的主要特征匯總，訓(xùn)練計(jì)算機(jī)能從眾多車牌字符特征中找出相對應(yīng)的字符。實(shí)現(xiàn)效果是將車牌字符以車牌漢字、字母、數(shù)字依次識別出來，并完成識別工作。

我國汽車牌照一般由7 個(gè)字符組成，包含1 個(gè)漢字、1 個(gè)英文和5 個(gè)數(shù)字和英文。想要對車牌字符進(jìn)行有效的識別，首先要對車牌進(jìn)行字符分割。目前在我國應(yīng)用較多的字符分割方法主要有：基于固定間隔的長度法、基于直方圖的垂直投影法、基于輪廓線的牌照特征提取方法等。在分割車牌時(shí)，首先要對車牌進(jìn)行二值化，然后再將車牌圖像投影到車牌上，從而得到車牌對應(yīng)的數(shù)字；通過數(shù)值對比確定單個(gè)字符位置邊界，以此方法可類推直至完成整個(gè)牌照的字符分割。

圖6

3 實(shí)驗(yàn)結(jié)果

通過車牌圖像的預(yù)處理以及車牌定位和字符分割，最后搭建卷積神經(jīng)網(wǎng)絡(luò)對車牌進(jìn)行模型訓(xùn)練,最終得出以下效果，如圖7 所示。

圖7

4 總結(jié)

對于道路車牌的識別，如果車牌定位和識別達(dá)到實(shí)用程度，車牌模型訓(xùn)練還要再進(jìn)一步的加量。該模型在數(shù)據(jù)集不大的情況下仍能取得不錯(cuò)的性能，即使對于復(fù)雜路況條件下的車牌識別，也能獲得良好的檢測結(jié)果。然而現(xiàn)有模型的局限性可以通過增大調(diào)整數(shù)據(jù)集和使用性能更好的計(jì)算機(jī)得到解決。