基于Zynq霧霾天氣下的實(shí)時(shí)車牌識(shí)別系統(tǒng)

楊 杰，王民慧

（貴州大學(xué) 電氣工程學(xué)院，貴陽(yáng) 550025）

0 引言

霧霾天氣的出現(xiàn)導(dǎo)致監(jiān)控系統(tǒng)采集到的圖像質(zhì)量很差，不僅圖像不清晰，而且對(duì)比度也較低，這些都將對(duì)視頻中車牌的快速、準(zhǔn)確識(shí)別造成很大影響。因此，對(duì)霧霾天氣造成的低質(zhì)量圖像進(jìn)行實(shí)時(shí)、快速的去霧尤為重要，也將為后續(xù)的車牌識(shí)別提供有益支持。

目前，去霧方法大致有3種：基于物理模型的圖像復(fù)原、基于非物理模型的圖像增強(qiáng)以及基于深度學(xué)習(xí)的去霧。其中，基于物理模型的方法主要是考慮霧的成像原理，以此建立模型，再用該模型來(lái)恢復(fù)有霧的圖像。這種方法去霧效果較好，但算法的時(shí)間與空間復(fù)雜度高，不容易在硬件平臺(tái)實(shí)現(xiàn)。基于非物理模型的方法是通過(guò)增強(qiáng)圖像的亮度和對(duì)比度來(lái)實(shí)現(xiàn)的，不考慮成像原理。這類方法常用的是Retinex算法，該算法主要通過(guò)增強(qiáng)邊緣信息和抑制噪聲，處理后的圖像都能得到較好的亮度和對(duì)比度效果。基于深度學(xué)習(xí)的去霧主要是其學(xué)習(xí)能力強(qiáng)、效果好等特點(diǎn)得以應(yīng)用。該方法幾乎都是通過(guò)GPU平臺(tái)訓(xùn)練的，算法復(fù)雜、功耗大，不利于實(shí)時(shí)性要求高的場(chǎng)景應(yīng)用。現(xiàn)在的去霧算法大多數(shù)在PC端實(shí)現(xiàn)，靈活性不高、計(jì)算速度也較慢等，這些都在一定程度上限制了監(jiān)控系統(tǒng)中車牌識(shí)別的應(yīng)用性能。

Zynq是全可編程的片上系統(tǒng)（AP SOC），將軟硬件的優(yōu)勢(shì)結(jié)合起來(lái)，使得所設(shè)計(jì)的系統(tǒng)更加靈活，并且將設(shè)計(jì)成本和功耗降到最低。完全滿足監(jiān)控系統(tǒng)中對(duì)車牌識(shí)別實(shí)時(shí)性、可嵌入、小型化和低功耗等方面的性能要求。

因此，本文提出基于Zynq霧霾天氣下的實(shí)時(shí)車牌識(shí)別系統(tǒng)，利用Zynq的ARM＋FPGA獨(dú)特異構(gòu)方式來(lái)提高監(jiān)控系統(tǒng)的圖像去霧性能，而后進(jìn)行實(shí)時(shí)的車牌識(shí)別。降低去霧算法的空間與時(shí)間復(fù)雜度，在顏色空間（）對(duì)亮度用改進(jìn)Retinex算法進(jìn)行去霧處理，保持飽和度和色調(diào)相對(duì)不變。在車牌識(shí)別中，先將去霧后的圖像進(jìn)行中值濾波進(jìn)一步增強(qiáng)圖像，提取出分量進(jìn)行二值化處理，然后進(jìn)行圖像的腐蝕運(yùn)算，再進(jìn)行Sobel邊緣檢測(cè)，最后是圖像的膨脹運(yùn)算。在整體系統(tǒng)架構(gòu)研發(fā)上，PS（ARM）端主要是進(jìn)行簡(jiǎn)單的運(yùn)算、控制及初始化，而高斯核函數(shù)、二維及三維卷積耗時(shí)較多的運(yùn)算則由PL（FPGA）端采用并行計(jì)算的方式實(shí)現(xiàn)，從而提高運(yùn)算速度。PS與PL之間的數(shù)據(jù)交換則是由片內(nèi)總線AXI4（Advanced eXtensible Interface 4）來(lái)建立連接的。

1 Retinex算法

Retinex算法將一幅圖像分為入射分量和反射分量，即：

其中，（，）為接收的原始圖像；（，）為圖像的入射分量；（，）為圖像的反射分量，也就是要增強(qiáng)的去霧圖像；（，）為圖像的像素坐標(biāo)。

對(duì)式（1）進(jìn)行對(duì)數(shù)運(yùn)算得到去霧圖像，可由式（2）表示為：

大多數(shù)情況下，傳統(tǒng)的Retinex算法是用高斯核函數(shù)（，）對(duì)原始圖像（，）進(jìn)行卷積運(yùn)算來(lái)逼近入射分量（，），即：

其中，“*”為卷積運(yùn)算；（，）為高斯核函數(shù)；系數(shù)由歸一化函數(shù)決定；為尺度參數(shù)。這樣，Retinex算法為：

2 優(yōu)化Retinex算法

傳統(tǒng)的Retinex算法是針對(duì)圖像的、、三個(gè)通道進(jìn)行處理的，這種方式容易導(dǎo)致圖像的顏色失真，且算法的復(fù)雜度過(guò)高，在硬件平臺(tái)上實(shí)現(xiàn)的難度較大，對(duì)實(shí)時(shí)性也不容易滿足。因此，本系統(tǒng)采用基于顏色空間（）的Retinex算法，將有霧的車輛違章圖像由格式轉(zhuǎn)為格式，進(jìn)而得到色調(diào)、飽和度和亮度，保持圖像的和分量不變，對(duì)亮度進(jìn)行局部單尺度Retinex（SSR）處理，這樣既減少了算法的復(fù)雜度，也可以盡量避免傳統(tǒng)的Retinex算法造成的圖像色彩失真。算法流程如圖1所示。

圖1 優(yōu)化Retinex算法流程圖Fig.1 Flowchart of optimizing Retinex algorithm

具體步驟如下：

（1）選取合適的尺度參數(shù)和模板大小，由式（4）生成高斯函數(shù)。

（2）將有霧圖像由格式轉(zhuǎn)化為格式。

（3）根據(jù)優(yōu)化的Retinex算法，對(duì)亮度分量進(jìn)行對(duì)數(shù)運(yùn)算得到亮度分量，將帶入式（3）與生成的高斯函數(shù)進(jìn)行卷積運(yùn)算，再取對(duì)數(shù)得到亮度，將亮度和進(jìn)行相加減得到去霧后的亮度分量。

（4）色調(diào)、飽和度保持不變，并將、及由格式轉(zhuǎn)為格式，完成圖像去霧過(guò)程。

3 車牌識(shí)別算法

中值濾波通過(guò)去除一些離散的噪點(diǎn)，使圖像的像素更接近于實(shí)際值，在去除噪聲的同時(shí)，保護(hù)圖像的邊緣，使圖像更加清晰。算法在硬件上實(shí)現(xiàn)也比較簡(jiǎn)單，為了提高運(yùn)行效率，采用流水線式的排序得到3×3矩陣，且通過(guò)對(duì)每一行的排序、篩選，就可篩選得到中值。

圖像二值化是將圖像的像素點(diǎn)設(shè)為最大或最小的值，從而將整個(gè)圖像轉(zhuǎn)換為黑白圖像。在實(shí)時(shí)的圖像處理中，二值化占據(jù)重要的位置，圖像的特征只與0或255的像素值相關(guān)，因此處理起來(lái)更容易，數(shù)據(jù)處理量也大大減少。為了得到一個(gè)好的二值化圖像，定義一個(gè)閾值，如果大于或等于閾值，則指定邊界并以灰色值255表示。如果小于閾值，則在指定邊界外并用灰色值0表示。選擇閾值時(shí)，手動(dòng)選擇以提高計(jì)算速度。

腐蝕和膨脹屬于形態(tài)學(xué)算法，兩者相互獨(dú)立、也相輔相成。前者是將邊界向內(nèi)收縮，消除小且無(wú)意義的點(diǎn)；后者是使邊界向外部擴(kuò)張，填補(bǔ)一些圖像中的空洞。都是通過(guò)構(gòu)造結(jié)構(gòu)元素，使之掃描圖像中的每一個(gè)像素點(diǎn)，進(jìn)行“與”或者“或”操作，最終得到減小或者擴(kuò)大的二值圖像。

邊緣是圖像的基本特征，是一組在圖像中灰色值急劇變化的像素。Sobel邊緣檢測(cè)是離散差分算子用來(lái)計(jì)算圖像亮度函數(shù)的灰色近似值。

4 硬件平臺(tái)實(shí)現(xiàn)

硬件平臺(tái)是基于Zynq-7020的開(kāi)發(fā)板，采用ARM＋FPGA獨(dú)特的架構(gòu)方式完成霧霾天氣下監(jiān)控系統(tǒng)中的車輛實(shí)時(shí)車牌識(shí)別系統(tǒng)。在這個(gè)系統(tǒng)中，用Ov5640攝像頭采集數(shù)據(jù)作為圖像數(shù)據(jù)的輸入；對(duì)數(shù)運(yùn)算、顏色空間轉(zhuǎn)換、加減法器、IP核初始化以及控制在PS端進(jìn)行；卷積運(yùn)算以及各種并行計(jì)算將在PL中進(jìn)行。研究后得到的系統(tǒng)的總體架構(gòu)框圖如圖2所示。

圖2 總體系統(tǒng)架構(gòu)框圖Fig.2 Block diagram of overall system architecture

在PS端配置攝像頭，SCCB端口通過(guò)EMIO連接至PS端，在PS端驅(qū)動(dòng)攝像頭；攝像頭的圖像采集是自定義的IP核，以及相關(guān)的圖像處理算法都封裝為IP核，方便后期設(shè)計(jì)時(shí)的思路能夠更加清晰；將采集的圖像在PS端進(jìn)行顏色空間的轉(zhuǎn)換，通過(guò)HP接口與AXI-Smart互連進(jìn)行數(shù)據(jù)傳輸?shù)絇L端的圖像處理模塊進(jìn)行圖像去霧以及車牌識(shí)別；將處理后的數(shù)據(jù)通過(guò)Xilinx官方提供的Video in to AXI4-Stream IP核轉(zhuǎn)換成AXI4-Stream IP格式的數(shù)據(jù)流，再通過(guò)VDMA的寫(xiě)通道轉(zhuǎn)成AXI4 Memory Map格式，并寫(xiě)入DDR存儲(chǔ)器中。DDR中的數(shù)據(jù)讀取和存儲(chǔ)是通過(guò)AXI-HP端口與AXI-Smart互連、且后續(xù)與VDMA連接，相較于其他端口可更加高效地訪問(wèn)DDR3。將從DDR3中讀取圖像數(shù)據(jù)傳輸給AXI4-Stream to Video Out IP核。PS端提供的系統(tǒng)時(shí)鐘通過(guò)GP接口和AXI-Interconnect IP核相連，而后再提供給VDMA、VTC和動(dòng)態(tài)時(shí)鐘IP核。AXI4-Stream to Video Out IP核在VTC IP核的控制下，將AXI4-Stream格式的圖像數(shù)據(jù)轉(zhuǎn)化為視頻圖像輸出數(shù)據(jù)格式RGB888，而在將要輸出的數(shù)據(jù)與DVI IP核相連后，就通過(guò)HDMI接口連接到顯示屏，實(shí)時(shí)顯示處理結(jié)果。

5 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中硬件平臺(tái)使用的是基于Zynq-7020的正點(diǎn)原子開(kāi)發(fā)板領(lǐng)航者ZYNQ，CPU內(nèi)核頻率為766 MHz，邏輯單元為85 k，1 GB的DDR3，用Xilinx公司提供的Vivado 2018.3進(jìn)行編譯下載。

5.1 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證優(yōu)化后的Retinex算法的性能，用Zynq-7020實(shí)現(xiàn)本文優(yōu)化方法與在PC（Core i59300H，2.4 GHz主頻，8 G內(nèi)存，Matlab2014a）實(shí)現(xiàn)的傳統(tǒng)Retinex算法進(jìn)行性能的比較。為保證比較的有效性，取40，選擇101×101的高斯模板。

用查找表（LUT）、查找表RAM（LUTRAM）、BRAM、DSP等指標(biāo)來(lái)顯示PL端FPGA的資源消耗。表1為FPGA的資源占用率。

表1 FPGA資源占用表Tab.1 FPGA resources occupation table

當(dāng)只是人為主觀地評(píng)判圖像去霧效果的好壞時(shí)，往往具有差異性。因此，需要用一些客觀的指標(biāo)去判斷處理效果的好壞，這里用峰值信噪比、信息熵、運(yùn)行時(shí)間三個(gè)指標(biāo)作為評(píng)判的依據(jù)。其中，峰值信噪比描述的是圖像信號(hào)最大功率與影響圖像信號(hào)的干擾性噪聲功率的比值。信息熵是描述圖像的細(xì)節(jié)內(nèi)容、包含的信息量，熵值的大小反映信息量的豐富程度。

圖3是圖像去霧的效果對(duì)比結(jié)果，對(duì)比試驗(yàn)圖的峰值信噪比、信息熵、運(yùn)行時(shí)間三個(gè)客觀依據(jù)指標(biāo)見(jiàn)表2。

圖3 去霧效果對(duì)比圖Fig.3 Comparison of fog removal effects

表2 評(píng)價(jià)指標(biāo)結(jié)果對(duì)比Tab.2 Comparison of evaluation indexes results

5.2 實(shí)驗(yàn)分析

根據(jù)表1資源消耗的結(jié)果，LUT、LUTRAM、BRAM和DSP占的資源大概都是FPGA資源的20%左右，整個(gè)系統(tǒng)消耗Zynq-7020資源較少，成本也較低，能夠滿足實(shí)際工程的需求。

從圖3去霧效果對(duì)比圖可以看出，PC端實(shí)現(xiàn)的去霧算法與Zynq上實(shí)現(xiàn)優(yōu)化后的去霧算法都能較好地達(dá)到去霧效果。

根據(jù)表2的客觀指標(biāo)依據(jù)對(duì)比，在PC端實(shí)現(xiàn)Retinex去霧算法和在Zynq上實(shí)現(xiàn)優(yōu)化Retinex去霧算法，兩者都能使峰值信噪比達(dá)到60 dB，能夠有效地減少霧霾所產(chǎn)生的噪聲，增強(qiáng)圖像的視覺(jué)清晰效果。相比于原始圖像，處理后的照片信息熵有所提高，證明圖像的細(xì)節(jié)以及豐富度有所提高。無(wú)論是在PC端、還是在Zynq上，峰值信噪比和信息熵都能得到較為接近的結(jié)果，處理水平也不相上下，但是在運(yùn)行時(shí)間上，Zynq上的速度相比于PC端提高了33倍，能夠達(dá)到27幀／s以上的實(shí)時(shí)處理速度。

實(shí)驗(yàn)結(jié)果表明，基于Zynq平臺(tái)能夠?qū)崿F(xiàn)圖像去霧和車牌識(shí)別，具體就是能夠快速、實(shí)時(shí)和準(zhǔn)確地去霧以及識(shí)別出車牌號(hào)。

6 結(jié)束語(yǔ)

本系統(tǒng)主要由圖像采集模塊、圖像處理模塊和顯示模塊等構(gòu)成。該系統(tǒng)以Zynq-7020核心板為主控核心控制器，通過(guò)Ov5640攝像頭采集圖像數(shù)據(jù)，將數(shù)據(jù)傳輸給去霧模塊進(jìn)行實(shí)時(shí)去霧，然后把去霧后的圖像通過(guò)車牌識(shí)別模塊進(jìn)行車牌識(shí)別，最后通過(guò)顯示模塊在顯示器上實(shí)時(shí)顯示。

以上設(shè)計(jì)實(shí)現(xiàn)了對(duì)有霧圖像的實(shí)時(shí)處理且取得了較好效果，同時(shí)對(duì)車牌識(shí)別也有著較高精準(zhǔn)度，則可讓交通管理者能夠快速知道車輛車牌號(hào)，進(jìn)而更快探查到車主信息。并且去霧模塊可以更加廣泛地應(yīng)用于戶外監(jiān)控視頻系統(tǒng)中，為使用者帶來(lái)便利。