基于深度學(xué)習(xí)的輕量化車牌檢測算法研究

杜銘輝，吳林煌，蘇 喆

（福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108）

0 引言

自動車牌識別系統(tǒng)是智慧城市的重要分支之一，廣泛應(yīng)用于交通管理、安防監(jiān)控、智能停車等領(lǐng)域[1]。車牌是車輛的重要信息載體，為車輛提供唯一的身份標(biāo)識。自動車牌識別系統(tǒng)一般分為車牌檢測、車牌字符分割和車牌字符識別等子模塊。首先，將圖像輸入到車牌檢測網(wǎng)絡(luò)中進(jìn)行車牌定位，然后將車牌定位的區(qū)域輸入車牌字符識別中進(jìn)行車牌編號識別。車牌的準(zhǔn)確檢測對于下游的車牌識別任務(wù)具有至關(guān)重要的影響，高性能的車牌檢測器是自動車牌識別系統(tǒng)的關(guān)鍵組成部分。

近年來，隨著計算機(jī)硬件的快速發(fā)展，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型已經(jīng)成為解決車牌檢測、識別等計算機(jī)視覺問題的最佳工具。借助卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的特征提取能力，車牌檢測任務(wù)在性能上取得顯著的提升，但是也存在一定的局限性[2]。具體來說，更好的車牌檢測性能往往意味著更深的網(wǎng)絡(luò)模型，然而網(wǎng)絡(luò)模型的加深不可避免會帶來模型參數(shù)量及計算量的成倍增長，不利于移動端的部署，實時性差。

鑒于當(dāng)前車牌檢測方法存在的問題，文章提出一種基于深度學(xué)習(xí)的輕量化車牌檢測算法。該方法以PP-LCNet作為骨干網(wǎng)絡(luò)，減少模型參數(shù)量，提高計算效率。同時，融入壓縮-激勵網(wǎng)絡(luò)（Squeeze-and-Excitation Networks，SE-Net）注意力[3]、SimSPPF[4]和GSConv[5]，提高了車牌檢測的準(zhǔn)確率，從而在準(zhǔn)確性和速度之間取得平衡。

1 車牌檢測網(wǎng)絡(luò)

1.1 算法概述

基于深度學(xué)習(xí)的目標(biāo)檢測算法分為單階段和兩階段檢測算法。單階段檢測算法檢測速度快，具有更好的實時性[6]。兩階段檢測算法檢測精度高，但實時性遠(yuǎn)不如單階段檢測算法。為獲得更好的實時性，文章的車牌檢測算法采用單階段檢測方法。輕量化車牌檢測網(wǎng)絡(luò)（Lightweight License Plate Detection Networks，LW-LPDNet）結(jié)構(gòu)如圖1所示。

圖1 LW-LPDNet結(jié)構(gòu)

1.2 PP-LCNet

深度卷積神經(jīng)網(wǎng)絡(luò)通過增加網(wǎng)絡(luò)模型深度和復(fù)雜度，在計算機(jī)視覺任務(wù)中表現(xiàn)出出色的性能。但是在計算資源受限的移動端設(shè)備上，復(fù)雜模型的參數(shù)量過大會導(dǎo)致推理速度慢，影響車牌檢測的實時性，使其難以在移動端設(shè)備上部署[7]。輕量化網(wǎng)絡(luò)SqueezeNet、ShuffleNet、MobileNet等的出現(xiàn)，大幅減少了模型的參數(shù)量，使得模型在移動端的部署成為可能。文章將PP-LCNet作為骨干網(wǎng)絡(luò)進(jìn)行分析。PP-LCNet是由百度提出的一種基于深度神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)內(nèi)核庫（Math Kernel Library for Deep Neural Networks，MKLDNN）加速策略的輕量化網(wǎng)絡(luò)，使用多個深度可分離卷積作為基本模塊疊加而成，同時采用Hard-Swish激活函數(shù)，降低了模型參數(shù)量和計算復(fù)雜度，提高了網(wǎng)絡(luò)的推理速度。跳躍連接帶來的通道拼接和逐元素相加操作會減慢模型的推理速度，而且也不會提高輕量化模型的精度。因此，PP-LCNet放棄使用跳躍連接，其推理速度可以超越其他輕量化網(wǎng)絡(luò)。PP-LCNet結(jié)構(gòu)如圖2所示。

圖2 PP-LCNet結(jié)構(gòu)

1.3 SE-Net

注意力機(jī)制是模仿人類視覺的方法，使得神經(jīng)網(wǎng)絡(luò)在處理輸入圖像時更加關(guān)注重要的特征，本質(zhì)上是對輸入權(quán)重分配的關(guān)注[8]。SE-Net注意力通過重新校準(zhǔn)通道特征來提高網(wǎng)絡(luò)的性能，可分為壓縮和激勵兩個階段。在壓縮階段，SE-Net通過壓縮特征圖得到每個通道的全局信息。在激勵階段，SE-Net通過一個全連接層將每個通道的全局信息映射成一個權(quán)重向量，再通過激活函數(shù)進(jìn)行歸一化，得到注意力權(quán)重向量，表示每個通道的重要性。最后，將注意力權(quán)重向量與原始特征圖相乘，得到加權(quán)特征圖，實現(xiàn)對通道特征的重新校準(zhǔn)。SE-Net注意力結(jié)構(gòu)如圖3所示。

圖3 SE注意力結(jié)構(gòu)

1.4 SimSPPF

SimSPPF是YOLOv6中提出的一種改進(jìn)的空間金字塔池化方法，具有比SPPF更快的推理速度[9]。空間金字塔池化專注于空間信息，通過將輸入的特征圖分為不同大小的區(qū)域，對每個區(qū)域進(jìn)行池化，最后將池化結(jié)果進(jìn)行拼接輸出。空間金字塔池化使得網(wǎng)絡(luò)可以處理不同尺寸的圖片，并融合了輸入的局部特征和全局特征，提升了網(wǎng)絡(luò)的感受野。SimSPPF結(jié)構(gòu)如圖4所示。

圖4 SimSPPF結(jié)構(gòu)

1.5 GSConv

GSConv是一種新的輕量化卷積技術(shù)，通過聯(lián)合使用標(biāo)準(zhǔn)卷積（Standard Convolution，SC）、深度可分離卷積（Depthwise Separable Convolution，DSC）和通道重排（Shuffle），保持準(zhǔn)確性的同時減輕了模型，在模型的準(zhǔn)確性和速度之間實現(xiàn)很好的平衡[10]。相比于DSC，GSConv得到的特征圖與SC更為相似，可以得到更接近于SC的性能，同時降低了計算量。GSConv通過添加DSC和Shuffle，增強(qiáng)了模型的非線性表達(dá)能力，相比于輕量化檢測模型具有明顯的優(yōu)勢。但是如果在模型的所有階段都使用GSConv，模型的網(wǎng)絡(luò)層會更深，這會顯著增加推理時間。檢測器頸部的特征圖通道尺寸達(dá)到最大值，寬度和高度尺寸達(dá)到最小值，冗余的重復(fù)信息較少，能夠最大限度地發(fā)揮GSConv的性能。因此，選擇僅在檢測器頸部使用GSConv，使得后續(xù)的SimSPPF模塊能夠取得更好的性能。GSConv結(jié)構(gòu)如圖5所示。

圖5 GSConv結(jié)構(gòu)

1.6 Mosaic數(shù)據(jù)增強(qiáng)

為了進(jìn)一步提高網(wǎng)絡(luò)的性能，在訓(xùn)練過程中使用Mosaic數(shù)據(jù)增強(qiáng)。Mosaic數(shù)據(jù)增強(qiáng)是YOLOv4中提出的，該方法會隨機(jī)選取4張圖像進(jìn)行數(shù)據(jù)增廣操作（翻轉(zhuǎn)、縮放、色域變換）后，拼接成1張新的圖像[11]。Mosaic數(shù)據(jù)增強(qiáng)使得網(wǎng)絡(luò)的訓(xùn)練樣本更為豐富，通過對圖片進(jìn)行數(shù)據(jù)增廣操作，引入多尺度信息，加強(qiáng)了對小目標(biāo)的檢測能力。同時，由于網(wǎng)絡(luò)需要從更多變化的背景中檢測目標(biāo)，大大提高了網(wǎng)絡(luò)的泛化能力。Mosaic數(shù)據(jù)增強(qiáng)后得到的圖像如圖6所示。

圖6 Mosaic數(shù)據(jù)增強(qiáng)圖像

2 相關(guān)實驗

2.1 實驗環(huán)境及參數(shù)設(shè)置

實驗環(huán)境如表1所示。

表1 實驗環(huán)境

進(jìn)行模型訓(xùn)練時，輸入圖像分辨率大小設(shè)置為640×640，批次大小設(shè)置為16。采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.01，動量設(shè)置為0.937，訓(xùn)練40個迭代輪次。采用余弦學(xué)習(xí)率衰減（Cosine Learning Rate Decay，CLRD）策略進(jìn)行到最后一個迭代輪次時，學(xué)習(xí)率衰減到0.000 1。

2.2 數(shù)據(jù)集

實驗選用中國城市停車數(shù)據(jù)集（Chinese City Paking Dataset，CCPD）進(jìn)行訓(xùn)練和測試[12]。CCPD數(shù)據(jù)集是目前國內(nèi)最大的車牌檢測識別數(shù)據(jù)集，劃分子集為CCPD-Base、CCPD-DB、CCPD-FN、CCPDRotate、CCPD-Tilt、CCPD-Blur、CCPD-Weather、CCPD-Challenge，提供超過25萬張的標(biāo)注圖片，每張車牌圖片的分辨率大小為720×1 160×3。實驗將CCPD-Base均分為訓(xùn)練集和驗證集，并將剩余的子集作為測試集測試網(wǎng)絡(luò)模型的性能。

2.3 評價指標(biāo)

實驗采用平均精確度（Average Precision，AP）、每秒能處理的圖像張數(shù)（Frames Per Second，F(xiàn)PS）以及模型參數(shù)量作為評價指標(biāo)，其中AP為不同召回率下精度的平均值。評價指標(biāo)計算公式為

式中：MAP表示預(yù)測車牌樣本的平均精確度。

式中：PPrecision表示預(yù)測為車牌的樣本中實際車牌的比例，TP表示正確預(yù)測為車牌的樣本數(shù)，F(xiàn)P表示錯誤預(yù)測為車牌的樣本數(shù)。

式中：RRecall表示實際為車牌的樣本中，被模型預(yù)測為車牌的比例，F(xiàn)N表示實際為車牌卻被錯誤預(yù)測為背景的樣本數(shù)。

2.4 消融實驗

為了驗證提出方法的有效性，在測試集上進(jìn)行消融實驗，實驗結(jié)果如表2所示。其中，“√”表示實驗中使用的模塊。

表2 消融實驗性能對比

從表2可以看出，當(dāng)實驗使用PP-LCNet、SENet、SimSPPF、GSConv模塊時，實驗結(jié)果皆有顯著提升。當(dāng)不再使用Mosaic數(shù)據(jù)增強(qiáng)時，檢測性能下降0.5%，驗證了所提方法的有效性。

2.5 對比實驗

將提出的方法與現(xiàn)有的車牌檢測算法進(jìn)行對比，結(jié)果如表3所示。

表3 不同算法在CCPD數(shù)據(jù)集上的性能對比

從表3可以看出，文章提出的方法在檢測性能上明顯優(yōu)于其他算法，且達(dá)到243 f·s-1的檢測速度，實時性高。LW-LPDNet方法檢測結(jié)果如圖7所示。

圖7 LW-LPDNet檢測結(jié)果

表4為文章提出的方法與不同車牌檢測算法的參數(shù)量對比，可以看出所提方法僅有0.13 MB的參數(shù)量，遠(yuǎn)低于現(xiàn)有大部分車牌檢測算法，能夠更好地實現(xiàn)在移動端的部署。

表4 不同算法參數(shù)量對比

3 結(jié)語

針對自然環(huán)境中車牌檢測模型參數(shù)量過大、實時性差和檢測效果不佳等問題，提出一種輕量化車牌檢測模型。通過將PP-LCNet作為骨干網(wǎng)絡(luò)，解決了模型參數(shù)量過大、實時性差的問題；通過SENet注意力模塊，增加模型對車牌關(guān)鍵信息的關(guān)注度；通過引入SimSPPF與GSConv模塊，實現(xiàn)多尺度特征的融合，增大網(wǎng)絡(luò)感受野，進(jìn)一步提升車牌檢測的性能。與現(xiàn)有的車牌檢測算法相比，實驗結(jié)果表明，文章方法在CCPD數(shù)據(jù)集上取得更好的檢測精度，平均準(zhǔn)確率達(dá)到98.90%，同時檢測速度達(dá)到243 f·s-1，實時性高。