結合雙金字塔特征融合與級聯定位的車牌檢測

張俊青，熊玉潔，2，孫憲坤，高永彬

1.上海工程技術大學 電子電氣工程學院，上海201620

2.華東師范大學 上海多維度信息處理重點實驗室，上海200241

在生活質量日益提高的當今社會，車輛已經成為了出行與運輸不可或缺的交通工具。因此，如何高效地進行車輛監控與管理引起了研究者們的廣泛關注。近些年來，自動車牌識別（automatic license plate recognition，ALPR）在現代智能交通管理中發揮了重要的作用。在智能交通系統中，自動車牌識別系統能夠實時監控車輛，從而降低人工交通管理的成本與負擔。此外，ALPR在汽車違規停放、高速公路收費站、無人監管的地下停車場與追蹤可疑車輛等其他場景中也具有廣泛的應用。

作為現代智能交通系統的重要組成部分，自動車牌識別的應用越來越普及。一般而言，車牌識別的基本流程可劃分為圖像獲取、圖像預處理、車牌檢測、字符分割與識別共四個步驟[1]。作為自動車牌識別的核心步驟，車牌檢測需要快速找到車牌位置，為后續的識別工作奠定了基礎。

1 相關工作

針對車牌檢測問題，研究者們在20世紀80年代便已經開始致力于相關研究工作。早期研究中采用人工設計的圖像特征來判定車牌的區域，如Niblack二值化方法[2]、基于DFT變換方法[3]與基于水平線搜索的方法[4]等。盡管上述方法已經能夠在簡單應用場景中尋找出車牌的大致位置，但仍不能夠精準地檢測車牌的位置。

在上述研究方法取得了一些成效之后，研究者們從20世紀90年代左右開始設計更多的車牌特征來進行車牌檢測。根據車牌特征關注區域的不同，此類傳統車牌檢測方法被劃分為基于邊緣檢測的車牌檢測方法[5]、基于字符特征的車牌檢測方法[6]、基于顏色特征的車牌檢測方法[7]和基于紋理特征的車牌檢測方法[8]四種。

在基于邊緣檢測的檢測方法中，通常會根據車牌矩形框的尺寸在圖像中搜尋車牌候選區域。Al-Ghaili等[9]提出了垂直邊緣檢測的車牌檢測方法，具有定位速度與實時性高的優勢。但由于邊緣檢測對多余邊緣過于敏感，并不適用于復雜背景的圖像。

在基于車牌字符特征的方法中，Cho等[10]根據車牌字符與背景存在差異性的特點利用字符間寬度來定位車牌。較基于顏色特征的方法，此類方法對于光照不敏感，因而在檢測光照條件變化下的車牌圖像時魯棒性更高。而此類方法的缺點則是當圖像中存在干擾性文字時會導致精確度下降。

由于車牌與字符的顏色組合與背景相比具有特異性，Azad等[11]根據此特征設計了一種基于車牌顏色特征的檢測方法。此類檢測方法將RGB圖像轉換HSV色彩空間后對其進行分割處理后再對每部分進行車牌檢測，對于傾斜車牌具有較好效果，且車牌的尺寸、大小與角度變化均不會對其產生影響。但是此類方法在輸入圖像存在與車牌顏色相近的物體時，定位精確度較低。

基于車牌紋理特征方法的檢測原理是根據字符與底色間局部紋理的明顯特征變化來檢測車牌區域。Deb等[12]利用此類特征提出了基于滑動同心窗法（sliding concentric windows，SCW）的定位算法，其能較好處理光照與視角變化等干擾問題，而缺點在于會因紋理特征計算而導致計算速度偏慢。

除上述四種傳統檢測方法外，傳統車牌檢測算法的研究開始不僅僅局限于使用單一的車牌特征來檢測車牌，許多基于多種車牌特征相結合的檢測方法[13-14]也取得了不錯的成效。

近年來，人工智能領域的發展十分迅速。深度學習方法在目標檢測領域效果卓著，從而使得車牌檢測研究取得了新突破。研究人員通過設計基于卷積神經網絡（convolutional neural network，CNN）的算法來提升車牌檢測的精度。和傳統方法相比，基于深度學習的目標檢測算法可以通過數據集自主學習目標相關特征，魯棒性更強。

目前，主流目標檢測的算法包括了單階段檢測算法與兩階段檢測算法。單階段檢測算法往往檢測速度快但精度不高，而兩階段檢測算法則具有較高的檢測精度但需要較長的檢測時間。對于單階段檢測算法如YOLO[15]、SSD[16]等方法在車牌檢測任務上的研究，Xie等[17]將基于YOLO框架的定位算法用于車牌檢測與識別研究且達到了較高識別準確率。劉華春等[18]設計了一種基于視覺顯著性的深度學習車牌檢測算法用于解決復雜環境下的車牌檢測問題。Molina-Moreno等[19]提出了一種有效的尺度自適應車牌識別系統，該系統對每個尺度目標能選擇最優特征進行訓練并顯著提高檢測時間。

對于兩階段檢測算法在車牌檢測任務上的研究，Ren等[20]提出了Faster R-CNN。隨后，李祥鵬等[21]在Faster R-CNN的基礎上，結合k-means++方法選取最優車牌尺寸來提升車牌檢測精度。此類方法核心思想是通過候選區域生成的算法生成含有檢測目標的候選區域后，再對其進行分類與回歸的處理。He等[22]在Faster R-CNN的基礎上，通過添加掩碼分支，提出了Mask R-CNN。該網絡在第一階段利用殘差網絡（residual neural network，ResNet）與特征金字塔網絡（feature pyramid network，FPN）兩種網絡相結合的骨干網絡對圖像進行特征提取。隨后將特征圖送入候選區域生成網絡（region proposal network，RPN）生成候選區域。第二階段，感興趣區域匹配層（RoIAlign）的輸出被送入由分類、回歸與掩碼三個通道組成的頭網絡，該網絡負責輸出定位的結果同時分割掩碼。然而，Mask R-CNN作為一種通用目標檢測模型，缺點在于無法根據車牌先驗信息對圖像中的車牌目標進行針對性的檢測。

目前來講，雖然傳統方法與深度學習的方法已取得一定成果，但是復雜背景、非均勻光照與惡劣天氣（例如雪天與霧天）等干擾因素仍會對車牌檢測精確度造成一定影響。趙偉等[23]為了解決復雜光線的干擾因素所導致車牌識別困難的問題，提出一種針對復雜光照的圖像增強方法，以提高車牌識別準確率。

本文為了進一步提高復雜環境中車牌檢測的精度，提出了一種結合雙金字塔特征融合與級聯定位的復雜環境下車牌檢測算法。該算法通過在殘差網絡中使用Mish激活函數，結合提出的雙金字塔特征融合網絡以充分利用不同尺度的車牌特征、采取基于形狀先驗的錨點設置策略的設計與引入階段化訓練的級聯定位網絡的多策略使得本文算法能夠在不同干擾情況下對車牌進行更準確與更具有針對性的檢測。實驗結果證明，本文算法在AOLP與CCPD車牌數據集上能進一步提升檢測性能。

2 本文算法概述

本文提出算法框架如圖1所示。整個網絡結構分為三個部分：雙金字塔特征融合網絡、基于形狀先驗的錨點設置網絡與級聯車牌定位網絡。車牌圖像通過雙金字塔特征融合網絡（siamese feature pyramid network，SFPN）提取初級圖像特征并進行多尺度特征的融合，該網絡的輸出被送入基于形狀先驗的錨點設置網絡獲取含車牌的感興趣區域（region of interest，RoI）的分類置信度與位置信息。最后，感興趣區域將通過具有三個階段的級聯定位網絡進行階段化的分類和回歸檢測分支操作后輸出最終檢測信息。

圖1 本文算法的框架圖Fig.1 Framework of proposed algorithm

2.1 雙金字塔特征融合網絡

在傳統的FPN網絡基礎上，再增添了一組自下而上再自上而下的n型路徑，所提出的具有兩條n型路徑的網絡命名為雙金字塔特征融合網絡（SFPN）。由于本文所提出的網絡與ResNet+FPN結構具有一定相似性，本文稱原有結構為一級金字塔特征融合網絡，新增的結構為二級金字塔特征融合網絡。

2.1.1 一級金字塔特征融合網絡

（1）ResNet101-M網絡

殘差網絡ResNet是He等[24]在2015年提出的一種卷積神經網絡，它通過其內部相當于跳躍連接的殘差結構使用，同時在殘差結構中加入BN層能夠一定程度上解決深層神經網絡存在的梯度彌散與爆炸的問題。

傳統Mask R-CNN的特征提取網絡由殘差網絡ResNet與特征金字塔網絡FPN組建而成。在一級金字塔特征融合網絡中，本文使用相同的方法對車牌進行特征提取。而在特征提取時將Mish[25]激活函數引入到傳統的殘差網絡中替換了原先所使用的RELU激活函數，并將引入Mish激活函數后的殘差網絡ResNet101記為

ResNet101-M。

相比于傳統殘差網絡中使用ReLU作為激活函數，Mish激活函數在x=0附近相對平滑。對于正的值，Mish函數避免了由于封頂而導致的飽和。而對于負的值，Mish函數的平滑性能夠更好處理梯度流。網絡層數增加后，ReLU的精度下降較快，而Mish函數則可以更好地保持準確性。RELU和Mish激活函數的數學表達式如（1）和式（2）所示：

引入Mish激活函數后的殘差網絡ResNet101包括五個殘差模塊，分別記為C1～C5，每個模塊均包含不等的殘差結構。除C1外，每個殘差結構均進行3次卷積操作，卷積核大小分別為1×1、3×3和1×1。其中C2包含3個殘差結構，卷積核數量分別為64、64和256；C3包含4個殘差結構，卷積核的數量分別為128、128與512；C4包含23個殘差結構，卷積核數量分別為256、256和1 024；C5包含3個殘差結構，卷積核數量分別為512、512和2 048。整個網絡共由101層構成，包含100個卷積層與1個池化層。

本文所使用的ResNet101-M網絡具體的相關參數如表1所示，在網絡結構參數設定上與傳統殘差網絡ResNet101保持了一致性并在殘差網絡每個階段的殘差結構中使用了Mish作為激活函數，輸入圖像經過每一個階段均得到較上階段尺寸減半的特征圖。由此完成了一級金字塔特征融合網絡結構中的自底向上的過程。

表1 ResNet101-M網絡結構Table 1 Network structure of ResNet101-M

（2）特征金字塔網絡

特征金字塔網絡FPN由Lin等[26]提出，被研究者們用于檢測不同尺度目標。FPN網絡通過構造一條自下而上和自上而下的n型網絡路徑，再利用側向連接使各層特性能相融合，從而能夠在多尺度目標檢測任務中帶來顯著性能提升。

ResNet101-M網絡采用自下而上的路徑得到的不同尺度的特征圖C2～C5。FPN網絡結構將ResNet101-M網絡最高層特征圖C5使用大小為1×1的卷積核改變通道數為256后得到新特征圖P5。隨后對P5進行2倍上采樣處理，將其與經過1×1卷積層處理后的通道數為256的C4進行側向連接得到新特征圖P4，從而將高層特征與低層特征相融合使高層特征得到增強。

基于上述思想，將Pi(3≤i≤5)進行2倍上采樣后，再對Ci-1(3≤i≤5)進行1×1卷積層處理，最后對Pi與Ci-1進行橫向連接融合得到Pi-1(3≤i≤5)，由此完成了特征提取骨干網絡結構中自上向下路徑的過程（對特征圖進行1×1卷積操作是為了通過元素相加進行側向連接操作來獲得相同特征圖的尺寸）。

2.1.2 二級金字塔特征融合網絡

對于二級網絡結構中的上升沿路徑，P2先通過1×1的卷積層操作得到新特征圖M2，然后M2利用3×3大小且步長2的卷積核下采樣處理，再與1×1卷積層處理后的P3進行側向連接得到新特征圖M3。以此類推，將Mi(2≤i≤4)進行下采樣提取特征后與進行同通道數的Pi+1(2≤i≤4)進行側向連接后得到了Mi+1(2≤i≤4)。

通過構建上升沿路徑所得到新特征圖M2～M5已經具有了高層和底層相融合的特征信息，在此基礎上進一步融合不同尺度的特征圖得到更多信息。對于下降沿路徑，具體操作與原始FPN網絡進行自上而下的過程一致，對M5用1×1的卷積層過濾得到新的特征圖Q5，將Qi(3≤i≤5)進行2倍上采樣之后，再與進行1×1卷積層處理后Mi-1(3≤i≤5)進行橫向連接得到Qi-1(3≤i≤5)。最后對Q2～Q5做3×3卷積操作消除上采樣混疊效應后將其送入基于形狀先驗的錨點設置網絡。特征圖融合路徑的具體融合公式如式（3）～（6）所示：

其中，Pi表示原始FPN網絡中與殘差網絡融合后的特征圖，Mi表示雙金字塔特征融合網絡中新增自下而上的路徑中的特征圖，Q'i表示為雙金字塔特征融合網絡中與Mi進行融合后的特征圖，Qi表示對Q'i卷積操作消除上采樣混疊效應后的特征圖。conv()·表示對特征圖進行卷積操作。Upsampling()·表示對特征圖進行2倍上采樣卷積操作?！褎t表示對同通道數的特征圖進行通道方向上的橫向拼接操作。

本文中雙金字塔特征融合網絡結構如圖2中所示，它采用了雙金字塔特征融合網絡結構來替代原先網絡所用ResNet與FPN所組成的特征提取骨干網絡。

圖2 雙金字塔特征融合網絡框架Fig.2 Framework of SFPN

傳統特征金字塔網絡在進行特征融合時往往存在兩個弊端。其一，低層級的特征與高層級的特征融合路徑過長所導致準確定位難度較高、低層級的特征在整體融合過程中產生的作用較弱；其二，網絡輸出到下一階段的特征圖中僅包含本層級與高一層級的特征，對低于自身層級的特征利用不足。

針對上述問題，本文提出的雙金字塔特征融合網絡，通過在特征提取與融合階段加入了二級特征金字塔融合網絡，使得特征融合時網絡結構中不僅僅具有自底向上的側向連接路徑，還具有自上而下的側向連接路徑。這種改進縮小了較低層級特征與頂部層級特征間的融合路徑，提升了低層級的特征在整個特征層級中所發揮的作用。因而，最終雙金字塔特征融合網絡所輸出的特征圖能同時包含自身層級、更高層級和更低層級三種不同的特征信息。如此設計能高效率地利用不同尺度特征中的信息，讓底層的位置信息與高層的語義信息得以充分利用，從而進一步提高了網絡檢測的準確率。

2.2 基于形狀先驗的錨點設置網絡

2.2.1 候選區域生成網絡

Faster R-CNN網絡中采用候選區域生成網絡替換了Fast R-CNN網絡所使用的候選區域生成方法，這種設計使得Faster R-CNN在生成候選區域的計算效率提升了一個數量級，在本文算法中同樣采用結合錨框機制的候選區域生成網絡來生候選區域。其中錨框機制采用預先設定好的寬高比例與錨點尺寸來確定初始候選區域。當骨干網絡不同尺度的特征圖被作為輸入送入RPN網絡后，對于該特征圖中的每一個像素均會生成k個候選區域。而網絡會根據非極大值抑制算法（nonmaximum suppression，NMS）對候選區域進行篩選之后，保留含有前景的候選區域。候選區域生成網絡原理如圖3所示。

圖3 候選區域生成網絡結構Fig.3 Structure of RPN

2.2.2 基于形狀先驗的錨點設置

在傳統Mask R-CNN所用的候選區域生成網絡RPN中，錨框的尺寸與比例設定直接影響著候選區域的生成。原始的錨框設定是根據Pascal VOC2007數據集所設定的，為能夠檢測出更多形狀的目標，Mask R-CNN將錨框尺寸設定為{322,642,1282,2562,5122}共5種尺寸與{1∶2，1∶1，2∶1}共3種比例，具有通用性。如圖4所示，本文算法的應用場景主要應用于復雜場景下的車牌檢測。由于車牌的候選框大多為長條形狀（傾斜角度較大時約1∶1），因而原先的具普適性錨框比例設定對于車牌檢測來說存在弊端。

由于原先錨框尺寸已經可以覆蓋不同尺寸目標的車牌，僅寬高比例并不具有針對性。因此，基于車牌的形狀學先驗性，本文中算法在保持對傳統Mask R-CNN的RPN網絡中5種錨框尺寸設定一致的情況下，將原先3種{1∶2，1∶1，2∶1}比例優化為{1∶1，2∶1，5∶2}。在不改變原有錨框比例數量設定的基礎上，通過增添一組橫向的錨框比例替代豎向的錨框比例，使得最后RPN網絡所生成的候選區域更為準確，并且可以降低計算量同時節約模型訓練時間。圖4所示為改進前后示意圖。

圖4 基于形狀先驗的錨點設置Fig.4 Anchors based on shape prior

2.3 級聯定位網絡

2.3.1 定位網絡與級聯結構

感興趣區域匹配層用來提取候選區域的特征。它能夠根據候選區域的位置信息從特征圖上截取其相對應的位置，并通過雙線性插值算法與最大值池化操作后將其池化為統一的7×7尺寸的特征圖送入全連接層。而在全連接層階段，網絡通過兩個通道數為1 024的全連接層完成候選框的分類與回歸兩個分支的操作。整個定位網絡利用提取的車牌特征為輸入，輸出定位到的車牌位置信息。

為得到更加高質量的檢測結果，本文在原有網絡結構中引入級聯定位機制。新引入的級聯定位網絡共由三個階段性的定位網絡組成。在級聯定位網絡中，每個定位網絡具有相同的結構。而對于所有定位網絡按階段依次設置0.5、0.6與0.7共3種不同的IoU閾值來劃分正負樣本，將每個階段定位網絡的輸出作為下個階段定位網絡的輸入從而使得級聯后定位網絡輸出結果的精度獲得逐步的提升。基于上述思想，不同于原始網絡僅用0.5IoU閾值作為正負樣本界定標準，引入后的新定位網絡會每次對回歸邊框都提高一定的精度，通過調整回歸邊框為下一階段找到一個IoU更高的正樣本，以實現提高檢測框精確度的效果。

2.3.2 損失函數

在模型訓練階段，本文方法共使用了四個損失函數來評估模型預測值與真值間的誤差?？倱p失函數如式（7）所示：

其中，Lcls_r與Lbbx_r分別表示基于形狀先驗的錨點設置網絡訓練時感興趣區域RoI前/后景分類與位置坐標損失，Lclsi與Lbbxi分別表示各階段定位網絡輸出的分類及矩形框位置坐標的損失。

在基于形狀先驗的錨點設置網絡的訓練誤差中，Lcls_r使用二分類交叉熵損失，而Lbbx_r使用Smooth-L1損失。具體公式如式（8）與式（9）所示：

式（8）中，網絡會將產生的錨框劃分為前景（包含車牌目標）與后景（不包含車牌目標）共兩類。Ncls表示訓練選擇的錨框數量，pi表示訓練時錨框被預測為前景的概率，為真值標簽，錨框為正樣本標簽值為1，反之則標簽值為0。

式（9）中，Nreg表示特征圖中的像素數量，ti表示網絡訓練錨點預測的坐標偏移量表示網絡訓練錨點較真值的實際坐標偏移量，R(·)為Smooth-L1函數。

感興趣區域匹配層會將統一尺寸的感興趣區域輸出到全連接層的最終分類與矩形框回歸的分支。該階段的損失與網絡訓練階段相似，具體相關計算公式如式（10）與式（11）所示：

其中，Ncls表示預測目標數量，Nreg表示矩形框數量，pk表示訓練時目標預測為正樣本的概率，p*k為真值標簽，目標預測區域為正樣本標簽值為1，反之則標簽值為0。

3 車牌檢測實驗及結果分析

3.1 實驗數據集

為了對本文算法進行性能方面的評估，本文共使用了兩種車牌數據集來測試算法在車牌檢測中的性能。為更好地驗證本車牌檢測算法在復雜背景、非均勻光照條件與惡劣天氣等干擾情況下的精確性與魯棒性，實驗使用的AOLP數據集中包括了水平角度與不同的傾斜角度車牌，同時還涉及到城市交通復雜背景下的車牌。CCPD數據集中樣本則用于測試在雨天、雪天與霧天惡劣天氣、非均勻光照條件與拍攝抖動模糊的干擾情況下車牌檢測的精確度。車牌數據集的詳細介紹如下。

（1）AOLP數據集

AOLP[27]數據集是一個被廣泛使用的開源公共車牌檢測數據集。該數據集由2 049個臺灣車牌圖像樣本構成。AOLP數據集一共分為3個子數據集：AC（access control）數 據 集、LE（law enforcement）數 據 集 與RP（road patrol）數據集。上述數據集分別含681、757和611個樣本。由于AC數據集樣本車輛多是以受限行駛速度通過道口時被拍攝捕捉到，因而樣本均為水平方向的車牌圖像；LE數據集樣本來自城市交通出行的車輛，包含行人、路燈與路標的復雜道路背景等的干擾因素；RP數據集樣本大多數是傾斜的車牌圖像。

本文實驗將AOLP數據集的樣本隨機劃分為訓練集（85%）與測試集（15%）。為保證訓練集與測試集中三個子數據集樣本的分布一致性，對子數據集都按同樣比例隨機進行數據分割。AOLP數據集實驗訓練集為1 740個車牌圖像，測試集為309個車牌圖像。

（2）CCPD數據集

CCPD（Chinese City Parking Dataset）數據集是一個公共中國車牌數據集。該數據集是由Xu等[28]在ECCV2018上提出的一個全新的大型綜合多樣性國內車牌數據集，樣本數量超過25萬張。樣本數據采集自國內各大停車場，所有圖像樣本分辨率均為720×1 160，且圖像均拍攝于不同時間與光照條件（如白天、傍晚與夜晚），不同的氣候環境（如雨、雪天）等挑戰性的復雜環境。

出于驗證算法對不同干擾情況下的表現，本文實驗在CCPD車牌數據集上選擇了CCPD中的CCPD-Blur與CCPD-Weather兩個子數據集來分別驗證本文方法復雜環境下車牌檢測的性能與魯棒性。其中CCPD-Blur數據集樣本中存在抖動模糊與不均勻光照的干擾因素；CCPD-Weather數據集樣本中存在極端天氣條件的干擾因素。

實驗共使用了五種具有不同特色的車牌數據集（如表2所示），由于不同的車牌數據集中的樣本具有明顯的差異性與挑戰性，從而可以更好地驗證本文方法在復雜環境下不同干擾時的車牌檢測效果，進一步驗證本文改進算法的可行性。

表2 車牌檢測實驗中不同數據集的詳細介紹Table 2 Detailed introduction of different datasets in license plate detection experiments

3.2 實驗評價指標

基于車牌目標檢測與自然場景下通用文本檢測應用場景的相似性，本實驗使用與遵循文獻[29]中所用的評價指標用作衡量本文算法的驗證性能指標。本文實驗中共使用了4種評價指標來評估算法在車牌數據集上的檢測性能，包括了精確率(Precision)，召回率(Recall)，F值(F1-Measure)與圖像平均處理時間T。

精確率(Precision)定義為檢測算法所預測為車牌樣本且預測準確的樣本數量占算法預測的樣本數量的比率；召回率(Recall)定義為檢測算法所預測為車牌樣本且預測準確的樣本數量占測試集總樣本數量的比率；F值(F1-Measure)是綜合檢測性能評價指標，通過對精確率與召回率綜合計算來衡量算法總體性能，該數值越大則表明算法性能越優異；圖像平均處理時間T定義為本文中算法處理單幅車牌圖像的平均時間。上述評價指標具體計算方式如式（12）、（13）所示：

其中，TP表示車牌樣本被檢測為正樣本且實際也為正樣本的樣本數量；FP表示車牌樣本被檢測為正樣本但實際為負樣本的樣本數量；FN表示車牌樣本被檢測為負樣本但實際為正樣本的樣本數量。

同時，在實驗中定義交并比（intersection over union，IoU）作為界定車牌正/負樣本的閾值標準。交并比IoU的具體計算公式如式（14）所示：

其中，Rpred表示為訓練模型所檢測到的邊界框面積，Rgt表示數據標注真值的邊界框面積。當IoU數值在實驗中被設置0.5時，對于一個車牌區域，模型檢測到的邊界框與真值邊界框的IoU大于50%，則判定為正樣本，反之為負樣本。在本實驗中，采用0.5、0.6與0.7共3種不同IoU閾值來分別測定訓練本文提出的網絡在兩種車牌數據集上的車牌檢測性能。

3.3 實驗細節

車牌檢測實驗環境為：Intel i7-9700k 3.6 GHz CPU，NVIDIA GeForce RTX2080 GPU，實驗所用的操作系統為Windows10 x64，所用的深度學習框架為TensorFlow 1.9.0，所用開發語言為Python 3.6.9，編譯環境為PyCharm 2019。

本文實驗中所構建網絡模型采用MS COCO預訓練模型，學習率參數設置為0.000 75，批量參數設置為2，優化策略為隨機梯度下降法，動量參數設置為0.9，L2正則化權重衰減系數設置為0.000 1，訓練最大迭代次數共90 000次?；谲嚺菩螤钕闰灥腻^點設置網絡訓練時的錨框篩選閾值為0.7。車牌檢測實驗中所涉及的相關參數具體設置如表3所示。

表3 實驗所涉及的相關參數具體設置Table 3 Relevant parameters involved in experiments

3.4 不同改進策略消融實驗分析

本文提出的模型由3個部分組成，包括了雙金字塔特征融合網絡、基于形狀先驗的錨點設置網絡和級聯定位網絡。

3.4.1 實驗訓練步驟

本文方法在模型訓練階段的具體步驟如下：

輸入：復雜環境下的車牌圖像。

步驟1將輸入圖像統一為512×512尺寸。

步驟2將縮放后的車牌圖像送入雙金字塔特征融合網絡進行特征提取。輸入圖像通過一級特征融合網絡提取初級特征P2～P5。

步驟3將步驟2中的特征圖P2～P5送入二級特征融合網絡進行特征增強得到特征圖Q2～Q5。

步驟4根據預先設置的基于車牌形狀的錨框尺寸與比例，基于形狀先驗的錨點設置網絡會對步驟3得到的特征圖中的每個點均生成相對于原圖像的3種不同比例的錨框。

步驟5基于形狀先驗的錨點設置網絡對每個錨框預測前/后景得分與位置偏移后對錨框進行修正并篩選出部分錨框作為候選區域。

步驟6根據損失函數基于形狀先驗的錨點設置網絡，計算錨框與真值的IoU，并按IoU閾值分別篩選等量的正負樣本進行訓練。

步驟7根據損失函數訓練級聯定位網絡，計算步驟5中候選區域與真值的IoU，并按IoU閾值分別為0.5，0.6與0.7界定篩選200個正負訓練樣本后送入感興趣區域匹配層。該層將候選區域的坐標映射回對應的特征圖后進行特征圖尺寸統一后送入回歸器與分類器，分別得到其回歸位置偏移與分類得分。

3.4.2 實驗重要過程與可視化分析

對于3.4.1節中實驗訓練階段步驟中重要過程結果，本文在本小節進行更深入的實驗過程與可視化分析。

對于本文方法在特征提取階段所使用的雙金字塔特征融合網絡，表4中詳細地列出了雙金字塔特征融合網絡結構的相關參數。

表4 雙金字塔特征融合網絡的相關參數Table 4 Relevant parameters in SFPN

對于本文所提出的級聯定位網絡，圖5給出了不同階段下的級聯定位網絡在車牌定位的質量上的視覺比較。為了更直觀地比較級聯定位網絡對于車牌檢測結果在精細程度上的修正情況，圖5對于每一幅車牌檢測的結果均給出了檢測邊界框與真實標注框的IoU數值（用于評估檢測邊界框與真實標注框的接近程度，IoU數值越大表示檢測結果越接近真值，即車牌檢測結果越精細）。

圖5 不同階段性級聯定位網絡的定位效果對比Fig.5 Comparison of detection results of cascaded positioning network in different stages

在網絡訓練階段，原有定位網絡在訓練階段會將

3.4.1小節步驟5中生成的候選區域先計算與真值的IoU后按0.5的IoU閾值來界定正負訓練樣本。較之原有定位網絡的單階段訓練，定位網絡在引入級聯定位的改進策略后會將定位網絡的訓練分為三個階段來訓練網絡的分類器與回歸器。這種級聯訓練能夠以階段化提高界定正負樣本的IoU閾值的方式來進一步篩選高質量的候選區域，從而使得最終檢測結果更精細。

由圖5給出的檢測結果比較可以看出，三級定位網絡的檢測結果在不同情況下均比前兩級定位網絡的檢測結果更精細。可以發現，圖5（a）、（b）與（c）中檢測結果的IoU值呈現依次遞增的趨勢，說明級聯網絡不同階段能夠對檢測結果在精細程度上進行修正。在第2行的樣例中，前兩級定位網絡的檢測結果邊緣均不夠細致，而在第三級定位網絡中得到了接近真值的修正。對于第4行的樣例，前兩級定位網絡均未能完整檢測出整個車牌區域，會影響后續對數字4的識別，得益于在第三級定位網絡的修正，最終檢測結果能夠完整地檢測車牌區域。

結合上述分析，原有定位網絡在引入級聯訓練的改進策略后能夠對車牌檢測的精細程度進行修正，每經過一個階段都可以得到一個比上階段精度更高的結果，最終獲得高質量檢測回歸框，從而證明本文算法引入級聯定位策略具有一定的成效性。

3.4.3 消融實驗結果和分析

本文算法包括了4種不同改進策略，包括雙金字塔特征融合網絡、Mish激活函數、基于車牌形狀先驗的錨點設置網絡與級聯定位網絡。為了驗證本文所提出的各種策略的有效性，在AOLP數據集上進行了訓練并在測試集上進行了5組消融實驗。

使用不同改進策略的消融實驗性能統計與車牌檢測示例對比如表5與圖6所示，以下分別對消融實驗進行定量與定性的評估與分析。

通過表5對實驗中不同改進策略后算法的精確率與召回率結果觀察對比可以發現，在不同IoU閾值下實驗所用的4種改進策略對算法的檢測性能均有一定提升，其中精確率提升較明顯。消融實驗中不同結果均在低IoU閾值下保持較高的召回率。

表5 不同改進策略在AOLP數據集的消融實驗Table 5 Ablation experiments using different improvement strategies on AOLP

第一組實驗中，使用傳統Mask R-CNN作為基準方法（Baseline）在AOLP數據集上進行測試，不同IoU閾值下的精確率均為97.47%，而F值均為98.56%?；贐aseline的車牌檢測示例如圖6（a）所示，可以發現Baseline模型的檢測結果存在大量誤檢的問題，模型會將車標與其他干擾性文字等非車牌區域誤判為車牌區域（例如圖6第1～4行）。此外，該方法中車牌位置的檢測也不夠準確。

圖6 使用不同改進策略消融實驗的檢測結果對比Fig.6 Comparison of detection results inablation experiments using different improvement strategies

第二組實驗中，在Baseline的基礎上加入了雙金字塔特征融合網絡并進行測試，不同IoU判定下的精確率均為98.09%，F值為98.88%?？梢园l現在特征提取階段添加入雙金字塔融合網絡后，多層車牌特征能夠充分融合從而有效提升模型精度（0.62個百分點），且不會增加過多檢測時間?；贐aseline+①模型的車牌檢測示例如圖6（b）所示。該組示例仍存在不少誤檢的情況，但較之Baseline，該模型對一些干擾情況的誤判已經減少。與此同時，該方法的定位準確度也有一定提升。由此可見，引入雙金字塔特征融合網絡具有不錯的效果。

第三組實驗中，本文在Baseline+①模型中加入了Mish激活函數。在AOLP測試集上不同IoU閾值判定下取得的精確率均為98.40%，F值均為99.03%。由此可見，通過在特征提取中引入Mish激活函數可以提升網絡的分類精度，使得模型較Baseline+①在精確率上提升了0.31個百分點，F值上提升了0.15個百分點?；贐aseline+①②模型的車牌檢測示例如圖6（c）所示。該組示例中對于非車牌區域的誤檢率相比第二組實驗進一步減少。實驗結果表明，引入Mish激活函數能夠有效提高分類精度。

第四組實驗中，本文在Baseline+①②模型的基礎上增加了基于形狀先驗的錨點設置網絡并在AOLP數據集上進行測試。表5的定量評估顯示，通過將通用錨框優化為符合車牌檢測任務的錨框后模型較Baseline+①②在低IoU上提升了0.32個百分點的精確率?；贐aseline+①②③模型的車牌檢測示例如圖6（d）所示。該方法的檢測結果在分類精確度上的表現比之前模型更優異。

第五組實驗中，本文在Baseline+①②③模型中引入級聯定位網絡在AOLP數據集上進行測試，在0.5、0.6與0.7IoU下的精確率均為100.00%，F值均為99.83%。其車牌檢測示例如圖6（e）所示，不難看出網絡在引入級聯定位策略后的分類精度與定位精細度均有較大的提高，且車牌定位更貼合真值?；谏鲜龇治觯疚姆椒軌蛟诓煌琁oU閾值下進一步提升車牌檢測性能，所用改進策略均具有成效。

同時，本文結合表5中數據對所提出算法結合模型參數與所用時間進行如下分析：對于檢測速度而言，傳統Mask R-CNN測試單幅圖像平均耗時270 ms。引入雙金字塔融合網絡后，在特征提取階段運算量有所增加，模型參數由241 MB提升到了265 MB，平均耗時增加5 ms；在引入Mish激活函數后，模型參數保持不變，平均耗時增加3 ms?？梢钥闯觯呗寓佗谠谔嵘Ｐ蜋z測精度的同時，由于運算量增加導致模型參數與檢測時間有所增加，但增幅不大。在優化RPN中的錨框比例后，模型參數保持不變，平均檢測時間由278 ms降低至271 ms，進一步驗證優化錨框比例后由于錨框比例對于車牌形狀的實用性從而使得模型計算量有所降低。最后，在之前模型基礎上引入了級聯定位策略，改進后的模型（即本文算法）在總體精度性能上提升幅度較之前策略都要明顯，不同IoU下精確度提升高達0.97個百分點，F值上提升高達0.48個百分點。但在單幅檢測時間上增加了106 ms，在模型參數上增加了106 MB。由此可見，級聯定位策略在被引入后模型在檢測時會按三個不同階段性迭代檢測優化精度，從而導致整體檢測時間與模型參數的增加。對于改進后的算法雖然提升了較多精度，但也額外提升了計算量，對于單幅車牌的平均檢測時間保持在377 ms，可滿足實際應用需求。

3.5 與相關方法的性能對比分析

除消融實驗外，還將本文算法與近年來其他使用AOLP數據集的文獻方法進行比較。表6～8分別給出了0.5IoU閾值下不同算法在AC、LE與RP三個AOLP子數據集上的檢測結果比較情況。

表6 不同算法在AOLP-AC數據集結果比較Table 6 Comparison of different algorithms results on AOLP-AC

對于該部分實驗的數據集劃分，本文遵循文獻[30]中原則，即在表6中使用LE與RP數據集樣本作為訓練來評估算法在AC數據集上的檢測性能，表7與表8以此類推。

表7 不同算法在AOLP-LE數據集結果比較Table 7 Comparison of different algorithms results on AOLP-LE

表8 不同算法在AOLP-RP數據集結果比較Table Comparison of different algorithms results on AOLP-RP

通過表6～8中的檢測結果比較可以看出，以0.5IoU閾值為統一評估標準，根據表6對于AC數據集，本文算法在精確率與召回率為100.00%和99.41%，本文方法明顯優于其他算法的檢測結果。

如表7所示，在LE數據集中本文算法的精確率為99.47%，召回率為98.81%，F值為99.14%。精確率比文獻[32]算法提升了0.27個百分點，召回率略低于文獻[32]算法，實驗結果表明本文方法為確保檢出結果的準確性，選擇犧牲了一定召回率。

而在表8的RP數據集的檢測結果比較中，本文算法在精確率與召回率均表現優異，精確率和召回率均優于其他算法，整體的優越性相對明顯。

除了在AOLP數據集上的3個子數據集與其他文獻中不同算法進行對比實驗外，還將本文提出的算法與SSD（文獻[16]算法）、文獻[17]算法、文獻[19]算法、Faster R-CNN（文獻[20]算法）、Mask R-CNN（文獻[22]算法）、YOLOv3（文獻[33]算法）在多個車牌數據集上進行了車牌檢測實驗，來評估本文算法在不同類型車牌檢測場景下的優越性和有效性。

表9中給出了本文改進算法以及其他算法在不同類型車牌數據集上的對比結果。由表可見，本文算法與原Mask R-CNN（文獻[22]算法）相比，F值在AOLP數據集上提升了1.27個百分點，在CCPD-Weather數據集上提升了0.83個百分點，在CCPD-Blur上提升了1.71個百分點。可以看出，改進后的算法在不同類型車牌數據集上比未改進前均有性能提高，其中對于清晰度較差的車牌數據有顯著的提升。綜合分析來看，本文算法與其他算法相比在精度上都具有優勢，因而改進的算法模型具有一定的魯棒性與泛化性。

表9 不同算法在不同數據集上的F值結果Table 9 F-measure of different algorithms on different datasets

除了表9給出的與其他算法的定量對比分析以外，圖7中本文將所提出算法與其他算法進行了定性對比分析。其中，第1～5行分別代表了正常情況下的水平車牌、城市道路場景的車牌、停車場傾斜角度的車牌、雨雪極端天氣下的車牌與光照不足而且抖動模糊的車牌共5種不同類型車牌檢測場景的結果對比圖。對于所提出的算法在不同類型車牌檢測場景中與其他算法的有效性與優勢的定性分析如下述：

圖7 不同算法在不同車牌檢測場景下的結果對比Fig.7 Comparison of different algorithms detection effects in various license plate detection scenarios

由圖7第1行可以看出，對于正常的水平車牌檢測，本文算法與其他算法都可以正確檢測到車牌的位置。但在準確性與細致性上，文獻[16]算法、文獻[20]算法和文獻[33]算法表現較差，本文算法稍優于文獻[22]算法。由圖7第2行可以看出，對于城市復雜道路場景的車牌檢測，文獻[20]算法的回歸框質量最低，文獻[16]算法與文獻[33]算法也不細致。文獻[22]算法左側部分未能完整定位整個車牌字符，因此該結果可能會影響后續識別的效果。而本文算法的回歸框與真值框最貼合。由圖7第3行可以看出，對于停車場傾斜角度的車牌檢測，文獻[16]算法、文獻[20]算法與文獻[33]算法的檢測框與真值標注的切合程度均較差，本文算法與文獻[22]算法在回歸框質量上稍占據優勢。由圖7第4行可以看出，對于雨雪極端天氣下的車牌檢測，文獻[20]算法的回歸框兩側都檢測到了多余背景區域，過于粗糙。文獻[33]算法的回歸框在左側部分也檢測了多余的背景。而本文算法與除上述兩種算法以外的其他算法相比，在細膩程度上的優勢更為顯著。由圖7第5行可以看出，對于光照不足而且抖動模糊的車牌檢測，各個檢測算法之間檢測結果差距不大，本文算法稍優于其他4種算法。

綜合上述定量與定性分析，實驗結果表明，本文算法得益于雙金字塔特征融合、車牌形狀先驗與級聯定位等策略改進后較傳統Mask R-CNN檢測性能更優，回歸質量更好。與其他不同算法的相比也有一定的魯棒性，同時在不同類型的車牌檢測場景下檢測結果表現穩定，具有一定的泛化性。

4 結束語

實驗證明，本文算法能夠對車牌目標進行針對性的檢測，同時結合雙金字塔特征融合網絡與使用級聯結構定位的策略實現了高質量定位，使得檢測更具有效性與精確性。今后，將嘗試使用多邊形來對車牌目標進行形狀更貼合的檢測以期望達到更優檢測效果。同時，如何在保證計算速度前提下實現高精度車牌檢測是未來的研究方向。