基于多維特征和語境信息融合的車牌檢測方法

宋其杰，劉 峰，干宗良，劉思江

(1.南京郵電大學 通信與信息工程學院，江蘇 南京 210003;2.南京郵電大學 圖像處理與圖像通信重點實驗室，江蘇 南京 210003;3.南京郵電大學 教育科學與技術學院，江蘇 南京 210023)

0 引 言

在設計智能交通系統時，車牌作為車輛的重要身份標識逐漸成為重點研究的目標。近年來，隨著車輛數量的劇增，基于自動車牌識別技術的車輛信息管理系統被廣泛應用于交通管制、停車收費、出入境管理和其他相關領域。作為自動車牌識別的第一步，車牌檢測的準確率對后續車牌識別的成功率有巨大影響。然而根據文獻[1]介紹，車牌檢測經常會受到不同觀測角度，光照不均，雪、霧天氣，復雜背景等非控制條件的影響。因此，如何在開放環境中對車牌進行精準定位仍然是一項具有挑戰性的任務。

過去數十年，許多車牌檢測算法被提出，可以分為傳統算法和基于卷積神經網絡的算法兩大類。早期傳統算法[2-4]通常提取車牌的邊緣、顏色、局部紋理、形態學分析等固有屬性作為手工圖像特征來進行車牌檢測。但是大多數基于單一手工特征的方法只能在特定場景中起作用，而基于多特征和編碼分類器的方法可能會取得更好的效果。Zhou等[5]利用詞袋模型對每個車牌字符產生主視覺詞，再與提取到的車牌局部特征進行匹配，以此確定車牌位置。文獻[6]在頻域中對車牌特征進行分析，通過小波變換和經驗模態分解分析方法實現車牌定位。還有一些方法將候選區域和特征分析相結合提高檢測精度。文獻[7]提出了一種彩色圖像的車牌定位方法，該定位方法在細胞神經網絡(cell neural network)的分塊自適應彩色圖像邊緣檢測算法基礎上進行改進：首先對彩色圖像邊緣檢測時，針對邊緣顏色對加入約束條件，接著進行邊緣濾波，最后根據車牌紋理特征和幾何結構判別驗證。雖然上述算法結合了多層次特征，取得了一定的效果，但仍然難以克服環境限制。

1 相關工作

近幾年，越來越多的車牌檢測采用深度學習方法，取得了突破性的進展。文獻[8]利用CNN對車牌候選區進行判斷：首先采用數字圖像處理技術，根據車牌的顏色特征、邊緣特征和矩形特性等多個特征提取車牌候選區域，再通過Alex Net分類網絡進行真偽車牌判定。Polishetty等[9]設計了一個新穎的基于啟發式學習的模型將視覺顯著性和深度特征結合起來，采用手工設計濾波器提取出車牌粗邊界，再經過CNN進一步調整，實現車牌精準定位。大多數一階段車牌檢測方法采用的是回歸的思想[10]，在大幅降低運算量的同時也造成了精度的損失。這些一階段車牌檢測方法通常由兩個連續的子任務組成[11]：車輛檢測和車牌檢測。采取模型級聯策略可以有效減小場景干擾，但是多步處理過程中前置任務出現的錯誤警報會在后續任務中不斷傳播。Masood等[12]為了避免錯誤傳導提出了一種端到端的直接車牌檢測方法，先通過CNN完成初步檢測，接著利用多分類模型確認檢測出的圖像中的數字和英文字符，同時丟棄錯檢結果。此外，傾斜文本檢測方法[13]對于生成更加可靠的檢測框有著借鑒意義。上述算法證明，通過網絡結構、訓練方法等的演變和革新，相比于傳統的檢測算法，基于深度卷積網絡提取的特征具有更強的魯棒性。

2 基于多信息融合的車牌檢測算法

如圖1所示，文中算法采用兩階段檢測網絡Faster R-CNN[14]作為基準網絡，通過多維特征信息增強和語境信息融合對其進行改進，可分為三部分。第一部分，對于給定的輸入車牌圖像，通過共享的CNN網絡提取其多層特征圖，然后根據不同的檢測對象(車輛、車牌上下文區域、車牌)挑選不同層次的特征圖輸出進行位置信息和語義信息的融合，并獲得多分辨率信息。第二部分，經過特殊設計的RPN網絡使用自定義方向和形狀的旋轉anchor來生成適應車牌角度變化的預測框。最后一部分，設計一個有效的語境信息融合模型，充分利用局部和語境特征來表征車牌信息，完善檢測結果。

圖1 多維特征信息增強和語境信息融合算法流程

2.1 多維特征信息增強

由于監控攝像機架設位置的變化，不同監控視頻中車牌尺寸彼此差異很大。除了一些在圖像中占據較多像素的車牌外，多數小車牌在高維特征圖中的激活區域通常會消失不見。因此，文中算法沒有采用Faster R-CNN中對單一尺度特征圖進行處理的做法，而是針對車輛，車牌上下文區域，車牌三種目標策略性地使用多層檢測結構，選取不同卷積層輸出融合成各自新的、包含不同尺度的特征圖，同時將位置信息和語義信息結合起來充分適應變化的分辨率。

如圖2所示，這些多層特征圖與ResNet[15]中各個卷積模塊的輸出類似，{C2，C3，C4，C5}與輸入圖像之間的縮放步長依次是{4，8，16，32}。根據FPN[16]中的特征提取策略，{C2，C3}，{C3，C4}，{C4，C5}分別可以提取出車輛區域，車牌上下文區域和車牌區域特征。其中C4對于圖像中多尺度車牌檢測具有最為合適的分辨率，所以在前饋網絡中使用雙線性插值將C5縮放到與C4相同的分辨率。接著，用1×1的卷積層將C4，C5的通道數統一到固定的數目256。在特征融合模塊，以按元素相加的方式將高層語義信息和低層細節信息融合成具有強大表征能力的多尺度特征，獲得多分辨率信息。最后，設計一個3×3的卷積層來去除采樣造成的混疊，同時實現對多尺度特征的進一步凝練。對于語境區域，采取和車牌區域相同的處理方式，并行地對{C2，C3}和{C3，C4}特征圖進行融合，分別生成對應車輛和車牌上下文區域的多尺度特征。上述多尺度特征在后續步驟中會被用于車牌的前景分類和邊框回歸以及語境信息融合。

圖2 多尺度特征融合流程

在經典的Faster R-CNN網絡中，使用水平檢測框的四個參數(x,y,w,h)來描述待檢測目標的位置，其中(x,y)表示檢測框的中心點坐標，(w,h)分別表示檢測框的寬和高。但是在現實監控視頻中，車輛和拍攝設備之間往往存在一定的角度，采用水平檢測框會不可避免地造成檢測區域出現冗余空間，導致預測框和ground truth之間的IOU值急劇減小，對檢測效果產生影響。

為了解決上述問題，文中算法在RPN階段構建anchor時引入了新的變量θ，用來表示anchor的方向。將參數θ定義為旋轉檢測框的長邊與x軸正方向之間的夾角。由于車牌形狀對稱，車牌上下長邊與x軸正向之間的夾角可能是銳角也可能是鈍角，而文中僅保留銳角作為的θ取值。因此，旋轉檢測框的位置可以通過五個參數(x,y,w,h,θ)確定下來。在RPN網絡中，旋轉預測框和ground truth之間的夾角可以通過參數θ直接計算得到，而預測框的頂點坐標則可借助下列公式轉換得到：

(1)

其中，T和R分別表示旋轉矩陣和轉換矩陣，w和h取決于預測框頂點坐標與中心點坐標的位置關系，定義如下列公式：

(2)

(3)

為了獲得合適的anchor參數，對數據集中的車牌角度及尺寸的分布情況進行分析。將基本的anchor尺寸設置在{16，32，64，128}范圍中以確定能涵蓋所有類型車牌；寬高比設置為{2，3，4}三種取值；角度參數在{-20°，-10°，10°，0°，10°，20° }范圍內變化。對于帶角度參數的旋轉anchor采用Faster R-CNN中的水平IOU計算方式會導致誤差放大。文中算法使用一種基于三角劃分的傾斜IOU計算方法[13]。上述選定的anchor用于后續步驟中指導生成準確的車牌預測框。

2.2 語境信息融合模型

本節聚焦于使用局部和語境信息來優化車牌檢測結果。文中首次提出了在車牌檢測任務中引入語境上下文區域作為輔助信息。在某些情況下，雖然結合多維特征信息進行了增強，但是預測框和ground truth之間仍然存在偏差，不同車牌之間的高度、寬度及角度差異都有可能導致這些偏差。因為真實場景中車牌普遍具有清晰的紋理特征和固定的背景，并且檢測到的車牌通常位于車輛的車牌上下文區域中。筆者認為這些語境區域可以提供詳盡的特征信息，增強模型抗環境干擾的能力，提高檢測任務中分類和邊框回歸的魯棒性。此外，當出現車牌未能成功檢測的情況時，車輛區域和車牌上下文區域也可以為車牌的位置回歸提供必要的先驗信息。

依據上述分析，文中設計了一個語境信息融合模型，如圖3所示。首先，在RPN網絡中并行地利用多尺度融合特征圖分別生成車輛、車牌上下文區域和車牌的預測框并通過ROI align[17]映射回特征圖中分割出對應特征區域。同時考慮到車牌特殊的寬高比，將特征維度固定到相同的數目13×4而并非默認值7×7。由于原始Faster R-CNN中網格分割存在特征失準問題，會導致位置回歸存在偏差，因此采用雙線性插值的ROI align分割方法。然后，用一個由三個連續卷積層(卷積核尺寸依次是1×1，3×3，1×1)構成的卷積模塊來激活特征參數。緊接著，一個維度為4 096的全連接層FC1被用來獲取高維非線性特征表示并移除信息冗余。最后，經過充分激活和學習的車牌，車牌上下文區域和車輛預測框特征以按元素相加的形式被整合成新的特征，并送入兩個連續的1 024維全連接層中進一步挖掘局部區域和語境區域關系的聯合特征表示。值得一提的是，上述模型中每個全連接層后面都緊跟著一個非線性激活函數ReLU。此外，與獲取車牌信息時采用旋轉預測框不同，針對語境區域采用矩陣預測框來避免一些敏感角度造成的信息損失。

圖3 語境信息融合流程

2.3 損失函數

(4)

(5)

(6)

(7)

(8)

(9)

公式(8)和公式(9)中的變量m，m*和ma分別針對預測框，ground truth和anchor，m表示x,y,w,h,θ中任意一個變量。參數k,k∈是用來確保θ取值在預設的車牌角度范圍以內。

3 實驗與分析

本章節首先介紹了實驗中使用的數據集及實驗參數的設置，接著設計了一系列對比實驗對提出的算法進行評價和分析。實驗結果表明，文中算法的每個組成部分都對車牌檢測性能的提高起到積極作用。實驗所用設備為終端服務器，配備Ubuntu操作系統及Tesla K40C GPU。

3.1 車牌數據集

實驗中使用的數據來源于Application-Oriented License Plate(AOLP)[18]和UFPR-ALPR車牌數據集[11]。AOLP數據集中共包含2 049張臺灣車牌圖像，根據復雜度和拍攝場景可以分為三個子數據集：出入境控制(AC)、行政執法(LE)和道路監管(RP)。而UFPR數據集是真實復雜街道場景中由車載拍攝裝置采集的，總計4 500張圖像，尺寸為1 920×1 080，共包含150輛車。值得一提的是，這兩個數據集都是用水平檢測框進行標注的。為了算法需要，加入了車牌角度信息，重新進行了標注工作，角度范圍為(-20°，20°)。為了提高模型的魯棒性，采用引入隨機噪聲，亮度調節，水平尺度變換等方法對樣本進行數據增廣。最后每個數據集可以得到8 000個實驗樣本，從中隨機抽取70%作為訓練集，剩余30%作為測試集。

3.2 對比實驗

為驗證文中算法的有效性和高效性，在UFPR和AOLP兩個車牌數據集上進行了對比實驗。由于車牌檢測任務沒有統一的評價指標，實驗基于以下三個指標評價算法的優劣性：準確性、回歸率和F-measure，定義如下：

(10)

(11)

(12)

式中，TP(true positive)表示分類正確的正樣本數目，FP(false positive)表示分類錯誤的正樣本數目，即被分類成背景的車牌數目，FN(false negative)表示分類錯誤的負樣本數目，即背景被錯誤分類為車牌的數目。實驗中，參數α設為1，即常用的F1-measure評價指標。

因為在文中算法中，車牌方向信息是多維特征信息增強的重要組成，所以第一個實驗是為了評價模型對于車牌角度預測的準確性。設計以下兩個指標來進行評價：一定容錯閾值下角度預測準確率(AE)和平均角度誤差(ME)，定義如下：

(13)

(14)

其中，N表示車牌總數目，Ncorrect表示角度預測正確的車牌數目，pi表示預測的車牌角度值，ti表示標簽中的真實車牌角度值。采用相對嚴格的容錯閾值3°及相對寬松的容錯閾值7°來詳盡描述模型性能。從表1的實驗結果來看，相比于RRPN算法[13]，提出的多維特征信息增強算法準確性更高，同時平均角度誤差更小。此外，在引入語境信息融合之后，性能大幅提升。

表1 基于UFPR數據集的車牌角度預測算法評價

為了進一步驗證文中算法的泛化性能，實驗二為在AOLP數據集上所做的涵蓋多種車牌檢測算法的對比實驗，定量實驗結果如表2所示。

表2 基于AOLP數據集的車牌檢測算法定量對比

用于對比的算法按表格排列順序依次為：經典的Faster R-CNN模型[14]；Polishetty等提出的基于啟發式學習的檢測算法，數據結果引用自文獻[9]；Ma等提出的多方向文本檢測方法RRPN[13]，已被驗證可以用于車牌檢測任務；Masood等提出的基于CNN的端到端檢測算法[12]；商業化的開源車牌檢測系統Open ALPR[19]。文中算法在AOLP的三個子數據集中準確率和回歸率都排在前列。子數據集RP中有大量不同程度傾斜的車牌圖像，其他算法檢測準確率均有所下降；而文中算法結合了車牌角度信息，能夠完全適應多方向的車牌檢測，相比于其他算法準確率和回歸率顯著提高。同時算法在配備Ubuntu操作系統及Tesla K40C GPU的終端服務器上進行實驗測試時可保持每幀0.76秒的檢測速度。

部分檢測結果如圖4所示。

(a)Faster R-CNN (b)RRPN (c)Open ALPR (d)文中算法

4 結束語

提出了一種基于多維特征信息增強和語境信息融合的端到端車牌檢測算法，用于解決真實場景中由于拍攝距離導致的尺寸變化問題和由于拍攝角度導致的車牌傾斜問題。首先，針對車牌圖像對經典的Faster R-CNN做出改進：采用多尺度特征融合獲得多分辨率信息，利用帶角度參數θ的旋轉anchor和雙支組合結構生成合適的車牌預測框。其次，通過結合車輛，車牌上下文區域等語境信息進一步提高檢測準確性。AOLP和UFPR數據集上的實驗結果證明了該算法各個模塊的有效性，同時整體算法在準確性和回歸率上均取得了優越性能。根據文中思路，未來的工作可以聚焦于在所提算法基礎上設計包含更少卷積層的輕量級網絡，保持高準確率的同時提高檢測速度。