基于CNN多標簽分類的林區車牌識別研究

丁鍵 朱洪前

摘 ?要：林區一直是智能化設施比較薄弱的地區，我國林區每年都會發生大量偷盜現象，不法分子為了金錢利益盜伐木材、偷獵野生動物，該現象暴露出林區存在治安防護不足的問題。為加強林區的治安防護，并針對常有大霧、灰塵飛揚等復雜環境，提出了基于CNN多標簽分類的林區車牌識別方法。此方法相比傳統方法免除了車牌字符分割的誤差累積，能夠克服大霧、灰塵、光線較暗等復雜環境影響，文章提出的方法在林區環境下車牌識別率達到81.57%。

關鍵詞：多標簽分類;林區環境;車牌識別

中圖分類號：TP391.41;U495 ? ? ?文獻標識碼：A 文章編號：2096-4706（2020）12-0084-04

Abstract：The forest region has always been the area with weak intelligent facilities. Every year，a large number of thefts occur in Chinas forest region. Illegal elements illegally cut timber and poach wild animals for money interests，which exposed the problem of insufficient security protection in forest areas. In order to strengthen the protection of public security in forest areas，and in view of the complex environment such as fog and dust，a vehicle license plate recognition method based on CNN multi-label classification was proposed. Compared with the traditional method，this method avoids the error accumulation of license plate character segmentation and can overcome the complex environmental influences such as fog，dust and dark light. The license plate recognition rate of the proposed method in forest environment is 81.57%.

Keywords：multi-label classification;forest environment;license plate recognition

0 ?引 ?言

目前，工業是機器視覺應用比重最大的領域，相對于人工視覺檢測，機器視覺檢測擁有效率高、精度高、檢測效果穩定、方便信息集成等優勢。隨著人工智能技術實現質的突破，以及中國5G技術的領先研發，機器視覺算法的運算能力和實際應用的效率將大幅度提升，萬物互聯模式下，機器視覺應用的領域將被全面推廣，而這一切的飛速發展都離不開一線科研人員的努力。機器視覺技術應用于林業領域在未來將成為必然的趨勢。

林區每年都會出現大量的偷盜現象。為了金錢交易，不法分子盜伐木材、捕殺販賣野生動物，而公安系統有時還會接到涉林案件，不法分子利用林區的智能化管理比較薄弱，車輛的出入管理不完善，監控還不夠智能化這些特點，鉆了不少空子。2003年非典的爆發就是野生果子貍攜帶的病毒引起的，2020年1月新型冠狀病毒在武漢爆發，席卷全國，中華菊頭蝠所帶的原生病毒與新冠病毒有90%以上的一致性。因此加強對野生動物的監管，增強林區車牌識別系統的研究迫在眉睫，全方位監控并識別進出車輛車牌號，這將大大提高林區防盜伐的能力，在疫情防控方面也能夠追本溯源，迅速掌握病毒的源頭。

林區環境復雜，常有大霧、泥土灰塵、樹木引起的光線昏暗等影響車牌識別的因素[1]。針對林區的復雜環境給車牌識別帶來的影響，中南林業科技大學朱洪前老師團隊發起了林區環境下車牌識別研究項目，對此本文基于以上項目進行了基于卷積神經網絡（Convolution Neural Networks，CNN）多標簽分類的林區車牌識別研究。

本文的整體結構如下：第一部分介紹制作林區車牌數據集，第二部分介紹林區車牌識別模型的效果，第三部分介紹傳統車牌識別方法的效果，第四部分為兩種方法效果的對比結論。

1 ?制作林區車牌數據集

圖1為精選的林區車牌圖片樣本。

結合項目要求，自行建立一個林區車牌數據集。訓練集里面一共有3 300張220×70像素的車牌圖片，均為程序生成的虛擬車牌。中國的車牌一直是7個字符，包含了31個省份、24個大寫字母（去除O和I）以及10個數字。為了更真實的模擬實際車牌，車牌的背景為林區環境，且增加了畸變、傾斜、色差、明暗等噪聲[2]。

驗證集一共100張圖片，全部為人工采集制作，統一大小為220×70像素。訓練集和驗證集統一采用7位數字標簽進行標注，因有65類中文、英文、數字字符，故有65個數字標簽。標簽對應如下：

{"京"： 0，"滬"： 1，"津"： 2，"渝"： 3，"冀"： 4，"晉"： 5，"蒙"： 6，"遼"： 7，"吉"： 8，"黑"： 9，"蘇"： 10，"浙"： 11，"皖"： 12，"閩"： 13，"贛"： 14，"魯"： 15，"豫"： 16，"鄂"： 17，"湘"： 18，"粵"： 19，"桂"： 20，"瓊"： 21，"川"： 22，"貴"： 23，"云"： 24，"藏"： 25，"陜"： 26，"甘"： 27，"青"： 28，"寧"： 29，"新"： 30，"0"： 31，"1"： 32，"2"： 33，"3"： 34，"4"： 35，"5"： 36，"6"： 37，"7"： 38，"8"： 39，"9"： 40，"A"： 41，"B"： 42，"C"： 43，"D"： 44，"E"： 45，"F"： 46，"G"： 47，"H"： 48，"J"： 49，"K"： 50，"L"： 51，"M"： 52，"N"： 53，"P"： 54，"Q"： 55，"R"： 56，"S"： 57，"T"： 58，"U"： 59，"V"： 60，"W"： 61，"X"： 62，"Y"： 63，"Z"： 64}

在制作數據集時，首先將圖片進行灰度化處理，然后將圖片轉換成數組形式。為了便于計算機進行計算，需要將圖片數據進行歸一化處理。每個圖片的標簽轉換成one-hot編碼形式，從而每個圖片的標簽數據是7行65列的數組。

2 ?林區車牌識別模型介紹

2.1 ?網絡結構

本文的車牌識別網絡模型主要是由可以提取若干特征的卷積層、池化層、全連接層，最后接以Softmax函數激活輸出來組成。整個網絡模型可以進行端到端的訓練[3]，避免了字符分割帶來的誤差影響。

林區車牌識別模型的目標是為了提取車牌圖片中每個字符的特征，進而識別出每個字符。將整個車牌圖片看作一圖多標簽問題，避開了字符切割。整個模型原理圖如圖2所示，將車牌圖片數據輸入卷積神經網絡，經過特征提取后，經由7×65個全連接層，輸出為車牌數字標簽，轉化后得到最終的車牌號碼。

2.2 ?損失函數和訓練方法

在訓練時，最終選定的Loss函數是categorical_crossentropy（交叉熵損失函數），此函數的引入，克服了均方差損失函數（MSE）因Sigmoid函數性質導致權重w和偏置b更新緩慢的問題。

交叉熵是用來評估當前模型訓練得到的概率分布和真實分布的差異情況，描述的是實際輸出概率和期望輸出概率的差值，交叉熵的值越小，實際輸出與期望輸出就越近。

訓練過程中，選擇Adam優化器，學習率設為隨機，整個網絡一共訓練6輪，每個batch_size設為64。對每一張圖片都進行了批標準化和灰度化處理，shape大小為220×70元素的數組。

2.3 ?實驗

整個網絡模型是用TensorFlow框架實現，計算過程實現了GPU加速。實驗電腦的配置顯卡為NVIDIA GeForce GT 740M，顯存為2 GB。

2.4 ?實驗結果

由于本實驗的數據集是自行建立的，所以這里并沒有和其他的算法性能做對比。在自制的林區車牌數據上的車牌識別率達到了81.57%。驗證集上得到的實驗結果如表1和圖3所示。

3 ?傳統車牌識別方法

傳統的車牌識別方法，需要將檢測到的車牌進行仿射變換以實現車牌的圖像矯正，然后將矯正后的車牌圖像進行字符分割，最后使用模板匹配法或者ANN方法，實現字符識別得到車牌號，其流程圖如圖4、圖5所示。

在此過程中，圖像矯正和字符分割都會不可避免造成二次誤差，尤其在字符分割時，所調節的閾值只能在一定范圍內準確的分割字符，超出范圍則造成誤差，分割過多或過少，直接影響了字符識別的效果，在光線較暗、大霧、灰塵等復雜環境下分割出的字符表現較差[4]，如表2所示。

4 ?結 ?論

本文提出了基于CNN多標簽分類的林區車牌識別研究，實現了弱監督的思想（即只標注車牌的內容信息），以往車牌識別任務中，數據集標注的難度大，人力成本高，通過弱監督，大大降低了車牌標注的難度。雖然，訓練集上準確率比測試集高出許多，出現了過擬合現象，需要針對網絡模型改進、調參，但是可以看到，基于CNN的多標簽分類識別模型應用于林區車牌識別具有很好的表現力，相比較傳統車牌識別方法，CNN特征提取能力完全可以克服林區復雜環境對車牌識別的影響。后期將逐步優化模型，提升準確率，為林區環境下的車牌識別做出積極貢獻。

參考文獻：

[1] 文章巖.霧霾環境下車牌定位 [J].時代汽車，2019（12）：18-20.

[2] 鄧嘉誠，黃賀聲，楊林，等.車輛牌照識別技術現狀 [J].現代信息科技，2019，3（16）：78-83.

[3] SILVA S M，JUNG C R. License Plate Detection and Recognition in Unconstrained Scenarios [C]//European Conference on Computer Vision.Cham：Springer，2018：593-609.

[4] 曹正鳳，李少丁，王棟梁，等.基于深度學習的端到端車牌檢測識別系統 [J].中國交通信息化，2018（9）：88-91.

作者簡介：丁鍵（1995—），男，漢族，江蘇鹽城人，碩士，研究方向：機器視覺;通訊作者：朱洪前（1974—），男，漢族，湖南雙峰人，副教授，博士，研究方向：機器視覺。