智能車輛出入控制系統的低時延處理實現

馮凌穎，陳耀武

（浙江大學數字技術及儀器研究所，杭州310027）

智能車輛出入控制系統的低時延處理實現

馮凌穎，陳耀武

（浙江大學數字技術及儀器研究所，杭州310027）

基于車牌識別的智能車輛出入控制系統對道閘車輛放行有較高的實時性要求，為此，提出一種車輛檢測至道閘放行過程的低時延處理方案。從攝像機預處理、圖像傳輸、工控機后續圖像處理3個環節入手，通過區域自動曝光的攝像機預處理提高后續車牌識別性能，攝像機抓拍圖片時使用異步I/O傳輸，同時設計結合區域提取的圖像分塊傳輸流程，優化工控機客戶端圖像顯示過程，提高系統各個處理環節的效率。實驗結果表明，在確保車牌識別準確率的前提下，該方案可使系統車輛圖像采集、接收、處理和送顯過程的總時延降低到136 m s，達到業界車輛出入控制系統的領先水平。

車輛出入控制系統；低時延；圖像傳輸；區域提取；車牌識別；自動曝光

1 概述

隨著科學的進步和國民經濟的高速發展，車輛己成為人們出行以及貨物運輸的重要交通工具。隨著車輛數目的急劇增加，不僅城市公路的管理建設需要加強，而且各種小區和停車場對進出車輛的管理也顯得尤為重要。

目前比較成熟的車輛出入控制系統主要是基于射頻識別（Radio Frequency Identification，RFID），它是一種非接觸式的自動識別技術，通過射頻信號自動識別目標對象并獲取相關數據［1-3］。但需要用戶持有射頻卡才能正常使用，應用范圍受限制，并且不具備射頻卡和車輛綁定功能，存在車輛被掉包等安全隱患。針對車輛出入的隨意性及應用場合的復雜性等現狀，新一代的方案是基于圖像車牌識別的車輛出入控制系統［4-5］，采用高清攝像機抓拍出入車輛的車牌，但該類型傳統圖像上傳并進行車牌識別的方案會具有較大的時延，通常都是大于500 m s，導致車輛通行低效。

車牌識別的時延已成為目前智能車輛出入控制系統的瓶頸，針對該問題，本文提出一種車輛檢測至道閘放行過程的低時延處理方案。采用攝像機預處理提高后期車牌識別性能，攝像機與工控機間使用異步I/O傳輸圖像減少資源消耗，并設計結合車牌區域提取的優化圖像上傳過程方案，同時改進客戶端圖像顯示過程，降低從圖像采集到車牌識別整個過程的時延。

2 系統構成

車輛出入控制系統主要部署在公共停車場、工業園區和住宅小區等應用場景。本文整套系統主要分為部署在各個出入口的崗亭本地系統、后臺的數據服務中心以及中心管理員操作的管理中心客戶端。系統對長期用戶車牌號碼在后臺建立一個白名單數據庫，將用戶信息錄入，對于白名單車輛道閘進行免費進出放行，非白名單車輛進出需要收取一定的費用。

崗亭本地系統裝有地感線圈、高清攝像機、道閘、LED顯示屏和工控機。當車輛壓到地感線圈后，觸發高清攝像機抓拍號牌圖片，上傳圖片到工控機，然后對號牌進行識別，再將識別后的結果與數據服務中心的白名單進行比對，如果該車輛具有通行權限，則向車輛道閘控制系統發送信號，驅使其升起閘桿，同時向LED顯示屏系統發送信號顯示相關字幕，道閘欄桿自動升起，車輛可以順利通過；如果該車輛不具有通行權限，則打印臨時通行證，讓車輛進入園區。

圖1為本文基于車牌圖像識別的車輛出入控制系統框架，其中，工控機中主要分為圖像接收、圖像處理、圖像送顯3個模塊。圖像處理的任務順序劃分為車牌定位、字符分割和字符識別3個部分。

圖1 基于高清圖像識別的智能車輛出入控制系統框架

3 系統低時延方案設計

基于高清圖像識別的車輛出入控制系統，其核心就是車牌識別，它主要包括圖像采集、圖像預處理、車牌定位、車牌字符分割、車牌字符識別等模塊［6］。為提高系統的圖片處理效率，本文將重點放在圖片傳輸過程和車牌識別過程，設計一種結合區域提取的優化圖像上傳流程。

在傳統基于車牌識別的車輛出入控制系統中，將攝像機端（前端）只負責攝像機預處理、圖像采集和圖像上傳，工控機端（后端）負責圖像接收以及后續的處理，如圖2所示。本文的設計將一部分圖像車牌識別預處理移至攝像機前端進行，提高后續工控機圖片處理效率，其流程如圖3所示。

圖2 傳統車輛出入控制系統流程

圖3 本文PACS系統流程

下文將從前端攝像機端預處理、圖像傳輸方案、工控機客戶端圖像送顯3個部分來分析系統的改善，提高整個PACS的響應性能。

3.1 攝像機端預處理

在PACS系統中，車輛圖片的前端采集部分是系統的前沿部分，把檢測的內容轉換為圖像和數據信息，傳送給工控機。抓拍識別部分的效果及圖像質量將影響到后續圖像處理的速度，也是整個系統性能響應的直接因素。本文的高清攝像機采用基于圖像分區的自動曝光算法［7］，并將一部分圖像的車牌識別預處理移至前端高清攝像機進行。

3.1.1 基于圖像分區的自動曝光

本文采用工業級高清攝像機Davinci系列的TMS320DM 368視頻處理器作為視頻采集設備，使用3A技術［8-9］中的自動曝光（Auto Exposure，AE）尋找并配置最佳攝像機參數，使得抓拍到的車輛圖像質量能夠提高后續工控機端車牌識別的效率。由于圖像的后續處理部分主要集中在車輛的車牌區域，且攝像機安裝的位置和角度固定，車輛觸發地感線圈的位置也在某個范圍內，因此可以在拍攝區域中劃定某個區域為感興趣區域（Region of Interest，ROI），并賦予該區域不同的權值，從而計算圖像的加權平均亮度值。

基于車牌區域的局部自動曝光劃分區域如圖4所示，其中，ROI區域是攝像機拍攝場景中車牌的主要位置。根據式（1）分配區域權值來計算當前亮度均值，Y值是所在區域的亮度均值，a和b分別是對應的區域權值，使ROI區域的權值比背景（Background）區域的更大。

圖4 基于車牌區域的局部自動曝光劃分

計算出當前亮度均值curY后，與光圈配合，保證進光量達到符合主觀視覺要求的大小。再根據設定的目標亮度targetY，利用式（2）計算比例ratio：

將當前幀的亮度值與目標亮度值進行比較，判斷是否在目標范圍內，如果不在，則進行分步長調節曝光。根據比例ratio調整曝光時間、傳感器增益與芯片數字增益3項參數。

3.1.2 車牌識別預處理

為提高后續工控機車牌識別的效率，在前端攝像機采取圖像降采樣和車牌初定位的預處理方案［10］。

（1）圖像降采樣

為了提高圖像識別效率，同時降低網絡圖像傳輸負載，將攝像機采集到的車輛圖片在攝像機端進行降采樣，使得圖像的分辨率符合工控機端顯示區域大小并生成圖像的縮略圖，由1 080 p（1 280×1 024像素）轉換至D1（704×576像素）分辨率。降采樣之后對圖像進行平滑濾波來改善圖像質量。為了能夠使圖像區域內部進行平滑的同時，區域之間的邊緣保持不變，從而提高后續車牌初定位邊緣提取的準確性。本文采用保持邊緣的高斯平滑濾波器（Edge Preserving Gaussian Filter，EPGF）［11］，它可以在平滑區域內部像素的同時，有效保持目標之間的邊緣及光照真實感。

令G（x，y）表示高斯卷積核，（i，j）是模板的中心，σ是標準差，則保持邊緣的高斯平滑濾波器EPGF定義如式（3）所示。

其中，ΔE是（i，j）和（x，y）位置處的2個像素之間的色差；th是恰可分辯色差閾值。卷積時，首先判斷鄰域內某位置處的像素和中心像素之間的色差是否大于閾值，如果是，則令此點對應的權值為0；否則，仍為初始值。在式（3）的基礎上，利用EPGF對圖像濾波的過程可以用式（4）描述：

其中，f（x，y）表示輸入彩色圖像，包含RGB 3個顏色通道。經過EPGF對輸入圖像進行平滑后，同一區域內部的像素，其顏色更趨于一致，并且能有效保留區域之間的邊界。

（2）車牌初定位

圖片經過降采樣平滑后，對圖像進行邊緣檢測及二值化，初步定位車牌區域。從邊緣二值化圖像逐行進行掃描，根據車牌垂直邊緣跳變比較劇烈的特點找到疑似車牌的區域［6］，并設置車牌區域最大閾值T，過濾不必要過大的區域。其處理流程如圖5所示。通過初定位可以把整幅圖像中疑似車牌的區域大體定位，加入到區域目標集合中，等待分塊傳輸。

圖5 攝像機端車牌初定位流程

3.2 圖像傳輸優化方案

3.2.1 抓拍圖片異步I/O傳輸方案

當前主流的網絡攝像機均具備FTP文件傳輸協議功能，傳統基于高清圖像的PACS系統通常采用攝像機抓拍到圖像，并上傳至工控機的FTP服務器相應目錄，由系統程序定時去讀取并判斷相應目錄下是否有新圖像，從而獲取當前出入口處是否有新車輛。

這種方法不具備足夠的實時性能，并且消耗較多系統資源。為彌補該缺陷，降低系統的時延，本文采取了攝像機抓拍圖像后主動向工控機上報的異步I/O方法［12］，其傳輸運行時序圖如圖6所示。

圖6 抓拍圖片傳輸時序圖

由圖6可知，傳統方案是由工控機應用程序定時間隔T時間（如100 ms）掃描FTP目錄是否有新圖像，如果有新圖像則進行下一步圖像處理，如果沒有，則繼續等待T時間重新檢查目錄。圖中在T3時刻目錄下不存在新車輛圖像，T3過后，新圖像2即刻上傳結束，但圖像2的處理必須等待一個周期，直到T4時刻才能進行處理。同理，圖像3的處理也延遲了一個周期。本文方案實現非阻塞異步I/O，網絡攝像機抓拍圖像通過網絡套接字socket發送至工控機，立即可以進行圖像處理，有效降低了延時，同時減少了線程定時循環檢查FTP目錄的不必要資源開銷。

3.2.2 結合區域提取的圖像分塊傳輸

由3.1節可知，攝像機抓拍到的圖像經過降采樣并平滑濾波后，再進行車牌初定位，得到類車牌區域的傳輸集合。將集合上的所有目標區域，通過

3.2.1 節方案發送至工控機端。同時，集合中不可避免存在偽區域，在工控機端結合車牌識別算法中排除偽區域，其流程如圖7所示。

圖7 圖像分塊傳輸流程

由圖7可知，此方案避免了傳統方案中工控機需要等待全部圖像從攝像機端完整上傳才可以進行車牌識別的缺陷。只要攝像機采集到圖像，根據3.1節進行預處理后，就能得到類車牌區域的集合，并通過網絡分塊順序發送至工控機，那么工控機直接可以進行車牌識別，并且一旦排除一部分偽車牌區域，找到最終的車牌區域，就可以直接忽略后續的集合區域，直接將結果送達至客戶端。

3.3 工控機客戶端圖像送顯優化

本文在客戶端圖像顯示上采用高效的YUV轉 RGB圖像格式轉換算法，使得提升系統的響應。在色彩空間轉換過程中涉及的計算都需要進行浮點運算，而每個像素點的運算都是按單字節（8 bit）逐點進行，這些都嚴重影響了算法的計算效率［13］。為提高處理速度，本文對算法進行浮點轉定點優化。用整型算法代替浮點運算，采用移位的方法如式（5）～式（7）所示。

實際上人眼能夠分辨的顏色數量遠小于224，因此，計算機中一般使用RGB空間的一個子集：RGB8∶8∶8（真彩色）來描述顏色，其中，R，G，B為0～255的整數。同理，Y，U，V也為0～255的整數。為防止溢出，還需要判斷計算結果是否在0～255范圍內。

4 測試結果與分析

4.1 攝像機端車牌初定位結果

圖8和圖9為攝像機端在圖像分塊發送前車牌初定位的結果。對結果進行分析可知：有些車牌誤定位到地面或者車身，這是由于地面或者車身存在大量的噪點而導致。若車牌的邊緣信息不豐富，邊緣檢測及二值化后會檢測不到車牌。但本文在對圖像降采樣后，采用保持邊緣的高斯平滑濾波器（EPGF），它可以在平滑區域內部像素的同時，有效保持目標之間的邊緣及光照真實感。因此，本文設計的車牌初定位模塊，能夠有效地提取到包含車牌的有效區域。

圖8 車輛出入口抓拍原始圖像

圖9 圖8左邊車輛車牌初定位結果

4.2 系統降低延時效果

系統各個環節的延時測試的結果如表1所示。由數據可知，本文設計的系統從車輛圖像采集到圖像接收，再到圖像處理和圖像送顯，總時延僅為136.42 m s，表明該系統具有高效的實時響應性能。

表1 系統各環節耗時m s

此外，本文系統在南京某集團園區投入運行，測試結果如表2所示。由表中數據可知，本文方案在確保車牌準確率的情況下，采用D1分辨率的圖像進行車牌識別，降低了系統的時延，有效地將上下班高峰期車輛通行速度由原來的1.2輛/m in提高到1.9輛/m in，提高了園區車輛出行的效率。

表2 系統實際運行效果測試

5 結束語

針對基于車牌識別的智能車輛出入控制系統，本文提出了車輛放行低時延處理的設計方案，將系統分為各個出入口的崗亭本地系統、后臺的數據服務中心以及管理中心客戶端3個模塊。優化方案主要針對崗亭本地系統，從攝像機預處理、圖像傳輸過程和工控機后續圖像處理3個環節入手，采用區域自動曝光的攝像機預處理方案提高后續車牌識別性能，攝像機抓拍圖片使用異步I/O傳輸，并設計一種結合區域提取的圖像分塊傳輸流程，同時優化客戶端圖像顯示過程。系統從車輛圖像采集到圖像接收，再到圖像處理和圖像送顯，總延時僅為136 ms，且于南京某集團園區投入運行以來，在確保車牌識別準確率的前提下，將上下班高峰期車輛通行速度由原來的1.2輛/m in提高到1.9輛/m in，具有較高的實時響應性能，為城市交通車輛管理提供了車牌識別準確率和實時性的雙重保障。下一步工作將研究當多個崗亭出入口大量并發向后臺數據服務中心發送請求時，如何提高服務器軟件系統響應及數據庫查詢優化，從而進一步提升系統的實時性。

［1］ Pala Z，Inanc N.Smart Parking Applications Using RFID Technology［C］//Proceedings of the 1st International RFID Eurasia Conference.Washington D.C.，USA：IEEE Press，2007：1-3.

［2］ Crowder M，Walton C M.Developing an Intelligent Parking System for the University of Texas at Austin，SWUTC/03/ 167229-1［R］.Austin，USA：Center for Transportation Research，University of Texas at Austin，2003.

［3］ 楊筆鋒，詹艷軍.基于射頻識別的智能車輛管理系統設計［J］.計算機測量與控制，2010，18（1）：97-99.

［4］ Anthonyson R B.Automated Vehicle Parking System：USA，Patent 5414624［P］.1995-05-09.

［5］ 丁 堅.智能停車場中的車牌識別系統研究［D］.南京：南京航空航天大學，2008.

［6］ Chang S，Chen L，Chung Y，et al.Automatic License Plate Recognition［J］.IEEE Transactions on Intelligent Transportation System s，2004，5（1）：42-53.

［7］ 周 杰.基于多區域分割及模糊邏輯的自動曝光方法［D］.上海：上海交通大學，2007.

［8］ 梁佳毅，洪志良.適用于大動態范圍場景的自動曝光控制算法［J］.光電工程，2008，35（5）：89-92.

［9］ 曹 濤.基于DSP的網絡攝像機圖像預處理技術［D］.杭州：浙江大學，2014.

［10］ Gonzalez R C，Woods R E，Eddins S L.數字圖像處理［M］.阮秋琦，阮宇智，譯.北京：電子工業出版社，2003.

［11］ 李雪威，張新榮.保持邊緣的高斯平滑濾波算法研究［J］.計算機應用與軟件，2010，27（1）：83-84.

［12］ Bhattacharya S，Pratt S，Pulavarty B，et al.Asynchronous I/O Support in Linux 2.5［C］//Proceedings of Linux Symposium.Ottawa，Canada：［s.n.］，2003：371-386.

［13］ Rosenfeld A，Kak A C.Digital Picture Processing［M］. New York，USA：Academic Press，2014.

編輯 金胡考

Realization of Low Latency Processing in Intelligent Vehicle Access Control System

FENG Lingying，CHEN Yaowu
（Institute of Digital Technology and Instrument，Zhejiang University，Hangzhou 310027，China）

Considering the demand of low latency of intelligent vehicle access control system based on license plate recognition，a design for reducing the latency of system response performance from vehicle detection to lane release is proposed.This design mainly focuses on three aspects——pre-process in camera，image transmission and later-process in Industrial Personnel Computing（IPC）.Using regional Auto Exposure（AE）in camera and asynchronous I/O image transmission to improve the performance of later license plate recognition，it realizes a kind of block transmission method combined with image region extraction while also optimizing image display in client-side of IPC，to improve the efficiency of the system's each processing part.Experimental results show that from image acquisition to receiving，to processing and at last to show，this scheme can make system take about 136 ms while at the same time ensuring the accuracy of license plate recognition，which reaches the leading level in the field of vehicle access control system.

vehicle access control system；low latency；image transmission；region extraction；license plate recognition；Auto Exposure（AE）

馮凌穎，陳耀武.智能車輛出入控制系統的低時延處理實現［J］.計算機工程，2015，41（11）：13-17，23.

英文引用格式：Feng Lingying，Chen Yaowu.Realization of Low Latency Processing in Intelligent Vehicle Access Control System［J］.Computing Engineering，2015，41（11）：13-17，23.

1000-3428（2015）11-0013-05

A

TP18

10.3969/j.issn.1000-3428.2015.11.003

浙江省重點科技創新團隊基金資助項目（2011R09021-02）。

馮凌穎（1990-），女，碩士研究生，主研方向：智能交通，嵌入式網絡多媒體；陳耀武，教授、博士生導師。

2014-12-22

2015-01-13 E-m ail：fenglingyingFLY@126.com