高清視頻檢測和識別技術(shù)研究及其在城市交通中的應(yīng)用

黃濺華，劉海峰

（中興智能交通（無錫）有限公司，北京 100089）

0 引言

近十幾年來，智能交通（Intelligent Transportation System，簡稱ITS）在我國得到了大力發(fā)展，各種技術(shù)在城市公安交通中的應(yīng)用也日益普及，其中車輛的檢測、車輛行為分析、車牌識別（License Plate Recognition，簡稱LPR）和交通事件檢測就是其中之一。利用計(jì)算機(jī)視覺分析等先進(jìn)的信息技術(shù)實(shí)現(xiàn)高效、安全的智能交通已成為交通、治安治理的主要發(fā)展方向。在《公安交通指揮系統(tǒng)建設(shè)技術(shù)規(guī)范》（GA/T 455—2010）中提出的交通事件檢測系統(tǒng)、交通違法行為監(jiān)測記錄系統(tǒng)（包括闖紅燈自動記錄系統(tǒng)、超速監(jiān)測記錄系統(tǒng)、其它違法行為監(jiān)測記錄系統(tǒng)）、公路車輛智能監(jiān)測記錄系統(tǒng)、機(jī)動車查緝布控系統(tǒng)等，都依賴于視頻檢測和識別技術(shù)。另外在旅行時(shí)間系統(tǒng)、區(qū)間測速系統(tǒng)、套牌車檢測系統(tǒng)、車輛區(qū)域關(guān)聯(lián)性查詢分析系統(tǒng)、公路收費(fèi)、停車治理、交通誘導(dǎo)、交通執(zhí)法、交通參數(shù)采集等領(lǐng)域也有廣泛的應(yīng)用。這些是智能交通建設(shè)重要的基礎(chǔ)技術(shù)之一。

對基于高清攝像機(jī)的視頻檢測和識別，可以為智能交通的交通數(shù)據(jù)采集、違章檢測和記錄、車牌識別等應(yīng)用提供技術(shù)基礎(chǔ)。如果能夠解決車輛檢測、車牌識別等技術(shù)，闖紅燈自動記錄系統(tǒng)、超速監(jiān)測記錄系統(tǒng)、公路車輛智能監(jiān)測記錄系統(tǒng)、交通流信息采集系統(tǒng)等的實(shí)現(xiàn)，就具備了很好的基礎(chǔ)。

1 視頻識別技術(shù)的現(xiàn)狀

從本世紀(jì)初開始的基于標(biāo)清攝像機(jī)的車牌識別技術(shù)，一直是視頻檢測和識別中的關(guān)鍵。從技術(shù)路線的角度看，車牌識別系統(tǒng)按觸發(fā)方式不同可分為視頻觸發(fā)和外觸發(fā)；按成像條件可分為可見光成像和紅外成像；按運(yùn)行平臺不同可分為硬件式和軟件式。不論是何種技術(shù)路線，其中的關(guān)鍵技術(shù)是一樣的，車牌識別系統(tǒng)都是由觸發(fā)、圖像采集、圖像識別模塊、輔助光源和通信模塊組成的。視頻觸發(fā)的完整的車牌識別處理流程如圖1-1所示。

圖1-1 車牌識別處理流程

車牌識別系統(tǒng)運(yùn)行時(shí)，光學(xué)系統(tǒng)要經(jīng)過事先調(diào)整，使到達(dá)指定位置的車牌成像最清晰且成像大小、方位符合要求。攝像機(jī)獲取圖像，經(jīng)過數(shù)字化，系統(tǒng)對圖像進(jìn)行分析，一旦檢測出車牌，就給出觸發(fā)信號，對車牌進(jìn)行定位、截取車牌照片、進(jìn)行字符分割和利用OCR（Optical Character Recognition，光學(xué)字符識別）進(jìn)行字符識別。輔助光源提供輔助照明，保證系統(tǒng)在不同的光照條件下都能拍攝到高質(zhì)量的圖像。

在眾多車牌識別軟件的應(yīng)用中，不同的廠家采用不同的技術(shù)路線，主要包括以下方面：

a）有完全基于車牌識別進(jìn)行檢測和觸發(fā)的 這種模式對逐幀或抽幀進(jìn)行分析，一旦發(fā)現(xiàn)車牌即進(jìn)行觸發(fā)和識別，由此進(jìn)行觸發(fā)，這種模式效率比較高，所抓拍的照片有效性高，但對于沒有車牌的車輛會無法抓拍；

b）有基于虛擬線圈的方式進(jìn)行檢測和觸發(fā)的然后對抓拍的圖片進(jìn)行車牌識別（也即先檢測再識別），這種方式容易受到背景光變化的影響，缺點(diǎn)是誤觸發(fā)多、受環(huán)境影響大；

c）也有通過在視頻中劃觸發(fā)線的方式 如果有物體經(jīng)過該觸發(fā)線，就進(jìn)行觸發(fā)抓拍，這種方式和基于虛擬線圈的方式類似；

這幾種方式在不同場景下都可應(yīng)用，根據(jù)識別的難易來確定，例如對于還無法識別車牌時(shí)或者要求無車牌都要進(jìn)行抓拍，采用后面的兩種方式就更加適宜。

圖1-2是標(biāo)清電子警察所抓拍的圖片。

圖1-2 標(biāo)清電子警察抓拍的違章過程照片

車牌識別系統(tǒng)經(jīng)過多年的發(fā)展，已成為一項(xiàng)較為成熟的技術(shù)，系統(tǒng)發(fā)展呈現(xiàn)出以下幾個明顯的熱點(diǎn)和趨勢：

a）高清晰 采用高清攝像機(jī)成像技術(shù)（通常為140萬、200萬、300萬和500萬像素，更高分辨率的高清楚攝像機(jī)也已出現(xiàn)），并結(jié)合補(bǔ)光技術(shù)，對車輛抓拍的圖像質(zhì)量大大提高，不僅可以清楚抓拍車牌，還可以提供高質(zhì)量的前排司乘人員的面貌圖像，并且可以記錄車輛全貌及車載情況等信息；

b）高智能 通過智能分析和目標(biāo)跟蹤技術(shù)，抓拍對象已不僅局限于機(jī)動車，且擴(kuò)展至非機(jī)動車，通過計(jì)算機(jī)視覺技術(shù)，不僅可識別車牌號，同時(shí)可識別車身顏色、車輛類型（貨車、大巴、中巴、小型貨車等）等，使檢索查詢更方便，更迅捷；

c）視頻檢測觸發(fā) 基本原理是采用計(jì)算機(jī)視覺技術(shù)和目標(biāo)跟蹤技術(shù)來分析視頻流，檢測出其中的運(yùn)動目標(biāo)而實(shí)現(xiàn)抓拍，視頻檢測觸發(fā)方式主要優(yōu)點(diǎn)是不需外部觸發(fā)源，系統(tǒng)安裝維護(hù)簡單。

最近幾年來，業(yè)內(nèi)開始研究高清的車牌識別。目前基于高清的車牌識別的許多系統(tǒng)也逐漸開始商用，但還在不斷完善之中。圖1-3是高清電子警察抓拍的違章過程照片。

圖1-3 高清電子警察抓拍的違章過程照片

2 高清視頻檢測和識別技術(shù)

從標(biāo)清的攝像機(jī)所抓拍的圖片可以看出，由于像素低，在既要兼顧看清車牌還要覆蓋整個路口的幾大要素的要求下，只能由多個攝像機(jī)組合來分別完成，同時(shí)，以往的闖紅燈系統(tǒng)往往只針對虛擬線圈所標(biāo)識的區(qū)域進(jìn)行分析計(jì)算，因此無法處理車輛被遮擋和車速較快的情況，并且對光照和天氣變化非常的敏感，對環(huán)境的適應(yīng)能力比較差。

而隨著高清攝像機(jī)的商用和性能不斷提高，已經(jīng)完全可以對由一個攝像機(jī)采集的視頻進(jìn)行分析來完成檢測車牌和抓拍全景。由此，需要采用與傳統(tǒng)的標(biāo)清攝像機(jī)不同的檢測和識別技術(shù)。在各個廠家的應(yīng)用中，也略有差異。不少廠家采用標(biāo)清一樣的檢測方式，包括基于車牌識別進(jìn)行檢測、基于虛擬線圈的方式，甚至還有基于外觸發(fā)的方式，包括線圈、地磁檢測和雷達(dá)等。而最經(jīng)濟(jì)實(shí)惠又可以充分利用視頻的方式是車牌識別和車輛檢測相結(jié)合的純視頻觸發(fā)方式。

基于高清視頻技術(shù)的車牌識別系統(tǒng)采用數(shù)字高清成像技術(shù)，能達(dá)到1600×1200分辨率甚至更高的像素，有效像素在200萬以上，是標(biāo)清系統(tǒng)的5～10倍以上，可用一臺高清攝像機(jī)覆蓋更大的目標(biāo)識別場景，并能夠?qū)植磕繕?biāo)進(jìn)行清晰放大和辨識，很好地解決交通業(yè)務(wù)部門對嫌疑目標(biāo)面部特征、前排司乘人員面部特征、可疑車輛車型外貌的細(xì)節(jié)識別問題。基于高清視頻技術(shù)的車牌識別系統(tǒng)從根本上擺脫了標(biāo)清成像的技術(shù)限制，采用了具有豐富擴(kuò)展功能的視頻檢測觸發(fā)和高清成像技術(shù)，可完成從采集圖像到完成車牌識別的全部功能。

基于高清視頻技術(shù)的車牌識別系統(tǒng)，采用視頻全區(qū)域多規(guī)則動態(tài)檢測跟蹤技術(shù)，是目前基于計(jì)算機(jī)視覺的最先進(jìn)的技術(shù)，對全部區(qū)域不同方向、不同速度移動的所有車輛或物體，進(jìn)行不同視角、不同種類的復(fù)雜檢測，采用改進(jìn)的粒子濾波方法進(jìn)行跟蹤，而后對軌跡或物體進(jìn)行復(fù)雜交通規(guī)則判斷的綜合技術(shù)。這里采用了差幀檢測比較和車牌檢測識別相結(jié)合的技術(shù)，具備跟蹤車輛行駛軌跡的功能，能夠很好地判斷車輛直行、左轉(zhuǎn)、右轉(zhuǎn)等行駛方向。這種算法在實(shí)時(shí)視頻中進(jìn)行處理，而不是靠外觸發(fā)抓拍圖片再進(jìn)行識別。

高清視頻檢測和識別流程圖如圖2-1所示。

在這里，采用綜合性混合優(yōu)化的計(jì)算機(jī)人工智能算法，利用大量學(xué)習(xí)樣本，加入了在線學(xué)習(xí)模塊，采用最新的反饋型學(xué)習(xí)模型來自適應(yīng)環(huán)境的變化，提高了系統(tǒng)對環(huán)境的適應(yīng)能力，同時(shí)對圖像信息密集采樣，對每一幀的全景信息進(jìn)行實(shí)時(shí)分析計(jì)算，用一種完全基于學(xué)習(xí)的多種特征融合的車輛定位新算法對圖像進(jìn)行車輛定位，判別出真正的車輛，進(jìn)行車輛鎖定并對鎖定的車輛進(jìn)行實(shí)時(shí)跟蹤。然后得到車輛的精確位置以及車輛運(yùn)動的矢量軌跡曲線圖，提高了對環(huán)境變化的適應(yīng)能力，綜合分析各種噪聲的整體特征和局部特征，并采用國際上先進(jìn)的計(jì)算機(jī)啟發(fā)式混合智能優(yōu)化算法，實(shí)現(xiàn)對各種噪聲的過濾和衰弱，該算法對噪聲的濾除作用明顯，對攝像機(jī)的系統(tǒng)噪聲、車輛以及樹木等的陰影、行人、非機(jī)動車輛、夜晚車輛大燈、大雨、雪、地面有水時(shí)的反光等等各種環(huán)境噪聲都有很好的濾除和衰減作用，大大提高了系統(tǒng)的捕獲正確有效率。特別是對夜晚環(huán)境的噪聲有較好的濾除作用，提高攝像機(jī)夜晚的畫面質(zhì)量。

圖2-1 高清視頻檢測和識別流程圖

3 高清視頻檢測和識別技術(shù)的應(yīng)用

這里對具備卡口系統(tǒng)功能的闖紅燈自動記錄系統(tǒng)（電子警察系統(tǒng)）的應(yīng)用進(jìn)行分析。

3.1 系統(tǒng)描述

基于高清攝像機(jī)的電子警察系統(tǒng)集成了最新圖像抓拍與識別技術(shù)，可對路口機(jī)動車輛闖紅燈行為進(jìn)行準(zhǔn)確檢測，并輸出違章車輛違章過程的全景和車牌特寫圖片以及車輛違章的有關(guān)信息，同時(shí)系統(tǒng)可以記錄在綠燈期間所有通過的車輛車牌號碼。通過對視頻的動態(tài)分析，本系統(tǒng)通過采用國際領(lǐng)先的視頻分析算法，實(shí)現(xiàn)了準(zhǔn)確的視頻觸發(fā)，對車輛和車牌的檢測不需要添加任何外部觸發(fā)裝置，且將光照影響，非機(jī)動車、樹蔭等各種干擾因素的影響最大程度地降低。

3.2 系統(tǒng)結(jié)構(gòu)

電子警察系統(tǒng)由路口前端設(shè)備、網(wǎng)絡(luò)傳輸系統(tǒng)和中心管理系統(tǒng)構(gòu)成。系統(tǒng)結(jié)構(gòu)如圖3-1所示。

圖3-1 電子警察系統(tǒng)結(jié)構(gòu)圖

路口前端設(shè)備部分主要由視頻檢測捕獲設(shè)備（高清攝像機(jī)、智能頻閃燈）、紅綠燈檢測器等組成，完成紅綠燈狀態(tài)檢測、機(jī)動車闖紅燈、壓黃線、壓實(shí)線、逆行、不按規(guī)定車道行駛等違章行為檢測抓拍、違章圖片抓拍數(shù)據(jù)存儲和傳輸、補(bǔ)光燈控制等功能，相關(guān)信息網(wǎng)絡(luò)上傳等任務(wù)。

電子警察系統(tǒng)采用工業(yè)級高清攝像機(jī)，通過對高清視頻流的分析，對車輛違章行為進(jìn)行檢測觸發(fā)，對違法闖紅燈車輛抓拍3張圖片（一張違法車輛在停止線前，一張違法車輛在停止線上，一張違法車輛在停止線后，同時(shí)對一張照片中剪切出包含車牌的特寫照片，這四張照片可以根據(jù)客戶需要進(jìn)行組合調(diào)整），該組圖片信息可清晰地反映車輛違法地點(diǎn)、違法車道、行駛方向、闖紅燈違法時(shí)間、紅燈開始結(jié)束時(shí)間、違法類型、車牌號碼、車輛類型、圖片序號、紅燈信號（含箭頭燈）以及車輛壓在或越過停車線等情況。同時(shí)將圖片等數(shù)據(jù)實(shí)時(shí)上傳給中心數(shù)據(jù)庫服務(wù)器，供用戶查詢與處理。系統(tǒng)可以根據(jù)客戶需要進(jìn)行相應(yīng)修改，以滿足各種不同的需求。

每天由高清攝像機(jī)抓拍的違法車輛圖片及路口實(shí)時(shí)圖像定時(shí)或?qū)崟r(shí)上傳到控制中心服務(wù)器中。控制中心的工作人員通過管理計(jì)算機(jī)的錄入數(shù)據(jù)庫服務(wù)器并在違法圖片、圖像上疊加違法車輛信息，然后保存在服務(wù)器的電子警察網(wǎng)站上。交警支隊(duì)通過標(biāo)準(zhǔn)網(wǎng)絡(luò)瀏覽器程序登錄電子警察網(wǎng)頁，并根據(jù)所分配的權(quán)限，對所管轄路口的違法車輛進(jìn)行處理，處理的時(shí)間、處理人、處理結(jié)果等相關(guān)內(nèi)容同時(shí)保存在電子警察網(wǎng)站上，可供事后查詢。

圖3-2 白天效果圖

圖3-3 夜間效果圖

圖3-4 逆光時(shí)未處理效果

圖3-5 逆光時(shí)處理后效果

圖3-6 機(jī)動車在非機(jī)動車道內(nèi)行駛

3.3 系統(tǒng)抓拍的圖片

高清攝像機(jī)闖紅燈電子警察系統(tǒng)，采用國際領(lǐng)先的計(jì)算機(jī)智能跟蹤算法技術(shù)，對高清視頻流中每一輛車都能進(jìn)行實(shí)時(shí)跟蹤并記錄其運(yùn)動軌跡，系統(tǒng)可根據(jù)車輛運(yùn)動軌跡智能判斷車輛行駛方向，自動實(shí)現(xiàn)機(jī)動車闖紅燈違法監(jiān)測抓拍功能——拍攝車輛的尾部來實(shí)現(xiàn)車輛的動態(tài)跟蹤。

圖3-2～圖3-10，是高清攝像機(jī)闖紅燈電子警察系統(tǒng)抓拍的結(jié)果照片。

圖3-7 直行車道左轉(zhuǎn)

圖3-8 直行車道右轉(zhuǎn)

圖3-9 機(jī)動車逆向行駛

圖3-10 車輛壓實(shí)線行駛

路口的左轉(zhuǎn)、直行、右轉(zhuǎn)和非機(jī)動車道都使用高清攝像監(jiān)控設(shè)備，以保證經(jīng)過路口的所有機(jī)動車輛、非機(jī)動車輛和行人都有記錄，對機(jī)動車重點(diǎn)監(jiān)控，以便為以后可能發(fā)生的事件還原作基礎(chǔ)。

4 結(jié)語

基于高清攝像機(jī)的車輛檢測和識別技術(shù)與標(biāo)清攝像機(jī)的車牌識別相比具有眾多優(yōu)勢，在智能交通的城市公安交通中應(yīng)用廣泛，可以實(shí)現(xiàn)對車輛檢測、車輛行為分析和跟蹤、車牌識別。在本文中，對基于高清攝像機(jī)的車輛檢測、車牌識別進(jìn)行了分析和研究。采用綜合性混合優(yōu)化的計(jì)算機(jī)人工智能算法，利用在線學(xué)習(xí)模塊，采用最新的反饋型學(xué)習(xí)模型來自適應(yīng)環(huán)境的變化，通過對每一幀的全景信息進(jìn)行實(shí)時(shí)分析計(jì)算，提出了一種完全基于學(xué)習(xí)的多種特征融合的車輛定位新算法對圖像進(jìn)行車輛定位，實(shí)現(xiàn)對車輛進(jìn)行實(shí)時(shí)跟蹤。最后對于高清視頻檢測和識別技術(shù)在城市公安交通中包括具備卡口監(jiān)控功能的電子警察系統(tǒng)的應(yīng)用進(jìn)行了分析。

[1]宋昆.車牌識別系統(tǒng)的關(guān)鍵技術(shù)[J].計(jì)算機(jī)世界報(bào)， 2005， （8）： B6-B8.

[2]張宏林.VC++數(shù)字圖像模式識別及工程實(shí)踐[M].北京：人民郵電出版社，2003.

[3]黃濺華.車牌識別技術(shù)在高速公路收費(fèi)系統(tǒng)中的應(yīng)用[EB/OL].http://www.doc88.com/p-515799956731.html，2012-12-10.

[4]GA/T 455—2010，公安交通指揮系統(tǒng)建設(shè)技術(shù)規(guī)范[S].