基于Faster R-CNN的車(chē)輛屬性識(shí)別

李傳秀 王哲

【摘要】 ? ?不良環(huán)境下的圖像目標(biāo)檢測(cè)技術(shù)，是道路交通中目標(biāo)檢測(cè)與狀態(tài)識(shí)別系統(tǒng)需要解決的關(guān)鍵性問(wèn)題。基于Faster R-CNN （region-convliutionalneuralnetworks）的車(chē)輛屬性識(shí)別，用于處理車(chē)輛屬性的識(shí)別問(wèn)題。可以解決部分外形構(gòu)造基本相似的車(chē)輛之間的錯(cuò)誤檢測(cè)問(wèn)題。該方法對(duì)車(chē)輛檢測(cè)精度有所提高，也可加快車(chē)輛檢測(cè)的效率。

【關(guān)鍵詞】 ? ?車(chē)輛檢測(cè) ? ?Faster R-CNN ? ?屬性識(shí)別

引言：

隨著人們的生產(chǎn)活動(dòng)和經(jīng)濟(jì)的快速增長(zhǎng)，人民生活水平快速提高，與之伴隨而來(lái)的是大氣環(huán)境遭到一定程度的破壞，從而導(dǎo)致霧霾天氣頻繁出現(xiàn)，在光線不好的天氣條件下，圖像獲取會(huì)使圖像對(duì)比度降低，使人類(lèi)肉眼很難感知物體的基本狀態(tài)及其特征。從而，霧霾天氣條件下的交通環(huán)境存在著多方面的安全隱患，大氣中粒子對(duì)光線的散射和吸收，都會(huì)導(dǎo)致自然光線效果不好、事物及車(chē)輛能見(jiàn)度下降，導(dǎo)致各類(lèi)交通問(wèn)題及事故頻繁出現(xiàn)，因而行車(chē)過(guò)程中人車(chē)安全越來(lái)越受到社會(huì)各界的重視。

作為智能交通的重要組成部分，車(chē)輛目標(biāo)檢測(cè)，也受到國(guó)內(nèi)外研究者的廣泛關(guān)注。其中，輔助駕駛系統(tǒng)作為智能交通系統(tǒng)中重要的一部分，需要利用機(jī)器視覺(jué)技術(shù)，通過(guò)采集當(dāng)前車(chē)輛前方的交通環(huán)境及信息，并對(duì)圖像中受到的噪聲污染進(jìn)行處理，然后對(duì)圖像中感興趣區(qū)域進(jìn)行目標(biāo)檢測(cè)和識(shí)別工作，在突發(fā)情況下，可以及時(shí)自動(dòng)地給出警報(bào)[1]。本文主要研究在不良環(huán)境下，如何為自動(dòng)駕駛和無(wú)人駕駛車(chē)輛識(shí)別道路中其他車(chē)輛的屬性信息。

二、研究現(xiàn)狀

由于近年來(lái)霧霾天氣頻繁出現(xiàn)和汽車(chē)使用量加大，對(duì)霧霾去除的理論和方法越來(lái)越多的被研究者關(guān)注并提出了很有價(jià)值的方法。事實(shí)上，造成圖像對(duì)比度下降、顏色和分辨率等特征衰減的主要原因是光線在照射到物體的傳播過(guò)程中，遇到懸浮于大氣中粒徑比較大的氣溶膠粒子，并發(fā)生交互作用，其中散射是霧天圖像降質(zhì)的主要因素，而吸收和輻射作用所造成的影響則相對(duì)較小[2]。目前，國(guó)內(nèi)外許多專(zhuān)家學(xué)者在運(yùn)動(dòng)目標(biāo)的識(shí)別、檢測(cè)領(lǐng)域做了很多的研究工作。當(dāng)前還有些算法，是基于被跟蹤目標(biāo)的形狀來(lái)完成車(chē)載視頻中或單幀圖像中運(yùn)動(dòng)目標(biāo)的檢測(cè)，但魯棒性不強(qiáng)，容易受到噪聲影響，車(chē)輛之間和背景變化都會(huì)對(duì)其造成影響。

傳統(tǒng)的圖像處理方法通常采用提取特征方法，比如提取車(chē)輛的角點(diǎn)特征、邊緣特征、強(qiáng)度峰值等淺層特征，這些方法在提取過(guò)程中容易受光線明暗變化和車(chē)輛行駛狀態(tài)的影響，從而也不能準(zhǔn)確區(qū)分車(chē)輛外觀特性。張軍等人在“深度卷積神經(jīng)網(wǎng)絡(luò)的汽車(chē)車(chē)型識(shí)別方法”一文中提出改進(jìn)的深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)車(chē)型的分類(lèi)，該方法可以完成對(duì)車(chē)輛大小進(jìn)行分類(lèi)。

三、基于Faster R-CNN的車(chē)輛檢測(cè)與屬性識(shí)別

3.1 Faster R-CNN

R-CNN， SPP net和 Fast R-CNN 算法均采用選擇性搜索的方法提取建議區(qū)域。 Faster R-CNN 誕生于2015年，是 Two-stage 檢測(cè)算法的典型代表，具有識(shí)別漏檢率低、準(zhǔn)確率高、實(shí)時(shí)性強(qiáng)的特點(diǎn)。其選擇區(qū)域建議網(wǎng)絡(luò)（RPN）代替selective search進(jìn)行候選區(qū)域生成，從而可以減少圖像處理的時(shí)間。

車(chē)輛屬性識(shí)別包括車(chē)輛類(lèi)別、顏色和狀態(tài)等參數(shù)識(shí)別，在道路交通中，車(chē)輛檢測(cè)的主要目的在于識(shí)別道路交通中車(chē)輛的狀態(tài)屬性，再將車(chē)輛圖像的識(shí)別結(jié)果輸入輔助駕駛系統(tǒng)中，進(jìn)而辨識(shí)前方車(chē)輛的具體狀態(tài)。不良天氣下車(chē)輛狀態(tài)別識(shí)別流程圖如圖1所示。

3.2車(chē)輛檢測(cè)識(shí)別模型

當(dāng)前成熟的車(chē)輛檢測(cè)方法很多，但傳統(tǒng)的檢測(cè)方法存在這樣或那樣的問(wèn)題，如：計(jì)算量大或產(chǎn)生冗余候選框。道路交通中基于視頻的車(chē)輛檢測(cè)分類(lèi)存在很多困難有時(shí)待檢目標(biāo)不完整或者車(chē)輛在光線、遠(yuǎn)近上產(chǎn)生的變化等。基于此，本文擬采取Faster R-CNN算法實(shí)現(xiàn)車(chē)輛檢測(cè)和屬性識(shí)別。Faster R-CNN[3] 算法主要包括卷積層、RPN 層和坐標(biāo)回歸層等，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，在卷積層可以進(jìn)行車(chē)輛的特征提取，卷積核從7*7到3*3逐步減小，從而盡可能保留更多的淺層特征。然后將生成的特征圖像和輸入圖像在RPN層生成候選框，在回歸層進(jìn)一步確定候選框的具體大小和位置。

在車(chē)輛識(shí)屬性別領(lǐng)域有很多種分類(lèi)方法，除了基本的對(duì)車(chē)輛具體所屬類(lèi)型進(jìn)行識(shí)別、對(duì)車(chē)輛的顏色屬性進(jìn)行分類(lèi)識(shí)別之外，還可以識(shí)別車(chē)輛所處的具體坐標(biāo)位置和車(chē)輛的紋理等外觀屬性，但是大多屬性識(shí)別都是割離并獨(dú)立的，不考慮多個(gè)屬性間的特征關(guān)系而進(jìn)行的屬性識(shí)別準(zhǔn)確率在一定程度上會(huì)有所下降。因此，我們嘗試進(jìn)行多屬性分類(lèi)，從全連接層入手，將其改為多個(gè)，每個(gè)全連接層對(duì)應(yīng)一個(gè)降維層。

3.3 模型訓(xùn)練

本文旨在實(shí)現(xiàn)對(duì)汽車(chē)的多個(gè)屬性目標(biāo)檢測(cè)和分類(lèi)問(wèn)題，所以對(duì)數(shù)據(jù)集的種類(lèi)和數(shù)據(jù)量有一定的要求，基于Faster R-CNN的車(chē)輛屬性檢測(cè)識(shí)別方法需要對(duì)大量的數(shù)據(jù)樣本進(jìn)行特征學(xué)習(xí)和訓(xùn)練，因此對(duì)數(shù)據(jù)集的選取應(yīng)當(dāng)具代表性，從而可以夠更好地對(duì)所提取特征進(jìn)行學(xué)習(xí)。本文采用的數(shù)據(jù)樣本從標(biāo)定了坐標(biāo)信息和車(chē)輛屬性包括品牌、車(chē)輛類(lèi)型、車(chē)輛姿態(tài)等等多種類(lèi)型如：商務(wù)車(chē)、面包車(chē)、公交車(chē)、卡車(chē)和小汽車(chē)等。

訓(xùn)練采用 tensorflow作為深度學(xué)習(xí)框架，硬件配置為Intel i5處理器、8 G 內(nèi)存;軟件環(huán)境是 Ubuntu14.04 系統(tǒng)，python3.7。分類(lèi)后訓(xùn)練過(guò)程分為RPN、Faster RCNN、RPN2、Faster RCNN+RPN四個(gè)步驟。具體如圖3所示。

學(xué)習(xí)過(guò)程通過(guò)對(duì)候選區(qū)大小在RPN中的最佳重疊率 （Average Best Overlap，ABO）的評(píng)估[4-5]，確定該候選區(qū)域和被檢測(cè)目標(biāo)是否適合，并根據(jù)結(jié)果對(duì)范圍進(jìn)行選擇，算式如下：

四、結(jié)束語(yǔ)

基于Faster R-CNN的汽車(chē)屬性識(shí)別方法，采集了道路交通中車(chē)載視頻獲取的交通數(shù)據(jù)學(xué)習(xí)，訓(xùn)練過(guò)程利用汽車(chē)數(shù)據(jù)集進(jìn)行訓(xùn)練。在全連接層將車(chē)輛的多個(gè)屬性進(jìn)行連接，屬性類(lèi)別包括車(chē)輛的顏色、車(chē)型等，從而有效地提高了識(shí)別車(chē)輛屬性的正確率。圖4為數(shù)據(jù)輸入，圖5為實(shí)驗(yàn)效果圖，如下所示。

參 ?考 ?文 ?獻(xiàn)

[1]李俊澤.面向輔助駕駛的交通場(chǎng)景圖像預(yù)處理研究. [湖南大學(xué)碩士學(xué)位論文].長(zhǎng)沙： 湖南大學(xué)， 2015

[2]翟藝書(shū)·霧天降質(zhì)圖像的清晰化技術(shù)研究：[博士學(xué)位論文]·大連：大連海事大學(xué)，2008

[3] Ren SQ， He KM， Girshick R， et al. Faster R-CNN： Towardsreal-time ?object ?detection ?with ?region ?proposal ?networks.IEEE ?Transactions ?on ?Pattern ?Analysis ?and ?MachineIntelligence， 2017， 39（6）： 1137–1149. [doi： 10.1109/TPAMI.2016.2577031]

[4]趙慶北，元昌安，覃曉 . 改進(jìn)Faster R-CNN 的小目標(biāo)檢測(cè)[J]. 廣西師范學(xué)院學(xué)報(bào)（自然科學(xué)版），2018，35（2）：68-73.

[5]李曉光，付陳平，李曉莉等.面向多尺度目標(biāo)檢測(cè)的改進(jìn)Faster R-CNN算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2019（7）：1095-1101.