復雜環境背景下車輛目標識別研究綜述

謝曉竹，何 成

(裝甲兵工程學院， 北京 100072)

?

【信息科學與控制工程】

復雜環境背景下車輛目標識別研究綜述

謝曉竹，何 成

(裝甲兵工程學院， 北京 100072)

在軍事領域和民用領域，利用圖像對車輛目標識別都有著廣闊的應用前景。針對實際應用中，室外的環境背景復雜多變，給車輛目標識別帶來了很大挑戰，分析了復雜環境背景下車輛識別的意義和面臨的困難，對現有的圖像預處理、特征提取、分類器設計的研究現狀進行梳理，對復雜環境背景下車輛目標識別研究的發展方向進行分析。

復雜環境背景；車輛；目標識別

對圖像中特定目標的識別一直都是計算機視覺研究領域的熱點問題。車輛目標識別不論在民用還是軍用都具有重要意義，民用方面[1-2]，其發展有效地推進智能交通、電子收費、車輛監管等系統的應用；軍用方面[3]，對戰場環境中車輛目標(坦克、步兵戰車等)的部署動態、識別與跟蹤、精確打擊等方面都發揮著關鍵作用。

近年來，國內外在車輛識別[4-7]方面已經開展了大量研究，在室外道路、停車場、小區等背景相對單一的場景下取得了很好的效果。但在現實生活中，車輛目標通常處在室外復雜多變的環境背景中，實現車輛目標識別仍面臨諸多挑戰[8]：一是自然環境中受背景多變、地物遮擋、陰影等干擾大；二是圖像品質易受光照變化、陰天、霧霾等天氣因素干擾；三是車輛型號多、外形復雜，拍攝角度和高度不同導致車輛出現一定的形變和尺度變化，加大了識別的難度。因此，對復雜環境背景下車輛目標識別已成為研究的一個熱點問題。

復雜背景并沒有一個標準的界定，主要是相對于單一、簡單的背景提出。目前，多數車輛識別的研究是針對特定場景、特定問題展開，而對復雜背景下車輛目標識別的研究工作，缺乏系統全面的專門性研究綜述。本研究針對復雜環境背景下，國內外在車輛目標識別研究現狀進行梳理總結，指出其發展趨勢。

1 車輛目標識別流程

車輛目標圖像識別通常分為兩個階段。一是樣本訓練階段：按照對大量標簽樣本圖像進行圖像預處理、提取目標特征的步驟建立車輛目標特征集，再采取相應的學習算法進行分類訓練。二是圖像目標識別階段：按照圖像預處理、提取目標特征、目標分類識別的步驟，最終確認測試圖像中車輛目標屬性。下面就現有圖像預處理、特征提取和分類識別的研究現狀進行梳理。

1.1 圖像預處理

圖像預處理是為了增強圖像的可讀性，使圖像更適合于人或計算機做進一步的分析處理。外部環境因素和成像系統自身噪聲的干擾，是CCD攝像機和圖像采集卡獲取靜態圖像的主要降質原因。針對系統自身噪聲，常用的方法有濾波、灰度變換、二值化、圖像復原、圖像增強、形態學處理等[9]。陰影、霧霾、地物遮擋和陰天作為復雜環境背景下普遍存在的物理現象，是車輛目標識別過程經常會遇到的問題，它們的存在給計算機視覺任務帶來了諸多不利影響。

圖1 車輛目標識別流程

1.1.1 陰影圖像處理

對圖像陰影處理實現陰影與目標有效分離，主要包括陰影檢測和陰影去除[10]兩部分。陰影檢測可分為基于模型和基于陰影屬性[11]兩類方法。前者是利用有關場景、目標、光照的先驗知識構建陰影模型，后者是通過分析陰影在亮度、梯度、色彩、紋理等信息對陰影區域進行標識，因更具普適性而逐漸成為主流方法。去除陰影的目的是將陰影區域的顏色、亮度和紋理恢復到與非陰影區域相一致的狀態，保持視覺一致性。常用到的方法有：基于泊松方程的陰影去除[12]、基于梯度域的陰影去除[13]、基于成對區域的陰影去除[14]、使用金字塔的陰影去除[15]和使用子區域匹配亮度轉移的陰影去除[16]等。

1.1.2 霧霾圖像處理

對霧霾降質圖像的處理方法有很多，主要有基于圖像增強和基于物理模型兩類[17]。第一類方法的優勢在于圖像處理算法較為成熟，其原理是改進常用的圖像增強算法[18-20]來調整圖像亮度或對比度突出局部細節信息，能從某些角度有限的改善圖像品質并獲取有價值的信息，缺點是由于沒有考慮圖像降質的本質原因，圖像或多或少會出現失真或信息丟失。第二類方法是基于大氣退化模型或先驗知識來復原退化圖像，能更貼近的還原真實場景，對復雜場景的圖像處理效果較好。當前，一些優秀的算法都是在基于偏微分方程[21]、基于深度關系[22]、基于先驗知識[23]等算法上進行改進，取得了較為理想的效果。近年來，基于暗原色先驗知識[24]在圖像去霧方面取得突破性進展，開辟了全新的思路，引起大量研究者的關注。

1.1.3 地物遮擋處理

拍到的畫面中經常會出現車輛被地物或車輛間相互遮擋的情況，對車輛識別形成很大的干擾。按遮擋程度不同，車輛遮擋分為部分遮擋和完全遮擋。評估丟失信息，并獲取盡可能多的特征來恢復遮擋車輛是車輛遮擋處理的核心問題。由于完全遮擋下車輛無信息可見，目前，主要集中在對車輛部分遮擋問題的研究，國內外研究者提出了大量有效的解決辦法，主要有特征模型、統計模型、推理和三維模型4類方法[25]。特征模型和統計模型的方法應用最為廣泛，但前者算法運算較為復雜，易受場景中不相關物體干擾，后者僅依賴統計上的差異，可靠性不高。推理模型的方法對車輛軌跡、位置等先驗信息依賴性強，相對簡單的場景下處理遮擋效果優良，復雜場景下效果仍有待提升。

1.1.4 陰天圖像處理

陰天，是軍事作戰和民事活動中典型的天氣類型，會造成圖像中目標對比度降低，車輛的邊緣輪廓信息不明顯，給車輛目標的檢測、識別與跟蹤造成嚴重干擾。通常采用圖像增強的方法削弱或去除圖像中某些干擾信息來改善陰天圖像的品質，根據算法處理的范圍可分為全局處理和局部處理[26]。全局處理典型方法有均值濾波、中值濾波、直方圖均衡和灰度拉伸等。為了更好地改進局部信息，以局部直方圖均衡法和移動直方圖均衡法為代表的局部處理方法取得了較好的銳化邊緣和平滑效果，但這類方法并不能有效地抑制噪聲，且處理后圖像亮度與原圖出入較大。

1.2 車輛目標特征提取

復雜環境背景下，不同時間獲取的圖像中車輛很可能以不同的亮度、對比度、大小、位置、姿態呈現，同一車輛在不同的圖像中也會非常不同。另外，車輛型號多樣，不同型號車輛在大小、形狀細節、顏色上都有差異，使得構建具有泛化能力的表觀模型極為困難。一直以來，研究者們致力于提取能區分車輛與非車輛，具有旋轉、比例、平移不變性的高維度目標特征，按提取手段不同分為人工特征提取和自動學習特征提取。

1.2.1 人工特征提取

過去幾十年，人工提取特征在圖像模式識別領域一直占據主導地位，其主流思想是先采用區域選擇方法定位提取感興趣的區域，然后手工設計提取目標特征。車輛目標特征提取建立在車輛目標檢測的基礎上，即先搜索定位包含車輛的區域，再提取有用的車輛目標特征信息。由于不知道圖像中是否有車輛目標及其大小、長寬比和位置，傳統的車輛檢測方法采用基于滑動窗口的窮盡策略對整幅圖像遍歷，通過設置不同的尺度、長寬比，搜索包含目標所有可能出現的位置。近年來，以AdaBoost框架[27]和DPM框架[28]的各種改進算法堪稱佳作，取得了較好的效果。

車輛識別中常用到的特征有：視覺特征、全局不變量特征和局部不變量特征。視覺特征[29]包括灰度、亮度、對比度、幾何特征(形狀、長寬比)等；全局不變量特征包括矩不變量[30-31](Hu矩、Zernike矩、偽Zernike矩)和傅里葉描繪子[32]等；由于復雜環境背景下存在噪聲較大、局部遮擋等情況，利用局部不變量特征[33]進行識別是非常有效的方法，局部不變量特征包括角點[34]、SIFT特征[35]和輪廓描述[36]等。典型的特征抽取方法有主分量分析、獨立分量分析、Fisher線性鑒別分析、因子分析和奇異值分解以及流形學習方法等。

傳統的手工車輛目標特征方法不斷在改進，但存在兩個問題：一是基于滑動窗口的區域選擇方法缺乏針對性，時間復雜度高，且窗口冗余；二是手工設計的特征對復雜環境背景中車輛特征的魯棒性有待提高。

1.2.2 自動學習提取特征

若能利用大數據這一優勢，通過從大量的訓練樣本圖像中自動學習提取特征，將是圖像識別領域一大突破。神經網絡的出現一度被寄予厚望，但其發展出現了瓶頸：訓練容易出現過擬合、算法復雜、訓練速度慢。近年來，伴隨著GPU和深度學習的快速發展，彌補了傳統神經網絡的不足。2012年在ImageNet圖像分類比賽中，Hinton及其學生采用卷積神經網絡以超過第二名10%的準確率贏得冠軍，自此掀起了深度學習研究的熱潮，極大的推動了圖像識別研究的進展。

深度學習[37-41]的本質是通過多層非線性變換，從大規模數據集中自動學習特征。深層的結構使其具有極強的表達能力和學習能力，尤其擅長提取復雜的全局特征和上下文信息。得益于卷積神經網絡和候選區域(region proposal，RP)算法,以R-CNN為代表的目標檢測方法開啟了深度學習應用于目標檢測的先河。以RP+CNN分類的目標檢測框架主要基于3個步驟：首先，通過滑動窗口或object proposals方法產生大量的候選窗口；然后使用訓練好的分類器對候選窗口進行分類并對其打分；最后，采用非極大值抑制(Non-maximum supperssion:NMS)消除重疊檢測。目前，結合RP和CNN分類的框架(R-CNN,SPP-NET,Fast R-CNN,Faster R-CNN)和將目標檢測轉換為回歸問題的目標檢測框架(YOLO，SSD)不斷在目標檢測領域取得新的突破，掀起了基于深度學習目標檢測的熱潮。

鑒于卷積神經網絡(convolution neural network:CNN)對通用物體分類識別非常有效[42]，并在ImageNet圖像分類和人臉識別、行人檢測等方面取得了重大突破，如果將其應用于車輛識別，尤其在復雜環境背景下，將更具靈活性和普適性。目前，國內開展了一些基于深度學習的車輛識別[8]研究方面的探索和嘗試。文獻[43]采用深度卷積神經網絡與SVM結合進行車型識別，文獻[44]提出了改進卷積神經網絡的深度學習模型應用于車型識別，文獻[45]提出一種采用深度卷積網絡的魯棒視覺車輛識別算法。

1.3 分類器設計

建立已知所屬類別的特征空間訓練集后，分類器是解決目標識別的有效工具。常用分類器有最小距離分類器、貝葉斯網絡分類器、人工神經網絡分類器、支持向量機等。

最小距離分類器是一種簡單而有效的分類識別方法，其原理是將被測圖像特征與圖像特征庫進行歐式距離計算，選取最短距離作為兩幅圖像相似的依據。貝葉斯網絡分類器[46]是針對單傳感器目標識別的一種重要方法，典型的貝葉斯網絡分類器有樸素貝葉斯分類器、擴展樸素貝葉斯分類器等。目前，神經網絡分類器[47-49]和支持向量機[50-51]在車輛識別方面應用最為廣泛。人工神經網絡分類器具有巨量并行、風險小、有較強容錯性且支持自適應學習等優點，同時，也存在對小樣本訓練過擬合、結構復雜、建模困難、學習性能差等缺點，因此，綜合運用人工神經網絡和其他分類方法在車輛識別中有著大量應用。SVM是一種基于統計學習理論和以結構風險最小為分類原則的分類器，具有分類性能好、訓練時間短、在小樣本條件下識別率高等優點，適用于復雜環境背景下獲取訓練樣本圖像不足的情況，但SVM的性能依賴于核函數的選擇，在加入新數據時必須重新訓練。

2 分析與展望

盡管研究者們在過去幾十年進行大量的研究并不斷取得突破性的進展，但目前復雜環境背景下車輛目標識別距離理想應用狀況下對實時性、準確性的要求仍存在挑戰，提高車輛檢測識別過程中魯棒性和降低計算復雜度是兩個重要的研究方向。

2.1 圖像預處理方面

實現復雜背景下目標的有效分離，是一個富有挑戰性的研究領域。目前提出的陰影檢測和陰影去除算法取得了一定的效果，但由于復雜環境背景下陰影過于復雜，現有的算法在實時性、準確性和實用性等方面還難以達到工程要求，在模型建立、陰影特征選擇、陰影數據庫等方面仍需投入大量的研究。在圖像去霧方面，基于物理模型的去霧算法作為當前的主流方法，仍有許多需要改進的地方：針對不同濃度的霧霾圖像，算法自適應能力不強，需要進行相關參數調整；去霧后的圖像或多或少存在失真現象，圖像去霧質量仍有待提高；面對大量的圖像數據，算法復雜度仍需要進一步優化改進。隨著機器學習領域的發展，基于機器學習的智能噪聲去除算法將是未來研究的潮流。

2.2 特征提取方面

利用人工提取的特征進行車輛識別仍是一個重要的研究方向。隨著遺傳網絡和其他理論的成熟，國內外學者開始探索如何解決單一不變量識別精度偏低、準確率不高、抗干擾性較差的問題，已經呈現出多特征融合[37-38]的趨勢。車輛特征提取的好壞受諸多因素影響，人工特征提取也存在一些不足：必須依靠設計者的先驗知識，特征的設計上需要花費大量精力，還要應對運算量大和復雜的圖像預處理等問題。可以預見，特征提取必然朝著自動化、智能化的方向發展。深度學習在二維圖像識別方面已展現出其優勢，為了加速目標檢測速度，提高目標檢測的準確率，產生高品質的候選窗口和提升分類器性能是研究者們關注的重點。另外，在車輛目標識別方面，如何解決復雜環境背景下圖像樣本不足、訓練時間長、調參復雜等問題，探索新的特征提取模型和有效的并行訓練算法也是今后研究的重點方向。

2.3 分類器設計方面

復雜環境背景下，車輛識別本身就是一個識別難度大、精度低的技術難題，在提取的車輛特征品質一定的情況下，分類器的性能將起到決定性的作用。人工神經網絡和支持向量機在車輛識別方面已成為重要的分類方法，但其自身存在一定的不足，必然導致以單一分類器進行識別的準確率不高。近年來，綜合運用多種分類器進行目標識別是熱點，很多論文都是在優化上下功夫，企圖達到更快的收斂速度、更好的解，如基于多核學習(Multiple Kernel Learning,MKL)、投票表決、D-S證據理論和模糊積分等的分類器融合判別。

[1] 金茂菁.我國智能交通系統技術發展現狀及展望[J].交通信息與安全,2012,30(5):1-5.

[2] GUOLIANG M.A fast vehicle tag recognition system with video by IP camera[C]//Proceedings of the 9th ACM SIGGRAPH International Conference on Virtual Reality Continuum and Its Applications in Industry,2010:319-322.

[3] 張河.探測與識別技術北京[M].北京：北京理工大學出版社,2003.

[4] BEYMER C,M CLAUCHLAN P,COIFMAN B.et al.A real-time computer vision system for measuring traffic parameters[C]//IEEE Computer Society Conference on Computer Vision and Pa tern Recognition.IEEE Computer Press,1997:495-501.

[5] RAJAGOPALAN A N,BURLINA P,CHELLAPPA R.Higher order statistical learning for vehicle detection in images[C]//IEEE International Conference on Computer Vision.[S.l.]:[s.n.],1999:1204-1209.

[6] HENRY SCHNEIDERMAN.A Statis ical Method for 3D Object Detection Applied to Faces and Cars[Z].Pittsburgh:CMU,2000.

[7] WU J,ZHANG X,ZHOU J.Vehicle detection in static road images with PCA and wavelet-based classifier[C]//Proc.IEEE Intelligent Transportation Systems Conf.,Oakland,CA,2001:740-744.

[8] 鄧柳.基于深度卷積神經網絡的車型識別[D].成都:西南交通大學,2015.

[9] 崔瑞芳.復雜背景下目標圖像識別技術研究[D].太原:中北大學,2009.

[10]孔祥文.靜態圖像的陰影檢測與去除算法研究[D].天津:天津大學,2013.

[11]胡勇,趙春霞.單幅室外自然場景中的陰影檢測與消除[J].南京理工大學學報,2015,2(35):1-5.

[12]FINLAYSON G D,HORDLEY S D,LU C,et al.On the removal of shadows from images[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2006,28(1):59-68.

[13]LEVIN A,LISCHINSKI D,WEISS Y.A closed-form solution to naturalimage matting[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2008,30(2):228-242.

[14]COMANICIU D,MEER P.Mean shift:A robust approach toward feature space analysis[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2002,24(5):603-619.

[15]SHOR Y,LISCHINSKI D.The Shadow Meets the Mask:Pyramid.Based Shadow Removal[J].Computer Graphics Forum.Blackwell Publishing Ltd,2008,27(2):577-586.

[16]XIAO C,XIAO D,ZHANG L,et al.Efficient Shadow Removal Using Subregion Matching Illumination Transfer[J].Computer Graphics Forum,2013,32(7):421-430.

[17]吳迪.圖像去霧的最新研究進展[J].自動化學報,2015,2(41):221-239.

[18]SEOW M J,ASARI V K.Ratio rule and homomorphic filter for enhancement of digital colour image[J].Neurocomputing,2006,69 (7/9):954-958.

[19]RUSSO F.An image enhancement technique combining sharpening and noise reduction[J].IEEE Transactions on Instrumentation and Measurement,2002,51(4):824-828.

[20]RAHMAN Z,JOBSON D J,WOODELL G A.Retinex processing for automatic image enhancement[J].Journal of Electronic Imaging,2004,13(1):100-110.

[21]SCHECHNER Y Y,NARASIMHAN S G,NAYAR S K.Instant dehazing of images using polarization[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Kaual,HI:IEEE,2001,1:I-325-I-332.

[22]NARASIMHAN S G,NAYAR S K.Interactive (de) weathering of an image using physical models[C]//Proceedings of the 2003 IEEE Workshop on Color and Photometric Methods in Computer Vision.France,IEEE,2003:1.

[23]TAN R T.Visibility in bad weather from a single image[C]//Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition.Anchorage,AK:IEEE,2008:1-8.

[24]HE K M.Single image haze removal using dark channel prior[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:[s.n.],2009:1956-1963.

[25]任建新.車輛遮擋算法研究[D].北京：北方工業大學,2010.

[26]宋懷波.低質量可見光圖像的處理技術[D].濟南:山東大學,2009.

[27]VIOLA P,JONES M.Rapid object detection using a boosted cascade of simple features[C]//Computer Vision and Pattern Recognition,2001.CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on.IEEE,2001,1:I-511-I-518.

[28]FELZENSZWALB P F,GIRSHICK R B,MCALLESTER D,et al.Object Detection with Discriminatively Trained Part-Based Models[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(9):1627.

[29]李開明.地面車輛目標識別研究綜述[J].電子學報,2014,3(3):538-546.

[30]WANG S,LI X,LV X,et al.Research on the vehicle recognition based on invariant moment[C]//International Conference on New Trends in Information Science and Service Science.IEEE,2010:329-332.

[31]朱旭鋒.基于圖像不變量特征的自動目標識別技術研究[D].北京：中國科學院研究生院,2012.

[32]周烽.一種新的基于局部傅立葉級數的紋理描述子[J].中國圖像圖形學報,2001(10):993-997.

[33]曹健.基于局部特征的圖像目標識別問題的綜述[J].中南大學學報,2013,7(44):258-261.

[34]曹健.角點特征在目標識別中的應用[J].北京理工大學學報,2011(3):308-312.

[35]LOWE D.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[36]鈕峰,俞能海.航空圖片中車輛的檢測方法研究[J].電路與系統學報,2002,7(4):80-83.

[37]劉兵,李輝,翟海天.基于小波矩和證據理論的圖像目標識別算法[J].火力與指揮控制,2013(10):38-41.

[38]付俊.基于特征融合的遙感圖像飛機目標識別研究[D].南京:南京航空大學,2014.

[39]LEE H,PHAM P T,LARGMAN Y,et al.Unsupervised feature learning for audio classification using convolutional deep belief networks[C]//NIPS.[S.l.]:[s.n.],2009:1096-1104.

[40]NGIAM J,COATES A,LAHIRI A,et al.On optimization methods for deep learning[C]//Proceedings of the 28th International Conference on Machine Learning (ICML-11).[S.l.]:[s.n.],2011:265-272.

[41]李衛.深度學習在圖像識別中的研究及應用[D].武漢:武漢理工大學,2014.

[42]ALEX KRIZHEVSKY,ILYA SUTSKEVER,GEOFFREY E HINTON.Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems.[S.l.]:[s.n.],2012:1097-1105.

[43]鄧柳.基于深度卷積神經網絡的車型識別研究[J].計算機應用研究,2016,33(3):930-932.

[44]張飛云.基于深度學習的車輛定位及車型識別研究[D].鎮江:江蘇大學,2016.

[45]蔡英鳳.采用視覺顯著性和深度卷積網絡的魯棒視覺車輛識別算法[J].江蘇大學學報,2015,36(5):331-336.

[46]余民杰.貝葉斯網絡分類器與應用[D].昆明:云南財經大學,2012.

[47]王年.基于神經網絡的車型識別方法[J].中國圖像圖形學報,1999,4(8):668-672.

[48]杜華英.基于神經網絡的汽車車型識別方法的技術研究[D].長沙:中南大學,2006.

[49]XIA L M.Vehicle Recognition Using Boosting Neural Network Classifiers[C]//Proceedings of the 6th World Congress on Intelligent Control and Automation.[S.l.]:[s.n.],2006:9641.

[50]范伊紅.相關向量機在車型識別中的應用研宄[J].計算機工程與設計,2008,29(6):1510-1511.

[51]周辰雨.基于SVM的車輛識別技術[J].科技導報,2012,30(30):53-57.

(責任編輯 楊繼森)

Review of Vehicle Recognition in Complex Environment Background

XIE Xiao-zhu, HE Cheng

(Academy of Armored Force Engineering, Beijing 100072, China)

In both the military and civilian fields, vehicle target recognition has a great application space with using image. Considering that the practical application and the outdoor complex background of environment conditions bring great challenges to vehicle target recognition. Firstly, this paper discusses the significance of vehicle target recognition and difficulties in complex background conditions. Then, the existent image preprocessing, feature extraction and classifier design were listed. Finally, the future research directions were forecasted.

complex background of environment; vehicle; target recognition

2017-02-21；

2017-03-19

謝曉竹(1965—)，女，博士，副教授,主要從事戰場偵察與情報處理研究。

10.11809/scbgxb2017.06.020

format:XIE Xiao-zhu, HE Cheng.Review of Vehicle Recognition in Complex Environment Background[J].Journal of Ordnance Equipment Engineering,2017(6):90-94.

TP391;TJ81

A

2096-2304(2017)06-0090-05

本文引用格式：謝曉竹，何成.復雜環境背景下車輛目標識別研究綜述[J].兵器裝備工程學報，2017(6):90-94.