單目視覺下基于三維目標檢測的車型識別方法綜述

王 偉，唐心瑤，宋煥生，張朝陽

1(長安大學信息工程學院，西安710064)

2(安徽科力信息產業有限責任公司，合肥230088)

1 引 言

車型是指車輛的類型或型號.在無人駕駛領域，通過檢測三維車輛目標空間信息及獲取準確的車型，可以精確的預判和規劃車輛的行為和路徑，避免碰撞和違規［1］;而在智能交通中，車輛準確的三維信息獲取及精細的車型分類，可以更精確的進行車流檢測與統計［2］、超速檢測與處罰［3，4］、車輛稽查［5，6］等，對于深入理解車輛目標有重大的意義.

目前已有的車型識別方法主要有兩類:1)基于二維目標檢測的方法.近年來已有大量的文獻采用該類方法進行車型識別［7-13］，該類方法一般是使用局部特征作為車型識別的依據，如:車牌、車燈、車標或車臉信息，通常采用深度學習方法大量訓練這些局部特征，獲得深度學習網絡訓練模型，然后對于輸入的車輛局部特征進行網絡模型識別繼而獲得車型識別結果，如圖1(a)和圖1(b)所示，二維目標檢測方法僅能檢測識別出車輛目標的存在性、粗略的型號分類等信息，其它可獲取的信息非常有限，很難做到精細化描述;2)基于三維目標檢測的方法.三維目標檢測相比二維類方法可獲取的信息更為豐富，如圖1(c)所示，相比二維檢測，三維目標檢測消除了圖像成像的透視形變，不受視角變化的影響;再者由于三維目標檢測對車輛繪制的三維包絡框更加貼合車輛目標，并且能在物理尺度上描述車輛信息，因此可以識別車輛位姿、車輛輪廓的三維尺寸等信息，因此更加適合交通場景下車輛的細粒度描述.由于透視形變及投影造成的信息損失，直接通過單目相機(Monocular camera)獲取車輛目標的三維信息有一定的難度，而單目相機一直是視頻監控系統中的主流應用，與其他類別的相機如深度相機(RGB-D camera)［14-16］、激光相機(Laser camera)［17，18］相比，由于其視野范圍大且處理速度快等優勢，在目前的車型識別應用中最為常見.綜上所述，單目場景下基于三維目標檢測的車型識別是非常重要的研究課題.

圖1 車輛目標檢測分類方法示意圖(圖1(c)來自于文獻［48］)Fig.1 Schematic diagram of object detection methods(fig.1(c)is from literature［48］)

當前國內對于單目場景下基于三維目標檢測的車型識別問題研究較少，而隨著深度學習和SLAM 技術的不斷發展，近年來，國外對于基于單幅圖像的車輛三維檢測識別算法呈上升趨勢，目前該類方法一般可分為以下兩類:1)車輛粗粒度識別(coarse-grained recognition);2)車輛細粒度識別(finegrained recognition).車輛粗粒度識別，即是對車輛做出精確的三維包絡，可獲取相應的長寬高等物理尺寸信息，然而在車型識別上僅能把車輛分為小轎車、貨車和卡車等粗略的類別;而車輛細粒度識別，則在粗粒度識別的基礎上，結合車輛三維特征和神經網絡等算法識別出更為精準的信息，包括車輛產地、型號和生產年份等車輛的細節信息.

圖2 單目視覺下基于三維檢測的車型識別方法流程圖Fig.2 Flow chart of vehicle recognition based on 3d object detection in monocular scene

如圖2 所示，為當前流行的單目視覺下基于三維車輛檢測的粗/細粒度車型識別的流程圖，大致可以分為兩大類方法:1)基于車輛CAD 三維模型的檢測識別方法.車輛三維模型主要有固定模型和可變模型兩種，為初始提供的車輛三維信息，將其投影至圖像，并比對與二維圖像的貼合程度，可以完成車輛的粗粒度識別，然后結合車輛目標的二維平面圖像和三維模型上的局部特征，可以進一步實現車輛的細粒度識別，本文后續將會進行分類介紹;2)基于二維目標與相機標定的三維構建方法.二維目標檢測主要目的是在圖像中確定目標的二維矩形包絡框，傳統的方法為混合高斯背景建模(GMM)［19］，近年來隨著深度學習的流行尤其是YOLO 模型的公開［20-23］，越來越多的文獻采用深度學習進行二維目標檢測.對于交通場景下的攝像機標定，近年來涌現出一大批優秀的自動標定算法［24-28］，可以利用場景中標識信息，自動獲得較高精度的標定結果.利用相機的標定結果，結合二維目標與幾何約束信息求取三維目標的包絡［29］，實現車輛的粗粒度識別，然后對展開平面進行深度學習訓練，進一步可以實現車輛的細粒度識別，本文后續將會做詳細介紹.如圖1(c)第二行所示為車輛的三維目標包絡示意圖，第三行為車輛CAD 三維模型示意圖.

2 單目視覺下三維檢測車型識別研究進展

2.1 基于三維檢測的車型粗粒度識別研究

所謂車輛CAD 三維模型，是在初始目標坐標系中定義關鍵特征點的物理坐標，如圖3 所示，為使用參數定義的車輛三維模型示意圖.

圖3 車輛三維模型示意圖Fig.3 Schematic diagram of 3d vehicle model

在基于三維目標檢測的車輛粗粒度識別方面，1965 年L.Roberts 在文獻［30］中第一次提出讓機器對物體進行三維感知的概念，在此之后基于三維目標檢測的車型識別工作取得了突出的成就.

1)固定模型算法

早期，基于三維目標檢測的主流算法都是基于固定模型，主要思路為提取圖像中諸如邊緣點、邊緣線和頂點等二維幾何特征來描述圖像，并用這些提取出來的特征與固定模型進行匹配，從而完成車型識別.為了提高匹配效率，很多研究人員采用了樹搜索、屬性圖搜索、廣義霍夫變換、視角限制［31-34］等方法確定二維與三維之間的關系.然而此類方法對于固定模型要求嚴苛，效率低下，在實際應用中十分受限.

2)固定模型優化算法

由于固定模型的缺陷，逐漸出現了另外一種思路.給定一個初始的車輛三維模型，將其投影到圖像平面比較圖像與投影之間的貼合程度，通常使用點到點、點到線、線到線之間的距離來評價貼合程度，這種方法［35-39］將其簡化為一個優化問題.車輛的形狀近似是個多面體，并且交通場景下有很多先驗信息，因此車型識別問題非常適合使用基于模型的方法.三維模型能否準確描述真實車輛的幾何信息是評價這個模型是否可靠的重要標準.然而固定模型有它固有的缺陷，由于真實世界中的車輛種類太多，制作一個包含所有類型車輛的模型庫是一件非常艱難的任務，而且在龐大數據的模型庫中進行雙向匹配檢索，車型識別的處理時間也會隨著模型數量的呈指數級增長.

3)可變模型算法

在固定模型及其優化算法的基礎上，為了更好地適應不同類型的車輛，1993 年 D.KOLLER 在文獻［40］中第一次提出使用可變模型的方法進行車輛跟蹤，通過參數定義的方式定義了3D 通用模型來代表交通場景下不同類型的車輛，并且提出了一種匹配算法，將3D 模型的邊緣線段與2D 圖像邊緣線段進行匹配，采用最大后驗概率MAP 的狀態更新步驟實現三維目標檢測，該模型同時也可以實現5 種車型(轎車、掀背車、貨車、小型貨車、皮卡)的識別和速度測量.

1995 年 J.Ferryman 在文獻［41］中第一次將可變模型真正意義上應用于車型識別，該模型主要用于識別3 種常見車型(轎車、掀背車、旅行轎車)，與圖3 三維車輛模型相同，該模型也使用參數定義的方式，共定義了29 個參數，通過主成分分析PCA 的方法，選出6 個最強的特征向量，實驗結果表明，97%的車輛目標都可使用這6 個最強的特征向量代表，該方法雖然很穩定并且準確率較高，但這些可變模型需要求解的參數數量有29 個之多，導致求解過程效率較低.

為了提高可變模型參數的求解效率，2012 年，Zhaoxiang Zhang 等人在文獻［42］中提出一種僅使用12 個模型參數的基于可變模型的車型識別方法，該方法可以識別轎車、掀背車、公交車等常見的8 種車型.該方法首先利用二維車輛投影的HOG 特征，設置初始參數生成初始的三維車輛模型，然后將三維模型投影到圖像平面，評價模型的投影與原圖像之間的貼合程度，調整參數獲得最佳的三維模型，從而完成車輛粗粒度識別.實驗結果表明，該方法有效提高了模型參數的求解效率，并且對于車輛的遮擋和截斷也有較好的適應能力.

為了適應不同場景中車型識別的需求，及解決道路中的視野相互遮擋而造成的車輛識別失效，2017 年，Eduardo R.Corral-Soto 等人在文獻［43］中提出一種在擁擠高速公路下的基于三維可變模型的車型識別方法，該方法還可以統計交通流量和估計車輛的物理尺寸.首先通過混合高斯背景建模(GMM)的方法，提取出車輛目標的前景，對提取出的前景根據蒙特卡洛方法和馬爾科夫鏈方法(MCMC)沿著車道線方向滑動模型來獲取最貼合的三維模型，接著采用交并比(intersection over union，IOU)的機制對多車輛目標進行分割，實驗結果表明，該機制能夠較好地解決車輛之間相互遮擋的問題，在遮擋嚴重的數據集下，對于車輛識別的準確度高達88%.

2.2 基于三維檢測的車型細粒度識別研究

傳統的車輛細粒度識別方法大多基于二維圖像的局部特征，如車臉、車燈等信息，但是這種方法易受視角限制，對于不同視角及尺度下的局部特征信息需要大量的訓練數據集.而三維目標檢測方法可以消除視角的影響，如圖4 所示，為二維與三維目標檢測的對比圖，可以看出，三維目標檢測可以將目標的位置統一到相同的世界坐標系下，校正了透視形變并加入了物理尺寸等信息，因此基于三維目標檢測的車型識別適用于更多的應用空間.

在基于三維目標檢測的車輛細粒度識別方面，使用較多的方法是基于三維CAD 模型［44-48］的方法，近年來隨著深度學習的不斷發展，應用于車輛的細粒度識別，取得了突出的成就.

圖4 二維與三維目標檢測對比圖(圖4 來自于文獻［50］)Fig.4 Comparison of 2d and 3d object detection(fig.4 is from literature［50］)

1)三維CAD 模型+局部特征算法

2009 年，J.Prokaj 在文獻［49］中第一次將三維 CAD 模型應用于車型細粒度識別，但是這種方法中仍保留了之前二維圖像局部特征的思想，首先提取車輛二維圖像上的SIFT 特征點，對應于不同視角下的三維CAD 模型上的特征點，然后通過特征點匹配完成車型細粒度識別.雖然這種方法能夠克服視角限制，但是對于模型制作和數量要求較高，并且計算量較大，不適合對實時性要求較高的應用場景.

在J.Prokaj 之后，許多研究人員仍然繼承了二維圖像局部特征的思想，但是對三維 CAD 模型進一步作了改進.Krause 在2013 年的文獻［50］中提出了一種綜合數據法，使用車輛目標的形狀和幾何信息作為綜合數據，而不是原始的外觀特征，通過這些數據訓練出一個能夠將二維圖像和三維模型在幾何與視角上進行對齊的DPM 分類檢測器，該分類器可以識別如福特、豐田等14 種不同型號的車輛，并且可以進行三維幾何信息推斷.

Y.-L.Lin 在 2014 年的文獻［51］中提出了一種三維CAD 模型的優化算法，通過主成分分析PCA 的方法生成三維可變模型.首先通過DPM 分類器對輸入圖像中的車輛獲取粗略的車輛特征點信息，然后將這些信息作為特征送入預訓練的回歸模型估計出特征的具體位置，接著將這些特征作為擬合最佳三維模型的依據，使用HOG 特征描述這些特征點，并且使用支持向量機SVM 作為車型細粒度識別的分類器.該方法能夠在優化車輛三維模型的同時實現車型的細粒度識別.但是該方法多少都會受到視角的限制，而且還需要一些先驗的車輛三維模型信息.

為了克服三維CAD 模型方法中的視角限制問題，進一步提升車型細粒度識別的準確度，Hsiao 在2014 年的文獻［52］中提出一種將三維CAD 模型與特征相結合的車型細粒度識別方法，首先提出了一種3D 曲線模型，將檢測到的車輛輪廓使用該曲線模型表示，然后使用三維斜面匹配技術，與車輛的三維CAD 模型進行對齊，并且增加了車輛尾燈的特征作為附加條件.實驗結果表明，該方法在很大程度上避免了視角限制，并且能夠準確快速地適應復雜場景的情況.

2)三維包絡盒+機器學習

雖然基于車輛的CAD 模型匹配結合局部特征，在CAD模型庫完善及待判別目標車輛型號較少時可以取得較好的識別效果，但隨著當前車輛型號越來越繁雜，車輛型號CAD 模型差異越來越細微，因此，一方面很難建立全產線的所有車輛型號，再者隨著CAD 模型數量的增加，匹配速度及效率將會變得低下，最后，CAD 模型尺寸相近的車輛容易造成誤識別.因此，近年來提出了一類基于三維包絡盒及機器學習結合的車輛細粒度識別新方法，該類方法的主要思路是先獲取車輛的三維包絡盒，然后將包絡盒展開獲取車輛多個側面的逆投影面，最后將逆投影面進行機器學習訓練，獲取車輛細粒度識別的網絡模型.本類方法關鍵是獲取精確的車輛三維包絡盒，近年來有一批優秀的算法，在單目場景下，利用場景中的幾何約束及車輛二維目標約束，利用深度學習算法及SLAM 技術，可以實現自適應的車輛精確三維包絡［53-56］，由于篇幅限制，這里就不具體展開.

2016 年Dominik Zapletal 等首先在文獻［57］中提出單目視覺下將車輛三維包絡盒的在逆投影空間中展開，繼而進行訓練做精細化識別的思路.在無任何先驗條件下獲取車輛的三維包絡，該算法采用文獻［58，59］提供的自動標定算法獲取相機標定信息，繼而利用標定信息及滅點約束對于車輛做三維包絡.對于展開的逆投影空間包絡面，利用HOG 特征及顏色直方圖進行描述，最后利用SVM 算法進行訓練識別，獲取車輛的細粒度識別結果.由于采用的是傳統的特征識別方法，在較復雜的數據集下，該算法的識別準確率并不高，僅能達到60%的準確率.

2018 年布爾諾科技大學的研究人員Jakub Sochor 在文獻［60］中基于先前的工作［61］提出一種基于三維目標檢測的車輛細粒度識別方法，該方法完全基于自標定，既不受視角的限制，也不需要先驗模型信息，只需要一段交通場景的監控視頻，通過三個互相正交的消失點即可完成三維目標的檢測.將檢測到的三維車輛目標作為一個立方體按前面、側面和頂面分別展開(unpack)，并且標準化(normalization)成一張同時包含車輛前面、側面和頂面的二維平面圖像，對該二維平面圖像進行標注后，通過深度學習訓練網絡的方式，學習到車輛細粒度識別的模型，整體過程如圖5 所示.由于訓練數據集的數量限制，需要進行數據增廣以提高識別的準確率，具體的實施方法有:隨機交替改變車輛的顏色、給車輛加上隨機噪聲.實驗結果表明，該方法識別的精確度高達83.2%，并且具有較好的實時性.

圖5 三維目標檢測及展開進行車輛細粒度識別示意圖(圖5 來自于文獻［61］)Fig.5 Schematic diagram of 3d object detection and unpack(fig.5 is from literature［61］)

表1 總結了單目場景下基于三維目標檢測的車型識別的代表性方法并對它們的特點作了描述.

表1 單目場景下基于三維目標檢測的車型識別方法總結Table 1 Summary of vehicle recognition methods based on 3d object detection in monocular scene

3 數據集

下面介紹主流應用的車型檢測公開數據集，由于本文著重于基于車輛三維檢測的車型識別，因此，選取的數據集側重于包含車輛的3D 信息.

1)KITTI 數據集

KITTI 數據集［62］由德國卡爾斯魯厄理工學院和豐田美國技術研究院聯合創辦，是目前國際上最大的自動駕駛場景下的計算機視覺算法評測數據集.該數據集用于評測立體圖像(stereo)，光流(optical flow)，視覺測距(visual odometry)，3D 物體檢測(object detection)和3D 跟蹤(tracking)等計算機視覺技術在車載環境下的性能.KITTI 包含市區、鄉村和高速公路等場景采集的真實圖像數據，每張圖像中最多達15 輛車和30 個行人，還有各種程度的遮擋與截斷.整個數據集由389 對立體圖像和光流圖，39.2km 視覺測距序列以及超過200k 3D 標注物體的圖像組成，以10Hz 的頻率采樣及同步.

2)BIT-Vehicle 數據集

BIT-Vehicle 數據集［63］是由北京理工大學所收集，其車輛圖片來源于道路監控.此數據集包含9580 張車輛圖片，共6 類車型:客車、小型客車、小型貨車、轎車、城市越野以及卡車(bus，microbus，minivan，sedan，SUV，truck).各類車型圖片的數量是 558，883，476，5922，1392 和 822.圖片的尺寸分為 2種:1600* 1200 和1600* 1080，它們的取樣在不同時間地點(包含白天與夜晚)的2 個攝像頭所獲取.

3)CompCars 數據集

CompCars 數據集［64］是由美國斯坦福大學計算機科學學院創立的一個用于車型識別的數據集，最大的特點是加入了三維模型信息.它包括了196 類車輛的16185 張車輛圖片，這些數據被分為8144 張訓練圖片和8041 張測試圖片，類別信息主要包括品牌、生產年份和制造地.

4)NYC3Dcars 數據集

NYC3Dcars 數據集［65］是由美國康奈爾大學圖形與視覺項目組創立的一個用于三維重建、車型識別的數據集，它包括了標注好的超過2k 來自網絡的紐約市的照片，圖像來自不同的視角和時間段.與以往的數據集不同的是，NYC3Dcars 數據集不僅包含了車輛的位姿和詳細的車型信息，還包括了車輛周圍環境中道路、建筑物的幾何信息.

5)FG3Dcar 數據集

FG3Dcar 數據集［51］是由臺灣大學創立的一個用于車輛細粒度識別的數據集，它包括不同視角下的30 多種車輛模型的300 多張圖片數據.

6)BOXCARS116K 數據集

表2 單目場景下車型識別數據集及其簡介Table 2 Datasets of vehicle recognition in monocular scene

BOXCARS116K 數據集［66］是由捷克布爾諾科技大學創立的一個用于車輛細粒度識別的數據集.包含116k 張標注好的不同視角下的車輛圖片數據.

表2 從數據集的內容和特點兩個方面對以上介紹的數據集進行了總結.

4 存在的問題及未來發展方向

4.1 存在的問題

目前單目視覺下基于三維目標檢測的車型識別技術已取得較大的進展，但是仍存在很多亟待解決和優化的問題.對目前車型識別存在的問題總結如下:1)主流基于三維檢測的車型識別算法大都需要CAD 模型庫，并且需要預先知道相機的標定信息，因此限制了應用場景.近年來，基于三維包絡盒與機器學習的方法為車型細粒度識別提供了一種新思路，摒棄了CAD 模型庫，并可利用場景信息自動獲取標定信息與車輛三維信息，但識別精度及車型種類的豐富度需要提高;2)大部分基于三維目標檢測車型識別容易受到車輛之間互相遮擋及環境光照的影響，部分算法還受到視角限制，因此，需要提高各類算法在復雜環境中的魯棒性;3)雖然對于三維車輛型號的數據庫近年來逐漸增多，種類也豐富起來，但由于車輛型號眾多繁雜，目前還沒有一個綜合的數據庫對于三維車輛型號進行總結分類，不利于后續更為精確的車輛細粒度車型識別的算法模型訓練.

4.2 未來的發展方向

隨著交通視頻監控數據量的不斷增加，實時對車輛目標進行三維檢測，進而實現車型識別的需求迫在眉睫.對車型識別未來的一些發展方向的構想如下:

1)考慮使用更加精簡高效的三維模型.使用精簡高效的三維模型有利于提高車型識別的效率，且模型本身容易維護.目前基于三維模型的車輛粗粒度識別所需求解的模型參數仍然偏多，并且精確度不高，未來可以通過簡化模型、提取更豐富的車輛特征信息來提升識別效率和精度.

2)考慮使用多信息融合的方法.目前車型識別的方法大多停留在某一類方法的應用，如圖像處理中的特征提取和自標定等方法，具有一定的局限性，未來可以使用不同的傳感器，如雷達、紅外等，配合圖像處理、三維模型等方法，搭建一套完整的多信息融合識別框架，進一步提高車型識別的精準度，并且在一定程度下應對遮擋及視角限制造成的不利影響.

3)建立一套更加開源的三維車輛型號數據庫，建立完善的分類機制，鼓勵各個組織或者個人上傳通過各種手段采集的三維車輛型號信息，以便擁有跟多的訓練數據集，方便研究者設計訓練出更加完善的識別網絡模型.

5 結束語

車型識別在智能交通領域是目前研究的熱點問題，具有廣闊的研究前景.本文針對單目場景下基于三維目標檢測的車型識別的研究現狀進行了介紹，總結了車型識別的兩類問題，詳細說明了每類問題中使用的代表性算法及它們的優缺點，并且對每類問題中常用的數據集作了簡明闡述，最后對單目場景下基于三維目標檢測的車型識別目前還存在的問題和未來的發展方向做出了總結及構想.