對于場景中的遮擋車輛檢測研究*

秦帥昆 羅素云

（上海工程技術大學機械與汽車工程學院 上海 201620）

1 引言

隨著我國智能交通系統的快速發展，車輛管控也變得越來越重要。在車輛檢測中，車輛遮擋問題仍然具有很大的挑戰。目前的車輛檢測方法通常通過訓練完整車輛輪廓來檢測無遮擋或輕微遮擋的車輛，但對嚴重遮擋的車輛檢測性能很差。Lee B G等［1］通過對遮擋面積做出估計進而判斷遮擋的方法。該方法雖準確判斷出遮擋位置，但計算較復雜。張桂梅等［2］通過用Kona 模板與場景匹配的方法檢測T 型節點，利用該節點計算出遮擋位置。Ikemura S 等［3］通過TOF 相機獲取目標深度相似特征判斷目標遮擋位置，但受設備限制。在實際交通場景下，以上傳統的滑窗檢測方法很難滿足實時性的需求，為了解決這個問題，需采用高效的特征提取方法進行特征計算［4］，或引入降低每個檢測窗口分類計算耗時的策略［5］。一些研究者提出通過只選擇那些更有可能包含目標的窗口，并通過這種方式獲得顯著的性能加速，以減少檢測窗口的數量。

由于被嚴重遮擋的車身的大部分輪廓是不可見的，很可能會被其檢測窗口內的背景區域誤導，從而容易發生漏檢。試圖學習一組特定的局部遮擋的檢測器，然后將它們適當的集成在一起，用于檢測非遮擋車輛和部分遮擋車輛［6~7］。該方法基于以下假設：當檢測器無法檢測部分遮擋車輛時，未遮擋部分的檢測器對車輛的檢測值仍然較高。對于此方法，每部分檢測器的設置至關重要。通常，部件檢測器是單獨學習的。但單獨部件檢測器單獨學習時有兩個缺點：1）忽略了部件之間的相關性，進而影響學習部件檢測器的可靠性。2）應用所學部件檢測器的計算耗時隨檢測器數量的增加呈線性增加。W.Ouyang 等［8］利用了單個卷積神經網絡實現了部件檢測器的學習和集成。但是，這種方法只使用了類標記，并且是以弱監督的方式隱式地學習部件檢測器。

在此，初步學習一種概率混合分布，該分布根據目標的位置和尺度對觀測場景進行建模。考慮到在一組訓練圖像上運行的檢測器的輸出，場景模型以非監督的方式學習。在運行時，學習的混合分布用于采樣最相關的檢測窗口。然后聯合一種共享決策樹部件檢測器的多標記學習方法，利用部件之間的相關性，降低應用這些部件檢測器的計算時間。

2 基于場景學習的方法

本文選用一種基于場景中車輛位置和比例的GMM 的場景相關的方法。GMM 是在無監督的情況下從一組檢測中學習的，在非最大抑制之前，由檢測器在場景的少量幀中提取。混合模型的每個組成部分都是一個概率分布，表示在圖像區域內以特定尺度觀察一輛車的期望。在GMM 擬合過程中，根據在支持區域（Region of Support，ROS）［9］內進行重要性加權實施檢測。在運行過程中，最有可能包含車輛的窗口將從混合模型部件中取樣，并由分類器進行評估。

2.1 場景模型表示

建立概率模型yi，場景中的任何目標檢測由GMM定義θ如下：

式中θ由其混合部件和它們的混合概率共同定義（兩者都需估計），如下：

每個部件GMM 值都有均值μk（其質心位置）和協方差Ck（圖像中部件的空間范圍），即：

式中：

S是占在其ROS中其他檢測器yi的相關程度，和GMM 部件θ?k的檢測范圍與其它檢測器yi檢測范圍的契合概率，即：

式中：

si，k依賴w(yi)，yi的相對權重按其ROS 域內的所有檢測器權重歸一化。

式中，Z是尺度方差的歸一化因子，l(.)是一個返回尺度的函數，并且

是對部件尺度的方差，總和覆蓋了所有檢測器的集合，這些檢測器的局部最大ROS 值為，M為集合的基數。

給出初始狀態θinit，在每次迭代中一個新的配置θ通過一個目標函數來估計和評價

因子包括覆蓋度（即多少部件覆蓋了場景，組件擴展有多少提升）和重疊度（即部件之間的重疊度，重疊的部件將被補償），定義如下：

這個過程重復進行，直到GMM 的組件數量等于一個固定的數量Kmin。

2.2 檢測權重

支持區域ROS(yi）定義為是與給定檢測yi有交集的檢測集，高于或等于預定義閾值τvoc。一般τvoc設置為0.65［6］。之前，對于每個ROS，使用Hard ROS 加權集作為ROS(yi），即該區域的檢測數量。這種權值集是從訓練集的檢測中學習而來，用于在同一場景中生成窗口建議。為每個檢測yi分配一個權重w(yi)，表示它在ROS 中相對于其它檢測的相關性。這種Soft ROS加權計算如下：

式中，π(yi)代表檢測窗口yi的相關正確性，定義為gi-τT除以ROS中的最大值。gi是分類器分數，τT為級聯分類器在yi尺度下的抑制閾值。

ρ(yi)代表yi的相關性定義如下：

?yi?是在ROS 中分類器的等級，φ∈[0，1)用于置中sigmoid函數：

具有?yi?＞φ·|ROS(yi)|的檢測具有較低的權重，從而抑制了非信息檢測窗口的貢獻值。實驗中，φ設置為0.5。

3 部件檢測器的多標記學習

針對部件檢測器學習問題，采用一種基于部件級監督的部件檢測器多標記學習方法。通過boost進行學習并結合構造一組決策樹［11］，所有部件檢測器共享這些決策樹。為了利用部件之間的相關性，學習這些決策樹并將它們組合起來，以捕獲所有部件的總體分布，同時使用紋理特征進一步提高性能。

3.1 部件表示

將車輛的整個輪廓建模為一個矩形模板，區分不同的視角，模板分為H*W 網格。模板中的任何矩形子區域看做一個部件。這里設置H=3 和W=4。根據車輛通常被遮擋的先驗知識設計了一個部件池，如圖1 所示。要表示車輛上的一部分，直接的方法就是截取特征圖上部分對應的區域。部件周圍區域的特征可以作為其上下文信息，這樣，所有的部分都有類似的表示形式。

圖1 部件池

3.2 多標記方法建立

設X為由圖像區域組成的實際空間。對于每個部分pk∈P，要學習一個檢測器dk：X→R這樣一個圖像區域x∈X，當圖像區域包含pk時，dk(x)＞0，否則dk(x)≤0。所以，需要學習K 個部件檢測器。直接的方法是單獨學習K部件檢測器，但這樣它便忽略了各部分之間的相關性，所以提出多標記學習方法共同學習K部件檢測器。

具體來說，學習函數F:X→2P預測出現在一個給定的圖像區域X的一組部件。設D={(xi，li，為一組訓練實例，這里xi∈X是圖像區域，li∈{-1，1}表示圖像區域是否包含車輛分別是兩個邊界框，分別指定車輛的可見部分和全部區域。要學習F，需要為每個實例xi構造一個標記向量Yi=(yik)∈{-1，1}K，1 ≤k≤K，yik代表圖像區域xi是否包含部件pk。對1 ≤k≤K引入一個損失向量Ci=(cik)∈RK標記賦值，其中cik定義了由于對pk的xi的錯誤預測而產生的損失。li=-1 時，設置yik=-1，cik=1；li=1 時，設置yik=1，cik由共同決定。首先標準化整體輪廓邊界框，如文獻［12］所述：的高度和中心固定，調整寬度使寬高比為0.41。用表示標準化的全身圖。然后，丟棄標準化全身之外的可見部分內的任何圖像內容，以獲得一個新的可見部分。設為xi上pk部分的圖像域。計算和的交集（IOU）由Iik表示，以及被覆蓋的比例由Oik表示。最后，cik確定如下：

第一種情況下，部件pk的大部分是可見的，因此設置了很大的cik來防止部件檢測器的錯誤預測。第二種情況下，部件和可見部分的IOU 大于0.5，認為部件區域在實際中是可見的，錯誤分類取決于IOU。第三種情況下，部件嚴重遮擋，設置cik=0，忽略對第k個部件的訓練。

圖2 說明了如何標記車輛示例。DF={(xi，Yi，Ci)|1 ≤i≤N}形成學成的訓練集F。用一個雙參數函數H表示F：X×P→R，當H(x，pk)＞0 時，pk∈F(x)，否則pk?F(x)。通過最小化下面的損失函數來學習H：

圖2 車輛標記

式中，N是訓練實例的數量，如果H(xi，pk)＞0 ，sign(H(xi，pk))=1；否則sign(H(xi，pk))=-1。

3.3 部件檢測器的遮擋處理

在特定的場景中，車輛可能會被其他物體遮擋。由于不知道哪些部位會被遮擋，因此，一種簡單而有效的方法就是應用一組部件檢測器。對于圖像中的候選區域x，K 個部件檢測器會給出K 個檢 測 值，s=(s1，…，sK) ，這 里sK=H(x，pk，(1 ≤k≤K)。需要正確地集成這些檢測分數，給出一個最終的分數，以表明候選區域包含車輛的概率。

學習一個權向量v=(v1，…vK)將K 個檢測器分值線性組合：

b是一個偏分常量。取D={(si，yi)|1 ≤i≤N}為訓練集，si表示第i 個訓練例的K 個檢測值，yi∈{-1，1}。通過邏輯回歸學習v，具體來說，是通過求解以下優化問題來學習v：

式中，N為訓練集的數量，φ(v)為正則化項。采用兩種類型的正則化式，即‖ ‖v1。當使用L1 范數‖ ‖v1時，選擇配備合適λ的部件檢測器的子集。

4 檢測結果

用于訓練的圖像為2514 張以及200 張檢測圖片。實驗在Intel Core i5-3210M，2.5GHz 電腦上實現。通過四種車輛檢測器：HOG、DPM、Haar和ACF進行比較。

從表1中可以看出，在檢測器HOG［13］、DPM［14］、Haar［15］和ACF［16］上，使用遮擋處理的部件檢測器在車輛數據集上的檢測誤差率比未使用遮擋處理檢測器的誤差率分別提高了0.22、0.09、0.02 和0.04，同時檢測速度也有提升。相對于未加入遮擋處理，說明了多標記學習方法和在遮擋處理中與其他部件檢測器聯合學習的檢測有效性。圖3 是部分遮擋車輛的檢測效果圖。

表1 檢測器與滑動窗口方法性能比較

圖3 在測試數據集上的檢測結果

5 結語

在本文中，提出了一種在場景下高斯混合模型和多標記學習方法聯合學習的部件檢測器。通過高斯混合模型對車輛檢測區域進行粗略提取，并且提高算法的檢測速度。AdaBoost 加速器用來學習一組決策樹，所有部件檢測器共享這些決策樹，由此降低了應用這些部件檢測器的計算時間。所學習的決策樹捕獲所有區域的總體分布。為進一步提高性能，還提出了一種上下文檢測重建模型。實驗結果表明：適當集成這些部件檢測器，可以提高對遮擋車輛的檢測性能。部件檢測器的訓練和集成分兩個步驟進行。但在檢測過程中，依然會出現對失去關鍵特征的車輛檢測和部分區域錯檢，未來我們會對此問題進行更深入的討論。